KR20160017130A - 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 - Google Patents
각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 Download PDFInfo
- Publication number
- KR20160017130A KR20160017130A KR1020167002518A KR20167002518A KR20160017130A KR 20160017130 A KR20160017130 A KR 20160017130A KR 1020167002518 A KR1020167002518 A KR 1020167002518A KR 20167002518 A KR20167002518 A KR 20167002518A KR 20160017130 A KR20160017130 A KR 20160017130A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual object
- processor
- user
- body part
- head
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 352
- 238000003860 storage Methods 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 20
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 82
- 230000008569 process Effects 0.000 description 81
- 238000012545 processing Methods 0.000 description 55
- 210000004247 hand Anatomy 0.000 description 51
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000004891 communication Methods 0.000 description 47
- 230000006854 communication Effects 0.000 description 47
- 210000003811 finger Anatomy 0.000 description 45
- 230000033001 locomotion Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 36
- 238000004422 calculation algorithm Methods 0.000 description 34
- 238000001514 detection method Methods 0.000 description 21
- 230000003993 interaction Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 10
- 238000007667 floating Methods 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 229910052779 Neodymium Inorganic materials 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 6
- 238000004873 anchoring Methods 0.000 description 5
- 210000000617 arm Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000007175 bidirectional communication Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 235000017060 Arachis glabrata Nutrition 0.000 description 2
- 235000010777 Arachis hypogaea Nutrition 0.000 description 2
- 244000105624 Arachis hypogaea Species 0.000 description 2
- 235000018262 Arachis monticola Nutrition 0.000 description 2
- 240000007643 Phytolacca americana Species 0.000 description 2
- 235000009074 Phytolacca americana Nutrition 0.000 description 2
- 208000030470 Trigger Finger disease Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000020232 peanut Nutrition 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H04N13/0429—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
헤드 장착 디바이스는 다수의 사용자들 사이에서 데이터를 관측하고 협력을 가능하게 하기 위한 방대한 가상 또는 증강 현실 경험을 제공한다. 가상 또는 증강 현실 시스템에서 이미지들을 렌더링하는 것은, 신체 장착 카메라 및 센서 어레이로 이미지 및 공간적 데이터를 캡쳐하는 것, 제 1 앵커 표면을 표시하는 입력을 수신하는 것, 신체 장착 카메라에 대한 파라미터들을 계산하는 것, 및 가상 물체가 선택된 제 1 앵커 표면에 앵커되는 것으로 보이도록 가상 물체를 디스플레이하는 것을 포함할 수 있다. 추가적인 렌더링 동작들은, 제 1 앵커 표면과는 상이한 캡쳐된 이미지 내의 제 2 앵커 표면을 표시하는 제 2 입력을 수신하는 것, 제 2 앵커 표면에 대한 파라미터들을 계산하는 것, 및 가상 물체가 선택된 제 2 앵커 표면에 앵커되고 제 1 앵커 표면으로부터 이동되는 것으로 보이도록 가상 물체를 디스플레이하는 것을 포함할 수 있다.
Description
본 특허 출원은, 2011년 3월 29일에 출원되고 발명의 명칭이 "Systems and Methods for Gesture Driven Interaction for Digitally Augmented Physical Spaces"인 미국 가특허출원 제 61/468,937호에 대해 우선권의 이익을 주장하며, 상기 가특허출원의 전체 내용은 이로써 모든 목적들을 위해 인용에 의해 통합된다.
본 출원은, 단일 사용자 또는 다수의 사용자들이 물리적 표면 상에서 가상 물체를 관측하고 그와 상호작용하도록 협력할 수 있도록, 선택된 물리적 표면 상에서 가상의 물체 또는 인터페이스를 배치할 수 있는, 헤드 장착 디스플레이를 이용하는 증강 또는 가상 현실 시스템(virtual reality system), 또는 스마트폰들 또는 태블릿들과 같은 다른 모바일 디바이스들에 관한 것이다.
점점 더, 사람들은 프리젠테이션들, 문서들, 비디오들, 그래프들 및 사진들을 포함하는 다양한 미디어 상에서 전세계적으로 협력하고 있다. 일반적으로, 회의실의 대형 평판 디스플레이들은 Microsoft® PowerPoint® 프리젠테이션들을 포함하는 미디어를 관측하기에 우수한 소스이다. 추가적으로, 몇몇 가구(furniture)는, 사용자들이 테이블 상단 표면 상에서 비디오를 직접 관측할 수 있도록 터치 스크린 입력 디바이스들을 포함할 수 있다. 종종 이러한 대형 물품들은 매우 고가이고, 원격 위치들의 사용자들 사이의 협력에 대해 제한된 지원을 제공한다. 개인들은, 이러한 제한들로부터 벗어날 수 있는 것으로부터 유리할 것이고, 함께 위치된 사용자들 및 원격 사용자들 모두 사이에서 공유되는 대형 스크린의 가상 또는 증강 현실 경험을 얻을 것이다.
다양한 실시예들은, 신체 장착 카메라 및 헤드 장착 디스플레이를 각각 포함하는 제 1 및 제 2 신체 장착 디바이스들을 포함하는 증강 현실 시스템에서 이미지들을 렌더링하는 방법을 포함하고, 이 방법은, 제 1 신체 장착 디바이스의 신체 장착 카메라로 신(scene)의 제 1 신 이미지를 캡쳐하는 단계, 가상 물체의 제 1 이미지를 제 1 신체 장착 디바이스의 헤드 장착 디스플레이 상에 디스플레이하는 단계 ―제 1 이미지는, 제 1 신체 장착 디바이스의 착용자에 대해 적절한 제 1 배향에서, 캡쳐된 제 1 신 이미지 내의 제 1 앵커(anchor) 표면에 앵커되는 것으로 가상 물체를 디스플레이함―; 및 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 2 이미지를 디스플레이하는 단계를 포함하고, 제 2 이미지는, 제 2 신체 장착 디바이스의 착용자에 대해 적절한 제 2 배향에서 제 2 앵커 표면에 앵커되는 것으로 가상 물체를 디스플레이한다. 추가적 실시예에서, 방법은, 가상 물체를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 전송하는 단계, 제 2 신체 장착 디바이스에서 가상 물체를 수신하는 단계, 제 2 신체 장착 디바이스의 신체 장착 카메라로 신의 제 2 신 이미지를 캡쳐하는 단계, 및 제 2 신체 장착 디바이스의 착용자가 보고 있는 방향과 근접한 방향에 있는, 제 2 신 이미지 내의 적절한 앵커 표면을 식별하기 위해, 캡쳐된 제 2 신 이미지를 분석하는 단계를 포함할 수 있고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 제 2 이미지를 디스플레이하는 단계는, 식별된 적절한 앵커 표면에 가상 물체가 앵커되는 것으로 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다.
일 실시예에서, 방법은, 가상 물체의 배향을 표시하는 신호를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계를 포함할 수 있고, 여기서 제 2 이미지를 디스플레이하는 단계는, 제 1 신체 장착 디바이스로부터 수신된 신호에 부분적으로 기초하여 가상 물체가 배향되도록 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 가상 물체의 선호되는 배향을 표시하는 신호를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계, 표시된 선호되는 배향을 제 2 신체 장착 디바이스의 착용자에게 통지하는 단계, 및 표시된 선호되는 배향을 허용 또는 거부하는 입력을 제 2 신체 장착 디바이스의 착용자로부터 수신하는 단계를 포함할 수 있고, 여기서 가상 물체의 제 2 이미지를 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 디스플레이하는 단계는, 수신된 입력이 그 표시된 선호되는 배향을 허용하는 경우 표시된 선호되는 배향에 부분적으로 기초하여 가상 물체가 배향되도록, 그리고 수신된 입력이 그 표시된 선호되는 배향을 거부하는 경우 표시된 선호되는 배향과 상이한 방식으로 가상 물체가 배향되도록 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다.
추가적 실시예에서, 제 1 앵커 표면과 제 2 앵커 표면은 동일한 표면일 수 있다. 추가적 실시예에서, 방법은, 가상 물체를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계를 포함할 수 있고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 2 이미지를 디스플레이하는 단계는 제 2 배향에서 제 1 앵커 표면에 앵커되는 것으로 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 제 1 및 제 2 신체 장착 디바이스들은 상이한 위치들에 위치될 수 있고, 방법은, 가상 물체를 네트워크를 통해 각각의 제 1 및 제 2 신체 장착 디바이스들에 송신하는 단계를 더 포함한다.
추가적 실시예에서, 방법은, 제 2 신체 장착 디바이스의 신체 장착 카메라로 제 2 신 이미지를 캡쳐하는 단계, 및 캡쳐된 제 2 신 이미지에서 제 2 앵커 표면을 표시하는 입력을 제 2 신체 장착 디바이스 상에서 수신하는 단계를 포함하고, 표시된 제 2 앵커 표면은 제 1 앵커 표면과 상이하고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 제 2 이미지를 디스플레이하는 단계는, 제 2 신체 장착 디바이스의 착용자 및 표시된 제 2 앵커 표면에 대해 적절한 구성으로, 표시된 제 2 앵커 표면에 앵커되는 것으로 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 제 2 신체 장착 디바이스로부터 제 1 신체 장착 디바이스에 제 2 가상 물체를 송신하는 단계, 및 제 1 신체 장착 디바이스의 헤드 장착 디스플레이 상에 제 3 이미지를 디스플레이하는 단계를 포함할 수 있고, 제 3 이미지는 제 1 앵커 표면에 앵커되는 것으로 제 2 가상 물체를 디스플레이한다.
추가적 실시예들은, 제 1 헤드 또는 신체 장착 카메라, 제 1 헤드 또는 신체 장착 디스플레이, 제 1 트랜시버, 및 상기 제 1 카메라, 제 1 디스플레이 및 제 1 트랜시버에 커플링되는 제 1 헤드 또는 신체 장착 디바이스 프로세서를 포함할 수 있는 제 1 헤드 또는 신체 장착 디바이스; 및 제 2 헤드 또는 신체 장착 카메라, 제 2 헤드 또는 신체 장착 디스플레이, 제 2 트랜시버, 및 상기 제 2 카메라, 제 2 디스플레이 및 제 2 트랜시버에 커플링되는 제 2 헤드 또는 신체 장착 디바이스 프로세서를 포함하는 제 2 헤드 또는 신체 장착 디바이스를 포함할 수 있는 시스템을 포함한다. 추가적 실시예들에서, 제 1 및 제 2 헤드 또는 신체 장착 디바이스는, 앞서 논의된 방법 동작들에 대응하는 다양한 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성될 수 있다. 또한 추가적 실시예들은, 메모리 및 메모리에 커플링되는 서버 프로세서를 포함할 수 있는 서버를 포함할 수 있고, 서버 프로세서는, 앞서 논의된 다양한 방법들에 대응하는 동작들을 수행하기 위한 그리고/또는 네트워크를 통해 제 1 또는 제 2 헤드 또는 신체 장착 디바이스들에 정보를 송신하기 위한 서버 실행가능 명령들로 구성된다.
추가적 실시예들은, 앞서 논의된 방법들에 대응하는 다양한 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 포함할 수 있는 컴퓨팅 디바이스를 포함한다. 추가적 실시예들은, 앞서 논의된 방법 동작들에 대응하는 기능들을 수행하기 위한 다양한 수단을 포함할 수 있는 컴퓨팅 디바이스를 포함한다.
추가적 실시예들은, 프로세서로 하여금 앞서 논의된 방법들에 대응하는 다양한 동작들을 수행하게 하도록 구성되는 프로세서 실행가능 명령들이 저장된 비일시적(non-transitory) 프로세서 판독가능 저장 매체를 포함한다.
본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부된 도면들은 본 발명의 예시적인 실시예들을 도시하고, 앞서 주어진 일반적 설명 및 아래에서 주어지는 상세한 설명과 함께 본 발명의 특징들을 설명하도록 기능한다.
도 1은 다양한 실시예들에 이용하기에 적절한 물리적 표면 상에 앵커되는 가상 물체를 갖는 헤드 장착 디바이스의 도면이다.
도 2는, 서로 나란히 테이블에 서 있고 가상 물체와 상호작용하기 위해 2개의 헤드 장착 디바이스들을 착용한 2명의 사용자들의 도면이다.
도 3은, 서로 테이블 건너편에 앉아 있고, 서로에 대해 정확하게 배향되는 가상 물체와 상호작용하기 위해 2개의 헤드 장착 디바이스들을 착용한 2명의 사용자들의 도면이다.
도 4는, 2개의 상이한 원격 위치들에서, 2개의 헤드 장착 디바이스들을 착용하고, 서로에 대해 정확하게 배향되는 동일한 가상 물체를 협력 및 연구하는 2명의 사용자들의 도면이다.
도 5a는, 가상 물체와 상호작용하고 가상 물체를 생성하기 위한 헤드 장착 디바이스의 다수의 컴포넌트들의 하이 레벨 컴포넌트 블록도이다.
도 5b는, 다른 실시예에 따라, 헤드 장착 디바이스를 착용한 사용자들이 서버와 통신하게 하는 시스템의 하이 레벨 컴포넌트 블록도이다.
도 6은, 앵커 표면 상에 가상 물체를 앵커하기 위해 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이고, 여기서 가상 물체는 헤드 장착 디스플레이 상의 앵커 표면에 고정되어 유지된다.
도 7a는 헤드 장착 디바이스의 디스플레이에서 관측가능한 물리적 표면 상에 가상 물체를 앵커하기 위한 실시예 방법의 프로세스 흐름도이다.
도 7b는 입력 커맨드에 의해 적어도 2개의 상이한 앵커 포인트들 또는 표면들 사이에서 가상 물체를 이동시키기 위한 실시예 방법의 프로세스 흐름도이다.
도 8a는, 헤드 장착 디바이스가 가상 물체를 투사하여 가상 물체가 물리적 표면 상에 앵커된 것으로 보이게 하고, 제 2 헤드 장착 디바이스 상에 제 2 가상 물체를 투사하여 제 2 가상 물체가 상이한 물리적 표면 상에 앵커된 것으로 제 2 사용자에게 보이게 하는 실시예 방법의 프로세스 흐름도이다.
도 8b는, 각각의 사용자의 시점에 대해 정확하게 배향되는 공유된 가상 물체를 렌더링하는 실시예 방법의 프로세스 흐름도이다.
도 9a 및 도 9b는, 가상 물체를 물리적 표면 상에 앵커하기 위한 그리고 좌표 맵을 이용하여 제 2 가상 물체를 상이한 물리적 표면 상에 앵커하기 위해 제 2 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도들이다.
도 10은 데이터를 링크 및 공유하는 다른 헤드 장착 디바이스들을 발견하기 위한 실시예 방법의 프로세스 흐름도이다.
도 11은, 사용자로부터의 제스쳐들 및 오디오 모두를, 헤드 장착 디바이스를 제어하기 위한 확인된 입력 커맨드로서 인식하기 위한 실시예 방법의 프로세스 흐름도이다.
도 12는, 제스쳐들을 입력 커맨드들로서 인식하기 위해 사용자의 이미지들을 캡쳐하는 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 13은 이미지 내에서 특정한 물체들의 렌더링을 제어하기 위한 실시예 방법의 프로세스 흐름도이다.
도 14는, 사용자와 연관된 이미지들을 캡쳐하고, 그 사용자 및 다른 개인의 특징들을 검출하고, 다른 개인의 특징들이 검출된 경우, 가상 물체를 가리지 않도록 그 다른 개인의 특징들 위에 가상 물체를 중첩시키기 위해 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 15는, 사용자의 손(hand)들 및 다른 개인의 손들이 가상 물체를 가리고 있고, 가상 물체가 투명하게 보이도록 가상 물체가 다른 개인의 손들 위에 중첩되어 디스플레이되는, 가상 물체를 나타내는 헤드 장착 디스플레이 출력의 상면도이다.
도 16은, 센서들이 헤드 장착 디바이스에서 데이터를 캡쳐하는 동안 모바일 통신 디바이스 상에서 소프트웨어가 실행되도록, 고속 무선 데이터 링크를 통해 모바일 통신 디바이스와 통신하는 헤드 장착 디바이스의 측면도이다.
도 17은, 데이터를 교환하기 위해 모바일 통신 디바이스에 무선으로 링크하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 18은, 영역을 스캔하고, 영역의 파라미터들을 계산하고, 다른 디바이스에 의한 액세스를 위해 그 영역의 계산된 파라미터들을 공유 메모리에 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 19는, 영역의 3차원 모델을 생성하고, 위치 데이터로 데이터를 태그(tag)하고, 다른 디바이스들과 데이터를 공유하기 위해 모델을 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 20은, 서버 상에서 애플리케이션을 실행하고 다른 디바이스들과 데이터를 공유하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 21은, 협력을 위해 그리고 다른 디바이스들과 데이터를 공유하기 위해 디렉토리에 의해 다른 헤드 장착 디바이스들을 발견하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 22 및 도 23은, 스캔된 데이터를 교환하고 서로 협력하기 위해 공유 서비스 또는 공유 메모리에 액세스하는 2개의 헤드 장착 디바이스들을 도시한다.
도 24는, 영역을 스캔하고, 가상 물체를 렌더링하고, 위치 데이터로 계산된 파라미터들을 태그하고, 다른 헤드 장착 디바이스들의 이익을 위해 그 태그된 파라미터들을 공유 메모리에 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 25a는, 공유된 데이터를 클라우드 서버에 제공하고, 새로운 디바이스들이 그 공유된 데이터를 활용하여 영역을 스캔 및 맵핑하는 것을 허용하기 위해, 클라우드 서버와 통신하는 몇몇 모바일 디바이스들의 하이 레벨 도면이다.
도 25b는, 가상 물체를 렌더링하기 위한 제 2 헤드 장착 디바이스에 의한 이용을 위해, 태그되고 스캔된 파라미터들을 클라우드 서버에 저장하는 방법의 프로세스 흐름도이다.
도 26 내지 도 28b는, 가상 물체를 디스플레이 상에 렌더링하고, 디스플레이 상의 신체 부분 위에 가상 물체를 중첩시키도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도이다.
도 29는, 스캔되고 계산된 데이터 파라미터들을 몇몇 다른 헤드 장착 디바이스들과 공유하도록 헤드 장착 디바이스 및 클라우드 서버를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 30은, 가상 물체 입력 디바이스를 이용하는 2개의 상이한 소프트웨어 애플리케이션들을 이용하여 데이터를 공유하고 협력하여, 2개의 상이한 소프트웨어 애플리케이션들 사이에서 충돌들이 해결되도록 2개의 상이한 헤드 장착 디바이스들 및 서버를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 31은 상이한 소프트웨어 애플리케이션들을 이용하여 데이터를 공유하고 협력하는 몇몇 사용자들의 하이 레벨 블록도이다.
도 32는, 2개의 상이한 워드 프로세싱 애플리케이션들을 이용하여 데이터를 공유하고 협력하도록 2개의 상이한 컴퓨팅 디바이스들을 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 33 및 도 34는, 제스쳐들 및 오디오 커맨드들 모두를 인식하고, 제 1 커맨드 및 제 2 커맨드가 연속적으로 검출되는 경우 커맨드들을 확인된 입력 커맨드들로서 프로세싱하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도들이다.
도 35 및 도 36은, 사용자가 가상 입력 디바이스를 이용하여 가상 물체를 제어할 수 있도록, 생성된 가상 물체 상에 "가상 물체 입력 디바이스"를 렌더링하기 위한 제스쳐 커맨드들을 인식하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도들이다.
도 37은, 가상 물체 상의 아이콘들을 선택하기 위해 사용자의 손가락에 의해 제어되는 가상 포인터 디바이스인 "가상 물체 입력 디바이스"를 제공하도록 제스쳐 추적 카메라 및/또는 RGB 및 거리 측정 카메라(또는 카메라들)을 이용하는 실시예의 하이 레벨 블록도이다.
도 38 및 도 39는, 데이터를 공유하고 사용자 협력이 가능하도록 헤드 장착 디바이스 및 서버를 이용하기 위한 중앙 클라우드 구성 기반 시스템 및 피어 투 피어 기반 시스템의 하이 레벨 블록도들을 도시한다.
도 40a는, 가상 물체가 헤드 장착 디스플레이 상에 크게 렌더링될 수 있는 경우 가상 포인터 디바이스를 형성하는 "가상 물체 입력 디바이스"를 제공하도록 제스쳐 추적 카메라 및 카메라를 이용하는 실시예 시스템의 하이 레벨 블록도이다.
도 40b 및 도 40c는, 제스쳐들을 검출하고 사용자를 위한 투사를 출력할 수 있는 모듈식 피코 투사기를 이용하여 가상 물체를 렌더링하는 다른 실시예를 도시한다.
도 40d는, 하나 또는 그 초과의 제스쳐들을 검출함으로써 사용자에게 편리한 위치에서 피코 투사기로 이미지를 투사하는 실시예 방법의 프로세스 흐름도를 도시한다.
도 41은 다양한 실시예들에 이용하기에 적절한 모바일 컴퓨팅 디바이스의 컴포넌트 블록도이다.
도 42는 다양한 실시예들에 이용하기에 적절한 서버 컴퓨팅 디바이스의 컴포넌트 블록도이다.
도 1은 다양한 실시예들에 이용하기에 적절한 물리적 표면 상에 앵커되는 가상 물체를 갖는 헤드 장착 디바이스의 도면이다.
도 2는, 서로 나란히 테이블에 서 있고 가상 물체와 상호작용하기 위해 2개의 헤드 장착 디바이스들을 착용한 2명의 사용자들의 도면이다.
도 3은, 서로 테이블 건너편에 앉아 있고, 서로에 대해 정확하게 배향되는 가상 물체와 상호작용하기 위해 2개의 헤드 장착 디바이스들을 착용한 2명의 사용자들의 도면이다.
도 4는, 2개의 상이한 원격 위치들에서, 2개의 헤드 장착 디바이스들을 착용하고, 서로에 대해 정확하게 배향되는 동일한 가상 물체를 협력 및 연구하는 2명의 사용자들의 도면이다.
도 5a는, 가상 물체와 상호작용하고 가상 물체를 생성하기 위한 헤드 장착 디바이스의 다수의 컴포넌트들의 하이 레벨 컴포넌트 블록도이다.
도 5b는, 다른 실시예에 따라, 헤드 장착 디바이스를 착용한 사용자들이 서버와 통신하게 하는 시스템의 하이 레벨 컴포넌트 블록도이다.
도 6은, 앵커 표면 상에 가상 물체를 앵커하기 위해 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이고, 여기서 가상 물체는 헤드 장착 디스플레이 상의 앵커 표면에 고정되어 유지된다.
도 7a는 헤드 장착 디바이스의 디스플레이에서 관측가능한 물리적 표면 상에 가상 물체를 앵커하기 위한 실시예 방법의 프로세스 흐름도이다.
도 7b는 입력 커맨드에 의해 적어도 2개의 상이한 앵커 포인트들 또는 표면들 사이에서 가상 물체를 이동시키기 위한 실시예 방법의 프로세스 흐름도이다.
도 8a는, 헤드 장착 디바이스가 가상 물체를 투사하여 가상 물체가 물리적 표면 상에 앵커된 것으로 보이게 하고, 제 2 헤드 장착 디바이스 상에 제 2 가상 물체를 투사하여 제 2 가상 물체가 상이한 물리적 표면 상에 앵커된 것으로 제 2 사용자에게 보이게 하는 실시예 방법의 프로세스 흐름도이다.
도 8b는, 각각의 사용자의 시점에 대해 정확하게 배향되는 공유된 가상 물체를 렌더링하는 실시예 방법의 프로세스 흐름도이다.
도 9a 및 도 9b는, 가상 물체를 물리적 표면 상에 앵커하기 위한 그리고 좌표 맵을 이용하여 제 2 가상 물체를 상이한 물리적 표면 상에 앵커하기 위해 제 2 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도들이다.
도 10은 데이터를 링크 및 공유하는 다른 헤드 장착 디바이스들을 발견하기 위한 실시예 방법의 프로세스 흐름도이다.
도 11은, 사용자로부터의 제스쳐들 및 오디오 모두를, 헤드 장착 디바이스를 제어하기 위한 확인된 입력 커맨드로서 인식하기 위한 실시예 방법의 프로세스 흐름도이다.
도 12는, 제스쳐들을 입력 커맨드들로서 인식하기 위해 사용자의 이미지들을 캡쳐하는 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 13은 이미지 내에서 특정한 물체들의 렌더링을 제어하기 위한 실시예 방법의 프로세스 흐름도이다.
도 14는, 사용자와 연관된 이미지들을 캡쳐하고, 그 사용자 및 다른 개인의 특징들을 검출하고, 다른 개인의 특징들이 검출된 경우, 가상 물체를 가리지 않도록 그 다른 개인의 특징들 위에 가상 물체를 중첩시키기 위해 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 15는, 사용자의 손(hand)들 및 다른 개인의 손들이 가상 물체를 가리고 있고, 가상 물체가 투명하게 보이도록 가상 물체가 다른 개인의 손들 위에 중첩되어 디스플레이되는, 가상 물체를 나타내는 헤드 장착 디스플레이 출력의 상면도이다.
도 16은, 센서들이 헤드 장착 디바이스에서 데이터를 캡쳐하는 동안 모바일 통신 디바이스 상에서 소프트웨어가 실행되도록, 고속 무선 데이터 링크를 통해 모바일 통신 디바이스와 통신하는 헤드 장착 디바이스의 측면도이다.
도 17은, 데이터를 교환하기 위해 모바일 통신 디바이스에 무선으로 링크하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 18은, 영역을 스캔하고, 영역의 파라미터들을 계산하고, 다른 디바이스에 의한 액세스를 위해 그 영역의 계산된 파라미터들을 공유 메모리에 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 19는, 영역의 3차원 모델을 생성하고, 위치 데이터로 데이터를 태그(tag)하고, 다른 디바이스들과 데이터를 공유하기 위해 모델을 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 20은, 서버 상에서 애플리케이션을 실행하고 다른 디바이스들과 데이터를 공유하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 21은, 협력을 위해 그리고 다른 디바이스들과 데이터를 공유하기 위해 디렉토리에 의해 다른 헤드 장착 디바이스들을 발견하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 22 및 도 23은, 스캔된 데이터를 교환하고 서로 협력하기 위해 공유 서비스 또는 공유 메모리에 액세스하는 2개의 헤드 장착 디바이스들을 도시한다.
도 24는, 영역을 스캔하고, 가상 물체를 렌더링하고, 위치 데이터로 계산된 파라미터들을 태그하고, 다른 헤드 장착 디바이스들의 이익을 위해 그 태그된 파라미터들을 공유 메모리에 업로드하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 25a는, 공유된 데이터를 클라우드 서버에 제공하고, 새로운 디바이스들이 그 공유된 데이터를 활용하여 영역을 스캔 및 맵핑하는 것을 허용하기 위해, 클라우드 서버와 통신하는 몇몇 모바일 디바이스들의 하이 레벨 도면이다.
도 25b는, 가상 물체를 렌더링하기 위한 제 2 헤드 장착 디바이스에 의한 이용을 위해, 태그되고 스캔된 파라미터들을 클라우드 서버에 저장하는 방법의 프로세스 흐름도이다.
도 26 내지 도 28b는, 가상 물체를 디스플레이 상에 렌더링하고, 디스플레이 상의 신체 부분 위에 가상 물체를 중첩시키도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도이다.
도 29는, 스캔되고 계산된 데이터 파라미터들을 몇몇 다른 헤드 장착 디바이스들과 공유하도록 헤드 장착 디바이스 및 클라우드 서버를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 30은, 가상 물체 입력 디바이스를 이용하는 2개의 상이한 소프트웨어 애플리케이션들을 이용하여 데이터를 공유하고 협력하여, 2개의 상이한 소프트웨어 애플리케이션들 사이에서 충돌들이 해결되도록 2개의 상이한 헤드 장착 디바이스들 및 서버를 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 31은 상이한 소프트웨어 애플리케이션들을 이용하여 데이터를 공유하고 협력하는 몇몇 사용자들의 하이 레벨 블록도이다.
도 32는, 2개의 상이한 워드 프로세싱 애플리케이션들을 이용하여 데이터를 공유하고 협력하도록 2개의 상이한 컴퓨팅 디바이스들을 이용하기 위한 실시예 방법의 프로세스 흐름도이다.
도 33 및 도 34는, 제스쳐들 및 오디오 커맨드들 모두를 인식하고, 제 1 커맨드 및 제 2 커맨드가 연속적으로 검출되는 경우 커맨드들을 확인된 입력 커맨드들로서 프로세싱하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도들이다.
도 35 및 도 36은, 사용자가 가상 입력 디바이스를 이용하여 가상 물체를 제어할 수 있도록, 생성된 가상 물체 상에 "가상 물체 입력 디바이스"를 렌더링하기 위한 제스쳐 커맨드들을 인식하도록 헤드 장착 디바이스를 이용하기 위한 실시예 방법들의 프로세스 흐름도들이다.
도 37은, 가상 물체 상의 아이콘들을 선택하기 위해 사용자의 손가락에 의해 제어되는 가상 포인터 디바이스인 "가상 물체 입력 디바이스"를 제공하도록 제스쳐 추적 카메라 및/또는 RGB 및 거리 측정 카메라(또는 카메라들)을 이용하는 실시예의 하이 레벨 블록도이다.
도 38 및 도 39는, 데이터를 공유하고 사용자 협력이 가능하도록 헤드 장착 디바이스 및 서버를 이용하기 위한 중앙 클라우드 구성 기반 시스템 및 피어 투 피어 기반 시스템의 하이 레벨 블록도들을 도시한다.
도 40a는, 가상 물체가 헤드 장착 디스플레이 상에 크게 렌더링될 수 있는 경우 가상 포인터 디바이스를 형성하는 "가상 물체 입력 디바이스"를 제공하도록 제스쳐 추적 카메라 및 카메라를 이용하는 실시예 시스템의 하이 레벨 블록도이다.
도 40b 및 도 40c는, 제스쳐들을 검출하고 사용자를 위한 투사를 출력할 수 있는 모듈식 피코 투사기를 이용하여 가상 물체를 렌더링하는 다른 실시예를 도시한다.
도 40d는, 하나 또는 그 초과의 제스쳐들을 검출함으로써 사용자에게 편리한 위치에서 피코 투사기로 이미지를 투사하는 실시예 방법의 프로세스 흐름도를 도시한다.
도 41은 다양한 실시예들에 이용하기에 적절한 모바일 컴퓨팅 디바이스의 컴포넌트 블록도이다.
도 42는 다양한 실시예들에 이용하기에 적절한 서버 컴퓨팅 디바이스의 컴포넌트 블록도이다.
다양한 실시예들은 첨부된 도면들을 참조하여 상세히 설명될 것이다. 가능한 경우에는 항상, 동일한 참조 번호들은 도면들 전반에 걸쳐 동일하거나 유사한 부분들을 참조하도록 이용될 것이다. 특정한 예들에 대해 참조가 행해지고, 구현들은 예시적인 목적들이고, 본 발명 또는 청구항들의 범위를 제한하려는 의도가 아니다.
용어 "예시적인"은 본 명세서에서 "예, 예증 또는 예시로서 기능하는"을 의미하도록 사용된다. 본 명세서에서 "예시적인" 것으로 설명되는 구현은 반드시 다른 구현들에 비해 선호되거나 유리한 것으로 해석될 필요는 없다.
본 명세서에서 사용되는 바와 같이, 용어들 "모바일 디바이스" 및 "핸드헬드 디바이스"는, 셀룰러 전화들, 스마트폰들, 태블릿 컴퓨터들, 개인 휴대 정보 단말들(PDA들), 무선 전자 메일 수신기들, 멀티미디어 인터넷 가능 셀룰러 전화들, 글로벌 포지셔닝 시스템(GPS) 수신기들, 무선 게이밍 제어기들, 넷북들, 및 프로그래머블 프로세서 및 메모리를 포함하고 무선 통신 네트워크와 통신하도록 구성되고 웹 브라우저를 갖는 유사한 개인 전자 디바이스들 중 임의의 것을 지칭한다.
본 명세서에서 사용되는 바와 같이, 용어들 "컴퓨터", "개인용 컴퓨터" 및 "컴퓨팅 디바이스"는, 공지되어 있거나 장래에 개발될 임의의 프로그래머블 컴퓨터 시스템을 지칭한다. 선호되는 실시예에서, 컴퓨터는 본 명세서에서 설명된 바와 같이 네트워크에 커플링될 것이다. 컴퓨터 시스템은, 본 명세서에서 설명되는 프로세스들을 수행하기 위한 프로세서 실행가능 소프트웨어 명령들로 구성될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "컴포넌트", "모듈" 및 "시스템"은 컴퓨터-관련 엔티티, 즉, 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 소프트웨어를 지칭하도록 의도된다. 예를 들어, 컴포넌트는, 프로세서 상에서 실행되는 프로세스, 프로세서, 오브젝트, 실행가능한 것, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 한정되는 것은 아니다. 예를 들어, 서버 상에서 실행되는 애플리케이션 및 서버 모두가 컴포넌트일 수 있다. 하나 또는 그 초과의 컴포넌트들은 프로세스 및/또는 실행 스레드 내에 상주할 수 있고, 컴포넌트는 하나의 컴퓨터 상에 로컬화될 수 있고 그리고/또는 둘 또는 그 초과의 컴퓨터들 사이에서 분산될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "헤드 장착 디바이스"(HMD)는, 도 16에 도시된 바와 같이 헤드 장착 디바이스에 대해 별개의 디바이스일 수 있는 모바일 프로세서에 링크되는 디스플레이 능력을 갖고 거리 센서 데이터를 캡쳐하는 디바이스를 지칭한다. 일 실시예에서, 헤드 장착 디바이스(10)는 모바일 디바이스 CPU(예를 들어, 셀 폰, 태블릿 컴퓨터, 스마트폰 등의 프로세서)에 대한 액세서리일 수 있고, 헤드 장착 디바이스 제어 시스템(1610)(도면들에서 "VIRT 제어 시스템")의 메인 프로세싱은 모바일 디바이스(1605)의 프로세서 상에서 수행되고 있다. 다른 실시예에서, 헤드 장착 디바이스는 프로세서, 메모리, 디스플레이 및 카메라를 포함할 수 있다. 일 실시예에서, 헤드 장착 디바이스(10)는, 환경(예를 들어, 방 등)으로부터 정보를 스캔 또는 수집하기 위한 하나 또는 그 초과의 센서들(예를 들어, 깊이 센서, 카메라 등) 및 수집된 정보를 다른 디바이스(예를 들어, 서버, 제 2 모바일 디바이스 등)에 송신하기 위한 회로를 포함하는 모바일 디바이스(예를 들어, 스마트폰 등)일 수 있다.
다른 실시예에서, 헤드 장착 디바이스는, 인터넷, 로컬 무선 네트워크 또는 다른 컴퓨팅 디바이스와 접속하기 위한 무선 인터페이스를 포함할 수 있다. 다른 실시예에서, 표면들 상으로의 이미지들의 투사를 가능하게 하기 위해 피코-투사기가 헤드 장착 디바이스에서 연관될 수 있다. 헤드 장착 디바이스는 바람직하게는, 경량이고, 디바이스를 착용하기에 불편하게 할 수 있는 무거운 컴포넌트들의 이용을 회피하도록 구성된다. 헤드 장착 디바이스는 또한 사용자로부터의 오디오/제스쳐 입력들을 수신하도록 동작가능할 수 있다. 이러한 제스쳐 또는 오디오 입력들은 말해진 음성 커맨드들 또는 인식된 사용자 제스쳐일 수 있고, 이들은 컴퓨팅 디바이스에 의해 인식되는 경우 그 디바이스로 하여금 대응하는 커맨드를 실행하게 할 수 있다.
용어 "피어-투-피어 네트워크"는, 공지되어 있거나 장래에 개발될 수 있는 임의의 형태의 피어-투-피어 네트워크 기술을 포함하는 것으로 의도된다. 몇몇 실시예들은, 하이퍼텍스트 전송 프로토콜(HTTP) 메시징을 이용하는 피어-투-피어 네트워크들을 참조하지만, 이러한 참조들은 단지 예시들로서 기능하는 것으로 의도되고, 청구항들의 범위를 임의의 특정한 네트워킹 기술로 제한하지 않는 것으로 의도된다.
참조의 용이함을 위해, 다양한 실시예들의 기능을 예시하는 예들은 네트워크들을 제 1 및 제 2 네트워크들 또는 사용자들로, 또는 네트워크들 및 사용자들 A 및 B로 참조할 수 있다. 예를 들어, 제 1 사용자는 "사용자 A"로 지칭될 수 있고, 제 2 사용자는 "사용자 B"로 지칭될 수 있다. 다양한 실시예들은 임의의 수의 네트워크들 및 사용자들을 지원하기 때문에, 도면들 및 설명들에서 이러한 참조들은 임의적이고, 네트워크 및 사용자 참조들을 단순화시키기 위해 이용되며, 따라서 청구항들의 범위를 단지 2개의 네트워크들 또는 단지 2명의 사용자들로 제한하거나 또는 특정한 사용자들을 특정한 네트워크들에 제한하려는 의도가 아니다.
다양한 실시예들은, 다수의 컴포넌트들 및 모듈들을 포함할 수 있는 시스템들의 관점에서 제시될 것이다. 다양한 시스템들은 추가적인 컴포넌트들, 모듈들 등을 포함할 수 있고, 도면들과 관련하여 논의되는 컴포넌트들, 모듈들 등의 전부를 포함하지는 않을 수 있음을 이해하고 인식해야 한다. 이러한 접근법들의 조합이 또한 이용될 수 있다.
도 1을 참조하면, 다양한 실시예들은, 컴퓨팅 디바이스와의 상호작용들 및 다른 사용자들과의 협력들을 용이하게 할 수 있는 증강 현실 경험을 제공하기 위해, 헤드 장착 디바이스(10)가 앵커된 표면(16) 상에 디스플레이되는 가상 물체(14)를 렌더링하게 한다. 다양한 실시예들은, 헤드 장착 또는 신체 장착(예를 들어, 사용자의 목, 어깨 또는 팔의 또는 손으로 잡은) 카메라로 이미지를 캡쳐하는 것을 포함할 수 있다. 참조의 용이함을 위해, 본 명세서에서 그리고 청구항들에서 사용되는 용어 "신체 장착"은 헤드 장착을 포함한다. 일 실시예에서, 이 카메라는 헤드 또는 신체 장착 스테레오 카메라일 수 있고, 이것은, 프로세서가 스테레오 이미지들의 삼각측량 분석을 통해 이미지의 물체들까지의 거리들을 추정하기 위해 분석할 수 있는 이미지 데이터를 생성할 수 있다. 대안적으로 또는 추가적으로, 헤드 장착 디바이스는, 이미지 내의 다양한 표면들까지의 거리들을 측정할 수 있는 하나 또는 그 초과의 거리 측정 센서들(예를 들어, 레이저 또는 소닉 레인지 파인더(sonic range finder))을 포함할 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 다양한 실시예들에서, 사용자에 의해 관측되는 신 내의 물체들까지의 거리들을 측정하기 위해, 측정할 이미징된 신에서 다양한 상이한 타입들의 거리 측정 센서들 및 알고리즘들이 이용될 수 있다. 또한, 하나보다 많은 센서 또는 하나보다 많은 타입의 센서가 헤드 장착 디바이스에서 이용될 수 있다. 따라서, 일관성 및 설명의 용이함을 위해, 헤드 장착 디바이스 상에 포함될 수 있는 다양한 집합 및 타입들의 거리 측정 센서들은 본 명세서에서 총괄적으로 또는 개별적으로 "거리 센서들"로 지칭된다.
추가로, 헤드 장착 디바이스(10)는, 단독으로 또는 결합되어 (예를 들어, 중력 배향을 감지함으로써) 디바이스의 업/다운/레벨 배향 및 그에 따른 (및 그 관측 시점으로부터) 사용자의 헤드 위치/배향에 관한 데이터를 디바이스의 프로세서에 제공할 수 있는, 가속도계들, 자이로스코프들, 자기 센서들, 광학 센서들, 기계적 또는 전자적 레벨 센서들 및 관성 센서들과 같은 배향 센서들을 포함할 수 있다. 추가로, 헤드 장착 디바이스는, 좌측/우측 배향 및 이동에 관한 데이터를 디바이스의 프로세서에 제공할 수 있는, 전자 콤파스 및 가속도계들과 같은 회전 배향 센서들을 포함할 수 있다. 총괄적으로, 헤드 장착 디바이스의 업/다운 및 회전 배향 (및 그에 따른 사용자의 관측 시점)에 관한 데이터를 제공하도록 구성되는 (가속도계들, 자이로스코프들, 자기 센서들, 광학 센서들, 기계적 또는 전자 레벨 센서들, 관성 센서들 및 전자 콤파스들을 포함하는) 센서들은 본 명세서에서 "배향 센서들"로 지칭된다.
시스템은, 카메라에 의해 이미징될 수 있는 제스쳐들을 통해 행해질 수 있는 사용자 입력들을 인식하고, 이미징된 신 내에서 가상 물체들을 위치시키기 위한 표면들 또는 위치들을 식별하도록 구성될 수 있다. 이미지 내에서 인식된 물체까지의 거리는 스테레오 이미지 및/또는 거리 센서로부터 수집된 데이터로부터 결정될 수 있다. 도 16을 참조하여 아래에서 더 상세히 논의되는 바와 같이, 헤드 장착 디바이스(10)는, 스마트폰 또는 다른 모바일 디바이스와 같은, 헤드 장착 디바이스와는 별개일 수 있는 모바일 프로세서로 이미지 및 거리 센서 데이터를 제공할 수 있고, 모바일 프로세서로부터 디스플레이 정보를 수신할 수 있다. 배경들에 대해 헤드 장착 디바이스를 배향하고, 다양한 표면들까지의 거리 및 다양한 표면들의 배향을 결정하는 이러한 프로세스는, 다수의 사용자들에 의해 착용되는 각각의 디바이스에 의해 달성될 수 있어서, 디스플레이되는 가상 물체는 각각의 사용자에게 적절한 시점으로부터 각각의 사용자에 의해 관측된다. 추가로, 이 프로세스는 연속적으로 달성될 수 있어서, 각각의 헤드 장착 디바이스는, 스캔된 3차원(3D) 환경의 토포그래피에서의 시프트들을 연속적으로 참조하고, 따라서 SLAM(Simultaneous Location and Mapping) 동작들을 수행함으로써, 자신이 공간에서 이동할 때 자기 자신의 위치 및 시야각을 삼각측량할 수 있다.
일 실시예에서, 헤드 장착 디바이스(10)는 캡쳐된 이미지에서 제 1 앵커 표면(16)을 표시하는 제 1 사용자 입력을 수신할 수 있다. 이 입력은, 버튼을 누르는 것, 헤드 장착 카메라의 시야에서 수행되는 인식가능한 제스쳐, 미리 결정된 시간 기간 동안 비교적 정지되어 유지되는 이미지로서 인식되는 사용자에 의한 포커싱된 응시(gaze) 또는 다른 인식가능한 입력의 형태와 같은 임의의 다양한 사용자 입력들일 수 있다. 제 1 앵커 표면(16)은 헤드 장착 디바이스(10)의 카메라에 의해 획득되는 이미지에 위치된 제 1 표면에 대응할 수 있다. 헤드 장착 디바이스(10)에 커플링되거나 그 안에 있는 프로세서는 가상 물체(14)를 생성할 수 있고, 가상 물체(14)의 디스플레이 위치에 대응하는 헤드 장착 또는 신체 장착 카메라에 대한 거리 및 배향을 포함하는 디스플레이-관련 파라미터들을 계산할 수 있다. 사용자가 지정된 앵커 표면에 앵커되는 가상 물체(14)를 디스플레이하는 것으로 선택하는 경우, 헤드 장착 디바이스(10)에 커플링되거나 그 안에 있는 프로세서는, 가상 물체가 디스플레이를 통해 관측되는 경우 제 1 앵커 표면(16) 상에 있는 것으로 보이도록 디스플레이 상에(또는 투사기를 통해) 가상 물체(14)를 렌더링할 수 있다. 가상 물체(14)는, 예를 들어, 텍스트, 그래픽스, 이미지들 및 3D 형상들을 포함하는 임의의 가상 물체(14)일 수 있다. 이러한 방식으로 제시되는 경우, 배경 환경 내의 지정된 위치들에/그 위에 위치되는 가상 물체들의 투사는 가상 현실의 경험을 생성할 수 있고, 가상 물체와 사용자 상호작용들을 가능하게 할 수 있다. 다양한 실시예들은 가상 물체들 및 디지털 자산들(문서들, 사진들, 비디오들 등)과 자연스러운 상호작용들을 가능하게 한다. 가상 물체들 및 디지털 자산들과의 이러한 자연스러운 상호작용들은 제스쳐 제어들, 터치 조작들, 가상 물체의 터치된 부분들의 강조 등을 포함할 수 있다. 인식가능한 제스쳐들은, 헤드 장착 디바이스들에 의해 액세스가능한 제스쳐 딕셔너리의 형태로 저장 또는 구성될 수 있다. 이러한 제스쳐 딕셔너리는, 찌르기(poke), 쓰다듬기(pat), 태핑(tap), 푸쉬(push), 가이딩, 튕기기(flick), 돌리기(turning), 회전, 잡기 및 당기기, 이미지들을 패닝(panning)하기 위해 두 손의 손바닥을 여는 것, 드로잉(예를 들어, 손가락 페인팅), 손가락들로 형상들을 형성하는 것(예를 들어, "OK" 사인), 및 스와핑을 포함할 수 있는, 제스쳐들을 인식하기 위한 이동 데이터 또는 패턴들을 저장할 수 있고, 이들 모두는, 생성된 디스플레이의 가상 물체의 (사용과 관련된) 명백한 위치에서, 그에 매우 근접하여, 또는 그 방향에 어드레스 시에 달성될 수 있다. 이 방식으로, 다양한 실시예들은, 가상 물체들과 자연스러운 상호작용들을 가능하게 하고, 이것은 제스쳐 제어들 또는 다른 적절한 제어 입력 방법들을 포함할 수 있다.
다양한 실시예들은 상이한 타입들의 헤드 장착 디스플레이들을 이용하여 구현될 수 있다. 몇몇 헤드 장착 디스플레이들은, 디스플레이 너머의 신을 사용자가 관측하게 하는 반투명일 수 있고, 투사된 이미지들은 배경 신 상에 중첩되는 것으로 보인다. 다른 구현들에서, 헤드 장착 디스플레이는 사용자의 방 관측을 완전하게 차단한다. 이 실시예에서, 헤드 장착 디스플레이는 가상 또는 증강 현실 경험을 제공한다. 방의 물체들을 보기 위해, 사용자에 의해 착용된 카메라 또는 카메라들에 의해 획득된 이미지들은 헤드 장착 디스플레이 상에 방의 뷰(view)를 투사하는데 이용될 수 있다. 이 실시예에서, 가상 물체들은 헤드 장착 디스플레이 상에 투사되는 이미지들에 추가될 수 있어서, 카메라들에 의해 획득된 실제 이미지들만큼 실제인 것처럼 보인다.
헤드 장착 디스플레이가 불투명(즉, 완전히 가려짐)인 실시예들에서, 헤드 장착 디바이스(10)는, 가상 물체들이 선택된 앵커 표면(16)에 앵커된 것으로 보이도록, 디스플레이에 포함된 14에서 가상 물체들을 갖는 신의 이미지들을 사용자의 정면에 디스플레이할 수 있다. 이 실시예에서, 이미징 센서들 및 헤드 장착 디바이스는 사용자의 정면에서 신의 이미지를 불투명 디스플레이 상에 투사한다. 사용자가 그 신을 내비게이션하기 위해, 사용자는 헤드 장착 디스플레이 상의 헤드 장착 카메라들로부터 획득된 이미지들을 관측한다. 이것은, 특히 사용자가 제어 제스쳐의 일부로서 자신의 손들을 이동시키고 있는 경우, 사용자의 손들의 디스플레이 이미지들로 렌더링하는 것을 포함할 수 있다. 가상 물체(14)가 특정한 표면에 앵커되면, 사용자가 앵커 표면을 외면하는 동안 가상 물체는 디스플레이에 나타나지 않을 것이다. 헤드 장착 디스플레이는, 신체 장착 카메라들로부터 획득된 이미지들을 포함하는, 헤드 장착 디바이스에 의해 생성된 이미지들을 제시하기 때문에, 시스템은, 가상 물체들이 배경의 정면에서 보이도록 신의 부분들을 디스플레이할 수 있다. 따라서, 이 구현에서, 가상 이미지가 사용자의 손 정면에서 헤드 장착 디스플레이 상에 제시되면, 사용자의 손은 사용자에게 가시적이 아닐 것이다. 결과적으로, 가상 물체는 견고(solid)하고 불투명한 것으로 보일 수 있다. 이 실시예는, 동일한 디스플레이 상에 제시되는 가상 물체들과 결합된, 사용자-착용 카메라들에 의해 획득된 실제 이미지들을 디스플레이하는 것을 포함하는 가상 또는 증강 현실 경험을 제공한다.
헤드 장착 디스플레이가 반투명인(즉, 사용자가 디스플레이를 통해 배경 신을 볼 수 있는) 실시예들에서, 헤드 장착 디바이스(10)는, 디스플레이를 통해 사용자가 보는 제 1 앵커 표면(16)에 가상 물체가 앵커된 것으로 보이도록, 생성된 가상 물체를 디스플레이할 수 있다. 이 방식으로, 사용자는, 데스크, 테이블 및 벽들과 같은 실세계 물체들이 헤드 장착 디스플레이(또한 가시적 신 내에 가상 물체들을 배치함)를 통해 부분적으로 가시적이 되는 부분적으로 투명한 헤드 장착 디스플레이로 신을 관측할 수 있다. 가시적 가상 물체들(14)은 실세계 물체들(16)에 앵커 또는 연결될 수 있다. 이 실시예는, 디스플레이가 시-스루이거나 비디오 시-스루이어서, 사용자가, 실제 위치들에 또는 실제 표면들 상에 고정된 것으로 보이는 가상 물체들과 함께 디스플레이를 통해 실세계를 보도록 허용하는 증강 가상 현실을 제공한다.
예를 들어, 가상 물체(14)는 평탄한 스크린 텔레비젼과 유사할 수 있고, 도 1에 도시된 바와 같이 실세계 물체 또는 실세계 벽(16)에 연결 또는 "앵커"될 수 있다. 사용자가 자신의 헤드를 이동시킴에 따라, 가상 물체(14)는 사용자의 시계(field of view)로 디스플레이(10) 상에서 정상적으로 이동할 것이다. 그러나, 이 실시예에서, 가상 물체(14)는, 사용자가 자신의 헤드를 돌리면 실세계 평판 디스플레이가 표면 상에 남아있을 방법과 유사하게, 앵커 표면(16) 상에 남아있는 것으로 보인다.
일 실시예에서, 사용자들은 사용자가 제 1 앵커 표면을 선택한 방법과 유사한 방식으로 앵커 표면(16)을 이동시킬 수 있다. 사용자는, 상이한 앵커 표면이 바람직할 특정한 작업에 대해 이를 발견할 수 있다. 헤드 장착 디바이스(10)는, 제 1 앵커 표면(16)과 상이한, 이미지 내의 새로운 또는 제 2 앵커 표면(16)을 표시하는 제 2 입력(입력 디바이스로부터의 제스쳐, 오디오 등)을 수신할 수 있다. 제 2 앵커 표면(16)은 이미지에 위치된 제 2의 상이한 표면에 대응할 수 있다. 추가로, 제 1 및 제 2 앵커 표면들은 인접하지 않을 수 있고, 제 2/대안적 표면이 설계되는 경우, 제 1 표면은 헤드 장착 디바이스 카메라들의 시야에 있지 않을 수 있다. 예를 들어, 하나의 표면은 도 2에 도시된 바와 같이 테스크탑(16)일 수 있는 한편, 다른 표면은 도 1에 도시된 바와 같이 수평 벽(16) 또는 천장일 수 있다. 예를 들어, 제 1 사용자는 개인적 용도를 위해 제 1 앵커 표면(16)을 선택할 수 있고, 그 다음, 상이한 지리적 위치에서 제 2 사용자를 위해 제 2 앵커 표면(16)을 선택할 수 있다. 일 실시예에서, 사용자 입력들은, 음성 음력들, 접촉식 입력 디바이스(키보드 또는 마우스)를 이용하여 제공되는 입력들, 검출된 제스쳐들일 수 있거나, 상이한 사용자들에 의해 제공될 수 있다. 헤드 장착 디바이스(10) 내의 또는 그에 커플링되는 프로세서는, 제 2 앵커 표면(16)에 대응하는, 헤드 장착 또는 신체 장착 카메라에 대한 거리 및 배향을 포함하는 파라미터들을 계산할 수 있다. 그 다음, 헤드 장착 디바이스(10) 내의 또는 그에 커플링되는 프로세서는, 가상 물체가 그 선택된 제 2 앵커 표면(16)에 앵커된 것으로 사용자에게 보이도록, 생성된 가상 물체(14)를 디스플레이할 수 있다. 다른 실시예에서, 헤드 장착 디바이스(10) 대신에 또는 그에 부가하여, 선택된 앵커 표면(16) 상에 가상 물체(14)를 투사하기 위해 피코 투사기가 이용될 수 있다. 피코 투사기는 별개의 모듈식 디바이스일 수 있고, 그리고 또는 헤드 장착 디바이스(10) 내에 포함될 수 있다.
도 1은 헤드 장착 디바이스(10)를 이용하는 사용자를 도시한다. 헤드 장착 디바이스(10)는, 사용자가 벽(12)과 같은 인근의 표면들을 가상의 "평판 스크린"(16)으로 지정하게 할 수 있다. 사용자는 입력 커맨드를 이용하여 인근의 표면(16)을 식별할 수 있다. 다수의 사용자들이 공통 네트워크 또는 데이터베이스에 접속된 헤드 장착 디바이스들(10)을 구비한 경우, 이들 사용자들 중 일부 또는 전부는 동일한 가상 물체(14)를 동시에 볼 수 있고, 이것은, 가상 물체가 실세계 물체인 것처럼 가상 물체에 관한 협력 및 그룹 논의들을 가능하게 한다.
사용자가 자신의 헤드를 돌리거나 그 선택된 앵커 표면(16)에 대해 이동할 때 가상 물체(14)가 앵커 표면(16)에 앵커된 것으로 보이도록, 헤드 장착 디바이스(10) 상의 디스플레이를 구동시키는 프로세서는, 생성된 가상 물체(14)의 디스플레이된 이미지를 계속 업데이트할 수 있다. 따라서, 사용자가 방 주위를 이동하거나 걸을 때, 가상 물체(14)는 물리적 표면(16) 상에 고정된 것으로 유지되는 것으로 보일 수 있다. 이러한 인상을 유지하는 것의 일부로서, 프로세서는, 가상 물체의 형상, 크기 및 배향이 앵커 표면의 사용자의 시점에 매칭하도록, 가상 물체(14)의 외견을 변형할 수 있다. 가상 물체들의 형상, 크기 및 배향을 조정하는 것은 방대한 가상 또는 증강 현실 경험을 제공하는 것을 도울 수 있다. 사용자가 가상 물체(14)를 다른 앵커 표면으로 이동시키기 위한 미리 정의된 특정한 입력을 입력하지 않으면, 가상 물체(14)는 정적으로 유지되고, 외견상 앵커 표면에 고정될 수 있다. 이것은, 사용자들의 그룹 사이에서의 협력에 유리할 수 있는데, 이것은, 각각의 사용자의 위치 및 시점과 무관하게 가상 물체(14)가 협력적인 대화 주제일 수 있기 때문이다. 예를 들어, 제 1 사용자는 앵커 표면 상에서 미디어를 읽을 수 있거나 제 2 사용자에 의해 제공된 프리젠테이션을 시청할 수 있다. 이것은, 제 1 사용자가 방해 없이 앵커 표면(16)을 방 안의 다른 표면 또는 물체로 변경할 수 있는 것을 제외하고는, 가상 물체(14)가 평판 스크린과 유사한 실세계 또는 물리적 물체인 외견을 제 1 사용자에게 제공할 것이다.
비제한적 예에서, 가상 물체(14)는 협력에 의도되는 소프트웨어 애플리케이션의 디스플레이 출력일 수 있다. 예를 들어, 가상 물체(14)는 텍스트, 미디어, 텔레비젼 채널들, 영화들, 문서 워드 프로세싱 애플리케이션들, 이메일, 비디오, 전화 호출들, 소셜 네트워크 포스팅들, RSS 피드(feed)들 등을 포함할 수 있다. 이러한 물체들은, 임의의 표면이 디스플레이로서 기능할 수 있는 것을 제외하고는, 물체들이 종래의 평판 디스플레이 상에 나타날 수 있는 방법과 유사하게, 앵커 표면에 또는 앵커 표면 상에 고정된 것으로 보이도록 디스플레이 상에 제시될 수 있다. 추가적으로, 선택된 표면에 앵커되는 가상 물체의 크기는, 디스플레이된 물체가 더 커지거나 더 작아지도록 사용자에 의해 제어될 수 있다. 다른 실시예에서, 가상 물체(14)는 비평면 및 비직사각형 표면들 상에 렌더링되거나 구형 또는 외견상 3차원 형상으로 렌더링되는 것과 같이 상이한 외견을 가질 수 있다. 헤드 장착 디스플레이 상의 가상 물체(14)의 프리젠테이션은 물체가 물리적 환경의 일부인 것처럼 사용자들이 그 물체를 관측하고 그 물체와 상호작용하는 것을 허용한다. 일 실시예에서, 가상 물체(14)는 각각의 사용자에게 상이하게 보일 수 있다.
일 실시예에서, 가상 물체(14)는, 물리적 표면(16)에 앵커되지 않는 3차원 모델일 수 있다. 이 실시예에서, 가상 물체(14)는, 공간에서 플로우팅하는 것처럼 보이는 3차원 모델일 수 있다. 이 실시예에서, 사용자는, 벽들, 바닥들, 가구 등에 상대적일 수 있는 자유 공간에서 선택된 3차원 위치에 앵커되는 가상 물체(14)를 갖는, 자유 공간에 디스플레이된 가상 물체(14)를 관측할 수 있다. 이 실시예에서, 가상 물체(14)가 공간의 특정한 위치에 앵커되는 경우, 사용자가 자신의 헤드를 이동시키고 앵커 위치 주위 및 그에 따른 가상 물체 주위를 이동할 때 물체는 이동하는 것으로 보이지 않을 것이다. 예를 들어, 가상 물체(14)는, 미리 결정된 3-D 좌표에서 자유 공간에 앵커된 것으로 보이도록 부분적으로 투명한 디스플레이 상에 제시될 수 있다. 이 실시예에서, 디스플레이는, 시스템이 가상 물체(14)를 자유 플로우팅하는 것으로 디스플레이해야 하는 위치 또는 좌표들을 사용자가 입력하도록 프롬프트를 디스플레이할 수 있다. 프로세서는 검출된 제스쳐(예를 들어, 공간의 포인트에 대한 손가락 포인팅)를 통해 입력 커맨드를 인식할 수 있거나, 자유 공간에서 자유 플로우팅하는 것으로 가상 물체(14)를 배치하는 오디오 커맨드를 인식할 수 있다. 프로세서는, 표시된 공간적 포인트에 앵커되는 가상 물체(14)를 디스플레이할 수 있거나, 가상 물체(14)가 공간에서 플로우팅의 환영을 갖도록 헤드 장착 디스플레이의 위치에 가상 물체(14)를 연결할 수 있다. 사용자가 자유 공간에서 가상 물체(14)에 상대적으로 이동할 때, 가상 물체(14)의 시점, 크기 및 배향은 또한 그에 따라 변할 수 있다. 예를 들어, 가상 물체(14)는, 벽에 인접하거나 지상 위에서 플로우팅하는 외부 및 창문 외부에 위치된 빈 공간에 앵커될 수 있다. 이 방식으로, 사용자들은, 방에서 자유 플로우팅하는 가상 물체(14) 주위를 걸어다님으로써 가상 물체(14)의 모든 측면들을 조사할 수 있다.
다양한 구현들에서, 선택된 앵커 표면 또는 공간의 포인트 상에 가상 물체(14)를 앵커하기 위한 입력은 다수의 상이한 방법들로 제공될 수 있다. 예를 들어, 헤드 장착 디바이스(10)와 연관된 카메라 또는 헤드 장착 디바이스(10)에 동작가능가능하게 접속된 제 2 카메라는 또한 사용자의 이동들을 추적할 수 있다. 프로세서는 이미지들을 수신할 수 있고, 사용자에 의해 행해진 미리 결정된 제스쳐를 검출하기 위해 그 추적된 이동들에 검출 알고리즘을 적용할 수 있다. 예를 들어, 사용자는 표면에 대해 포인팅할 수 있고, 시스템은 이것을 프로세서에 대한 특정한 입력으로서 해석할 수 있다.
예를 들어, 사용자는, 방의 특정한 실세계 표면이 앵커 표면으로 의도되는 것을 제스쳐로 표시할 수 있다. 프로세서는, 미리 결정된 제스쳐가 검출되는 경우 미리 결정된 제스쳐에 대응하는 커맨드를 실행할 수 있다. 예를 들어, 프로세서는, 사용자가 특정한 표면을 포인팅하고 있는 것을 검출할 수 있다. 프로세서는 표면을 검출할 수 있고, 사용자의 시선에 대한 표면의 각도를 결정할 수 있고, 표면의 결정된 각도와 일치하는 배향 및 시점으로 사용자가 포인팅한 특정한 표면 상에 가상 물체(14)를 앵커할 수 있다.
예를 들어, 사용자는 데스크탑 표면에 대해 포인팅할 수 있다. 프로세서는, 사용자의 이동들을 추적하고 있을 수 있고, 추적된 이미지들에 대해 검출 알고리즘을 적용할 수 있다. 사용자가 팔을 펴서 검지로 포인팅하고 나머지 손가락들로 주먹을 쥐고 있는 것을 시스템이 이미징하는 경우, 프로세서는, 이러한 이미지를 사용자 제스쳐로 인식할 수 있고, 사용자가 포인팅하고 있는 데스크탑 상에 가상 물체(14)를 앵커하기 위한 대응하는 커맨드를 적용할 수 있다. 예를 들어, 사용자의 손가락 끝이 표면을 앵커 표면으로 인식하도록 표면에 접촉하면, 헤드 장착 디바이스는 가상 물체(14)를 그 표면에 앵커되는 것으로 디스플레이할 수 있다.
다른 예에서, 사용자는 가상 물체(14)를 상이한 앵커 표면(16) 상에 "배치"하기 위해 가상 물체(14)를 이동시키기를 원할 수 있다. 이를 달성하기 위해, 사용자는, 헤드 장착 디바이스(10)에 커플링된 프로세서가 인식할 수 있는 제 2의 미리 결정된 제스쳐를 제공 또는 실행할 수 있다. 제 2의 미리 결정된 제스쳐는, 캡쳐된 이미지 내의 표면을 앵커 표면(16)으로 지정하는 일반적 커맨드와 같이, 제 1 앵커 표면을 지정하는데 이용된 제스쳐와 동일할 수 있거나, 상이한 제스쳐일 수 있다. 많은 상이한 제스쳐들이 행해질 수 있고, 본 개시의 범위 내에 있다. 예를 들어, 검출된 미리 결정된 제스쳐는, "OK" 사인, 주먹, 오픈 핸드, 한 손가락으로 포인팅하는 것, 두 손가락들로 포인팅하는 것, 셋 또는 네 손가락들로 포인팅하는 것, 손을 뻗는 것, 손을 회전시키는 것, 웨이브, 하나 또는 그 초과의 손가락들의 이동, 신체 일부의 이동(예를 들어, 발의 이동) 또는 다른 임의의 이동들일 수 있다.
또한, 앵커 표면(16) 및 다른 입력들 또는 커맨드들의 지정은, 헤드 장착 디바이스(10) 상에 있거나 그에 커플링되는, 또는 헤드 장착 디바이스에 차례로 커플링된 프로세서에 커플링되는 마이크로폰에 의해 수신되는 입력으로 구두로(verbally) 제공될 수 있다. 헤드 장착 디바이스 내의 또는 그에 커플링되는 프로세서는 마이크로폰으로부터 오디오 신호들을 수신할 수 있고, 이러한 신호들을 스피치 인식 프로세스들을 이용하여 프로세싱할 수 있다. 프로세서는, 말해진 커맨드를 인식하기 위해, 수신된 오디오 신호들을 메모리에 저장된 하나 또는 그 초과의 커맨드들의 오디오 패턴들에 비교할 수 있다. 예를 들어, 프로세서는 몇몇 미리 결정된 커맨드 워드들에 대한 오디오 입력들을 모니터링할 수 있다. 이러한 방식으로, 사용자는 커맨드 키워드를 말하지 않고, 가상 물체들을 논의하기 위한 것과 같이, 동료들 및 다른 네트워킹된 사용자들과 말할 수 있다. 프로세서는, 수신된 오디오가 오직 특정한 미리 정의된 오디오 커맨드들 또는 미리 정의된 주의 커맨드(예를 들어, "컴퓨터" 또는 "실행" 등)에 의해 진행되는 커맨드들에 오직 응답하도록, 수신된 오디오에 검출 알고리즘을 적용할 수 있다. 예를 들어, 사용자는 "데스크 상에 이미지를 앵커하라"고 말하여, 프로세서로 하여금, 헤드 장착 디바이스 카메라의 시계 내의 데스크에 가상 물체를 앵커하게 할 수 있다. 헤드 장착 디바이스(10) 내의 또는 그에 커플링된 프로세서는, 이 말해진 워드들을 커맨드 입력으로 인식하고, 대응하는 동작들을 구현하여, 데스크 또는 앵커 표면(16) "상에" 가상 물체(14)를 앵커할 수 있다.
다른 구현에서, 프로세서는 커맨드 입력들을 검출하도록 프로그래밍될 수 있지만, 그 다음, 임의의 커맨드를 구현하기 전에 확인을 대기할 수 있다. 이 확인은, 물체에 관한 그룹 협력 동안 의도하지 않은 제스쳐에 의해 또는 부주의한 오디오 커맨드에 의해 가상 물체(14)를 부주의하게 이동시키는 것을 회피하는 이점이 있을 수 있다. 이 실시예에서, 가상 물체(14)는, 확인 또는 확인하는 커맨드가 수신되지 않으면, 커맨드에 응답하여 표면에 배치, 이동 또는 앵커되지 않을 것이다. 예를 들어, 프로세서는 제스쳐 커맨드들을 식별하기 위해 카메라로부터의 이미지들을 프로세싱할 수 있고 그리고/또는 단일 워드 또는 문장과 같은 말해진 커맨드들을 식별하기 위해 마이크로폰으로부터 수신된 오디오 신호들을 프로세싱할 수 있다. 제스쳐 또는 말해진 커맨드가 인식되는 경우, 프로세서는 사용자가 커맨드를 확인할 것을 프롬프트할 수 있고, 확인 입력을 대기할 수 있고, 확인 입력은, 버튼을 누르는 것, 말해진 워드, 물리적 제스쳐 또는 이들의 조합들의 형태일 수 있다. 프로세서가 적절한 확인 또는 확인하는 커맨드를 인식하는 경우, 프로세서는, 먼저 인식된 제스쳐 또는 가청 커맨드와 연관된 커맨드를 실행할 수 있다. 확인 커맨드가 수신되지 않으면, 프로세서는 검출된 제스쳐 또는 가청 커맨드를 무시할 수 있다.
다른 실시예에서, 카메라를 갖는 스마트폰과 같은 모바일 컴퓨팅 디바이스는, 헤드 장착 디스플레이를 착용하지 않은 사용자들에 대해 '매직 렌즈'로서 동작할 수 있다. 이 실시예에서, 무선 데이터 링크를 통해 시스템에 접속된 컴퓨팅 디바이스를 갖는 사용자는 디바이스의 디스플레이 상의 가상 물체들을 관측할 수 있다. 이것은, 이 사용자들이 헤드 장착 디바이스없이, 가상 물체가 헤드 장착 디스플레이 상에서 보이는 방식과 유사한 방식으로 앵커 표면과 같은 이미지의 가상 물체들 및 구조들을 관측하는 것을 허용한다. 예를 들어, 제 1 사용자는, 제 2 사용자의 스마트폰 또는 PDA 디스플레이에 이미지 데이터를 통신하는 헤드 장착 디스플레이 상에서 벽에 연결된 가상 물체(14)를 관측할 수 있어서, 제 2 사용자는 가상 물체(14)가 벽 또는 다른 표면 상에 앵커된 것으로 보이는 것처럼 가상 물체(14)를 관측할 수 있다. 다른 실시예에서, 모듈식 피코 투사기들이 모바일 디바이스에 링크될 수 있고, 가상 물체들의 이미지들을 투사하는데 이용될 수 있다.
다양한 실시예들에서, 헤드 장착 디바이스들(10)은, 둘 또는 그 초과의 디바이스들 사이에서 데이터의 교환을 가능하게 하여, 둘 또는 그 초과의 사용자들이 문서들, 파일들 및 가상 물체들과 상호작용하고 그에 대해 협력하는 것을 가능하게 하는 무선 통신 능력들을 포함한다. 이 방식에서, 헤드 장착 디바이스들(10)은, 사용자들이 다양한 시점들로부터 3차원 가상 물체들과 상호작용하고 이를 관측하게 하는 가상 또는 증강 현실 경험을 제공하는 것과 같이, 가상 물체들에 대한 다수의 사용자들에 의한 협력을 용이하게 할 수 있다. 이러한 협력 경험을 가능하게 하기 위해, 헤드 장착 디바이스들(10)은 그들 각각의 디스플레이들 상에 렌더링하기 위해 각각의 다른 3차원 가상 물체 모델들 및/또는 데이터 세트들을 송신할 수 있다. 헤드 장착 디바이스들(10)은 또한, 좌표 맵들 및 3차원 가상 물체 모델들 및/또는 데이터 세트들과 같은 데이터 파일들을, 네트워크 서버들과 같은 다른 컴퓨팅 디바이스들로부터 수신할 수 있다. 또한, 협력과 관련된 헤드 장착 디바이스들 중 하나 또는 그 초과에 의해 생성된 이미지 데이터는 비참가자들에 의해 이용되는 스마트폰들 또는 태블릿 컴퓨터들과 같은 다른 모바일 디바이스들 또는 헤드 장착 디바이스들에 송신되고 그 위에 디스플레이될 수 있어서, 다른 사람들이 가상 또는 증강 현실 경험에서의 협력을 관측하게 한다. 스마트폰 또는 태블릿과 같은 다른 모바일 디바이스를 이용하거나 헤드 장착 디바이스들을 착용하여 협력 세션들을 관측하는 다른 사람들은, 가상 물체들 및 가상 물체들과의 사용자 상호작용을 볼 수 있을 뿐만 아니라, 헤드 장착 디바이스 사용자들 중 하나에 의해 보여지는 가상 증강들과의 제한된 상호작용 능력들을 가질 수 있다. 이 제한된 상호작용은, 증강을 터치하여 효과를 유발시키는 것, 물리적 표면 상에 상호작용 영역 또는 앵커 포인트를 정의하는 것 (공유된 경험에 새로운 증강을 유효하게 추가하는 것), 및 제스쳐 및/또는 오디오 입력들을 통해 공유된 혼합된 현실 신과 상호작용하는 것을 포함할 수 있다. 가상 경험에서의 이러한 임의의 변경들은 다른 사용자들이 착용한 헤드 장착 디바이스들에서 반영될 수 있다.
도 2는, 데스크 테이블 상단(16)과 같은 표면에 앵커되는 가상 물체들을 관측하기 위해 제 1 및 제 2 헤드 장착 디바이스들(10a, 10b)을 이용하는 2명의 사용자들을 도시한다. 도시된 예에서, 앵커 표면(16)은, 제 1 헤드 장착 디바이스(10a)에 의해 디스플레이되는 이미지 내에 위치되는 데스크탑 표면(16)에 대응한다. 헤드 장착 디바이스(10a)는, 이 도면에서 가상 스크린으로서 도시된 가상 물체(14a)를 생성할 수 있고, 가상 물체(14a)가 데스크탑 표면(16)에 연결된 것처럼 가상 물체(14a)를 디스플레이할 수 있다. 제 1 사용자가 좌측, 우측 또는 뒤를 보면, 가상 물체(14a)는 헤드 장착 디바이스(10a)의 시계 내에서 이동하지 않을 것이고, 그 대신, 제자리에 앵커된 데스크탑 표면(16) 상에 디스플레이되어 유지될 것이다. 예를 들어, 제 1 사용자가 앵커 표면(16)을 외면하면, 가상 물체(14a)는 더 이상 헤드 장착 디바이스 스크린 내에 나타나지 않을 것이다. 또한, 가상 물체(14a)는, 앵커 표면(16)이 평판 디스플레이인 것처럼 보일 배향, 형상 및 크기로 제 1 사용자에게 제시될 수 있다. 따라서, 가상 물체(14a)는, 사용자의 시점으로부터 앵커 표면 상에 물체의 형상을 투사하는 것으로부터 기인하는 형상 및 크기로 디스플레이될 수 있다. 이를 달성하기 위해, 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 앵커 표면에 또는 그 위에 가상 물체 이미지를 생성하기 위해 헤드 장착 또는 신체 장착 카메라(10a) 및 거리 센서들에 대한 거리 및 배향을 포함하는 형상 파라미터들을 계산할 수 있다. 이러한 계산들은, 헤드 장착 디스플레이에 제시되는 이미지를 산출하기 위해 주지의 벡터 투사 알고리즘들을 구현할 수 있다. 통상적인 경험(예를 들어, 통상적인 유클리드(Euclidean) 기하하적 투사들)과 일치하는 이미지의 벡터 프로세싱을 적용하고, 결과적 가상 물체(14b)를, 사용자가 디스플레이 너머의 물체들을 또한 볼 수 있게 하는 반투명 디스플레이 상에 제시함으로써, 이 결과는 사용자의 감각들을 속여(fooling) 가상 물체들이 실제 물체들로서 동작하는 것으로 보이게 한다.
협력적 목적들을 위해, 제 2 사용자는 제 2 헤드 장착 디바이스(10b)를 착용하여, 동일한 물리적 공간 내에서 동일한 가상 물체를 관측할 수 있다. 제 2 헤드 장착 디바이스(10b) 내의 또는 그에 커플링되는 프로세서는 사용자-선택 앵커 표면(16) 상에 가상 물체를 렌더링할 수 있다. 제 2 헤드 장착 디바이스(10b)는, 제 1 헤드 장착 디바이스(10a)에 대해 지정된 것과 동일한 앵커 표면 또는 위치 상에 가상 물체(14b)를 디스플레이할 수 있다. 제 2 사용자는 또한, 제 2 헤드 장착 디바이스(10b)를 통해 보여지는 바와 같이 가상 물체(14b)를 렌더링하기 위해 상이한 위치 또는 앵커 표면을 지정할 수 있다. 제 2 헤드 장착 디바이스(10b)가 제 2 사용자의 시점으로부터 앵커 표면 상에 가상 물체(14b)를 적절하게 렌더링하게 하기 위해, 제 1 헤드 장착 디바이스로부터 제 2 헤드 장착 디바이스에 송신되는 데이터는 형상 또는 물체 데이터를 포함할 수 있다. 이 데이터는, 제 2 헤드 장착 디바이스 프로세서가 가상 물체의 디스플레이된 이미지를 제 2 사용자의 시점에 대응하여 렌더링하게 할 수 있다. 가상 물체 데이터는, 기하학적 모델, 좌표들 및 필(fill) 데이터의 형태, 또는 제 2 헤드 장착 디바이스(10b) 내의 프로세서에서 구현되는 3차원 물체 렌더링 모듈에서 이용될 수 있는 유사한 렌더링 데이터의 형태일 수 있다.
몇몇 구현들 또는 상황들에서, 제 2 헤드 장착 디바이스(10b)는 앵커 표면(16)에 앵커된 가상 물체를 나타내는 이미지 데이터를 제 1 헤드 장착 디바이스(10a)로부터 수신할 수 있다. 이러한 경우들에서, 제 2 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 무선 데이터 링크를 통해 제 1 헤드 장착 디바이스(10a)에 의해 생성된 비디오 데이터를 수신할 수 있고, 수신된 비디오 데이터를 출력 비디오 이미지들로서 단순히 디스플레이할 수 있다. 이 애플리케이션에서, 제 2 사용자는, 제 1 사용자의 시점으로부터 제 2 헤드 장착 디스플레이 상에서 신 및 앵커된 가상 물체(14a)를 관측한다. 따라서, 이 구현에서, 제 2 사용자는 영화 또는 TV 비디오와 같은 제 1 사용자의 관측 경험을 경험할 수 있다. 이 제 1 사용자 시점은, 예를 들어, 제 1 사용자가 트레이닝을 위해 어떤 것을 행하는 방법을 제 2 사용자에게 보여주고 있는 경우 또는 제 2 사용자가 제 1 사용자의 활동들을 감독하고 있는 경우와 같이, 몇몇 상황들에서 매우 유용할 수 있다. 이 상황에서, 데이터 링크를 통해 전송되는 데이터는 단순한 비디오 및 오디오 스트림일 수 있고, 제 2 헤드 장착 디바이스는, 가상 물체들의 추가적인 프로세싱 또는 렌더링에 의해 수신된 이미지를 헤드 장착 디스플레이 상에 단순히 투사할 수 있다. 아래에서 설명되는 바와 같이, 제 1 헤드 장착 디바이스로부터의 비디오 및 이미지 데이터는 또한, 스마트폰들, 태블릿 컴퓨터들, 랩탑 컴퓨터들 또는 대형 비디오 디스플레이들과 같은 다른 컴퓨팅 디바이스들에 (예를 들어, 네트워크, 서버 또는 피어-투-피어 무선 데이터 링크를 통해) 송신될 수 있어서, 다른 사람들이 제 1 사용자의 가상/증강 현실 경험에서 관측하고 공유하게 할 수 있다.
제 2 헤드 장착 디바이스(10b)는 데스크탑 표면(16) 상에 가상 물체(14b)를 디스플레이할 수 있다. 대안적으로, 제 2 사용자는, 가상 물체(14)가 디스플레이되어야 하는 다른 앵커 표면을 지정할 수 있다. 가상 물체(14a)가 제 1 앵커 표면(16) 상에 디스플레이되는 경우, 제 2 헤드 장착 디바이스(10b)는, 그 물체가 제 2 사용자의 시점에서 적절하게 보이도록 물체의 크기 및 형상을 변형할 수 있다. 예를 들어, 2명의 사용자들이 테이블 또는 데스크의 각각의 사이드에서 동일한 물체를 관측하고 있으면, 물체는 마치 실제 물체인 것처럼 사용자들 중 하나에게는 거꾸로 보일 수 있다. 대안적으로, 두 사용자들 모두 물체를 똑바로 관측하도록, 두 사용자들 모두 동일한 방식으로 동일한 물체를 관측할 수 있다.
예를 들어, 제 2 사용자(10b)가 데스크탑 앵커 표면(16)에 더 가까이 이동하면, 가상 물체(14b)는 더 커질 수 있다. 제 2 사용자(10b)가 데스크탑 앵커 표면(16)으로부터 멀리 이동하면, 가상 물체(14b)는 더 작아질 수 있다. 추가로, 제 2 사용자(10b)가 수평에 대해 디스플레이를 회전시키면, 가상 물체(14b)는 유사하게 그 회전을 보상하여, 데스크탑 앵커 표면(16)에 앵커된 것으로 보일 수 있다. 추가적인 예로, 사용자는, 가상 물체 옆을 스치는 것처럼 팔을 쓰는 것, 가상 물체 주위에 손가락들을 가까이 가져가는 것, 가상 물체(14b)를 때리는 것과 같이, 가상 물체(14b)를 디스플레이에 가까이 가져가거나 디스플레이로부터 제거하기 위해, 물체(14b)와 상호작용하는 것으로 보이는 방식으로 자신의 팔 및 손을 이동시킬 수 있다. 추가적인 예로, 제 2 사용자(10b)는, 가상 물체(14b)를 당기거나 밀려고 시도하는 제스쳐들을 실행할 수 있고, 이 당기거나 미는 것은 입력 커맨드로서 해석될 수 있다. 앞서 언급된 바와 같이, 인식가능한 제스쳐들은, 찌르기, 쓰다듬기, 태핑, 푸쉬, 가이딩, 튕기기, 돌리기, 회전, 잡기 및 당기기, 이미지들을 패닝하기 위해 두 손의 손바닥을 여는 것, 드로잉(예를 들어, 손가락 페인팅), 손가락들로 형상들을 형성하는 것(예를 들어, "OK" 사인), 및 스와핑을 포함할 수 있는, 제스쳐들을 인식하기 위한 이동 데이터 또는 패턴들을 저장할 수 있는 제스쳐 딕셔너리에 저장될 수 있고, 이들 모두는, 생성된 디스플레이의 가상 물체의 명백한 위치 상에서 또는 그에 매우 근접하여 달성될 수 있다. 이 방식으로, 사용자들은, 실세계 물체에 적합할 제스쳐들을 이용하여 표면(16)에 앵커되는 가상 물체(14b)와 상호작용할 수 있어서, 가상 물체들과의 상호작용들을 학습하기 쉽고 직관적이 되게 할 수 있다.
아래에서 더 상세히 설명되는 실시예에서, 헤드 장착 디스플레이들은, 이미지들이 표면 상에 투사되도록 투사기들로 대체될 수 있다. 이러한 실시예에서, 사용자들의 동작들 및 경험은 앞서 논의된 바와 같이 헤드 장착 디스플레이들을 이용하는 것과 유사할 수 있다. 또한, 새로운 이미지 프리젠테이션 기술들이 개발됨에 따라, 이러한 기술들은, 실세계 앵커 표면들과 함께 가상 물체들을 렌더링하는 다양한 실시예들로 구현될 수 있고, 사용자들의 시점으로부터 사용자에 의해 관측될 수 있다.
도 3은, 2명의 사용자들이 서로 마주하고 있는 경우에도, 가상 물체가 각각의 사용자에게 똑바로(즉, 거꾸로가 아님) 보이도록, 헤드 장착 디바이스들(10a, 10b)을 착용하고 있는 2명의 사용자들에게 제시되는 가상 물체(14a)를 도시한다. 가상 물체의 이러한 자체-배향은, 2명의 사용자들이 물체 데이터(예를 들어, 막대 차트)를 정확하게 관측하도록 허용한다.
앞서 언급된 바와 같이, 가상 물체(14a, 14b)의 이러한 프리젠테이션은, 헤드 장착 또는 신체 장착 카메라를 활용하여 테이블(16)의 이미지를 캡쳐하는 헤드 장착 디바이스(10a)에 의해 달성될 수 있다. 이미지는 헤드 장착 디스플레이(10a)에 디스플레이될 수 있거나, 테이블이 반투명 디스플레이를 통해 관측될 수 있다. 제 1 사용자에 대한 가상 물체(14a)는 헤드 장착 디바이스(10a) 상에 디스플레이될 수 있다. 제 1 사용자는, 제 2 가상 물체(14b)가 제 2 사용자에 대해 생성되어야 함을 표시하는 신호를 제 1 헤드 장착 디바이스(10a)를 이용하여 포뮬레이트(formulate)할 수 있다. 제 1 사용자는 또한, 캡쳐된 이미지에서 앵커 표면(16)을 표시하는 입력을 제공할 수 있다. 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 제 1 사용자에 의해 선택된 앵커 데스크탑 표면(16)에 대응하는, 헤드 장착 또는 신체 장착 카메라(10a)에 대한 거리 및 배향을 포함하는 파라미터들을 계산할 수 있다. 헤드 장착 디바이스(10a)는, 가상 물체(14a)가 앵커 표면(16)에 앵커되고 제 1 배향을 포함하도록, 생성된 가상 물체(14a)를 디스플레이한다. 그 다음, 제 1 가상 물체(14a)는 제 1 앵커 표면(16a)에 연결된 것처럼 제 1 헤드 장착 디스플레이(10a) 상에 디스플레이에 의해 디스플레이될 수 있다.
도 3에서, 제 2 헤드 장착 디바이스(10b)를 착용한 제 2 사용자는 제 1 사용자와 반대쪽에 앉아있다. 제 2 헤드 장착 디바이스(10b)는, 데스크탑이 앵커 표면(16)이 되도록 선택하는 입력을 수신할 수 있거나, 선택된 앵커 표면(16)을 식별하는 데이터를 제 1 헤드 장착 디바이스(10a)로부터 수신할 수 있다. 이 정보를 이용하여 제 2 헤드 장착 디바이스(10b)는, 제 2 사용자에게 적절한 시점으로 그리고 똑바로 보이도록 재배향된 가상 물체(14b)의 디스플레이를 생성할 수 있다. 이 디스플레이를 생성하기 위해, 제 2 헤드 장착 디바이스(10b)는, 가상 물체의 일반적 형상 및 배향에 관한 가상 물체의 컨텐츠 및 데이터와 같은, 렌더링될 가상 물체에 관한 데이터를 수신할 수 있다. 제 2 헤드 장착 디바이스(10b)는 가상 물체를 디스플레이하기 위한 위치, 배향 및 시점을 결정하기 위해, 제 1 사용자에 의해 선택된 앵커 표면(또는 제 2 사용자에 의해 선택된 다른 앵커 표면)을 이용할 수 있다. 이것은, 렌더링되는 물체의 적절한 시점을 유발하는 앵커 표면에 매칭하기 위해, 물체의 적절한 상단 및 물체의 투사 각도를 결정하는 것을 포함할 수 있다. 따라서, 도 3에 도시된 바와 같이, 제 2 사용자는 데스크탑 표면(16)에 앵커된 동일한 가상 물체(14b)를 관측하지만, 제 2 사용자의 시점에서 똑바로 관측한다.
대안적인 실시예에서, 제 1 헤드 장착 디바이스(10a) 또는 헤드 장착 디바이스 둘 모두와 통신하는 다른 컴퓨팅 디바이스는, 제 2 헤드 장착 디바이스(10b)에 대해 가상 물체(14b)의 적절한 배향 및 시점을 결정할 수 있다. 이 경우, 제 1 헤드 장착 디바이스(10a)는, 이 디바이스가 제 2 사용자 또는 제 2 헤드 장착 디바이스(10b)의 배향을 결정할 수 있게 하기에 충분한 정보를 수신할 수 있다. 예를 들어, 제 2 사용자의 이미지들은, 제 1 헤드 장착 디바이스 상의 카메라들에 의해 캡쳐되고, 제 2 사용자의 위치 및 관측 시점을 결정하기 위해 해부학적 모델들을 이용하여 프로세싱될 수 있다. 그 다음, 제 1 헤드 장착 디바이스(10a)는, 결정된 사용자 배향에 기초하여 제 2 사용자(10b)에 대해 가상 물체(14b)를 정확하게 배향하는 방식으로 가상 물체 데이터를 제 2 헤드 장착 디바이스에 송신할 수 있다.
다양한 실시예들에서, 제 2 사용자는, 가상 물체(14b)의 배향, 크기 및 형상(예를 들어, 시점)을 제어 또는 변경하기 위한 입력들을 제 2 헤드 장착 디바이스(10b)에 제공할 수 있다. 예를 들어, 검출된 제스쳐 입력 커맨드를 활용하는 제 2 사용자는 가상 물체(14b)의 코너들을 드래그(drag)하여, 가상 물체를 더 크거나 더 작게 할 수 있다. 다른 예로, 제 2 사용자는 가상 물체(10b)를 최소화할 수 있고, 새로운 애플리케이션 또는 가상 물체를 열 수 있다.
도 4에 도시된 바와 같이, 동일한 가상 물체를 관측하는 2명의 사용자들은 동일한 방에 있을 필요가 없다. 예를 들어, 제 1 위치, 예를 들어, 영국 캠브리지에서 제 1 헤드 장착 디바이스(10a)를 착용한 제 1 사용자는, 제 1 앵커 표면(16a)(예를 들어, 벽) 상에 앵커된 가상 물체(14a)(예를 들어, 프리젠테이션 또는 그래프)를 관측할 수 있고, 제 2 위치, 예를 들어, 캘리포니아 샌디에고에서 제 2 헤드 장착 디바이스(10b)를 착용한 제 2 사용자(테이블 상단과 같이 매우 상이한 앵커 표면(16b)에 앵커된 가상 물체(14b)를 관측할 수 있음)와 그 가상 물체에 관해 협력할 수 있다. 헤드 장착 디바이스(10a)는, 디바이스들(10a 및 10b)을 상호접속시키고 사용자들이 유선 및 무선 통신 링크들에 의해 자원들을 공유하도록 허용하는 당업계에 공지된 임의의 컴퓨터 네트워크를 통해 제 2 헤드 장착 디바이스(10b)와 통신할 수 있다.
예를 들어, 제 1 헤드 장착 디바이스(10a)는, 제 2 헤드 장착 디바이스(10b)에 대해 제 2 가상 물체(14b)를 정확하게 배향하는 신호 및 제 2 사용자(10b)에 대해 배향된 제 2 가상 물체(14b)를 생성하는 신호를 통신 네트워크를 통해 송신할 수 있다. 제 2 헤드 장착 디바이스(10b)는 통신 네트워크로부터 신호를 수신할 수 있고, 제 2 사용자(10b)에 대해 제 2 가상 물체(14b)를 생성할 수 있다.
다른 실시예에서, 제 1 및/또는 제 2 사용자들의 이미지들은 헤드 장착 또는 신체 장착 카메라에 의해 시간에 걸쳐 캡쳐될 수 있고, 가상 물체들에 대한 적절한 배향을 결정하는데 이용될 수 있다. 지정된 앵커 표면에 대한 것과 같은, 사용자의 현재 자세 및 배향을 결정하기 위해, 캡쳐된 이미지들에 해부학적 분석이 적용될 수 있다. 예를 들어, 이미지들 내에서 신체 부분을 검출하고 사용자의 배향을 결정하기 위해, 이미지들은 메모리에 저장된 해부학적 데이터에 비교될 수 있다. 제 2 헤드 장착 디바이스(10b)에 대한 제 2 가상 물체(14b)는 제 1 사용자(즉, 이미지가 제 1 사용자에게 보이는 방식으로 제 2 사용자에게 이미지를 제시하기 위해) 또는 제 2 사용자(즉, 제 2 사용자의 자세에 적절한 방식으로 이미지를 제시하기 위해)의 이미지들에서 검출된 신체 부분에 기초하여 정확하게 배향될 수 있다. 예를 들어, 제 2 사용자의 이미지들은 캡쳐되고, 추적되고, 메모리에 저장된 해부학적 데이터와 비교될 수 있고, 여기서 제 2 사용자의 헤드, 어깨, 팔, 몸통, 다리 또는 임의의 다른 신체 부분 또는 이들의 일부가 검출될 수 있다. 제 2 헤드 장착 디바이스(10b)는 검출된 신체 부분들에 기초하여 가상 물체를 배향할 수 있다. 제 2 가상 물체(14b)는 제 1 배향으로 배향되고 디스플레이될 수 있다.
추후의 시간 기간에, 제 2 사용자는 이동할 수 있고, 제 1 배향은 상이한 배향 및 사용자의 새로운 위치에 기초하여 적절하지 않을 수 있다. 예를 들어, 이미지에 위치된 인식된 물체에 의한 제 2 앵커 표면(16b)에 대응하는, 제 2 헤드 장착 또는 신체 장착 카메라(10b)에 대한 거리 및 배향을 포함하는 파라미터들이 계산될 수 있다. 이러한 이동 이후 제 2 가상 물체(14b)에 대한 결정된 배향에 대응하는 이미지 크기 및 배향이 결정될 수 있다. 그 다음, 제 2 헤드 장착 디바이스(10b)는, 제 2 가상 물체(14b)가 제 2 앵커 표면(16b)에 앵커되고 연결된 것으로 보이도록, 생성된 제 2 가상 물체(14b)를 디스플레이할 수 있다. 예를 들어, 검출된 신체 부분은, 제 2 사용자가 어디를 보고 있는지를 결정하는데 활용될 수 있고, 제 2 가상 물체(14b)는 제 2 사용자가 어디를 보고 있는지에 기초하여 정확하게 배향될 수 있다.
다른 실시예에서, 검출된 신체 부분들은, 제 2 사용자가 앉아 있는지 또는 서 있는지를 결정하는데 활용될 수 있다. 결정에 기초하여, 제 2 가상 물체(14b)는 제 2 사용자에 인접한 평면 표면 상에 앵커 및 배향되도록 생성될 수 있다. 검출된 신체 부분에 기초하여, 제 2 사용자가 서 있는 것으로 결정되면, 제 2 가상 물체(14b)는 제 2 사용자에 인접한 수직 표면 상에 생성될 수 있다.
도 4의 도면에서, 앵커 표면(16a)은, 헤드 장착 디바이스(10a)에 의해 디스플레이되는 이미지 내에 위치된 벽이다. 제 1 사용자의 경우, 헤드 장착 디바이스(10a)는 가상 물체(14a)를 생성할 수 있고, 가상 물체(14a)가 제 1 사용자에 대해 똑바로 되도록 배향되고 벽 표면(16)에 고정되거나 연결되는 것처럼 가상 물체(14a)를 디스플레이할 수 있다. 헤드 장착 디바이스(10a) 프로세서는, 제 1 사용자에 의해 앵커 표면으로 선택된 벽(16)에 대한 헤드 장착 디바이스(10a)로부터의 거리 및 배향을 포함하는, 가상 물체를 렌더링하기 위한 파라미터들을 계산할 수 있다. 헤드 장착 디바이스(10a)는, 인터넷과 같은 네트워크를 통해 제 2 헤드 장착 디바이스(10b)에 데이터를 통신하기 위해 라우터와 통신하도록 구성되는 트랜시버에 커플링되는 모바일 CPU를 포함하거나 그에 커플링될 수 있다. 유사하게, 제 2 헤드 장착 디바이스(10b)는 또한, 인터넷, 인트라넷, 무선 네트워크 또는 임의의 다른 적절한 전기통신 네트워크와 같은 네트워크를 통해 데이터를 전송/수신하기 위해 네트워크와 통신하는 트랜시버를 포함할 수 있다.
제 1 및 제 2 헤드 장착 디바이스들(10a, 10b) 중 하나는 협력 세션을 개시할 수 있고, 예를 들어, 다른 헤드 장착 디바이스와 연관된 IP 어드레스에 메시지들을 전송함으로써 인터넷과 같은 네트워크를 통해 이러한 세션을 위한 요청을 다른 헤드 장착 디바이스에 전송할 수 있다. 다른 실시예에서, 헤드 장착 디바이스(10a)는, 2개의 디바이스들(10a 및 10b) 사이에서 자원들을 공유하기 위해 서비스를 실행하는 프로그램 명령들을 포함하는 서버를 통해 제 2 헤드 장착 디바이스(10b)와 통신할 수 있다.
일례로, 헤드 장착 디바이스들을 구비한 제 1 및 제 2 사용자 모두 사이의 협력 세션은 다음과 같이 진행할 수 있다. 하나의 사용자에 의해 자산 또는 가상 물체가 표면에 추가되거나 앵커되는 경우, 그 사용자의 헤드 장착 디바이스는, 이전에 선택된 앵커 표면 상에서 이미 디스플레이되고 있는 기존의 자산 또는 가상 물체에 대해 상대적인 방식으로, 그 새로운 자산 또는 물체의 선호되는 배치를 표시하는 메시지를 다른 사용자의 헤드 장착 디바이스에 송신할 수 있다. 그 다음, 원래의 앵커 표면 상에 두 물체들 모두를 위한 적절한 공간이 존재하지 않으면, 새로운 자산 또는 물체의 이 선호되는 배치는 시스템에 의해 자동으로 또는 사용자 입력들(예를 들어, 인식된 이동 제스쳐들)을 통해 사용자에 의해 무시될 수 있다. 추가적으로 또는 대안적으로, 사용자들 중 하나 또는 둘 모두는, 그들이 선호하는 위치 또는 표면에 그 새로운 자산 또는 가상 물체를 수동으로 재위치시키기 위해 입력 또는 제스쳐를 실행할 수 있다.
다른 실시예에서, 제 1 헤드 장착 디바이스(10a)는 가상 물체(14b)의 선호되거나 제안된 배치를 표시하는 데이터를 포함하는 메시지를 제 2 헤드 장착 디바이스(10b)에 전달할 수 있다. 예를 들어, 제 1 사용자는, 가상 물체(14b)의 선호되는 배치가 데스크(16b) 상에 또는 벽 상에 발생해야 함을 표시할 수 있다. 예를 들어, "벽 표면이 선호됨" 또는 "데스크탑 표면이 선호됨"을 표시하는 메시지가 제 1 헤드 장착 디바이스(10a)로부터 제 2 헤드 장착 디바이스(10b)에 전송될 수 있다. 제 2 헤드 장착 디바이스(10b)는 디스플레이 상에 제 2 가상 물체(14b)를 생성할 수 있다. 메시지는 또한, 가상 물체(14)를 제 2 사용자에 대해 정확하게 배향하기 위한 하나 또는 그 초과의 프로그램 명령들을 포함할 수 있다. 제 2 헤드 장착 디바이스(10b)는 데스크탑을 앵커 표면(16a)으로 선택하는 입력을 수신할 수 있거나, 앵커 표면(16b)이 벽으로 선택된 것을 표시하는 데이터를 제 1 헤드 장착 디바이스(10a)로부터 수신할 수 있다. 후자의 대안의 경우, 제 2 헤드 장착 디바이스(10b) 내의 또는 그에 커플링되는 프로세서는 디바이스 상의 카메라에 의해 획득된 이미지들에서 비교가능한 벽을 검출할 수 있다. 프로그램 명령들은 또한, 사용자가 다른 사용자로부터 제안된 앵커 표면을 허용하거나 거부하도록 프로세서에 통신될 수 있다. 헤드 장착 디바이스(10b)는, 제안된 앵커 표면을 허용 또는 거부하는 말해진 오디오 신호의 형태로 제 2 사용자로부터 입력 커맨드를 수신할 수 있다. 제 2 헤드 장착 디바이스(10b)는, 제 2 가상 물체(14b)의 선호되는 배치를 표시하는 메시지를 수신할 수 있고, 제 2 사용자는, 제 2 가상 물체(14b)의 선호되는 배치를 확인 또는 거부하는 입력을 제 2 헤드 장착 디바이스(10b)에 제공할 수 있다. 예를 들어, 제 2 사용자는, 제 2 가상 물체(14b)를 회전시키고 재배향하기를 원하는 것을 표시하는 입력을 제공할 수 있다. 프로세서는 제 2 가상 물체(14)에 대한 입력에 기초하여 거리 및 배향을 결정할 수 있고, 원하는 배향으로 제 2 가상 물체(14b)를 생성할 수 있다.
제 2 헤드 장착 디바이스(10b)는 제 2 위치에서 데스크탑 표면(16b) 상에 가상 물체(14b)를 디스플레이할 수 있다. 제 2 사용자는, 앵커 표면(16b)에 적합하도록, 가상 물체(10b)의 배향, 크기 및 형상을 변경하기 위한 입력들을 추가로 제공할 수 있다. 가상 물체(14b)는 동일한 가상 물체(14a)로 보이고, 사용자들 사이에서 협력이 발생할 수 있다. 하나의 위치에서 하나의 사용자에 의해 행해진 변경들은 제 1 및 제 2 위치들 모두에서 업데이트되고 보여질 수 있는데, 즉, 하나의 위치에서 가상 물체(14a)에 대한 변경들은 다른 위치에서 디스플레이되는 가상 물체(14b)에 반영될 것이다. 예를 들어, 제 2 사용자는 가상 물체(14b) 상에서 막대 차트를 삭제할 수 있고, 가상 물체(10a) 상에서 그와 동일한 막대 차트가 제 1 위치에서 또한 삭제될 수 있다.
또 다른 실시예에서, 제 3 헤드 장착 디바이스를 착용한 제 3 사용자가 협력에 참여할 수 있고, 제 1 또는 제 2 사용자들에 의해 제안되거나 제 3 사용자에 의해 선택된 표면 상에 디스플레이된 가상 물체를 앵커할 수 있다. 또한, 앞서 설명된 바와 같이, 협력에 관련된 헤드 장착 디바이스들 중 하나 또는 그 초과에 의해 생성된 이미지 데이터는, 비참가자들에 의해 이용되는 스마트폰들 또는 태블릿들과 같은 다른 컴퓨팅 디바이스들 또는 다른 헤드 장착 디바이스들에 송신되고 디스플레이될 수 있다. 이 실시예는 다른 사람들이 가상 또는 증강 현실 경험에서의 협력을 관측하는 것을 가능하게 한다. 헤드 장착 디바이스들을 착용하거나 스마트폰 또는 태블릿 컴퓨터와 같은 다른 모바일 디바이스를 이용하여 협력 세션을 관측하는 다른 사람들은 가상 물체들 및 가상 물체들과의 사용자 상호작용들을 볼 수 있을 뿐만 아니라, 헤드 장착 디바이스 사용자들 중 하나에 의해 보여지는 가상 증강들과의 제한된 상호작용 능력들을 가질 수 있다. 이 제한된 상호작용은, 증강을 터치하여 효과를 유발시키는 것, 물리적 표면 상에 상호작용 영역 또는 앵커 포인트를 정의하는 것 (공유된 경험에 새로운 증강을 유효하게 추가하는 것), 및 제스쳐 및/또는 오디오 입력들을 통해 공유된 혼합된 현실 신과 상호작용하는 것을 포함할 수 있다. 가상 경험에서의 이러한 임의의 변경들은 다른 사용자들이 착용한 헤드 장착 디스플레이들에서 반영될 수 있다.
일 실시예에서, 제 2 헤드 장착 디바이스(10b)를 착용한 제 2 사용자는 개인 데이터 공간(예를 들어, 클라우드 또는 모바일 디바이스)로부터 새로운 가상 물체를 호출하기 위한 입력을 제공할 수 있고, 제 1 사용자가 또한 제 1 헤드 장착 디바이스(10a)에서 그 새로운 가상 물체를 보도록, 공유된 디스플레이에 그 새로운 가상 물체를 추가할 수 있다. 일 실시예에서, 제 1 헤드 장착 디바이스(10a)는, 제 3 가상 물체가 존재함을 사용자에게 통지하고, 그 제 3 가상 물체를 허용하고 디스플레이하기 위한 사용자 입력 또는 커맨드를 요청하는 프롬프트를 수신할 수 있다. 사용자는, 새로운 가상 물체를 앵커할 새로운 물리적 표면을 선택할 수 있거나, 제 2 사용자에 의해 선택된 앵커 표면을 허용할 수 있다.
일 실시예에서, 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 가상 물체(14)에 대한 대기 위치를 표시하는 입력을 수신할 수 있다. 대기 위치는, 가상 물체(14)의 초기 조건이 실세계 표면에 앵커되거나 고정되지 않은 것으로 디스플레이될 수 있는 위치일 수 있다. 대기 위치는, 가상 물체(14)가 실세계 물체에 연결되지 않은 디스플레이 상에서 "자유 플로우팅"하고 있는 위치일 수 있다. 대안적으로, 대기 위치는, 예를 들어, 천장 또는 반복되거나 사용자에게 친숙한 위치 상의 이미지에 위치되는 상이한 앵커 표면(16)일 수 있다. 대기 위치는, 사용자가 가상 물체(14)를 앵커 표면에 앵커하기 위한 추가적인 동작을 취할 때까지 물체가 "저장"될 수 있는 위치 또는 표면일 수 있다. 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 대기 위치에 대응하는 헤드 장착 또는 신체 장착 카메라에 대한 거리 및 배향을 포함하는 파라미터들을 계산할 수 있고, 프로세서는 대기 위치에 대한 적절한 시점으로 가상 물체(14)를 디스플레이할 수 있다. 대기 위치는 자유 플로우팅되는 것으로 디스플레이될 수 있고, 사용자가 자신의 헤드를 돌리거나 방 주위를 이동할 때 이미지의 표면들에 연결되지 않거나 이동가능한 것으로 보일 수 있다.
일 실시예에서, 헤드 장착 디바이스(10a) 내의 또는 그에 커플링되는 프로세서는, 풀-컬러(full-color) 비디오 카메라들일 수 있는 헤드 장착 또는 신체 장착 카메라 또는 카메라들로 이미지를 캡쳐할 수 있다. 이미징된 신 내에서 물체들까지의 거리들은, 스테레오 카메라 어셈블리를 통해 획득된 2개의(또는 그 초과의) 이미지들의 삼각측량 프로세싱을 통해 결정될 수 있다. 대안적으로 또는 추가적으로, 헤드 장착 디바이스는, 디바이스로부터 이미지에서의 물체들 및 표면들까지 거리들을 측정하는 거리 센서를 이용하여 공간적 데이터(즉, 이미지들에서의 물체들까지의 거리들)를 획득할 수 있다. 일 실시예에서, 거리 센서는 적외선 광 방출기(예를 들어, 레이저 또는 다이오드) 및 적외선 센서일 수 있다. 이 실시예에서, 헤드 장착 디바이스는 적외선 광을, 디바이스의 카메라의 시계 내의 물체들로부터 반사하는 구조화된 광 패턴들 또는 펄스들로서 투사할 수 있다. 반사된 적외선 레이저 광은 센서에서 수신될 수 있고, 방출된 광과 수신된 광 사이의 측정된 시간 또는 위상 시프트에 기초하여 공간적 데이터가 계산될 수 있다. 다른 실시예에서, 거리 센서는 초음파 방출기 및 수신기일 수 있다. 이 실시예에서, 헤드 장착 디바이스는, 디바이스의 카메라의 시계 내의 물체들로부터 반사하는 초음파 펄스들을 방출할 수 있다. 초음파 수신기는 반사된 초음파를 감지하고, 음파 방출들과 수신된 반사된 초음파 사이의 측정된 시간에 기초하여 공간적 데이터를 계산한다. 제 3 실시예에서, 물체들까지의 거리들은, 사용자의 헤드가 이동할 때 비디오 스트림의 후속 이미지들에서 각도들에서의 변경들을 측정하고, 이미지들의 시퀀스에 삼각측량 분석들을 적용함으로써 추정될 수 있다. 모션 및/또는 상대적 위치 센서들을 헤드 장착 디바이스에 포함시킴으로써, 관측 각도에서의 변경들은 카메라 위치에서의 변경들에 상관될 수 있고, 이로부터, 삼각측량 알고리즘들을 이용하여 물체/표면 거리들 및 위치들이 계산될 수 있다. 헤드 장착 디바이스에 의해 획득되는 거리 측정들을 추가로 개선하기 위해, 이 거리-측정 방법들의 임의의 조합이 결합될 수 있다.
일 실시예에서, 헤드 장착 디바이스(10) 내의 또는 그에 커플링되는 프로세서는 공간적 데이터를 메모리에 저장할 수 있고, 캡쳐된 비디오 및 측정되거나 계산된 공간적 데이터에 기초하여, 디바이스의 인근 내의 물체들 및 표면들의 3차원 맵을 확립할 수 있다. 이 3차원 맵은, 인근 내의 다른 헤드 장착 디바이스들과 공유되거나, 네트워크를 통해 접속되거나, 그리고/또는 서버에 업로드될 수 있다. 이러한 3차원 맵 데이터를 공유하는 것은, 다른 헤드 장착 디바이스들(10b)(또는 더 구체적으로 다른 헤드 장착 디바이스들 내의 또는 그에 커플링되는 프로세서들)이 방을 이미징하거나 프로세싱할 필요없이, 지정된 앵커 표면에 앵커된 가상 물체들을 렌더링하는 것을 보조할 수 있다. 이러한 3차원 맵 데이터를 공유하는 것은 또한, 다수의 헤드 장착 디바이스들이 다수의 사용자들 인근의 전체 맵을 협력적으로 생성하는 것을 가능하게 할 수 있고, 동일한 환경을 다수회 스캔할 필요성을 회피함(즉, 3차원 맵은 오직 한번만 생성될 필요가 있을 수 있음)으로써 임의의 하나의 헤드 장착 디바이스에 부과되는 작업량을 감소시킬 수 있다. 추가적인 애플리케이션에서, 제 1 사용자 인근의 물체들의 3차원 맵과 같은 공간적 데이터 및 이미지의 공유는, 다른 사용자들이 멀리 떨어져 위치되는 경우에도 다른 사용자들이 제 1 사용자와 동일한 이미지들을 관측하는 것을 가능하게 할 수 있다. 예를 들어, 제 2 헤드 장착 디바이스를 착용한 다른 사용자가 제 1 사용자와 동일한 방식으로 가상 물체(14)를 디스플레이할 수 있도록, 제 2 디바이스는, 캡쳐된 공간적 데이터에 대응하는 데이터가 송신될 수 있는 맵을 활용할 수 있다.
앞서 설명된 바와 같이, 헤드 장착 디바이스(10a 또는 10b)와 연관된 디스플레이는 부분적으로 투명할 수 있거나, 사용자의 시야의 전부 또는 일부를 실질적으로 가릴 수 있다. 다른 실시예에서, 헤드 장착 디바이스(10a) 디스플레이는, 하나의 사용자의 눈이 방을 차단되지 않게 관측할 수 있도록 하는 단안(monocular) 디스플레이의 형태와 같이, 사용자의 시야 중 일부만을 가리도록, 오직 하나의 눈 위에 위치될 수 있다. 다른 실시예에서, 헤드 장착 디바이스(10a 또는 10b)는, 헤드 또는 신체 장착 카메라들에 의해 획득된 이미지들 및 임의의 가상 물체들이 종래의 컴퓨터 디스플레이 상에서 함께 관측될 수 있도록, 컴퓨팅 디바이스 디스플레이에 가상 물체(14a 또는 14b) 컨텐츠를 출력할 수 있다.
앞서 언급된 바와 같이, 헤드 장착 디스플레이들은, 표면 상에 이미지들을 투사하는 투사기들, 또는 개발될 수 있는 다른 이미지 생성 기술들로 대체될 수 있다. 이러한 실시예에서, 사용자들의 동작들 및 경험은, 앞서 논의된 바와 같은 헤드 장착 디스플레이들을 이용하는 동작들 및 경험과 유사할 수 있다.
도 5a는 헤드 장착 디바이스들(10)의 실시예들에 포함될 수 있는 컴포넌트들을 도시한다. 도 5b는, 헤드 장착 디바이스들(10)이 시스템의 일부로서 동작할 수 있는 방법을 도시하고, 이 시스템에서, 센서 어레이(500)는, 본 명세서에서 설명된 다양한 실시예들의 동작들을 수행하고 서버(564)에 데이터를 통신하고 서버(564)로부터 데이터를 수신하는 모바일 프로세서(507)에 데이터를 제공할 수 있다. 헤드 장착 디바이스(10)의 프로세서(507)는 하나보다 많은 프로세서(또는 멀티-코어 프로세서)를 포함할 수 있고, 여기서 코어 프로세서는 전체 제어 기능들을 수행할 수 있는 한편, 코프로세서(coprocessor)는 애플리케이션들을 실행하고 때때로 애플리케이션 프로세서로 지칭됨을 주목해야 한다. 코어 프로세서 및 애플리케이션 프로세서는, 멀티-코어 프로세서와 같은 동일한 마이크로칩 패키지에 구성되거나 별개의 칩들에 구성될 수 있다. 또한, 프로세서(507)는, 무선 통신들(즉, 모뎀 프로세서), 내비게이션(예를 들어, GPS 수신기 내의 프로세서) 및 그래픽스 프로세싱(예를 들어, 그래픽스 프로세싱 유닛 또는 "GPU")과 같은, 다른 기능들과 연관된 프로세서들과 동일한 마이크로칩 패키지 내로 패키지될 수 있다.
헤드 장착 디바이스(10)는, 개인용 컴퓨터들 및 인터넷에 대한 액세스를 갖는 모바일 디바이스들과 같은 다른 컴퓨팅 디바이스들을 포함할 수 있는 통신 시스템 또는 네트워크와 통신할 수 있다. 이러한 개인용 컴퓨터들 및 모바일 디바이스들은, 프로세서가 무선 통신 네트워크를 통해 데이터를 전송 및 수신하는 것을 가능하게 하기 위해, 프로세서(507)에 커플링되는, 안테나(551), 송신기/수신기 또는 트랜시버(552) 및 아날로그-디지털 변환기(553)를 포함할 수 있다. 예를 들어, 셀룰러 전화들과 같은 모바일 디바이스들은 무선 통신 네트워크(예를 들어, Wi-Fi 또는 셀룰러 전화 데이터 통신 네트워크)를 통해 인터넷에 액세스할 수 있다. 이러한 무선 통신 네트워크들은, 인터넷에 커플링되는 인터넷 액세스 서버 또는 게이트웨이에 커플링되는 복수의 기지국들을 포함할 수 있다. 개인용 컴퓨터들은, 예를 들어, 인터넷 게이트웨이(미도시)를 통한 유선 접속들에 의해 또는 무선 통신 네트워크에 의해, 임의의 종래의 방식으로 인터넷에 커플링될 수 있다.
도 5a를 참조하면, 헤드 장착 디바이스(10)는, 다수의 소프트웨어 모듈들(510-550)로 구성될 수 있는 제어 시스템 프로세서(507)에 커플링되는 오디오 센서(505) 및 신 센서(500)를 포함할 수 있다. 일 실시예에서, 프로세서(507) 또는 신 센서(500)는 하나 또는 그 초과의 해부학적 특징들을 검출하기 위해, 이미지들에 해부학적 특징 인식 알고리즘을 적용할 수 있다. 제어 시스템과 연관된 프로세서(507)는, 하나 또는 그 초과의 제스쳐들을 인식하고 인식된 제스쳐들을 입력 커맨드로 프로세싱하기 위해, 검출된 해부학적 특징들을 검토할 수 있다. 예를 들어, 아래에서 더 상세히 논의되는 바와 같이, 사용자는, 가상 물체를 닫기 위해 가상 물체에 손가락을 포인팅하는 것과 같이, 입력 커맨드에 대응하는 이동 제스쳐를 실행할 수 있다. 이 예시적인 제스쳐를 인식하는 것에 응답하여, 프로세서(507)는 디스플레이로부터 가상 물체를 제거할 수 있다. 다른 예로, 사용자는, 디스플레이 상에 제시된 명령 또는 옵션을 확인하기 위해, 한손의 검지를 엄지에 터치하여 "OK" 사인을 형성할 수 있다.
스테레오 카메라들, 배향 센서들(예를 들어, 가속도계들 및 전자 콤파스) 및 거리 센서들을 포함할 수 있는 신 센서(500)는, 3차원 신 정보를 해석하도록 구성될 수 있는 프로세서(507) 내에 구현되는 신 관리자(510)에 신-관련 데이터(예를 들어, 이미지들)를 제공할 수 있다. 다양한 실시예들에서, 신 센서(500)는 스테레오 카메라들(아래에서 설명됨) 및 거리 센서들을 포함할 수 있고, 이들은, 적외선 카메라에 대한 신을 조명하기 위한 적외선 광 방출기들을 포함할 수 있다. 예를 들어, 도 5a에 도시된 예에서, 신 센서(500)는, 스테레오 이미지들을 수집하기 위한 스테레오 적색-녹색-청색(RGB) 카메라(503a), 및 구조화된 적외선 광 방출기(503c)에 의해 제공될 수 있는 적외선 광에서 신을 이미징하도록 구성되는 적외선 카메라(503b)를 포함할 수 있다. 아래에서 논의되는 바와 같이, 구조화된 적외선 광 방출기는, 적외선 카메라(503b)에 의해 이미징될 수 있는 적외선 광의 펄스들을 방출하도록 구성될 수 있고, 수신된 픽셀들의 시간이 기록되고, 이동 시간 계산들을 이용하여 엘리먼트들을 이미징하는 거리들을 결정하는데 이용된다. 총괄적으로, 스테레오 RGB 카메라(503a), 적외선 카메라(503b) 및 적외선 방출기(503c)는 RGB-D(거리에 대한 D) 카메라(503)로서 지칭될 수 있다.
신 관리자 모듈(510)은, 스테레오 카메라들로부터의 거리 및 표면 배향 정보를 포함하는, 이미지 내의 물체들의 3차원 재구성을 생성하기 위해, 신 센서(500)에 의해 제공되는 거리 측정들 및 이미지들을 스캔할 수 있다. 일 실시예에서, 신 센서(500) 및 더 구체적으로 RGB-D 카메라(503)는 헤드 장착 디바이스(10) 및 사용자의 시계와 정렬되는 방향을 향할 수 있다. 신 센서(500)는 신체 전체의 3차원 모션 캡쳐 및 제스쳐 인식을 제공할 수 있다. 신 센서(500)는, 단색(monochrome) CMOS 센서와 같은 적외선 카메라(503c)와 결합된 적외선 광 방출기(503c)를 가질 수 있다. 신 센서(500)는, 3차원 비디오 데이터를 캡쳐하는 스테레오 카메라들(503a)을 더 포함할 수 있다. 신 센서(500)는 주위의 광, 일광(sunlight) 또는 완전한 암흑에서 작동할 수 있고, 본 명세서에서 설명되는 바와 같이 RGB-D 카메라를 포함할 수 있다. 신 센서(500)는, 고속 게이팅 메커니즘을 갖는 이미지 센서 뿐만 아니라 근적외선(NIR) 펄스 조명 컴포넌트를 포함할 수 있다. 펄스 신호들은 각각의 픽셀에 대해 수집될 수 있고, 펄스가 반사된 위치들에 대응할 수 있는 캡쳐된 대상의 대응하는 포인트까지의 거리를 계산하는데 이용될 수 있다.
다른 실시예에서, 신 센서(500)는, 예를 들어, 초음파 반향 위치, 레이더, 스테레오스코픽 이미지들의 삼각측량 등과 같은, 이미지 내의 물체들의 거리를 캡쳐하기 위한 다른 거리 측정 기술들(즉, 상이한 타입들의 거리 센서들)을 이용할 수 있다. 앞서 논의된 바와 같이, 일 실시예에서, 신 센서(500)는, 레인징 카메라, 플래쉬 LIDAR 카메라, 이동 시간(ToF) 카메라, 및/또는 RGB-D 카메라(503)를 포함할 수 있고, 이들은, 레인지-게이팅된 ToF 감지, RF-변조된 ToF 감지, 펄스된-광 ToF 감지 및 투사된-광 스테레오 감지 중 적어도 하나를 이용하여 물체들까지의 거리들을 결정할 수 있다. 다른 실시예에서, 신 센서(500)는 신의 스테레오 이미지들을 캡쳐하기 위해 스테레오 카메라(503a)를 이용할 수 있고, 이미지 내에 포함된 캡쳐된 픽셀들의 밝기에 기초하여 거리를 결정할 수 있다. 앞서 언급된 바와 같이, 일관성을 위해, 이 타입들의 거리 측정 센서들 및 기술들 중 임의의 하나 또는 전부는 본 명세서에서 일반적으로 "거리 센서들"로서 지칭된다. 상이한 능력들 및 해상도의 다수의 신 센서들이 존재하여, 물리적 환경의 맵핑, 및 환경 내에서 사용자의 위치의 정확한 추적을 보조할 수 있다.
헤드 장착 디바이스(10)는 또한 마이크로폰 또는 마이크로폰 어레이와 같은 오디오 센서(505)를 포함할 수 있다. 오디오 센서(505)는, 헤드 장착 디바이스(10)가 오디오를 기록하는 것, 및 음향 소스의 로컬화 및 주위 잡음의 억제를 수행하는 것을 가능하게 한다. 오디오 센서(505)는 오디오를 캡쳐할 수 있고, 오디오 신호들을 오디오 디지털 데이터로 변환할 수 있다. 제어 시스템과 연관된 프로세서는 오디오 디지털 데이터를 검토할 수 있고, 데이터를 탐색가능한 텍스트 데이터로 변환하기 위한 스피치 인식 알고리즘을 적용할 수 있다. 프로세서는 또한 특정한 인식된 커맨드들 또는 키워드들에 대한 생성된 텍스트 데이터를 검토할 수 있고, 인식된 커맨드들 또는 키워드들을, 하나 또는 그 초과의 작업들을 실행하기 위한 입력 커맨드들로 이용할 수 있다. 예를 들어, 사용자는, 디스플레이된 가상 물체를 선택된 표면 상에 앵커하기 위해 "가상 물체 앵커"와 같은 커맨드를 말할 수 있다. 예를 들어, 사용자는 디스플레이 상에 디스플레이된 애플리케이션을 닫기 위해 "애플리케이션 닫기"를 말할 수 있다.
헤드 장착 디바이스(10)는 또한 디스플레이(540)를 포함할 수 있다. 디스플레이(540)는 신 센서(500) 내에서 카메라에 의해 획득되거나 헤드 장착 디바이스(10) 내의 또는 그에 커플링되는 프로세서에 의해 생성된 이미지들을 디스플레이할 수 있다. 일 실시예에서, 디스플레이(540)는 마이크로 디스플레이일 수 있다. 디스플레이(540)는 완전히 불투명한 디스플레이일 수 있다. 다른 실시예에서, 디스플레이(540)는, 사용자가 투시할 수 있고 배경 방을 관측할 수 있는 스크린 상에 이미지들을 디스플레이할 수 있는 반투명 디스플레이일 수 있다. 디스플레이(540)는 단안 또는 스테레오(즉, 쌍안) 구성으로 구성될 수 있다. 대안적으로, 헤드 장착 디바이스(10)는 헤드 상에 또는 헬멧의 일부로서 착용되는 헬멧 장착 디스플레이 디바이스일 수 있고, 이것은 하나의 눈 앞에(단안) 또는 두 눈 모두 앞에(즉, 쌍안 또는 스테레오 디스플레이) 소형 디스플레이(540) 옵틱(optic)을 가질 수 있다. 대안적으로, 헤드 장착 디바이스(10)는 또한 소형화된 2개의 디스플레이 유닛들(540)을 포함할 수 있고, CRT(cathode ray tube) 디스플레이들, LCD들(liquid crystal displays), LCos(liquid crystal on silicon) 디스플레이들, OLED(organic light emitting diode) 디스플레이들, 단순한 MEMS(micro-electro-mechanical system) 디바이스들인 IMOD(Interferometric Modulator) 엘리먼트들에 기초한 Mirasol 디스플레이들, 광 가이드 디스플레이들 및 파형 가이드 디스플레이들, 및 존재하고 개발될 수 있는 다른 디스플레이 기술들 중 임의의 하나 또는 그 초과일 수 있다. 다른 실시예에서, 디스플레이(540)는, 전체적인 총 해상도를 증가시키고 시계를 증가시키기 위해 다수의 마이크로-디스플레이들(540)을 포함할 수 있다.
헤드 장착 디바이스(10)는 또한, 오디오를 출력하기 위해, 참조 부호(550)로 총괄적으로 도시된 헤드폰 및/또는 스피커일 수 있는 오디오 출력 디바이스(550)를 포함할 수 있다. 헤드 장착 디바이스(10)는 또한, 예를 들어, 가상 물체들(14)의 이미지들을 생성할 뿐만 아니라 헤드 장착 디바이스(10)에 제어 기능들을 제공할 수 있는 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 예를 들어, 디바이스(10)는, 코어 프로세서, 애플리케이션 프로세서, 그래픽스 프로세서 및 내비게이션 프로세서를 포함할 수 있다. 대안적으로, 헤드 장착 디바이스(10)는, 스마트폰 또는 다른 컴퓨팅 디바이스의 프로세서와 같은 별개의 프로세서에 커플링될 수 있다. 비디오/오디오 출력은, 헤드 장착 디바이스(10)에 (유선 또는 무선 네트워크를 통해) 접속된 모바일 CPU의 의해 또는 프로세서에 의해 프로세싱될 수 있다. 헤드 장착 디바이스(10)는 또한, 신 관리자 블록(510), 사용자 제어 블록(515), 표면 관리자 블록(520), 오디오 관리자 블록(525) 및 정보 액세스 블록(530)을 포함할 수 있고, 이들은 별개의 회로 모듈들일 수 있거나 소프트웨어 모듈들로서 프로세서 내에서 구현될 수 있다. 헤드 장착 디바이스(10)는, 원격 메모리(555)로부터 디지털 데이터를 수신하기 위해, 다른 디바이스들 또는 로컬 무선 또는 유선 네트워크와 통신하기 위한 무선 또는 유선 인터페이스 및 로컬 메모리를 더 포함할 수 있다. 시스템의 원격 메모리(555)를 이용하는 것은, 디바이스에서 메모리 칩들 및 회로 보드들을 감소시킴으로써, 헤드 장착 디바이스(10)가 더 경량이 되게 할 수 있다.
제어기의 신 관리자 블록(510)은 신 센서(500)로부터 데이터를 수신할 수 있고, 물리적 환경의 가상 표현을 구성할 수 있다. 예를 들어, 방 안의 물체들로부터 반사되고 카메라에서 캡쳐되는 레이저 광을 방출하기 위해 레이저가 이용될 수 있고, 광의 라운드 트립 시간은 방 안의 다양한 물체들 및 표면들까지의 거리들을 계산하는데 이용된다. 이러한 거리 측정들은, 방 안의 물체들의 위치, 크기 및 형상을 결정하고 신의 맵을 생성하는데 이용될 수 있다. 맵이 포뮬레이트되면, 신 관리자 블록(510)은 이 맵을 다른 생성된 맵들과 링크시켜, 미리 결정된 영역의 더 큰 맵을 형성할 수 있다. 일 실시예에서, 신 및 거리 데이터는, 다수의 헤드 장착 디바이스들로부터 (그리고 신 내에서 사용자가 주위를 이동하는 시간에 걸쳐) 수신된 이미지, 거리 및 맵 데이터에 기초하여, 병합된 또는 통합된 맵을 생성할 수 있는 서버 또는 다른 컴퓨팅 디바이스에 송신될 수 있다. 이러한 통합된 맵 데이터는 무선 데이터 링크들을 통해 헤드 장착 디바이스 프로세서들에 이용가능하게 된다. 다른 맵들은 인스턴트 디바이스 또는 다른 헤드 장착 디바이스들에 의해 스캔된 맵들일 수 있거나, 클라우드 서비스로부터 수신될 수 있다. 신 관리자(510)는 신 센서들(500)로부터의 데이터에 기초하여 표면들을 식별하고 사용자의 현재의 위치를 추적할 수 있다. 사용자 제어 블록(515)은, 예를 들어, 오디오 커맨드들, 제스쳐들 및 입력 디바이스들(예를 들어, 키보드, 마우스)과 같은, 시스템으로의 사용자 제어 입력들을 수집할 수 있다. 일 실시예에서, 사용자 제어 블록(515)은, 신 관리자(510)에 의해 식별된 사용자 신체 일부의 이동들을 해석하기 위해 제스쳐 딕셔너리를 포함하거나 그에 액세스하도록 구성될 수 있다. 앞서 논의된 바와 같이, 제스쳐 딕셔너리는, 찌르기(poke), 쓰다듬기(pat), 태핑(tap), 푸쉬(push), 가이딩, 튕기기(flick), 돌리기(turning), 회전, 잡기 및 당기기, 이미지들을 패닝(panning)하기 위해 두 손의 손바닥을 여는 것, 드로잉(예를 들어, 손가락 페인팅), 손가락들로 형상들을 형성하는 것(예를 들어, "OK" 사인), 및 스와핑을 포함할 수 있는, 제스쳐들을 인식하기 위한 이동 데이터 또는 패턴들을 저장할 수 있고, 이들 모두는, 생성된 디스플레이의 가상 물체의 명백한 위치에서, 또는 그에 매우 근접하여, 달성될 수 있다. 사용자 제어 블록(515)은 또한 합성된 커맨드들을 인식할 수 있다. 이것은, 둘 또는 그 초과의 커맨드들을 포함할 수 있다. 예를 들어, 제스쳐 및 음향(예를 들어, 박수) 또는 음성 제어 커맨드(예를 들어, 동작을 확인하기 위해, 음성 커맨드 또는 말해진 워드와 결합되고 행해지는 'OK' 검출된 손 제스쳐). 사용자 제어(515)가 식별되는 경우, 제어기는 디바이스(10)의 다른 서브컴포넌트에 요청을 제공할 수 있다.
헤드 장착 디바이스(10)는 또한 표면 관리자 블록(520)을 포함할 수 있다. 표면 관리자 블록(520)은, 거리 센서들로부터의 측정들 및 (신 관리자 블록(510)에 의해 관리되는) 캡쳐된 이미지들에 기초하여 신 내에서 표면들의 위치들을 연속적으로 추적할 수 있다. 표면 관리자 블록(520)은 또한, 캡쳐된 이미지 내에서 표면들 상에 앵커되는 가상 물체들의 위치들을 연속적으로 업데이트할 수 있다. 표면 관리자 블록(520)은 활성 표면들 및 윈도우들을 담당(be responsible for)할 수 있다. 오디오 관리자 블록(525)은 오디오 입력 및 오디오 출력에 대한 제어 명령들을 제공할 수 있다. 오디오 관리자 블록(525)은 헤드폰들 및 스피커들(550)에 전달되는 오디오 스트림을 구성할 수 있다.
정보 액세스 블록(530)은 디지털 정보에 대한 액세스를 중재하기 위한 제어 명령들을 제공할 수 있다. 데이터는, 헤드 장착 디바이스(10) 상의 로컬 메모리 저장 매체 상에 저장될 수 있다. 데이터는 또한, 액세스가능한 디지털 디바이스들 상의 원격 데이터 저장 매체(555) 상에 저장될 수 있거나, 또는 데이터는, 헤드 장착 디바이스(10)에 의해 액세스가능한 분산된 클라우드 저장 메모리 상에 저장될 수 있다. 정보 액세스 블록(530)은, 메모리, 디스크, 원격 메모리, 클라우드 컴퓨팅 자원 또는 집적 메모리(555)일 수 있는 데이터 저장부(555)와 통신한다.
도 6은, 사용자 입력에 기초하여 앵커된 표면 상에 가상 물체를 렌더링하기 위한 실시예 방법(600)을 도시한다. 방법(600)은, 방법(600)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성된 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(600)에서, 프로세서는 블록(601)에서 헤드 장착 디바이스의 배향에 관한 데이터를 헤드 장착 디바이스 센서들로부터 수신할 때 시작할 수 있다. 블록(602)에서, 프로세서는 사용자의 어깨 또는 신체 상의 또는 헤드 장착 디바이스 상의 스테레오 카메라들로부터 데이터를 수신할 수 있다. 블록(603)에서, 프로세서는 수신된 스테레오 이미지 내의 물체들의 거리 및 배향 데이터를 계산할 수 있다. 블록(604)에서, 프로세서는 거리 및 배향 센서들, 및 카메라로부터의 데이터를 이용하여 디스플레이에 대한 컨텐츠를 프로세싱할 수 있다.
결정 블록(605)에서, 프로세서는 이미지의 가상 물체를 앵커할지 여부를 결정하기 위해 사용자 입력들 또는 제스쳐 커맨드들을 검토할 수 있다. 예를 들어, 사용자 입력은 키패드 또는 터치스크린 입력과 같은 입력 디바이스로부터 수신될 수 있다. 다른 예로, 사용자 입력은, 이미지 내에 위치된 표시된 표면 상에 가상 물체를 앵커하기를 원하는 것을 표시하는 제스쳐와 같은, 이미지들의 시퀀스에서 인식되는 검출된 제스쳐의 형태로 수신될 수 있다. 사용자 입력의 제 3 예는, 헤드 장착 디바이스 상의 마이크로폰에 의해 수신될 수 있는 오디오 커맨드일 수 있다. 사용자 입력은, 가상 물체를 특정한 위치에 앵커하기 위한 입력이 제 2 사용자의 헤드 장착 디바이스로부터 수신되어야 함을 표시하는 커맨드일 수 있다. 예를 들어, 입력은 협력 세션 동안 제 2 헤드 장착 디바이스(10b)로부터 수신될 수 있다.
프로세서가 가상 물체를 특정한 위치(예를 들어, 앵커 표면(16))에 앵커하기 위한 입력을 수신했다고 결정하면(즉, 결정 블록(605) = "예"), 프로세서는 블록(606)에서 사용자의 위치로부터 앵커 표면에 대해 상대적인 가상 물체의 거리 및 배향을 결정할 수 있다. 예를 들어, 헤드 장착 디바이스(10)가, 앵커 표면(16)이 사용자로부터의 특정한 거리 및 윤곽을 포함한다고 결정할 수 있다. 일반적으로, 가상 물체들(14)은, 예를 들어, 3차원의 수학적 모델들(예를 들어, 구들, 원뿔들, 원기둥들 등), 3차원 데이터 세트들(예를 들어, 꼭지점들, 차원들, 및 다른 좌표 및 자료 데이터를 정의하는 데이터 테이블들), 또는 둘 모두의 조합들의 형태의 3차원 가상 물체들일 수 있고, 프로세서가 물체의 이미지를 생성하는데 이를 이용할 수 있다. 프로세서가 앵커 표면(16) 상에 연결된 가상 물체(14)를 디스플레이할 수 있도록, 가상 물체(14)는, 앵커 표면(16) 상에 가상 물체를 중첩시키기 위한 크기, 시점 및 배향으로 조정될 수 있다. 예를 들어, 3차원 가상 물체는, 종래의 디스플레이 상에 제시될 2차원 이미지로, 또는 헤드 장착 디바이스 상의 3D 디스플레이들 상에 제시될 2개의 약간 상이한 2차원 이미지들로 렌더링될 필요가 있을 것이다.
블록(607)에서, 프로세서는, 가상 물체가 앵커된 표면에 연결되는 것으로 보이게 하는 시점, 배향 및 크기로, 가상 공간에 가상 물체를 배치하기 위해 가상 물체를 프로세싱할 수 있다. 블록(608)에서, 프로세서는, 헤드 장착 디바이스 디스플레이 상에 가상 물체를 렌더링할 수 있다.
예를 들어, 디스플레이는, 이미지의 특정한 특징들이 디스플레이를 통해 관측가능한 반투명 디스플레이일 수 있다. 사용자가 이동할 때, 가상 물체(14)가 원하는 앵커된 표면에 앵커되거나 고정되어 유지되도록, 가상 물체(14)는 디스플레이 상의 이미지의 특징들에 중첩되거나 추가될 수 있다. 대안적으로, 가상 물체(14a)는 자유 공간에 앵커될 수 있다. 예를 들어, 가상 물체(14a)는 창문 밖에 위치될 수 있거나, 가상 물체(14a)는 땅 위의 어느 정도의 거리에 또는 공중에 현수될 수 있다.
프로세서가 가상 물체를 앵커하기 위한 입력을 수신하지 않은 것으로 결정하면(즉, 결정 블록(605) = "아니오") (이것은, 사용자가 앵커 표면에 가상 물체를 앵커할 준비가 되지 않았거나 앵커하기를 원하지 않는 것을 표시할 수 있음), 프로세서는 가상 물체를 대기 위치에 렌더링할 수 있다. 대안적으로, 사용자는 블록(609)에서 가상 물체(14)를 렌더링하는 않는 것으로 선택할 수 있다.
예를 들어, 앵커 표면 상에서 신 내의 가상 물체를 렌더링하는 프로세스들은, 사용자가 자신의 헤드를 돌리고 주위를 이동하는 경우에도 가상 물체가 정지된 것으로 보이도록 연속적으로 수행될 수 있다. 앞서 언급된 바와 같이, 배경들에 대해 헤드 장착 디바이스를 배향시키고, 다양한 표면들에 대한 거리들 및 그에 대한 상대적 배향을 결정하는 프로세스는, 배향 센서들(예를 들어, 가속도계들 및 자이로스코프들)을 모니터링하고, 스캔된 3차원(3D) 환경의 토포그래피에서의 시프트들을 일정하게 참조함으로써 디바이스가 공간에서 이동할 때 그 자신의 위치 및 시야각을 삼각측량하고, 따라서 SLAM(Simultaneous Location and Mapping) 동작들을 수행함으로써, 연속적으로 달성될 수 있다.
도 7a는 앵커된 가상 물체를 갖는 이미지를 렌더링하기 위한 실시예 방법(700)을 도시한다. 방법(700)은, 방법(700)의 동작들을 수행하기 위한 프로세서 실행가능 명령들을 갖는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(700)에서, 사용자의 위치가 방과 같은 영역에 걸쳐 이동할 때 가상 물체(14)가 앵커될 수 있다. 예를 들어, 사용자는 방 안에서 걷고 주위를 이동할 수 있지만, 방 안의 표면 상의 가상 물체의 디스플레이된 위치는 고정되어 유지될 수 있다. 방법(700)에서, 블록(701)에서, 프로세서는, 사용자의 위치의 좌표들, 방 안의 사용자의 위치와 관련된 정보(예를 들어, 다양한 표면들로부터의 거리들), 및 사용자의 헤드의 배향과 관련된 정보와 같은 사용자 위치 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(701)에서 수신된 위치 데이터는, 거리 센서들(예를 들어, 고속 게이팅 메커니즘으로 사용자의 시점 내에서 표면들로부터 튕겨나오는 방출된 적외선 신호들의 라운드 트립 시간을 계산하도록 구성되는 적외선 방출기/수신기)을 포함하는 센서 데이터의 범위로부터 계산될 수 있다. 대안적으로 또는 추가적으로, 위치 데이터는 (지리적 좌표들을 리턴할 수 있는) GPS 수신기 유닛, 공지된 위치들에 있는 송신기들(예를 들어, 셀룰러 전화 타워들)로부터의 RF 신호들의 삼각측량, (예를 들어, 2개의 사용자들의 상대적 위치들에 관한 분리 거리 및/또는 정보를 제공하는) 제 2 헤드 장착 디바이스로부터 수신된 입력들 등에 의해 제공될 수 있다. 위치 데이터는 또한 신 이미지 및 거리 센서 데이터에 기초하여 계산될 수 있거나, 클라우드 컴퓨팅 어레인지먼트의 서버로부터 다운로드될 수 있다. 대안적으로 또는 추가적으로, 사용자는, 예를 들어, 물리적 어드레스 및/또는 방 번호를 타이핑하거나, 맵 상에서 사용자의 위치를 표시하기 위해 맵 디스플레이 상에서 터치 또는 클릭함으로써, 사용자의 위치의 좌표들을 입력할 수 있다. 블록(702)에서, 프로세서는 수신된 카메라 이미지 내의 물체들의 거리 및 배향 데이터를 계산할 수 있다. 블록(703)에서, 프로세서는 앵커된 가상 물체에 상대적인 사용자의 위치를 계산할 수 있다.
도 5a의 신 센서(500)는 근적외선(NIR) 펄스 조명 컴포넌트를 특징화할 수 있다. 신 센서(500)는 또한, 고속 게이팅 메커니즘을 갖는 이미지 센서를 가질 수 있다. 다른 이미지 센서들은 또한 본 명세서에서 설명되는 바와 같이 신 센서(500) 내에서 구현될 수 있다. 적외선 펄스들의 공지된 속력, 좌표들, 및 센서(500)의 게이팅에 의한 조명기로부터 적외선 펄스 파형 방출들의 타이밍에 기초하여, 원하는 거리 범위 내로부터 반사된 신호가 캡쳐된다. 이 실시예에서, 적외선 펄스들의 도달 시간은 각각의 픽셀에 대해 수집될 수 있고, 센서로부터 이미지의 각각의 포인트까지의 거리를 계산하는데 이용될 수 있다. 이미지의 이러한 프로세싱은, 컴퓨터 네트워크를 통해 신 센서(500)에 접속되는 원격 프로세서를 이용하여 수행될 수 있다. 방법(700)은 헤드 장착 디스플레이 상에 구현되는 것으로 제한되지 않고, 헤드 장착 디스플레이 또는 신체 장착 센서들과 통신하는 모바일 통신 디바이스(예를 들어, 스마트폰) 또는 고정된 컴퓨팅 디바이스(예를 들어, 개인용 컴퓨터 또는 서버)와 같은 다른 컴퓨팅 디바이스와 함께 이용될 수 있다.
*결정 블록(704)에서, 프로세서는, 사용자 또는 앵커 표면의 위치가 변했는지 여부를 결정할 수 있다. 예를 들어, 사용자는 벽과 같은 표면 상에 또는 자유 공간에 이미지를 앵커할 수 있고, 사용자는, 다른 사용자와의 협력 동안 벽으로부터 멀리 걸어가서 위치를 변경할 수 있다. 위치가 변경되면(즉, 결정 블록(704) = "예") (이것은, 사용자가 앵커된 가상 물체로부터 멀리 이동했거나 앵커 표면이 이동한 것을 표시함), 프로세서는 블록(705)에서 새로운 위치에 기초하여 앵커된 가상 물체의 변경을 결정 및 계산할 수 있다. 블록(706)에서, 프로세서는, 헤드 장착 디스플레이 상의 앵커된 가상 물체로 이미지를 렌더링할 수 있다. 가상 물체가 이동하지 않은 것으로 프로세서가 결정하면(즉, 결정 블록(704) = "아니오"), 앵커된 가상 물체는 변경없이 렌더링될 수 있다. 프로세서는, 블록(706)에서 헤드 장착 디스플레이 상의 현재의 위치에 대해 이미지의 가상 물체를 렌더링할 수 있다.
도 7b는 앵커 표면들 사이에서 가상 물체를 이동시키기 위한 실시예 방법(720)을 도시한다. 방법(720)은, 방법(720)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성된 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 제 1 앵커 표면 상에 가상 물체를 앵커하는 제 1 입력이 제공될 수 있다. 추후, 프로세서는 가상 물체를 제 2의 상이한 앵커 표면 상에 앵커하는 제 2 입력을 수신할 수 있다. 방법(720)에서, 프로세서는 블록(707)에서 이미지를 캡쳐함으로써 동작을 시작할 수 있다. 블록(708)에서, 프로세서는 공간적 데이터를 캡쳐할 수 있고 이미지 내에서 물체들을 인식할 수 있다. 블록(709)에서, 프로세서는 이미지의 물체들의 거리 파라미터를 결정할 수 있다. 블록(710)에서, 프로세서는 이미지 내의 앵커 표면을 표시하는 입력을 수신할 수 있다.
예를 들어, 프로세서는 입력 디바이스로부터 입력을 수신할 수 있거나, 제스쳐 입력을 검출할 수 있거나, 이미지 내에서 가상 물체(14)를 앵커하기 위한 음성 커맨드를 수신할 수 있다. 블록(711)에서, 프로세서는, 예를 들어, 물체 모델 및/또는 물체 이미지 데이터 세트를 이용함으로써, 디스플레이되는 가상 물체(14)를 생성할 수 있다. 블록(712)에서, 프로세서는, 앵커 표면에 대응하는 거리 및 배향을 포함하는 파라미터들을 계산할 수 있고, 관측자의 시점과 일치시키기 위해, 가상 물체의 이미지를 이들 파라미터들과 일치하도록 조정할 수 있다. 블록(713)에서, 프로세서는, 가상 물체가 앵커 표면에 연결된 것으로 보이도록 헤드 장착 디스플레이 상에 가상 물체를 디스플레이할 수 있다.
사용자는, 다른 사용자들과의 협력적 프로세스에 대한 필요성들 또는 선호도에 기인하여 앵커 표면을 변경할 것을 선택할 수 있다. 다양한 실시예들은, 각각의 사용자가, 가상 물체들(14)을 관측할 동일한 또는 상이한 앵커 표면들을 선택하는 것을 가능하게 한다. 따라서, 결정 블록(714)에서, 프로세서는 사용자 입력들(예를 들어, 버튼들, 인식된 이동 제스쳐들 및/또는 말해진 커맨드들)을 모니터링할 수 있고, 가상 물체(14)에 대한 제 2의 상이한 앵커 표면을 표시하는 제 2 입력이 수신되는지 여부를 결정할 수 있다. 제 2 입력이 수신되지 않으면(즉, 결정 블록(714) = "아니오"), 프로세서는, 제 1 앵커 표면에 연결된 이미지에서 가상 물체를 생성하는 것을 계속하기 위해 블록(711)으로 리턴할 수 있다.
제 2 입력이 수신되면(즉, 결정 블록(714) = "예"), 블록(715)에서, 프로세서는, 새로운 앵커 표면을 표시하는 하나 또는 그 초과의 입력들을 검출할 수 있다. 새로운 앵커 표면이 표시되는 경우, 프로세서는, 블록(715)에서 선택된 새로운 앵커 표면에 대응하는 거리 및 배향을 포함하는 파라미터들을 계산할 수 있고, 블록(716)에서, 프로세서는, 가상 물체(14)가, 제 1 앵커 표면으로부터 제 2의 새로운 앵커 표면으로 이동된 것으로 보이도록, 헤드 장착 디스플레이 상에 제시되는 이미지들을 생성할 수 있다. 블록(717)에서, 프로세서는 사용자의 위치의 변경들 및 그에 따른 사용자의 시점의 변경들에 대응하도록 가상 물체의 이미지를 변형할 수 있다. 예를 들어, 사용자가 가상 물체에 더 가까이 걸어가면, 이미지 크기는 증가할 수 있다. 사용자가 가상 물체로부터 먼 거리로 걸어가면, 가상 물체의 이미지 크기는 감소할 수 있다. 블록(717)에서 사용자의 시점에서의 변경들에 매칭하도록 가상 물체의 이미지들을 변형하는 것 뿐만 아니라 결정 블록(714)에서 사용자 입력들에 대해 모니터링하는 것의 프로세스들은 협력 세션 전반에 걸쳐 연속적 프로세스로 수행되도록 계속될 수 있다.
도 8a는, 예를 들어, 방과 같은 영역에서 2명의 사용자들에 대해 앵커된 가상 물체를 갖는 이미지를 렌더링하기 위한 실시예 방법(800)을 도시한다. 이 실시예에서, 디스플레이된 앵커된 가상 물체(14)는 선택된 앵커 표면에 앵커되어 유지된다. 방법(800)은, 방법(800)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다.
방법(800)에서, 프로세서는, 블록(801)에서 거리 센서들로부터의 데이터, 카메라 데이터 및 계산된 거리 데이터를 이용하여 이미지를 프로세싱함으로써 동작을 시작할 수 있다. 블록(802)에서, 프로세서는 파라미터들을 계산할 수 있고, 가상 물체를 앵커 표면에 고정시킬 수 있고, 헤드 장착 디스플레이 상에 제시되는 이미지에서 가상 물체를 고정시킬 수 있다. 블록(803)에서, 프로세서는 가상 물체를 갖는 디스플레이를 위한 이미지를 렌더링할 수 있다. 블록(804)에서, 프로세서는, 이미지 및/또는 가상 물체 데이터를 제 2 헤드 장착 디스플레이에 송신하기 위해 송신기/수신기 또는 트랜시버를 제어할 수 있다. 블록(804)에서, 제 1 헤드 장착 디바이스는, 가상 물체를 정의하는 3차원 모델 및/또는 3차원 데이터 세트를, 제 2 디바이스가 동일한 가상 물체의 이미지를 생성하는 것을 가능하게 하는 포맷으로 제 2 헤드 장착 디바이스에 송신할 수 있다. 또한 블록(804)에서, 프로세서는, 위치 좌표 정보를 포함하는 맵을 제 2 헤드 장착 디바이스에 송신할 수 있다. 헤드 장착 디바이스는 서버로부터 방 좌표 맵을 업로드 및/또는 다운로드할 수 있거나, 맵을 제 2 헤드 장착 디바이스에 직접 송신할 수 있다. 블록(805)에서, 제 2 프로세서는, 제 2 헤드 장착 디스플레이 상으로의 투사를 위해 가상 물체의 이미지를 렌더링할 수 있다. 이미지는, 블록(802)에서 제 1 사용자에 의해 선택된 앵커 표면에 앵커되거나 고정되는 가상 물체를 포함할 수 있다. 예를 들어, 제 1 사용자는 데스크탑 표면 상에 가상 물체를 앵커할 수 있다. 블록(805)에서, 프로세서는 이미지를 렌더링할 수 있다. 데스크탑 표면이 블록(802)에서 입력에 의해 제 1 사용자에 의해 선택되었기 때문에, 렌더링된 이미지에서, 가상 물체는 데스크탑 표면 상에 나타날 것이다.
다양한 실시예들에서, 제 2 헤드 장착 디바이스는, 제 1 헤드 장착 디바이스의 사용자에 의해 지정된 것과 동일한 앵커 표면에 또는 제 2 사용자에 의해 식별된 상이한 앵커 표면에 앵커되는 가상 물체의 이미지를 디스플레이할 수 있다. 블록(806)에서, 제 2 헤드 장착 디바이스의 경우, 제 2 프로세서는, 앵커된 가상 물체가 디스플레이된 이미지 내에서 어디에 렌더링되어야 하는지를 결정하기 위해, 제 2 사용자가 보고 있는 위치 및 배향(이것은 헤드 장착 디바이스의 배향과 관련됨)을 결정할 수 있다. 예를 들어, 제 2 사용자가 제 1 사용자에 의해 지정된 앵커 표면을 보고 있으면, 제 2 헤드 장착 디바이스는 헤드 장착 디스플레이에서 가상 물체의 이미지를 렌더링할 수 있다. 그러나, 제 2 사용자가 앵커 표면을 외면하고 있으면, 앵커 표면은 헤드 장착 디스플레이 상에 제시되는 사용자의 시계 외부에 있을 것이기 때문에, 제 2 헤드 장착 디바이스는 가상 물체의 이미지를 렌더링하지 않을 것이다.
사용자의 헤드 및 헤드 장착 디바이스의 배향을 결정하는 것은, 제 2 사용자의 헤드 장착 디바이스의 배향 센서(예를 들어, 경사계(inclinometer), 자이로스코프들 및/또는 가속도계들)로부터의 데이터 및 제 2 사용자에 의해 착용된 카메라들에 의해 이미지들을 캡쳐하고, 제 2 사용자의 시야각 및 시점을 추론하기 위해 이 정보를 프로세싱함으로써 달성될 수 있다. 앞서 논의된 바와 같이, 이 프로세스는, 스캔된 3차원(3D) 환경의 토포그래피에서의 시프트들을 일정하게 참조하고 따라서 SLAM(Simultaneous Location and Mapping) 동작들을 수행함으로써 각각의 헤드 장착 디바이스가 공간에서 이동할 때 그 자신의 위치 및 시야각을 삼각측량할 수 있도록 연속적으로 달성될 수 있다. 또한, 제 2 사용자의 해부구조의 일부가 제 2 사용자의 헤드 장착 또는 신체 장착 카메라들로부터의 이미지에서 캡쳐되면, 이것은 또한, 신체 일부를 인식하고 그로부터 신체 일부의 시계가 어디에 위치되는지를 추론하기 위해, 캡쳐된 이미지에 검출 알고리즘을 적용하는 것을 포함할 수 있다.
블록(807)에서, 프로세서는 물체의 이미지를 렌더링하는데 이용하기 위한 이미지 데이터를 생성하기 위해 가상 물체 데이터를 프로세싱할 수 있다. 이 동작에서, 프로세서는 제 2 사용자의 시야로부터 적절하게 가상 물체를 렌더링할 수 있고, 따라서 제 2 사용자는 컨텐츠를 편안하게 판독하고 가상 물체를 관측할 수 있다. 블록(808)에서, 프로세서는, 사용자에 대한 앵커 표면의 위치 및 배향에 기초하여 제 2 헤드 장착 디스플레이에서 이미지를 생성할 수 있다.
결정 블록(809)에서, 프로세서는, 제 2 사용자가 새로운 앵커 표면을 결정하기를 원하는지 여부를 결정할 수 있다. 결정은, 이미지에서 가상 물체(14)를 앵커하기를 원하는 것을 표시하는 입력 신호를 수신하는 것에 기인할 수 있다. 예를 들어, 제 2 사용자는 현재의 앵커 표면과는 상이한 표면 상에 이미지를 앵커하기를 원할 수 있다. 예를 들어, 이미지는 다수의 사용자들에 의한 협력적 프로세스 동안 벽에 고정될 수 있고, 그 다음 데스크탑으로 이동될 수 있다.
앞서 언급된 바와 같이, 제 2 헤드 장착 디바이스의 사용자는 앵커 표면을 변경하는 것으로 선택할 수 있고, 따라서 가상 물체의 이미지를 제 2 사용자에 의해 지정된 다른 표면으로 이동시킬 수 있다. 새로운 표면 상에 가상 물체를 앵커시키는 것을 원하는 것을 표시하는 사용자 입력을 헤드 장착 디바이스 프로세서가 수신하면(즉, 결정 블록(809) = "예") (이것은, 제 2 사용자가 가상 물체(14)에 대한 새로운 앵커를 결정하기를 원하는 것을 표시함), 프로세서는, 블록(810)에서, 제 2의 미리 결정된 표면 상의 가상 물체의 새로운 앵커의 거리 및 배향 파라미터들을 결정할 수 있다. 블록(811)에서, 프로세서는 가상 물체를 새로운 앵커 표면의 파라미터들로 변경 또는 변형할 수 있다. 프로세서는 블록(812)에서의 거리 및 배향에 기초하여 가상 물체(14)를 프로세싱할 수 있다. 블록(813)에서, 제 2 프로세서는 제 2 앵커 표면 상에 고정된 앵커된 가상 물체를 갖는 이미지를 헤드 장착 디스플레이 상에 렌더링할 수 있다.
새로운 표면 상에 가상 물체를 앵커하기를 원하는 것을 표시하는 사용자 입력을 프로세서가 수신하지 않으면(즉, 결정 블록(809) = "아니오"), 프로세서는, 앵커 위치에서는 변화가 없지만 제 2 사용자의 시점에 대해 렌더링되도록, 블록(807)에서의 렌더링을 위해 가상 물체를 프로세싱할 수 있다. 유사한 방식으로, 제 1 또는 제 2 사용자는 다른 가상 물체를 추가할 수 있고 제 3 앵커 표면 상에 추가적인 가상 물체를 앵커할 수 있다.
도 8b는, 제 1 사용자의 시점으로부터 제 1 사용자의 디스플레이 상에 그리고 제 2 사용자의 시점에 대해 다른 디스플레이 상에 출력되는 이미지에서 앵커된 가상 물체를 정확하게 배향하기 위한 실시예 방법(815)을 도시한다. 방법(815)은, 방법의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(815)에서, 블록(820)에서, 프로세서는, 사용자가 방을 스캔할 때 이미지 데이터를 수신할 수 있고, 가상 물체들에 대한 앵커로서 기능하는데 적절한 표면들을 포함하는 표면들을 식별/인식하기 위해 이미지 데이터를 프로세싱할 수 있다. 예를 들어, 프로세서는 헤드 장착 또는 신체 장착 디바이스로부터의 이미지들을 캡쳐할 수 있다. 이러한 헤드 또는 신체 장착 디바이스의 프로세서는 또한, 거리 센서와 같은 다른 타입들의 센서들로부터 방 안의 물체들의 거리 및 배향에 관한 정보를 수신할 수 있다. 블록(822)에서, 프로세서는, 예를 들어, 렌더링을 위해 가상 물체들을 생성하고 있는 다른 컴퓨터로부터, 헤드 장착 디스플레이 상에의 디스플레이를 위해 가상 물체를 선택할 수 있다. 블록(824)에서, 프로세서는, 블록(824)에서 가상 물체를 앵커할 표면을 표시하는 입력을 사용자로부터 수신할 수 있다. 프로세서는, 블록(826)에서 가상 물체를 제 1 앵커 표면에 앵커하기 위해 가상 물체를 배향할 수 있고, 블록(828)에서 제 1 헤드 장착 디스플레이 상에 가상 물체의 이미지를 생성할 수 있다. 프로세서는 또한, 예를 들어, 사용자의 헤드의 이동을 보상 또는 수용하기 위해, 블록(830)에서 사용자의 이동을 보상하도록 가상 물체의 위치 및 배향을 업데이트할 수 있다.
결정 블록(832)에서, 제 1 헤드 장착 디바이스의 프로세서는, 제 1 헤드 장착 디바이스에 의해 선택되거나 렌더링되는 컨텐츠가 제 2 디바이스에 송신될지 여부를 결정할 수 있다. 송신되지 않으면(즉, 결정 블록(832) = "아니오"), 프로세서는, 사용자가 이동하거나 자신의 헤드를 돌리는 경우에도 가상 물체가 동일한 표면에 앵커되어 유지되는 것으로 보이는 연속적 디스플레이를 생성하기 위해, 프로세스를 반복하기 위해 블록(820)으로 리턴할 수 있다.
제 1 헤드 장착 디바이스에 의해 생성된 선택된 컨텐츠가 제 2 헤드 장착 디바이스와 공유되어야 하는 것으로 프로세서가 결정하면(즉, 결정 블록(832) = "예"), 제 1 헤드 장착 디바이스의 프로세서는, 선택적 블록(834)에서 제 2 앵커 표면을 표시하는 제 2 입력을 제 2 사용자로부터 수신할 수 있다. 선택적 블록(836)에서, 프로세서는 선택적으로, 식별된 제 2 앵커 표면에 가상 물체를 앵커하기 위해, 디스플레이 위치 및 배향을 결정하기 위한 계산들을 수행할 수 있다. 선택적 블록(838)에서, 제 1 또는 제 2 헤드 장착 디바이스의 프로세서는, 예를 들어, 센서 데이터 및 획득된 이미지들에 기초하여, 본 명세서에서 설명되는 방법들을 이용함으로써, 제 2 사용자의 시각적 배향을 결정할 수 있다. 앞서 언급된 바와 같이, 배경들에 대해 헤드 장착 디바이스를 배향시키고, 다양한 표면들의 상대적 배향 및 다양한 표면들까지의 거리들을 결정하는 프로세스는, 배향 센서들(예를 들어, 가속도계들 및 자이로스코프들)을 모니터링하고, 스캔된 3차원(3D) 환경의 토포그래피에서의 시프트들을 일정하게 참조하고 따라서 SLAM(Simultaneous Location and Mapping) 동작들을 수행함으로써 디바이스가 공간에서 이동할 때 그 자신의 위치 및 시야각을 삼각측량함으로써 연속적으로 달성될 수 있다.
추가적 실시예에서, 제 1 헤드 장착 디바이스 내의 프로세서는, 해부학적 모델들을 이용하여 그리고 그 자신의 스테레오 카메라들에 의해 획득된 제 2 사용자의 이미지들에 기초하여 제 2 사용자의 배향을 결정할 수 있다. 선택적 블록(840)에서, 제 1 헤드 장착 디바이스는, 블록(838)에서 결정된 제 2 사용자의 배향에 기초한 배향에서 가상 물체에 관한 데이터를 제 2 헤드 장착 디바이스에 송신할 수 있다. 그 다음, 제 2 헤드 장착 디바이스는 본 명세서에서 설명되는 바와 같이 제 2 헤드 장착 디스플레이 상에 가상 물체의 이미지를 렌더링할 수 있다. 사용자 배향들을 결정하고 디스플레이들을 생성하는 이러한 프로세스는, 제 1 및 제 2 사용자들이 이동하고 그들의 헤드들을 돌리는 동안, 이미지가 그 선택된 표면에 앵커된 것으로 계속 보이도록 루프를 계속할 수 있다.
다양한 실시예들에서, 헤드 장착 디바이스는, 제 2 사용자에 대한 적절한 관점에서 가상 물체를 렌더링하는 것을 가능하게 하는 계산들을 수행할 수 있다. 예를 들어, 제 1 헤드 장착 디바이스의 프로세서는, 제 2 사용자에 대해 제 2 가상 물체를 정확하게 배향하는 방식으로, 가상 물체 데이터를 제공하는 데이터를 제 2 헤드 장착 디바이스에 송신할 수 있다. 제 1 헤드 장착 디바이스에 의해 가상 물체를 배향하는 프로세스는, 제 2 헤드 장착 디바이스로부터 제 1 헤드 장착 디바이스로 송신되는, 제 2 사용자의 결정된 배향에 기초할 수 있다. 즉, 제 2 헤드 장착 디바이스는, 자신의 위치 및 배향에 대해 제 1 헤드 장착 디바이스에 통지할 수 있고, 제 1 헤드 장착 디바이스는 이 정보를 이용하여 가상 물체 데이터를 배향할 수 있다. 대안적으로, 제 1 헤드 장착 디바이스는, 제 2 사용자의 이미지들에 기초하여 제 2 헤드 장착 디바이스의 배향을 결정할 수 있고, 이 결정을 이용하여 가상 물체 데이터를 배향할 수 있다. 예를 들어, 프로세서는, 시간에 걸쳐 제 2 사용자의 이미지들을 캡쳐하고, 이미지들 내에서 신체 부분을 검출하기 위해 이미지들에 해부학적 분석을 적용함으로써, 가상 물체에 대한 적절한 배향을 결정할 수 있다. 이 정보를 이용하여, 제 1 헤드 장착 디바이스의 프로세서는, 제 2 헤드 장착 디바이스의 프로세서가 제 2 앵커 표면에 위치된 가상 물체의 이미지를 제 2 사용자의 시점과 일치하도록 렌더링하는 것을 가능하게 하기 위해, 가상 물체에 관한 데이터를 제 2 헤드 장착 디바이스에 송신할 수 있다.
프로세서는 또한 관측되는 구조들 및 검출된 신체 부분에 기초하여, 제 2 가상 물체를 배향할 수 있다. 예를 들어, 제 2 사용자의 헤드, 목 및 몸통이 제 1 헤드 장착 디바이스에 의해 캡쳐된 이미지들에서 검출될 수 있고, 제 1 헤드 장착 디바이스의 프로세서는, 앵커 표면으로서 제 2 사용자에 의해 선택되는 또는 선택된, 제 2 사용자에 근접한 수평 벽 또는 수직 테이블이 존재한다고 결정할 수 있다. 다른 예로서, 제 1 헤드 장착 디바이스의 프로세서는 획득된 이미지들에서 제 2 사용자의 헤드, 목 및 몸통을 인식할 수 있고, 이 신체 부분들의 위치들로부터, 제 2 사용자가 가상 물체와 연관된 텍스트를 판독할 수 있도록 가상 물체가 어떻게 배향되어야 할지를 결정할 수 있다. 예를 들어, 제 2 사용자의 헤드 및 몸통의 이미지들은 수평적으로(예를 들어, 어깨부터 어깨까지) 및 수직적으로(예를 들어, 몸통부터 헤드까지) 좌표축을 정의하기 위해 분석될 수 있고, 그 다음, 이 좌표축은 가상 물체를 렌더링하기 위한 적절한 배향을 결정하는데 이용될 수 있다. 추가적으로, 가상 물체 이미지의 시야각은, 예를 들어, 헤드 장착 디스플레이 상에 제시되는 가상 물체의 각각의 픽셀의 제 2 사용자의 헤드 및 몸통으로부터의 거리들의 측면에서 결정될 수 있다. 이 프로세싱은, 제 2 사용자의 시점으로부터 가상 물체 상의 다양한 표면들의 시야각과 일치하도록 물체 밝기를 변화시키는 것을 포함할 수 있다.
다른 실시예에서, 프로세서는 시간에 걸쳐 제 2 사용자의 이미지들을 캡쳐할 수 있고, 이미지들 내에서 신체 부분을 검출하기 위해 이미지들에 해부학적 분석을 적용할 수 있다. 예를 들어, 제 2 사용자의 한 쌍의 눈(또는 헤드 장착 디바이스) 및 코가 검출될 수 있다. 프로세서는 이 신체 부분을 활용할 수 있고, 제 2 사용자가 보고 있는 위치를 결정할 수 있고, 제 2 사용자가 보고 있는 위치에 기초하여 제 2 가상 물체를 배향시킬 수 있다. 또 다른 실시예에서, 프로세서는, 캡쳐된 이미지들로부터 제 2 사용자가 앉아 있는지 또는 서 있는지를 결정할 수 있다. 제 2 사용자가 서 있다면, 프로세서는, 제 2 사용자에 인접한 평면 표면에 앵커되는 것으로 제 2 가상 물체를 생성할 수 있다. 제 2 사용자가 앉아 있다면, 프로세서는, 제 2 사용자에 인접한 인근 표면에 앵커되는 것으로 보이도록 제 2 가상 물체를 생성할 수 있다.
블록(832)에서 제 1 사용자로부터 제 2 사용자에게 컨텐츠를 전달하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(832) = "아니오"), 프로세서는 블록(838)에서 제 1 사용자에 대해 가상 물체을 디스플레이할 수 있고, 블록(840)에서 제 1 사용자의 이동에 대해 가상 물체를 업데이트할 수 있다.
일 실시예에서, 프로세서는, 제 2 사용자에 대해 제 2 가상 물체를 정확하게 배향하는 신호를 통신할 수 있다. 프로세서는 또한, 제 2 사용자에 대해 배향된 제 2 가상 물체를 생성하는 신호를 통신할 수 있다. 이들은 통신 네트워크에 통신될 수 있다. 통신 네트워크는 신호를 수신할 수 있고, 제 2 가상 물체는 제 1 사용자로부터 멀리 떨어져 있는 제 2 사용자에 대해 생성될 수 있다. 예를 들어, 제 1 및 제 2 사용자는 동일한 방에 또는 상이한 도시들에 위치될 수 있다. 또 다른 실시예에서, 제 2 사용자는 가상 물체를 이동시키거나 재배향하기 위해, 검출된 제스쳐 또는 오디오 커맨드를 이용하여 추가적인 입력들을 제공할 수 있다. 프로세서는 또한, 제 2 가상 물체의 선호되는 배치를 확인할지 또는 거부할지를 표시하는 입력을 제 2 사용자로부터 수신할 수 있다. 제 2 사용자는 또한 원하는 대로 가상 물체를 회전시키고 재배향하기 위한 입력을 제공할 수 있다.
헤드 장착 디바이스들을 착용한 둘 또는 그 초과의 사용자들 사이에서 공유된 경험을 가능하게 하는 것에 부가하여, 협력에 관련된 헤드 장착 디바이스들의 하나 또는 그 초과에 의해 생성되는 이미지 데이터는 비참여자들에 의해 이용되는 헤드 장착 디바이스들, 또는 스마트폰들 또는 태블릿 컴퓨터들과 같은 다른 모바일 디바이스들에 송신되고 디스플레이될 수 있어서, 다른 사람들이 가상 또는 증강 현실 경험에서의 협력을 관측하는 것을 가능하게 한다. 앞서 설명된 바와 같이, 헤드 장착 디바이스들을 착용하거나 스마트폰 또는 태블릿과 같은 다른 모바일 디바이스를 이용하여 협력 세션을 관측하는 다른 사람들은 가상 물체들 및 가상 물체들과의 사용자 상호작용들을 볼 수 있을 뿐만 아니라, 헤드 장착 디바이스 사용자들 중 하나에 의해 보여지는 가상 증강들과의 제한된 상호작용 능력들을 가질 수 있다. 이 제한된 상호작용은, 증강을 터치하여 효과를 유발시키는 것, 물리적 표면 상에 상호작용 영역 또는 앵커 포인트를 정의하는 것 (공유된 경험에 새로운 증강을 유효하게 추가하는 것), 및 제스쳐 및/또는 오디오 입력들을 통해 공유된 혼합된 현실 신과 상호작용하는 것을 포함할 수 있다. 가상 경험에서의 이러한 임의의 변경들은 다른 사용자들이 착용한 헤드 장착 디바이스들에서 반영될 수 있다.
도 9a는, 널리 분산된 위치들에서 2명의 사용자들에 대해 앵커된 가상 물체의 이미지들을 렌더링하기 위한 실시예 방법(900)을 도시한다. 예를 들어, 하나의 사용자는 캘리포니아 샌디에고에 위치될 수 있고, 제 2 사용자는, 예를 들어, 영국 캠브리지와 같은 제 2 위치에 위치될 수 있다. 그러나, 두 위치들 모두에서, 디스플레이되는 앵커된 가상 물체(14)는 이미지의 미리 결정된 영역에 고정된 각각의 위치에서 앵커 표면에 앵커되어 유지된다. 몇몇 실시예들에서, 하나의 사용자는 다수의 다른 사용자들에 대해 가상 물체에 대한 앵커 표면을 선택할 수 있다. 도 9a에 도시된 방법(900)은, 방법(900)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성된 프로세서를 갖는 컴퓨팅 디바이스들에서 구현될 수 있다. 방법(900)의 블록(901)에서, 프로세서는, 거리 센서들로부터의 데이터, 카메라 데이터 및 계산된 거리 데이터를 이용하여 이미지를 프로세싱함으로써 동작을 시작할 수 있다.
도 5a를 참조하여 앞서 설명된 신 센서(500)는, 근적외선(NIR) 펄스 방출기(503c), 및 반사된 적외선 펄스들에 대한 이동 시간 정보를 결정할 수 있는 고속 게이팅 메커니즘을 갖는 적외선 카메라(503b)를 포함할 수 있다. 광속, 및 적외선 카메라(503b)의 게이팅과 조명기(503c)로부터의 적외선 방출 펄스들의 타이밍에 기초하여, 캡쳐된 이미지 내의 물체들까지의 거리들은, 수신된 펄스들의 타이밍에 기초하여 결정될 수 있다. 펄스 신호는, 이미지 내의 각각의 픽셀 또는 픽셀들의 그룹들에 대해 수집될 수 있고, 거리 센서로부터 신의 물체들까지의 거리를 결정하는데 이용될 수 있고, 이는 저장 매체에 기록되고 저장될 수 있다.
블록(902)에서, 프로세서는 이미지의 앵커된 가상 물체를 디스플레이하기 위한 파라미터들을 계산할 수 있다. 프로세서에 의해 입력이 수신된 후 가상 물체는 미리 결정된 표면에 고정되는 것으로 의도될 수 있고, 계산된 파라미터들은 원하는 표면과 관련될 수 있다. 블록(903)에서, 프로세서는 가상 물체로 디스플레이를 위한 이미지를 렌더링할 수 있다. 블록(904)에서, 프로세서는, 방 좌표 맵을 서버에 업로드 및/또는 다운로드하기 위해 송신기/수신기 또는 트랜시버를 제어할 수 있다. 이러한 좌표 맵은, 헤드 장착 디바이스들이 방 안의 구조들의 위치들을 편리한 좌표 시스템 내에서 결정하는 것을 가능하게 하는 정보를 정의하는 임의의 형태의 위치일 수 있다. 예를 들어, X 및 Y 차원들이 바닥의 장축들에 대응하고 Z 좌표가 수직 차원(즉, 바닥에서 천장까지)에 대응하는 데카르트 좌표들의 관점에서 이러한 방 좌표 맵의 목적들로 사각형 방이 정의될 수 있다. 헤드 장착 디바이스들 내의 카메라들 및 다른 센서들(및/또는 신체 장착 카메라들)이 벽들, 바닥 및 천장과 같은, 방의 주요한 구조적 차원들을 위치확인할 수 있기 때문에, 방 좌표들의 배향은 방의 벽들 및 바닥에 대해 쉽게 정렬될 수 있다. 이러한 방식으로, 시스템들은 (예를 들어, GPS 센서들로부터의) 지리적 좌표들 또는 콤파스 좌표들과 관련될 필요가 없다. 한편, 사용자들이 외부에 있거나, 편리한 데카르트 기준 프레임이 결핍된 공간 내에 있는 경우, 데카르트 좌표들은 GPS 및 콤파스 좌표들에 정렬될 수 있다.
식별된 기준 좌표 프레임을 이용하여, 사용자들의 시야 내의 구조들 및 표면들은, 표면들(예를 들어, 벽들, 바닥 및 천장)을 정의하는 다양한 좌표에 대한 그리고 헤드 장착 디스플레이의 시야에서 다양한 물체들 및 표면들에 대한 사용자로부터의(예를 들어, 스테레오 이미지들의 프로세싱 및/또는 거리 센서들로부터의) 거리 측정들을 이용함으로써 식별되거나 좌표계에 링크될 수 있다. 그 다음, 물체들 및 표면들의 사용자-관련 좌표들을 일반적인 방 좌표 맵으로 변환하기 위해 단순한 지리적 좌표 변환 알고리즘이 이용될 수 있다. 따라서, 이 프로세싱의 결과는 일반적 기준 프레임 내에서 방 안의 각각의 물체 또는 표면에 대한 좌표 벡터들의 데이터 세트(예를 들어, 3개의 좌표 거리들)를 생성하는 것일 수 있다. 헤드 장착 디바이스는 방 안에서의 자기 자신의 위치를 결정하기 위해 이 좌표 데이터베이스를 이용할 수 있다. 그 다음, 방에 대한 좌표 데이터베이스 내에서 자기 자신의 위치를 인식하여, 프로세서는 단순한 데카르트 좌표 변환 알고리즘들을 이용하여 헤드 장착 디바이스로부터 방 안의 모든 물체들 및 표면들까지의 거리들 및 방향들을 계산할 수 있다. 사용자들이 실외에 있는 상황에서, 일반적 기준 프레임은, 임의적으로 선택되고, GPS 시스템 측정들에 부착되거나 그로부터 결정될 수 있는 지리적 좌표들에 기초할 수 있다.
다른 실시예에서, 방 좌표 맵은, 예를 들어, 디바이스의 프로세서에 커플링되는 메모리 또는 헤드 장착 디바이스에 무선으로 커플링되는 모바일 컴퓨팅 디바이스(예를 들어, 스마트폰)에서, 헤드 장착 디바이스에 액세스가능한 로컬 메모리에 저장될 수 있다. 블록(916)에서, 가상 물체는 제 1 앵커된 표면 상의 디스플레이 상에 렌더링될 수 있고, 사용자가 이동하거나 헤드 장착 디스플레이를 돌릴 때 프로세서는, 제 1 앵커된 표면 상에 가상 물체를 렌더링하는 것을 계속할 수 있다. 블록(917)에서, 통신 및 협력을 위해 제 1 및 제 2 헤드 장착 오디오 디바이스들 사이에서 오디오 링크가 설정될 수 있다.
도 9b로 돌아가서, 블록(905)에서, 제 1 사용자로부터 멀리 떨어진 지리적 거리에 위치될 수 있는 제 2 헤드 장착 디바이스의 프로세서는, 제 2 사용자의 위치 및 관측 배향을 결정할 수 있다. 이것은, 헤드 장착 디바이스의 위치 및 시야각을 결정하기 위해, 위치 데이터, 콤파스 데이터 및 가속도계 데이터를 획득하는 것을 포함하여, 본 명세서에서 설명되는 위치확인 방법들 중 임의의 방법을 이용하여 달성될 수 있다. 몇몇 경우들에서, 제 2 헤드 장착 디바이스는, 이미지 내에 존재하는 사용자의 신체의 일부를 인식함으로써 자신의 시야각을 결정할 수 있고, 그로부터, 해부학적 모델을 이용하여 타당한(likely) 시점을 추론할 수 있다. 다른 실시예에서, 제 2 사용자는, 가상 물체를 렌더링할 표면을 지정하기 위한 입력을 제공할 수 있고, 사용자의 시점을 표시할 수 있다. 블록(906)에서, 프로세서는, 제 2 사용자의 시점으로부터 디스플레이를 위해 가상 물체를 적절히 렌더링하도록 가상 물체를 프로세싱할 수 있다. 블록(907)에서, 프로세서는 제 2 사용자의 위치 및 배향에 기초하여 제 2 헤드 장착 디스플레이에서 이미지를 생성할 수 있다.
결정 블록(908)에서, 제 2 헤드 장착 디바이스의 프로세서는, 제 2 사용자가 디스플레이된 이미지에 가상 물체를 앵커하기 위해 새로운 앵커 표면을 선택하기를 원하는지 여부를 결정할 수 있다. 예를 들어, 제 2 사용자는, 물리적 데스크탑과 같이 협력 동안 편리할 수 있는, 디스플레이 이미지의 표면 상에 이미지를 앵커하기를 원할 수 있다. 일 실시예에서, 가상 물체는, 예를 들어, 렌더링된 이미지 내에서 보일 수 있는 가상 테이블과 같은 가상의 물리적 표면 상에 앵커될 수 있다.
제 2 사용자가 가상 물체에 대한 앵커 표면을 (예를 들어, 입력을 통해) 변경하기를 원하는 것으로 프로세서가 결정하면(즉, 결정 블록(908) = "예"), 프로세서는 블록(909)에서 새로 지정된 앵커 표면의 거리 및 배향 파라미터들을 결정할 수 있다. 블록(910)에서, 프로세서는, 앵커 표면(데스크탑)의 파라미터들에 기초하여 가상 물체의 렌더링을 변경할 수 있고, 블록(911)에서 제 2의 미리 결정된 표면의 앵커 표면의 거리 및 배향에 기초하여 가상 물체를 프로세싱할 수 있다. 블록(912)에서, 제 2 프로세서는, 제 2 헤드 장착 디바이스의 디스플레이에서 앵커 표면 상에 앵커된 가상 물체를 갖는 이미지를 렌더링할 수 있다.
블록(913)에서, 제 2 헤드 장착 디스플레이를 착용한 사용자로부터 수신된 가상 물체의 업데이트들은 렌더링을 위해 제 1 헤드 장착 디스플레이에 송신될 수 있다. 이 방식으로, 2개의 헤드 장착 디스플레이들의 사용자들은 협력 세션 동안 가상 물체와 협력적으로 상호작용할 수 있다. 이 업데이트들은, 각각의 디바이스가 어느 사용자에 의해 행해진 모든 변경들을 반영하여 업데이트된 가상 이미지를 디스플레이하도록, 2개의 헤드 장착 디바이스들 사이에서 송신될 수 있다. 예를 들어, 워드 프로세싱 애플리케이션에서, 가상 물체는 협력적 방식으로 두 사용자들 모두로부터의 변경들을 반영할 수 있다. 블록(914)에서, 제 2 및 제 1 헤드 장착 디바이스들 사이에서 오디오 링크가 설정될 수 있다. 사용자들은 오디오 링크를 활용하여 서로 말할 수 있을 뿐만 아니라 오디오 회의 포맷으로 다른 사용자들과 말할 수 있다. 이 회의는 2개의 상이한 지리적 위치들에서 디스플레이 상의 가상 물체를 관측하는 것과 동시에 발생할 수 있다. 일 실시예에서, 헤드 장착 디바이스는 비디오 및 오디오 회의 소프트웨어를 이용할 수 있다.
제 2 사용자가 새로운 위치에 가상 물체를 앵커하기를 원하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(908) = "아니오"), 프로세서는 블록(915)에서, 가상 물체를 렌더링할 수 있다. 예를 들어, 제 2 사용자는 원래의 앵커 표면 상에 또는 헤드 장착 디바이스 상의 자유 플로우팅 어레인지먼트에 가상 물체를 디스플레이하는 것으로 단순히 선택할 수 있다. 예를 들어, 프로세서는 블록(915)에서, 가상 물체를 "대기 모드"로 디스플레이할 수 있다.
도 10은, 제 1 헤드 장착 디바이스와 제 2 헤드 장착 디바이스 사이에서 피어 투 피어 발견을 개시하기 위한 실시예 방법(1000)을 도시한다. 방법(1000)은, 방법(1000)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 2개의 헤드 장착 디바이스들이 피어-투-피어 통신 링크를 통해 링크되면, 2개의 헤드 장착 디바이스들은 자원들을 공유할 수 있고, 디바이스들 사이에서 데이터를 공유 및 교환할 수 있다. 방법(1000)은 헤드 장착 디바이스들을 함께 링크시키는 것에 제한되지 않고, 하나 또는 그 초과의 헤드 장착 디바이스들과 링크할 수 있는 다른 컴퓨팅 디바이스들에 적용가능할 수 있다. 일 실시예에서, 헤드 장착 디바이스(10)는, CPU를 갖는 모바일 디바이스(예를 들어, 폰, 태블릿 등)의 액세서리로서 동작가능할 수 있고, 방법(1000)의 동작들 중 일부는 모바일 디바이스의 CPU에 의해 수행될 수 있는 한편, 헤드 장착 디바이스는 "단말"로서 기능하여 더 적은 동작들을 수행할 수 있고, 무선 인터페이스를 통해 모바일 디바이스로부터 출력을 수신할 수 있다. 예를 들어, 프로세싱은 제 1 모바일 디바이스 상에서 수행될 수 있고, 디스플레이 출력은, 앵커된 가상 물체의 관측가능한 이미지를 생성하는 헤드 장착 디스플레이에 전달될 수 있다.
방법(1000)의 블록(1002)에서, 프로세서는, 글로벌 포지셔닝 유닛(GPS) 또는 임의의 다른 공간-기반 글로벌 내비게이션 위성 시스템(GNSS) 수신기 또는 헤드 장착 디바이스와 연관된 내비게이션 디바이스와 같은, 헤드 장착 디바이스와 연관된 위치확인 디바이스로부터 위치 데이터를 수신할 수 있다. 예를 들어, 위치 디바이스는, 라디오 네트워크 기지국으로부터 위치를 결정하는 디바이스일 수 있다. 다른 실시예에서, 헤드 장착 디바이스는, 클라우드 서버와 같은 로컬 디바이스로부터 또는 무선 통신 네트워크 기지국으로부터 로컬 위치 데이터를 수신할 수 있다. 추가적인 실시예에서, 사용자는, 헤드 장착 디바이스가 새로운 위치에 진입하고 있고 그리고/또는 새로운 협력 세션을 시작하고 있음을 표시하는 입력(예를 들어, 음성 커맨드 또는 버튼을 누르는 것)을 제공할 수 있다. 추가적 실시예에서, 헤드 장착 디바이스는 다른 디바이스들로부터 피어 네트워크 광고들을 수신할 수 있고, 새로운 광고로부터, 디바이스가 새로운 위치에 진입했다고 결정할 수 있다.
결정 블록(1004)에서, 프로세서는 위치 데이터 또는 다른 표시들에 기초하여 제 1 헤드 장착 디바이스가 새로운 위치에 진입했는지 여부를 결정할 수 있다. 그렇다면(즉, 결정 블록(1004) = "예"), 헤드 장착 디바이스는, 다른 컴퓨팅 디바이스들 또는 헤드 장착 디바이스들이 인근에 있는지 및 무선 데이터 접속들에 의해 링크될 수 있는지를 결정하기 위해 블록(1006)에서 피어-투-피어 발견을 개시할 수 있다. 블록(1006)에서 피어-투-피어 발견을 개시하는 프로세스는, 링크될 수 있는 디바이스로부터 응답이 수신될 때까지(즉, 결정 블록(1008) = "아니오"인 한) 계속될 수 있다. 피어-투-피어 통신 링크를 설정할 수 있는 디바이스가 식별되는 경우(즉, 결정 블록(1008) = "예"), 피어-투-피어 통신 링크가 블록(1010)에서 협상될 수 있고, 블록(1012)에서 2개의 디바이스들 사이에서 양방향 통신이 설정될 수 있다.
블록(1014)에서, 헤드 장착 디바이스는, 자신이 통신 링크를 설정한 컴퓨팅 디바이스로부터 맵 데이터를 수신할 수 있다. 이 동작에서, 헤드 장착 디바이스가 새로운 위치 내에서 자신을 즉시 배향할 수 있도록, 헤드 장착 디바이스는 다른 컴퓨팅 디바이스(예를 들어, 다른 헤드 장착 디바이스, 다른 컴퓨팅 디바이스 또는 원격의 서버 등) 상에 저장된 임의의 맵 데이터를 다운로드할 수 있다. 예를 들어, 헤드 장착 디바이스와 통신 링크를 설정한 컴퓨팅 디바이스가 네트워크 또는 인터넷에 대한 액세스를 가지면, 맵 데이터는 원격의 서버로부터(예를 들어, "클라우드"로부터) 다운로드될 수 있다. 헤드 장착 디바이스는 또한 자기 자신의 내부 메모리를 스캔하여, 새로운 위치에 대한 맵 데이터가 메모리에 이미 저장되어 있는지 여부를 결정할 수 있다. 맵 데이터가 메모리에 저장되어 있으면, 블록(1014)에서의 동작들의 일부로서, 헤드 장착 디바이스는, 통신 링크가 설정된 컴퓨팅 디바이스와 그 맵 데이터의 일부를 공유할 수 있다. 또한, 맵 데이터를 교환하기 전에, 통신하는 헤드 장착 디바이스들은, 자신들이 서로 근접한지 여부를 결정할 수 있고, 맵 데이터를 공유하는 것이 하나 또는 둘 모두의 디바이스 프로세서들에 대한 프로세싱 부담들을 감소시키기에 충분할만큼 이들이 서로 근접한 경우에만, 맵, 거리 및 배향 데이터를 교환할 수 있다. 따라서, 헤드 장착 디바이스 및 링크된 컴퓨팅 디바이스가 동일한 방에 있지 않으면, 다른 디바이스와 무관할 위치, 맵 또는 배향 데이터를 공유하는 것은 타당하지 않을 수 있다.
블록(1016)에서, 프로세서는, 헤드 장착 또는 신체 장착 스테레오 카메라들로부터의 데이터 뿐만 아니라 거리 센서들에 의해 획득될 수 있는 거리 측정들을 수신할 수 있다. 블록(1018)에서, 프로세서는, 맵 및 신 내에서 디바이스를 배향하기 위해, 카메라 이미지들 및 임의의 거리 측정들과 함께 블록(1014)에서 수신된 임의의 맵 데이터를 이용할 수 있다. 선택적으로, 블록(1018)에서, 프로세서는, 수신된 맵 데이터 내에서 나타나지 않는 이미지들에서 보이는 임의의 항목들 또는 구조들에 대한 3차원 맵 데이터를 생성 또는 업데이트할 수 있다. 다른 컴퓨팅 디바이스로부터 어떠한 맵 데이터도 수신되지 않았고, 디바이스가 메모리에 위치에 대한 맵을 갖지 않았다면, 프로세서는 블록(1018)에서 새로운 맵을 생성할 수 있다.
블록(1020)에서, 헤드 장착 디바이스 프로세서는 거리 센서들 및 배향 센서들을 포함하는 다양한 센서들로부터의 데이터를 이용하여 카메라에 의해 획득되는 이미지들을 프로세싱할 수 있다. 이 프로세싱은, 디바이스가 맵 데이터 내의 좌표들 또는 위치들 내에서 자기 자신를 위치확인하는 것을 가능하게 할 수 있다. 이 프로세싱은 또한, 가상 물체들의 렌더링에서 이용하기 위해, 앵커 표면까지의 거리 및 앵커 표면의 배향을 결정하는 것을 포함할 수 있다.
블록(1022)에서, 헤드 장착 디바이스 프로세서는, 링크된 컴퓨팅 디바이스들이 협력에서 이용될 수 있는 디스플레이들을 생성하는 것을 가능하게 하기 위해, 링크된 컴퓨팅 디바이스들과 디스플레이 및 가상 물체 데이터를 교환할 수 있다. 블록(1024)에서, 헤드 장착 디바이스는, 예를 들어, 앵커 서비스들 상에 가상 물체들을 디스플레이하고, 사용자 커맨드 제스쳐들을 검출하고 그에 응답하고, 다양한 실시예들에 관해 본 명세서에서 설명된 바와 같이 변경들 및 입력들을 다른 커플링된 컴퓨팅 디바이스들에 통신함으로써, 협력에 의해 사용자를 지원하는 것을 시작할 수 있다.
도 11은 인식된 제스쳐들 및 검출된 오디오를 입력 커맨드들로서 프로세싱하기 위한 실시예 방법(1100)을 도시한다. 제스쳐들 및 검출된 오디오는 헤드 장착 디스플레이 상에서 작업들 및 명령들을 실행할 수 있다. 방법(1100)은, 방법(1100)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다.
이 실시예 방법에서, 인식된 사용자 제스쳐들과 같은 일 형태로 수신된 사용자 입력 커맨드들은, 마이크로폰에 의해 수신된 구두 커맨드와 같은 다른 형태의 사용자 입력에 의해 확인될 수 있다. 예를 들어, 헤드 장착 디바이스의 프로세서가, 예를 들어, 제스쳐들을 인식하기 위해 이미지 데이터를 프로세싱함으로써 제 1 커맨드를 인식하면, 프로세서는, 인식된 제 1 커맨드를 확인하는 제 2 커맨드에 대해 짧은 시간 기간 동안 다른 사용자 입력들을 모니터링할 수 있다. 이 실시예에서, 프로세서는, 동작 또는 작업이 제 2 사용자 입력에 의해 확인되지 않으면, 제 1 인식된 사용자 입력에 대응하는 동작을 구현하지 않거나 작업을 실행하지 않을 수 있다. 제 2 사용자 입력은, 마이크로폰에 의해 수신되는 음성 커맨드, 또는 신체 장착 카메라들에 의해 수집되는 이미지들 내에서 인식되는 제 2 제스쳐일 수 있다. 이 실시예는, 다수의 통상적인 사용자 이동들이 커맨드 제스쳐들로 잘못 해석될 수 있기 때문에 유용할 수 있고, 제스쳐 커맨드들이 실행되기 전에 사용자가 제스쳐 커맨드들을 확인하도록 요구하고, 의도하지 않은 커맨드들에 대한 가드가 실행된다. 확인적인 사용자 입력을 대기하는 프로세스는, 사용자에 의해 행해진 제스쳐가 이미지 내에서 인식되거나 프로세서가 자신이 구두 커맨드를 수신했다고 믿을 때 발동될 수 있다. 일반적으로, 이 2개의 커맨드 확인 프로세스는, 빗나간 제스쳐 또는 부주의하게 말해진 커맨드가 헤드 장착 디바이스에 의해 의도하지 않게 동작될 수 있는 상황을 회피할 수 있다. 대신에, 헤드 장착 디바이스는 동작을 취하기 전에 제 2 커맨드를 대기할 수 있다. 이 2-커맨드 프로세스는 또한, 인식된 커맨드와 연관된 동작이, 컨텐츠 일부(piece)를 삭제하는 것과 같이 바람직하지 않거나 회복불가능할 수 있는 동작과 관련되는 경우와 같이, 인식되는 커맨드의 타입에 기초하여 구현될 수 있다.
방법(1100)의 블록(1101)에서, 프로세서는 헤드 장착 디바이스의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1102)에서, 프로세서는 캡쳐된 이미지에 관한 데이터를 카메라들로부터 수신할 수 있다. 블록(1103)에서, 프로세서는 이미지에서 물체들의 거리 및 배향을 계산할 수 있다. 블록(1104)에서, 프로세서는 센서 데이터, 카메라 데이터 및 거리 센서 데이터를 이용하여 이미지를 프로세싱할 수 있다. 블록(1105)에서, 프로세서는 이미지에서 획득된 가상 물체를 갖는 이미지를 디스플레이 상에 렌더링할 수 있다.
블록(1106)에서, 카메라 데이터는, 카메라의 시야 내에 임의의 해부학적 특징들이 포함되는지 여부를 결정하기 위해 프로세싱될 수 있다. 일반적으로, 해부학적 특징 검출 알고리즘은, 임의의 특징들이 인간의 일부인 것으로 인식되는지 여부를 결정하기 위해, 캡쳐된 카메라 이미지 데이터에 적용될 수 있다. 예를 들어, 해부학적 인식 알고리즘은, 해부학적 특징이 다섯 손가락의 손 및 팔과 같이 인식되는지 여부를 결정하기 위해 신체 장착 카메라로부터 수신된 이미지들을 스캔할 수 있다. 해부학적 특징들을 인식하는 프로세스는 또한, 캡쳐된 이미지 내에서 사용자의 팔의 각도와 같이 특징들의 배향을 결정할 수 있다. 인식된 해부학적 특징들의 위치들 및 배향들은 일정 시간 기간에 걸쳐 이미지들에서 추적될 수 있고, 추적된 해부학적 특징들의 이동들이 인식된 제스쳐에 대응하는 것을 결정하기 위해 사용자 제스쳐들의 데이터베이스 또는 딕셔너리와 비교될 수 있다. 사용자 제스쳐가 인식되면, 프로세서는 검출된 제스쳐에 응답하여 커맨드를 출력할 수 있다. 예를 들어, 커맨드는 소프트웨어 애플리케이션을 열 수 있거나, 소프트웨어 애플리케이션에 신호 또는 입력을 제공할 수 있다.
프로세서는, 인식된 해부학적 특징들의 이동들을, 제스쳐 딕셔너리에서 유지될 수 있는 것과 같이 미리 정의된 해부학적 이동들의 데이터베이스에 비교함으로써 결정 블록(1107)에서 달성될 수 있는 사용자 제스쳐들을 인식하고 있다. 예를 들어, 손과 같은 신체 부분은 캡쳐된 이미지들에서 인식될 수 있고, 그의 이동들은 미리 결정된 시간 인터벌에 걸쳐 추적될 수 있다. 예를 들어, 해부학적 모델을 이용하는 프로세서가, 사용자의 손 및 손가락들이 신체 장착 카메라의 정면에 위치되어, 2개의 손가락들은 펴져 있고 3개의 손가락들은 사용자의 손바닥을 향해 아래로 접혀있는 것을 인식하면, 프로세서는 사용자의 손 및 손가락들의 이러한 배향을 제스쳐 딕셔너리에 비교함으로써, 사용자가 동작을 취하기 위해 프로세서에 대해 소망을 표현하고 있는 것으로 결정할 수 있다. 프로세서는, 이미지 패턴들 및 이동들을 제스쳐 딕셔너리에 저장된 이동 데이터 또는 패턴들에 비교함으로써 신체 부분 제스쳐 배열들을 인식할 수 있다. 이러한 제스쳐 딕셔너리는, 찌르기, 쓰다듬기, 태핑, 푸쉬, 가이딩, 튕기기, 돌리기, 회전, 잡기 및 당기기, 이미지들을 패닝하기 위해 두 손의 손바닥을 여는 것, 드로잉(예를 들어, 손가락 페인팅), 손가락들로 형상들을 형성하는 것(예를 들어, "OK" 사인), 및 스와핑을 포함할 수 있는, 이동들에 대한 제스쳐 데이터를 저장할 수 있고, 이들 모두는, 생성된 디스플레이의 가상 물체의 명백한 위치에서, 또는 그에 매우 근접하여, 달성될 수 있다. 헤드 장착 디스플레이가, 제스쳐 딕셔너리 내의 엔트리에 매칭하는, 카메라 이미지 데이터의 제스쳐를 인식하면(즉, 결정 블록(1107) = "예"), 프로세서는, 블록(1108)에서 인식된 제스쳐에 대응하는 입력 커맨드를 프로세싱할 수 있다. 블록(1109)에서, 입력 커맨드는 프로세서에 의해 실행될 수 있다. 입력은 또한, 소프트웨어 애플리케이션 또는 컴퓨팅 디바이스에 통신되는 임의의 신호 또는 데이터, 또는 표시를 제공하기 위한 신호일 수 있다.
또한, 앞서 논의된 바와 같이, 인식된 제스쳐에 기초한 커맨드의 실행은, 사용자 입력을 확인하는 제 2 커맨드가 수신될 때까지 달성되지 않을 수 있다. 따라서, 이러한 실시예에서, 커맨드를 실행하는 대신에, 프로세서는 블록(1109)에서, 사용자가 인식된 제스쳐 커맨드를 확인하도록 프롬프트를 디스플레이(또는 톤을 생성)할 수 있다. 결정 블록(1110)에서, 프로세서는, 제스쳐 커맨드의 인식 이후 짧은 기간 동안 마이크로폰으로부터 임의의 오디오(또는 다른 사용자 입력)이 수신되는지 여부를 결정할 수 있다. 그 시간 기간 내에 오디오가 수신되면, 프로세서는, 검출된 제스쳐를 확인하기 위해 확인적 커맨드가 말해졌는지 여부를 결정하기 위해 오디오를 프로세싱할 수 있다. 이를 달성하기 위해, 마이크로폰으로부터 수신된 오디오 입력들은 디지털화될 수 있고, 결과적 데이터는, 하나 또는 그 초과의 입력 커맨드들에 대응하는 워드들에 대한 음성 커맨드 인식 데이터베이스에 비교될 수 있다. 오디오 입력이, 커맨드 확인에 대응하는 음성 커맨드 패턴에 매칭하는 것으로 프로세서가 결정하는 경우(즉, 결정 블록(1110) = "예"), 프로세서는, 블록(1111)에서 그 오디오에 대응하는 동작을 초래하는 입력 커맨드를 프로세싱할 수 있다. 블록(1112)에서, 프로세서는 인식된 커맨드를 실행할 수 있고, 표시 또는 인식된 작업은 블록(1113)에서 헤드 장착 상에서 디스플레이될 수 있다.
예를 들어, 사용자는 포인팅에 의해 물리적 표면 상에 가상 물체(14)를 앵커하기 위해 제스쳐할 수 있다. 이 제스쳐를 인식하면, 프로세서는, 사용자에게 그 커맨드를 확인할 것을 요청하는, 헤드 장착 디스플레이에 제시되는 가청 톤 또는 메시지와 같은 프롬프트를 생성할 수 있다. 이를 행하기 위해, 사용자는, 헤드 장착 디바이스에 의해 인식된 제스쳐 커맨드가 실행되어야 함을 확인시키기 위해, "오케이", "확인" 또는 "그렇게 수행할 것"과 같은 단어들을 말할 수 있다. 따라서, 프로세서가 확인적인 또는 가청 커맨드를 검출하는 경우, 프로세서는, 사용자가 포인팅하고 있는 물리적 표면 상에 앵커되는 가상 물체를 나타내는 이미지들을 헤드 장착 디스플레이에 제시할 수 있다.
말해진 오디오 커맨드에 대응하는 어떠한 오디오도 수신되지 않으면(즉, 결정 블록(1110) = "아니오"), 프로세서는, 검출된 제스쳐가 부주의한 것으로 결정할 수 있고, 프로세서는 그 인식된 제스쳐 및 입력 커맨드를 무시할 수 있고, 블록(1107)에서 카메라 데이터를 계속 프로세싱하여 해부학적 제스쳐들을 찾을 수 있다.
결정 블록(1107)으로 되돌아와서, 프로세서가 이미지 데이터 내에서 제스쳐를 인식하지 않으면(즉, 결정 블록(1107) = "아니오"), 프로세서는 블록(1106)에서 더 추가적인 시간 인터벌 동안 해부학적 제스쳐들에 대한 카메라 데이터를 계속 프로세싱할 수 있다. 프로세서는, 어떠한 제스쳐들도 인식되지 않았음을 표시하는 작업 식별자 또는 아이콘을 블록(1113)에서 헤드 장착 디스플레이 상에 디스플레이할 수 있다. 대안적으로, 프로세서는, 제스쳐 커맨드가 수신되자마자 작업 식별자 또는 아이콘을 디스플레이할 수 있고, 이것은, 사용자가 구두 커맨드 또는 "OK" 제스쳐 커맨드와 같은 확인적 커맨드를 나타내도록(issue) 하는 프롬프트로서 기능할 수 있다.
다른 실시예에서, 상이한 제 1 및 제 2 커맨드들이 이용될 수 있다. 다른 실시예에서, 프로세서는, 먼저 오디오 커맨드를 검출하고, 수신된 이미지들 내에서 확인적 제스쳐 커맨드를 찾도록 구성될 수 있어서, 결정 블록(1107 및 1110)에서 수행되는 동작들 효과적으로 스와핑할 수 있다. 추가적 실시예들에서, 버튼을 누르는 것에 결합된 가청 커맨드 등과 같이 하나보다 많은 타입의 확인적 입력이 요구될 수 있다.
도 12는, 인식된 제스쳐들을, 헤드 장착 디바이스 상에서 소프트웨어 작업들을 실행하기 위한 입력 커맨드들로서 프로세싱하기 위한 실시예 방법(1200)을 도시한다. 방법(1200)은, 방법(1200)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다.
방법(1200)에서, 블록(1201)에서, 프로세서는 헤드 장착 디바이스(10)의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1202)에서, 프로세서는, 스테레오 카메라들로부터의 스테레오 이미지 데이터 뿐만 아니라, 앞서 설명된 헤드 장착 디바이스(10)에 포함된 임의의 거리 센서들로부터의 데이터를 수신할 수 있다. 따라서, 블록(1202)에서, 프로세서는 카메라(들)의 시계 내에서 이미지들 및 표면들까지의 거리들에 관해 헤드 장착 디바이스에 의해 수집되는 모든 정보를 획득할 수 있다. 블록(1203)에서, 프로세서는 캡쳐된 이미지에서 물체들의 거리 및 배향 데이터를 계산할 수 있다. 이 계산들은, 블록(1202)에서 스테레오 이미지들이 제공되는 경우 주지의 삼각측량 방법들, 거리 데이터를 제공하도록 거리 센서들이 이용되는 경우 직접 측정들, 및 스테레오 이미지들로부터 계산되고 센서들로부터 획득되는 거리 정보의 조합들을 이용할 수 있다. 블록(1204)에서, 프로세서는 거리 센서 데이터, 카메라 데이터, 및 거리 및 배향 데이터를 이용하여 이미지를 프로세싱할 수 있다. 블록(1205)에서, 프로세서는 가상 물체를 갖는 이미지를 헤드 장착 디스플레이 상에 렌더링할 수 있다. 블록(1206)에서, 카메라 데이터는 프로세서에 의해 추적될 수 있다. 캡쳐된 이미지들은 프로세싱될 수 있고, 프로세서는 캡쳐된 이미지 내에 해부학적 특징이 포함되어 있는지 여부를 결정할 수 있다. 프로세서는, 임의의 특징들 또는 적어도 하나의 신체 부분이 데이터 내에 위치되는지 여부를 결정하기 위해, 캡쳐된 이미지들에 해부학적 특징 검출 알고리즘을 적용할 수 있다. 프로세서는, 미리 결정된 제스쳐가 인식되는지 여부를 결정하기 위해, 시간 인터벌에 걸쳐 신체 부분을 추적할 수 있다.
결정 블록(1207)에서, 프로세서는, 캡쳐된 이미지에서 임의의 제스쳐들이 인식되는지 여부를 결정할 수 있다. 인식된다면(즉, 결정 블록(1207) = "예") (이것은, 프로세서가 이미지에서 제스쳐를 인식한 것을 표시함), 프로세서는, 블록(1208)에서, 그 결정된 제스쳐를 메모리에 저장된 입력 커맨드에 실질적으로 매칭할 수 있다. 프로세서는, 블록(1209)에서, 검출된 제스쳐에 대응하는 입력 커맨드를 실행할 수 있다. 블록(1210)에서, 프로세서는, 입력 커맨드에 대응하는 작업을 실행할 수 있다. 프로세서가, 어떠한 인식된 제스쳐들도 존재하지 않는다는 판단에 도달하면(즉, 결정 블록(1207) = "아니오"), 프로세서는, 캡쳐된 이미지들을 추적하는 것, 및 입력에 대해 추적하기 위해 블록(1211)에서 캡쳐된 이미지들에 검출 알고리즘을 적용하는 것을 계속할 수 있다.
도 13은, 스테레오스코픽 이미지에서 물체들을 검출하고, 검출 및 검출된 물체들의 해석에 기초하여 흥미로운 시각적 가상 현실 효과를 제공하기 위한 실시예 방법(1300)을 도시한다. 방법(1300)은 헤드 장착 디스플레이 상에 "필수적으로 간주되는 물체들"을 디스플레이할 수 있는 한편, 방법(1300)은 다른 "비필수적 물체들"을 헤드 장착 디스플레이 상에 투명한 것으로 렌더링할 수 있다. 방법(1300)은, 방법(1300)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(1300)에서, 프로세서는 블록(1301)에서 카메라 및 헤드 장착 디바이스의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1302)에서, 프로세서는 이미지들을 캡쳐할 수 있고 카메라들로부터 데이터를 수신할 수 있다. 블록(1303)에서, 프로세서는 이미지에서 물체들의 거리 및 배향을 계산할 수 있다. 블록(1304)에서, 프로세서는 거리 센서 데이터, 카메라 데이터, 배향 및 거리 데이터를 이용하여 이미지를 프로세싱할 수 있다.
블록(1305)에서, 프로세서는 가상 물체(14)를 갖는 이미지를 디스플레이 상에 렌더링할 수 있다. 결정 블록(1306)에서, 프로세서는, 임의의 물체들이 이미지들 내에서 인식되는지 여부를 결정할 수 있다. 예를 들어, 신체 부분이 이미지들 내에서 검출되는지 여부를 결정하기 위해, 검출된 이미지들 및 데이터에 해부학적 검출 알고리즘이 적용될 수 있다. 예를 들어, 가시적인 것으로 또는 투명한 것으로 렌더링될 수 있는 팔 또는 손과 같이, 신체 부분을 검출하기 위해, 캡쳐된 이미지들에 해부학적 또는 골격 검출 알고리즘이 적용될 수 있다. 다른 물체들이 검출된 것으로 프로세서가 결정하면(즉, 결정 블록(1306) = "예") (이것은 물체들이 검출된 것을 표시함), 프로세서는, 물체가 이미지로부터 생략된 것처럼 물체가 보이도록 하기 위해, 물체 상에 가상 물체를 중첩시킴으로써 물체를 투명하게 렌더링할지 여부를 결정할 수 있다.
다양한 실시예들에서, 가상 물체들은 다양한 투명도 특성들로 제시될 수 있다. 몇몇 실시예들에서, 가상 물체는 실세계 물체(팔, 손, 손가락 및 얼굴)의 윤곽 상에 나타나도록 디스플레이될 수 있다. 이러한 실시예에서, 가상 물체는 실세계 물체에 매칭하거나 이를 커버하기 위해 형상에서 변경될 수 있다. 이 방식으로, 실세계 물체는, 헤드 장착 디스플레이 상에 출력되는 이미지에서 "시-스루"인 것으로 보인다. 일 실시예에서, 불필요한 물체가 벽 또는 테이블의 앞에 있으면, 벽 및/또는 테이블과 유사하고 그 불필요한 물체 위에 가상의 벽/테이블을 중첩시키는 가상 물체가 생성될 수 있다. 어떠한 다른 물체들도 검출되지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(1306) = "아니오"), 프로세서는, 블록(1310)에서 가상 물체를 갖는 이미지를 계속하고 렌더링할 수 있다.
결정 블록(1307)에서, 프로세서는, 이미지들 내에서 인식되는 임의의 물체들이 필요한지 여부를 결정할 수 있다. 예를 들어, "필요한 물체들"로 간주되는 물체들은 디스플레이될 수 있는 한편, 다른 "불필요한 물체들"로 간주되는 물체들은 이미지로부터 그 물체를 생략하기 위해 투명하게 렌더링될 수 있다. 예를 들어, 필요한 것으로 간주되는 물체는 이미지에서 사용자 자신의 손일 수 있지만, 불필요한 것으로 간주되는 다른 물체는 가상 물체 상에 위치된 제 2 개인의 손일 수 있다. 불필요한 물체는 그 불필요한 물체 상에 가상 물체가 중첩되는 윤곽 형태로 디스플레이될 수 있다. 필요한 및 불필요한 이란 용어들은 임의적으로 프로그래밍될 수 있고, 드롭 다운 메뉴, 또는 임의의 지원되는 제스쳐를 활용하여, 또는 응시 검출, 헤드 장착 또는 신체 장착 카메라들에 의해 인식될 수 있는 손의 포인팅 제스쳐 등과 같이 사용자가 선호도를 표시하는 방법을 활용하여 사용자에 의해 선택될 수 있다. 사용자는, 헤드 장착 디바이스가 "다른 사용자들의 특징들"을 투명한 것으로 디스플레이하고, "자신의 특징들을 항상" 디스플레이하도록, 또는 그 반대로 프로그래밍할 수 있다. 물체들이 필요한 것으로 프로세서가 결정하면(즉, 결정 블록(1307) = "예"), 프로세서는 필요한 물체 및 가상 물체를 갖는 이미지를 블록(1310)에서 렌더링하기 위한 프로그램 명령들을 제공할 수 있다. 예를 들어, 사용자 자신의 손은 필요한 것으로 간주되고 이미지에 디스플레이될 수 있다. 필요한 및 불필요한 이란 용어들은 임의적 파라미터들이고, 사용자에 의해 결정될 수 있다. 예를 들어, 셋업 동작 절차에서 사용자는, 필요한 물체들 및 불필요하고 투명한 것으로 렌더링되어야 하는 물체들을 표시할 수 있다. 예를 들어, 사용자는 드롭 다운 메뉴 및 입력 디바이스를 이용하여, 사용자의 손이 필요한 것이고 이미지의 다른 사용자의 신체 부분들이 불필요한 것임을 결정할 수 있다. 예를 들어, 많은 상이한 사용자들이 이미지에 존재할 수 있고, 앵커된 가상 물체 상에서 협력중일 수 있다. 신은 많은 사용자들 및 많은 가상 물체들로 어수선할 수 있다. 따라서, 사용자들 중 일부는, 협력을 향상시키기 위해 어수선함을 완화하도록 투명하게 렌더링될 수 있다.
물체들이 불필요한 것으로 프로세서가 결정하면(즉, 결정 블록(1307) = "아니오"), 프로세서는 블록(1308)에서 물체를 갖는 이미지를 투명한 것으로 렌더링할 수 있다. 블록(1309)에서, 프로세서는 또한, 투명하게 렌더링된 불필요한 물체 또는 불필요한 물체 상에 디스플레이된 가상 물체를 갖는 가상 물체를 디스플레이할 수 있다. 다른 실시예에서, 물체는, 그 물체가 가상 물체(14)를 가리는 경우에만 부분적으로 투명하게 렌더링될 수 있고, 물체가 가상 물체(14)를 가리지 않는 경우 견고하게 렌더링될 수 있다.
도 14는, 이미지 신에 나타날 수 있는 손, 팔 및 다른 인간의 특징들(예를 들어, 사용자 및 다른 사람의 특징들)을 고려하여 헤드 장착 디스플레이 상에 이미지들을 렌더링하기 위한 실시예 방법(1400)을 도시한다. 이 실시예에서, 헤드 장착 디바이스 프로세서는, 가상 물체가 디스플레이될 신의 이미지를 캡쳐할 수 있고, 예를 들어 해부학적 모델을 이용하여 이미지를 프로세싱함으로써 캡쳐된 이미지에 제시된 신체 부분을 인식할 수 있고, 인식된 신체 부분에 기초하여 가상 물체의 디스플레이를 조정할 수 있다. 디스플레이에 대한 조정은, 인식된 신체 부분 앞에, 뒤에 또는 그와 혼합되도록 가상 물체를 렌더링하는 것과 관련될 수 있다. 예를 들어, 프로세서는, 사용자의 특징(예를 들어, 손 및 팔)이 가상 물체를 가리는 위치들에서 가상 물체를 부분적으로 투명한 것으로 렌더링할 수 있고, 사용자의 특징이 가상 물체를 가리지 않는 위치들에서 가상 물체를 불투명한 것으로 렌더링할 수 있다. 이 방식으로, 사용자는 가상 물체의 이미지 인근에서 자신의 손을 볼 수 있는 한편, 가상 물체의 나머지 부분은 실제처럼 견고하게 보인다. 대안적으로, 프로세서는, 사용자 자신의 특징들이 가상 물체의 앞 또는 위에 있는 것으로(즉, 견고하게) 보이도록 가상 물체를 렌더링할 수 있는 한편, 다른 사람의 손 및 팔(및 다른 신체 부분들)은, 이들이 가상 물체의 이미지에 의해 보이지 않게 되도록(즉, 가상 물체가 다른 사람의 손/팔에 대한 사용자의 시야를 차단하도록) 또는 가상 물체가 다른 사람의 손 및 팔을 통해 관측될 수 있도록, 투명하게 렌더링된다.
예를 들어, 헤드 장착 또는 신체 장착 카메라는, 사용자 및 다른 개인의 손 및 팔을 포함하는 신의 이미지들을 캡쳐할 수 있다. 디바이스의 프로세서는, 캡쳐된 이미지들 내에서 신체 부분들을 인식하기 위해 캡쳐된 이미지 데이터에 해부학적 알고리즘을 적용할 수 있다. 예를 들어, 프로세서는, 이미지 형상들을 해부학적 모델에 비교함으로써, 캡쳐된 이미지들에서 사용자의 손 및 다른 개인의 손을 검출할 수 있다.
손의 세트들 모두가 가상 물체를 가릴 수 있다. 예를 들어, 5개의 손가락들 및 손 크기 데이터가 이미지에 대해 검토될 수 있다. 프로세서는, 캡쳐된 이미지들 상에서 위에서 아래로 배향되는 손은 다른 사람의 손인 한편, 캡쳐된 이미지들 내에서 아래에서 위로 배향되는 다른 손은 사용자의 손인 것으로 추론할 수 있다. 추가적으로, 프로세서는, 추론을 포뮬레이트하기 위해, 인식된 물체의 거리 데이터를 캡쳐할 수 있다. 예를 들어, 해부학적 특징들(예를 들어, 팔 및 손)이 사용자로부터 적어도 미리 결정된 거리(12 피트)만큼 멀리 있는 것으로 프로세서가 결정하는 경우, 프로세서는 이 정보로부터 이 특징들이 다른 개인에게 속한다고 추론할 수 있다. 추가적인 감지된 파라미터들이 또한 가능하고 본 개시의 범위 내에 있다. 예를 들어, 물체들의 높이, 물체들의 배향 및 물체들의 크기가 모두 활용될 수 있다.
방법(1400)에서, 프로세서는 블록(1401)에서 카메라들의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1402)에서, 프로세서는 카메라들로부터 데이터를 수신할 수 있다. 블록(1403)에서, 프로세서는 이미지에서 물체들의 거리 및 배향을 계산할 수 있다. 블록(1404)에서, 프로세서는 센서 데이터, 카메라 데이터, 이미지의 배향 및 거리 데이터를 이용하여 캡쳐된 이미지를 프로세싱할 수 있다. 결정 블록(1405)에서, 프로세서는, 사용자의 특징, 예를 들어, 사용자의 손, 팔, 다리, 몸통 등에 대응하는 물체가 이미지들 내에서 인식되는지 여부를 결정할 수 있다. 이 결정은, 캡쳐된 이미지 내에서 물체들을 인식함으로써 이미지에 해부학적 분석을 적용하는 것, 인식된 물체들을 메모리에 저장된 골격 모델에 비교하는 것, 및 인식된 물체들을 골격 모델에 비교한 것에 응답하여 인식된 물체들 중 임의의 물체가 골격 모델의 일부에 매칭하는지 여부를 결정하는 것과 관련될 수 있다. 골격 모델은, 인간 골격의 주요한 관절들, 뼈들 및 팔들에 대한 상대적 위치 정보를 포함할 수 있다.
이미지 내에서 인간의 특징이 인식되면(즉, 결정 블록(1405) = "예"), 블록(1409)에서, 프로세서는 이미지 내의 사용자의 특징들 및 가상 물체를 갖는 이미지를 렌더링할 수 있다. 이미지들 내에서 어떠한 사용자의 특징들도 검출되지 않으면(즉, 결정 블록(1405) = "아니오"), 프로세서는, 결정 블록(1406)에서 그 특징이 다른 개인의 특징들인지 여부를 결정할 수 있다.
결정 블록(1406)에서, 프로세서는, 제 2 개인의 특징들이 검출되는지 여부를 결정할 수 있다. 이 결정은, 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 것에 응답하여, 신체 부분이 제 1 개인 또는 제 2 개인에게 속하는지 여부를 결정하는 것, 가상 물체의 위치 및 포함된 영역을 결정하는 것, 및 인식된 신체 부분이 가상 물체에 의해 포함된 영역의 적어도 일부와 중첩하는지 여부를 결정하는 것과 관련될 수 있다. 이 특징들은 프로세서에 의해 투명하게 렌더링될 수 있다. 프로세서는, 검출된 특징 상에 가상 물체를 생성하고 중첩시킴으로써 그 물체(들)를 생략할 수 있다. 예를 들어, 프로세서는 디스플레이 상의 제 2 개인의 손 위에 가상 물체를 렌더링할 수 있다. 제 2 개인의 특징들이 검출되면(즉, 결정 블록(1406) = "예") (이것은, 다른 사람의 손이 검출되고 이미지에서 불필요한 것임을 표시함), 프로세서는 블록(1407)에서 다른 사람의 손 위에 이미지에서 중첩되는 가상 물체를 렌더링할 수 있다.
물체가 제 2 개인의 손인지 여부를 프로세서가 결정할 수 없으면(즉, 결정 블록(1406) = "아니오"), 프로세서는 블록(1408)에서 가상 물체를 갖는 이미지를 렌더링할 수 있다. 프로세서는, 원하는 물체에 대응하는 이미지의 다수의 픽셀들을 결정할 수 있고, 그 다음, 원하는 물체의 윤곽을 디스플레이되도록 남길 수 있지만, 이미지 내의 픽셀들을 가상 물체(14)로 대체할 수 있다. 윤곽 크기는 변할 수 있고, 물체 이미지 길이의 약 1 퍼센트를 포함할 수 있다.
도 15는, 헤드 장착 디바이스(10)의 디스플레이 출력의 예시에 대한 하이 레벨 상면도(top down view)를 도시한다. 디스플레이 출력은 가상 물체(14)를 나타낸다. 가상 물체(14)는, 데이터를 출력하는 가상의 평판 스크린으로 도시된다. 이 실시예에서, 가상 스크린은 다수의 막대 차트들을 갖는 그래픽 테이블을 출력한다. 가상 물체(14)는 오직 디스플레이의 출력에서만 나타나지만 관측자에게 접촉가능한 실제 물체인 것으로 보인다는 점에서, 다수의 사용자들은 가상 현실 세팅에서 가상 물체에 대해 협력할 수 있다.
도시된 예에서, 프로세서는 사용자의 특징들 또는 손(1502)을 검출하고, 스테레오스코픽 이미지 내의 가상 물체(14) 상에서 2명의 다른 개인의 특징들 또는 손들(1500 및 1501)을 검출한다. 도 15에 도시된 바와 같이, 사용자의 손은 프로세서에 의해 필수적인 엘리먼트로서 디스플레이에 디스플레이되도록 허용된다. 사용자의 손은 위에 나타날 것이고, 가상 물체(14)를 가릴 것이다. 추가적으로, 2명의 다른 개인들의 특징들은, 이 엘리먼트들이 필수적이 아닌 것으로 간주되고 헤드 장착 디바이스(10)의 사용자의 시야를 왜곡시커거나 어수선하게 할 수 있기 때문에 가상 물체(14)의 부분들 상에서 외견상 투명하게 렌더링될 수 있다. 생성된 가상 물체(14)를 손들(1500 및 1501)이 가리지 않도록, 가상 물체(14)는 프로세서에 의해, 손들(1500 및 1501) 상에 중첩되고 피팅되는 것으로 디스플레이될 수 있다.
도시된 예에서, 제 2 사용자의 손(1501)은 프로세서에 의해 "투명한" 것으로 렌더링되고, 가상 물체(14) 상에 렌더링되는 제 2 개인의 손(1501)의 윤곽에 의해 도시되도록 렌더링된다. 통상적으로 가려져야 하는 가상 물체(14) 부분은 제 2 개인의 손(1501) 상에 직접 렌더링될 수 있다. 도시된 예에서, 제 2 사용자의 손(1501)은 도시된 손(1501)의 오직 윤곽에 의해서 투명한 것으로 보인다. 다른 사용자의 손(1502)은 도시된 예에서 "견고한 물체"로 렌더링되고, 이 손(1502)은 가상 물체(14) 상에 렌더링되고 가상 물체(14)를 가린다. 도시된 예에서, 손(1502)은 견고한 것으로 보이고, 가상 물체(14)는 그 아래에서 가시적이 아닐 수 있다. 일 실시예에서, 다른 개인의 손은 손들(1500 및 1501)의 윤곽에 의해 검출 및 렌더링될 수 있다. 손들(1500 및 1501)의 나머지는 가상 물체(14) 아래에서 렌더링되는 것으로 도시된다.
헤드 장착 또는 신체 장착 카메라는 이미지들을 캡쳐할 수 있고, 신체 부분을 인식하기 위해, 캡쳐된 이미지 데이터에 해부학적 모델을 적용할 수 있다. 예를 들어, 이것은 사용자의 손(1502), 및 가상 물체(14) 상의 제 2 개인의 손(1500) 및 제 3 개인의 손(1501)일 수 있다. 예를 들어, 5개의 손가락들, 손 크기 데이터, 팔의 일부, 손의 배향, 손가락들의 배향, 거리 데이터 및 배향 데이터가 검토될 수 있다. 프로세서는, 이미지의 상단으로부터 배향되고 이미지의 바닥을 향해 연장되는 손이 제 2 개인의 손(1500)이라고 추론할 수 있다. 프로세서는 또한, 이미지의 우측으로부터 배향되고 카메라(1501)로부터 특정한 거리만큼 떨어져 있는 손이 다른 개인의 손(1501)이라고 추론할 수 있다. 프로세서는 또한, 이미지의 바닥으로부터 위로 연장되도록 배향되는 손의 제 3 세트(1502)가, 해부학적 모델과 일치하는 헤드 장착 디바이스(10)의 배향에 대한 이미지에 위치되고 일정 거리 범위 이내에 있으면, 이것이 사용자의 손이라고 추론할 수 있다. 추가적인 감지된 파라미터들이 또한 프로세서에 의해 신체 부분들을 인식하는데 이용될 수 있다. 예를 들어, 사용자의 손 또는 팔이 추적되는 경우, 프로세서는, 디스플레이된 이미지의 모든 다른 손들이 다른 사용자들에게 속한다고 추론할 수 있고, 따라서, 프로세서는, 이들 나머지 손들을 윤곽들로 렌더링할 수 있거나, 헤드 장착 디스플레이 상에 제시된 이미지에서 투명한 것으로 렌더링할 수 있다.
도 16은, 프로세싱 자원들을 레버리지하기 위해, 고속 데이터 링크를 통해 모바일 디바이스(1605)와 통신하는 헤드 장착 디바이스(1600)의 다른 실시예를 도시한다. 도 16은, 헤드 장착 디바이스(1600)의 다수의 서브컴포넌트들을 도시한다. 헤드 장착 디바이스(1600)는 모바일 CPU(폰, 태블릿 등)에 대한 액세서리로서 동작가능할 수 있고, 메인 프로세싱은 모바일 CPU 상에서 수행된다. 일반적으로, 헤드 장착 디바이스(1600)는, 사용자의 헤드 주위에 편안하게 착용되는 것이 가능할 만큼 경량으로 제조될 수 있다. 헤드 장착 디바이스(1600)는 모바일 디바이스(1605)의 프로세싱 및 데이터 저장 자원들을 레버리지할 수 있고, VIRT 제어 시스템(1610)은 모바일 디바이스(1605) 상에서 실행되는 소프트웨어 애플리케이션들 내에서 구현될 수 있다. 모바일 디바이스(1605)는, 모바일 디바이스(1605)에서 프로세싱을 수행함으로써, 프로세싱 기능들을 제공할 수 있고, 메모리를 증가시킬 수 있고, 헤드 장착 디바이스(1600)의 배터리 수명을 보존할 수 있다.
헤드 장착 디바이스(1600)는 프로세서에 접속된 신 센서(RGB-D 카메라)(1615)를 포함한다. 헤드 장착 디바이스(1600)는 또한 오디오 센서(마이크로폰)(1620) 및 스테레오스코픽 디스플레이(1625)를 포함할 수 있다. 디스플레이(1625)는 반투명 OLED 비디오 디스플레이(1625)일 수 있다. 헤드 장착 디바이스(1600)는 또한, 스피커를 포함하는 이어 버드(ear bud)를 포함할 수 있거나 또는 대안적으로 한 쌍의 헤드폰들(1630)을 포함할 수 있다. 다른 실시예에서, 헤드 장착 디바이스(1600)는 경량인 스트립 다운 디바이스(1600)(stripped down device)를 포함할 수 있다. 디바이스(1600)는 무선 인터페이스, 신 센서(1615), 배터리 및 디스플레이(1625)를 포함할 수 있다. 무선 인터페이스는, 헤드 장착 장치가 경량으로 유지되고 사용자에게 편안하도록, VIRT 제어 시스템(1610)을 실행하도록 구성될 수 있는 모바일 디바이스(1605)의 프로세서에 데이터를 통신할 수 있다. 도 41을 참조하여 아래에서 더 상세히 설명되는 바와 같이, 모바일 디바이스(1605)는 프로세서 및 메모리를 포함하고, 일 실시예에서, 프로세서는, 헤드 장착 디바이스(1600)와 상호동작하도록 구성될 수 있는 VIRT 제어 소프트웨어 모듈(1610)로 구성될 수 있다. 모바일 디바이스(1605) 및 헤드 장착 디바이스(1600)는, 유선 또는 무선일 수 있는 고속 데이터 링크(1612)를 이용하여 통신할 수 있다. 예를 들어, 고속 데이터 링크(1612)는, Bluetooth®, Wi-Fi®, 퀄컴의 Peanut®, 및 ZigBee® 무선 프로토콜들 중 임의의 하나 또는 그 초과로부터 선택되는 단거리 무선 데이터 링크(1612)일 수 있다.
예를 들어, 센서 데이터는 센서들(1615, 1620 및 1630)을 활용하여 캡쳐될 수 있고, 디지털 데이터로 변환될 수 있다. 디지털 데이터는 무선 디바이스에 통신될 수 있고, 디지털 데이터는 모바일 디바이스(1605) 상에서 동작가능한 제어 시스템(1610)에 링크를 따라 통신될 수 있다. 제어 시스템(1610)은 감지된 데이터를 프로세싱할 수 있고, 디스플레이 데이터를 렌더링할 수 있다. 예를 들어, 제어 시스템(1610)은 영역의 거리 데이터 및 스캔된 이미지들을 수신할 수 있고, 방 안의 적어도 하나의 표면 상에 가상 물체를 생성할 수 있다. 디스플레이 데이터는 링크를 따라 다시 통신될 수 있고 헤드 장착 디스플레이(1625) 상에서 출력될 수 있다.
도 17은, 센서 데이터 프로세싱을 모바일 디바이스로 오프 로딩하는 것을 가능하게 하기 위해, 모바일 디바이스와 헤드 장착 디바이스 사이에서 고속 링크를 이용하기 위한 실시예 방법(1700)을 도시한다. 방법(1700)은, 방법(1700)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 블록(1701)에서, 프로세서는, 헤드 장착 디바이스 및 그의 카메라들의 배향에 관한 센서 데이터를 수신할 수 있다. 블록(1702)에서, 프로세서는 디바이스의 카메라들로부터 이미지 데이터를 수신할 수 있다. 결정 블록(1704)에서, 프로세서는, 헤드 장착 디바이스와 무선으로 통신하고 프로세싱 및 메모리 저장을 보조할 수 있는 모바일 디바이스가 존재하는지 여부를 결정할 수 있다. 존재하지 않으면(즉, 결정 블록 = "아니오"), 블록(1710)에서, 이미지들은 다른 실시예들에서 설명된 바와 같이 헤드 장착 디바이스에 의해 프로세싱될 수 있다.
헤드 장착 디바이스와 무선으로 통신하고 프로세싱 및 메모리 저장을 보조할 수 있는 모바일 디바이스가 존재하면(즉, 결정 블록 = "예"), 헤드 장착 디바이스는 블록(1705)에서 모바일 디바이스 프로세서에 의한 프로세싱을 위해 모바일 디바이스에 센서 데이터를 전송할 수 있다. 블록(1706)에서, 모바일 디바이스 프로세서는, 수신된 데이터에 기초하여 이미지 내의 물체들에 대한 거리 및 배향 데이터를 계산할 수 있다. 블록(1707)에서, 모바일 디바이스 프로세서는 헤드 장착 디바이스로부터 수신된 센서 및 카메라 데이터를 이용하여 이미지 데이터를 프로세싱할 수 있다. 블록(1708)에서, 모바일 디바이스 프로세서는, 헤드 장착 디바이스로부터 수신된 센서 및 이미지 데이터를 이용하여 가상 물체에 대한 디스플레이 데이터를 생성할 수 있고, 생성된 디스플레이 데이터를 헤드 장착 디바이스에 송신할 수 있다. 블록(1709)에서, 그 헤드 장착 디바이스는 헤드 장착 디스플레이 상에 이미지들을 렌더링하기 위해, 모바일 디바이스로부터 수신된 디스플레이 데이터를 이용할 수 있다. 이 프로세스는, 모바일 디바이스가 존재하는 것으로 헤드 장착 디바이스가 결정한 경우에도(즉, 결정 블록(1704) = "예") 블록(1701)로 리턴함으로써 계속될 수 있고, 그 다음, 현재 세션에 대한 결정은 반복되지 않을 수 있다.
도 18은, 제 2 헤드 장착 디바이스가 공유된 데이터에 액세스할 수 있도록 공유된 사용자 메모리에 데이터를 통신하기 위한 방법(1800)을 도시한다. 방법(1800)은, 이미지를 렌더링하기 위한 프로세싱 시간을 경감시킬 수 있거나, 적절히 배향된 디스플레이 상에 가상 물체를 생성하기 위한 프로세싱 시간을 경감시킬 수 있다. 예를 들어, 몇몇 실시예들에서, 프로세서는 이미지 데이터를 프로세싱할 수 있고, 또한, 가상 물체를 더 빨리 렌더링하기 위해 저장 매체로부터 이미지 데이터 또는 위치 데이터를 수신할 수 있다. 방법(1800)은, 방법(1800)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다.
방법(1800)에서, 프로세서는, 카메라들의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1802)에서, 이미지들이 캡쳐될 수 있고, 프로세서는 카메라들로부터 스테레오 이미지 데이터를 수신할 수 있다. 블록(1803)에서, 프로세서는 이미지에서 물체들의 거리 및 배향을 계산할 수 있다. 블록(1804)에서, 프로세서는 센서들로부터의 이미지 데이터를 프로세싱할 수 있다. 블록(1805)에서, 이미지는 가상 물체를 갖도록 렌더링될 수 있다. 블록(1806)에서, 다른 헤드 장착 디바이스가 공유된 데이터를 수신하고 그 공유된 데이터를 활용할 수 있도록 데이터를 원격 저장 매체에 공유할지 여부에 관해 결정될 수 있다. 예를 들어, 다른 헤드 장착 디바이스는 위치 데이터를 획득할 수 있거나 또는 이미지 및 가상 물체를 렌더링하기 위해 공유된 데이터를 이용할 수 있다.
원격 저장 매체에 데이터를 공유하는 것으로 프로세서가 결정하면(즉, 결정(1806) = "예"), 데이터는 블록(1807)에서 공유된 메모리에 통신될 수 있다. 원격 저장 매체에 데이터를 공유하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(1812) = "아니오"), 프로세서는 블록(1801)로 계속되어 데이터를 계속 캡쳐할 수 있다. 제 2 헤드 장착 디바이스(10b)는 블록(1808)에서 저장 매체로부터의 데이터에 액세스할 수 있고, 블록(1809)에서 데이터를 수신할 수 있다. 블록(1810)에서, 거리 데이터가 계산될 수 있고, 블록(1811)에서 이미지가 프로세싱될 수 있다. 제 2 헤드 장착 디바이스(10b)에 의해 애그리게이트되는 데이터를 공유하기 위한 결정이 결정 블록(1812)에서 도달될 수 있다. 예를 들어, 데이터는, 스캔된 센서 데이터 또는 협력하기 위한 다른 데이터일 수 있다. 데이터는 프로세서에 의해 송신될 수 있고, 저장 매체에 저장될 수 있다. 제 2 헤드 장착 디바이스에 의해 애그리게이트되는 데이터를 공유하는 것으로 프로세서가 결정하면(즉, 결정 블록(1812) = "예"), 블록(1813)에서 데이터는 공유된 메모리에 통신될 수 있다. 제 2 헤드 장착 디바이스에 의해 애그리게이트되는 데이터를 공유하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(1812) = "아니오"), 프로세서는 블록(1809)으로 계속되어 이미지에 관한 데이터를 계속 수신할 수 있다.
도 19는, 다수의 디바이스들에 의한 이용을 위해 통신 네트워크를 통해 데이터를 공유하기 위한 실시예 방법(1900)을 도시한다. 헤드 장착 디바이스(10)는 제 2 모바일 통신 디바이스(10b)와 자원들을 공유할 수 있다. 방법(1900)은, 방법(1900)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다.
방법(1900)에서, 프로세서는 카메라들의 배향에 관한 센서 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(1902)에서, 프로세서는 카메라들로부터 스테레오 이미지 데이터를 수신할 수 있다. 블록(1903)에서, 프로세서는 이미지에서 물체들의 거리 및 배향을 계산할 수 있다. 프로세서는 이미지 데이터, 및 위치 및 배향 데이터를 변환할 수 있다. 데이터는 제 2 헤드 장착 디바이스에 의한 이용을 위해 위치 데이터로 태그(tag)될 수 있다. 제 2 헤드 장착 디바이스는, 거리, 이미지 및 태그된 위치 데이터를 수신할 수 있다. 제 2 헤드 장착 디바이스는, 최소의 프로세싱으로 이미지에서 가상 물체를 갖는 이미지를 렌더링하기 위해 데이터를 활용할 수 있다.
블록(1904)에서, 프로세서는, 기하학적 3차원 모델에서 태그된 정보를 저장하기 위해 이미지에서 물체들을 태그할 수 있다. 태그는, GPS 디바이스로부터 획득될 수 있는 지리적 위치 데이터를 포함할 수 있다. 일 실시예에서, 위치 데이터는 방 안의 물체들, 및 서로에 대한 물체들의 상대적 위치를 설명할 수 있다. 다른 실시예에서, 각각의 물체는 물체들의 배향을 포함하는 GPS 좌표들을 할당받을 수 있다. 일 실시예에서, 태그는 적어도 4개의 분리된 위치 좌표들을 포함할 수 있다. 추가적 실시예에서, 가상 물체와 연관된 데이터는 또한 위치 데이터로 태그될 수 있다. 블록(1905)에서, 프로세서는 센서 데이터, 카메라 데이터, 이미지의 배향 및 거리 데이터를 프로세싱할 수 있다. 블록(1906)에서, 프로세서는 모델에서 물리적 환경을 렌더링할 수 있다. 모델은 프로세서에 의해 저장 매체에 업로드 및 송신될 수 있고, 저장 매체는 다른 헤드 장착 디바이스(들) 또는 다른 헤드 장착 디바이스(들)에 접속된 별개의 프로세서들에 의해 액세스가능할 수 있다. 본 명세서에서 언급된 바와 같이, 헤드 장착 디바이스들은, 외부 프로세서들 및 저장 매체들(예를 들어, 스마트폰, 개인용 컴퓨터 또는 로컬 무선 네트워크를 통해 액세스가능한 서버)를 레버리지함으로써 경량으로 구성될 수 있다. 제 2 헤드 장착 디바이스는 자신의 위치를 결정할 수 있고, 현재의 위치와 관련된 스캔된 데이터에 액세스하기 위한 저장 매체에 대한 요청을 형성할 수 있다. 저장 매체는 요청을 수신할 수 있다. 저장 매체는 위치에 기초하여 헤드 장착 디바이스에 데이터를 통신할 수 있다.
결정 블록(1907)에서, 프로세서는 데이터를 공유할지 여부를 결정할 수 있다. 공유하도록 결정하면(즉, 결정 블록(1907) = "예"), 프로세서는 제 2 사용자와 연관된 모바일 디바이스에(블록(1908)) 또는 저장 매체와 데이터를 공유하고 그에 데이터를 통신할 수 있고, 여기서 컴퓨팅 디바이스는 저장 매체로부터 데이터를 요청할 수 있다. 예를 들어, 저장 매체는 다른 컴퓨팅 디바이스, 서버 또는 네트워크 분산된 컴퓨팅 디바이스를 포함할 수 있다. 프로세서가 데이터를 공유하지 않는 것으로 결정하면(즉, 결정 블록(1907) = "아니오"), 프로세서는, 블록(1901)으로 계속되어, 카메라의 배향에 관한 데이터를 센서들로부터 계속 수신하고 블록(1902)에서 이미지들을 캡쳐할 수 있다. 블록(1908)에서, 제 2 헤드 장착 디바이스는 공유된 데이터에 액세스할 수 있다. 프로세서는, 가상 물체를 렌더링하기 위한 프로세싱의 양을 감소시키면서 블록(1909)에서 가상 물체를 디스플레이하기 위해 공유된 데이터를 활용할 수 있다.
도 20은, 가상 물체를 렌더링하기 위해 적어도 2개의 헤드 장착 디바이스들 사이에서 위치 좌표 데이터 및 스캔된 데이터를 공유하도록 서버를 이용하기 위한 실시예 방법(2000)을 도시한다. 예를 들어, 프로세서는, 디바이스들이 이미지 데이터, 위치 데이터, 배향 데이터, 거리 데이터를 프로세싱할 수 있고, 공유된 데이터를 획득함으로써 이미지에서 가상 물체를 더 신속하게 렌더링할 수 있도록 다수의 디바이스들에 의한 이용을 위해 통신 네트워크를 통해 데이터를 공유할 수 있거나, 소프트웨어 애플리케이션들 사이에서 협력 목적들로 유용한 다른 데이터를 공유할 수 있다. 예를 들어, 하나의 사용자는 메모리에 저장된 다른 사용자의 파일들에 액세스하는 것이 가능할 수 있다. 방법(2000)은 프로세서가 다른 디바이스들과 협력하고 자원들을 공유하는 것을 가능하게 한다. 방법(2000)은, 방법(2000)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 블록(2001)에서, 프로세서는 제 1 헤드 장착 디바이스와 연관된 애플리케이션을 실행함으로써 동작을 시작할 수 있다.
블록(2002)에서, 프로세서는, 헤드 장착 디바이스와 연관된 입력/출력 채널을 개방할 수 있다. 프로세서는 블록(2003)에서 제 2 헤드 장착 디바이스로 애플리케이션을 실행할 수 있고, 채널을 통해 통신하기 위해 블록(2004)에서 채널을 개방할 수 있다. 프로세서는 블록(2005)에서 공유된 서버 상에서 애플리케이션을 실행할 수 있다. 블록(2007)에서, 프로세서는 RF 채널을 이용하여 서버 및 두 헤드 장착 디바이스들 모두에 대한 접속을 생성할 수 있다. 프로세서는, 블록(2008)에서 제 1 및 제 2 헤드 장착 디바이스들 및 서버를 이용하여 협력할 수 있다. 블록(2009)에서, 프로세서는 오디오 데이터를 공유할 수 있다. 블록(2010)에서, 프로세서는 데이터 파일들을 공유할 수 있고, 서버의 문서들을 동기화할 수 있다. 블록(2011)에서, 프로세서는 새로운 커맨드들에 대해 모바일 디바이스들에서의 오디오 제스쳐들을 검출할 수 있다.
또한, 앞서 설명된 바와 같이, 헤드 장착 디바이스들 중 하나 또는 그 초과에 의해 생성되는 이미지 및 오디오 데이터를 서버와 공유하는 것은, 다른 사람들이, 서버로부터 이미지 및 오디오 데이터를 수신하는 헤드 장착 디바이스를 착용함으로써 참여자들과 동일한 것을 보고 들음으로써 가상 또는 증강 현실 경험에서의 협력들을 관측하는 것을 가능하게 할 수 있다. 관측자 헤드 장착 디바이스들 사이에서 그리고 서버와 참여자 헤드 장착 디바이스들 사이에서 양방향 통신들을 가능하게 함으로써, 헤드 장착 디바이스들을 착용한 관측자들은 또한 헤드 장착 디스플레이들에서 보여지는 가상 물체들과 상호작용하는 능력을 가질 수 있다. 가상 물체들과의 관측자 상호작용들은, 증강을 터치하여 효과를 유발시키는 것, 물리적 표면 상에 상호작용 영역 또는 앵커 포인트를 정의하는 것 (공유된 경험에 새로운 증강을 유효하게 추가하는 것), 및 제스쳐 및/또는 오디오 입력들을 통해 공유된 혼합된 현실 신과 상호작용하는 것을 포함할 수 있다. 가상 경험에서의 이러한 임의의 변경들은 참여자들 및 다른 관측자들이 착용한 헤드 장착 디스플레이들에서 반영될 수 있다.
도 21은, 식별가능한 디렉토리를 통해 적어도 2개의 디바이스들 사이에서 데이터를 공유하도록 서버를 이용하는 실시예 방법(2100)을 도시한다. 디렉토리는 미리 결정된 영역에서 다른 가능 디바이스들 및 헤드 장착 디바이스들을 식별할 수 있다. 헤드 장착 디바이스가 영역에 진입하면, 헤드 장착 디바이스는 등록할 수 있고, 디렉토리 상에 어드레스 정보를 저장할 수 있고, 어드레스 정보는 다른 헤드 장착 디바이스들과 공유될 수 있다. 대안적 실시예들에서 또는 실시예들의 가능한 구현에서, 스캐닝 기능은 스마트폰과 같은 접속된 프로세서 유닛에 의해 수행될 수 있다. 별개의 디바이스에 의한 영역의 스캐닝의 이용은, 경량의 헤드 장착 디바이스가 이용되는 경우 특히 적합할 수 있다. 이 방식으로, 헤드 장착 디바이스는, 다른 헤드 장착 디바이스들이 협력을 위해 이용가능하고 스캐닝 자원들을 공유하는지를, 중앙집중된 위치로부터 신속하게 결정할 수 있다. 방법(2100)은, 방법(2100)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 디렉토리는, 이용가능한 디바이스들에 대한 정보를 제공하는 컴퓨터 판독가능 데이터일 수 있다. 이것은, 다수의 디바이스들에 의한 이용을 위해 통신 네트워크를 통해 데이터를 공유하는 것을 용이하게 한다. 예를 들어, 디렉토리는, 자신의 위치를 아는 디바이스(10)가 가상 물체(14)를 렌더링하기 위해 디렉토리를 체크하여 스캔된 데이터를 획득할 수 있도록, 스캔된 영역들에 대한 정보를 디렉토리와 연관된 지오태그(geotag)들을 갖는 빌딩(building)에 포함할 수 있다. 예를 들어, 데이터는 가상 물체(14)에 대한 데이터를 포함할 수 있고, 영역의 하나 또는 그 초과의 표면들에 대한 데이터, 배향 데이터, 물체 위치 데이터, 또는 임의의 다른 유용하거나 프로세서 집약적 데이터를 포함할 수 있고, 이들은 신속하게 획득될 수 있다.
실시예 방법(2100)은, 협력 및 공유 자원들이, 헤드 장착 디바이스들 자체에 의해 수행되는 프로세싱의 양을 최소화하는 것을 가능하게 한다. 방법(2100)에서, 프로세서는, 블록(2101)에서 애플리케이션을 실행중일 수 있는 제 1 헤드 장착 디바이스로부터 협력하기 위한 입력 요청을 수신함으로써 동작을 시작할 수 있다. 블록(2102)에서, 프로세서는 협력을 위해 근처의 디바이스들에 대한 피어 투 피어 탐색을 개시할 수 있다. 결정 블록(2103)에서, 프로세서는 발견된 디바이스들과 협력할지 여부를 결정할 수 있다. 협력하기로 결정하면(즉, 결정 블록(2103) = "예"), 프로세서는 디바이스들 사이의 접속을 생성할 수 있다. 프로세서는 양방향 통신 링크를 이용하여 협력할 수 있다. 블록(2104)에서 제 1 및 제 2 헤드 장착 디바이스들(10 및 10b) 사이에서 통신 링크가 형성될 수 있다.
프로세서는 서버의 디렉토리에 액세스할 수 있다. 디렉토리를 활용하는 프로세서는, 디렉토리를 스캐닝함으로써 블록(2105)에서 다른 사용자들이 협력을 위해 이용가능한지 여부를 결정할 수 있다. 결정 블록(2106)에서, 프로세서는 새로운 사용자를 선택할지 여부를 결정할 수 있다. 프로세서는, 하나 또는 그 초과의 미리 정의된 관계 규칙들에 기초하여 협력할 수 있는 판단 규칙들 엔진에 기초하여 또는 입력에 기초하여 새로운 사용자를 선택할지 여부를 결정할 수 있다. 새로운 사용자를 선택하는 것으로 프로세서가 결정하면(즉, 결정 블록(2106) = "예"), 프로세서는 결정 블록(2107)으로 진행하여, 협력하기 위해 새로운 사용자에 대한 접속을 생성할지 여부를 결정할 수 있다. 결정 블록(2107)에서, 프로세서는 새로운 사용자와 협력할지 여부를 결정할 수 있다. 새로운 사용자와 협력하는 것으로 프로세서가 결정하면(즉, 결정 블록(2107) = "예"), 프로세서는 관련된 디바이스들에 대한 접속을 생성할 수 있고, 블록(2108)에서 제 1 및 제 2 헤드 장착 디바이스들을 이용하여 협력할 수 있다.
새로운 사용자와 협력하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(2106) = "아니오"), 프로세서는, 어떠한 추가적인 사용자들도 예상되지 않는다는 메시지를 사용자에게 출력할 것이고, 기존의 참여자들과 블록(2109)에서 협력을 시작할 것이다. 새로운 사용자를 선택하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(2107) = "아니오"), 프로세서는, 협력이 감소되는 것으로 가정할 것이다. 프로세서는, 어떠한 추가적인 사용자들도 예상되지 않는다는 메시지를 출력할 수 있고, 기존의 참여자들과 블록(2109)에서 협력을 시작할 것이다.
도 22는, 2개의 상이한 지리적 위치들에 위치되는 제 1 헤드 장착 디바이스(2205) 및 제 2 헤드 장착 디바이스(2210)의 하이 레벨 예시를 도시한다. 도 22는, 제 1 및 제 2 헤드 장착 디바이스들(2205, 2210)의 다수의 컴포넌트들, 및 헤드 장착 디바이스들(2205, 2210) 사이에서 데이터 교환 기능들을 제공할 수 있는 VIRT 서비스 컴포넌트(2265)를 도시한다. 제 1 및 제 2 헤드 장착 디바이스들(2205, 2210)은, 새로운 위치에 진입하는 새로운 헤드 장착 디바이스에서의 프로세싱을 감소시키기 위해, 스캔된 영역의 3차원 맵을 포함하는 디지털 자산들을 공유할 수 있다. 공유는 배터리 수명을 증가시킬 수 있고, 신속한 방식으로 이미지들을 렌더링하는 것을 보조할 수 있다. 다른 실시예에서, 하나의 사용자의 스캔된 3차원 맵은 제 2 사용자의 맵을 보충할 수 있다. 다른 실시예에서, 하나의 사용자의 맵은 제 2 사용자의 맵을 대체할 수 있다. 추가적 실시예에서, 하나의 사용자의 맵이 참조될 수 있고, 다른 스캔된 데이터를 체크하기 위해 이용될 수 있다. 예를 들어, 이 참조는 미리 결정된 시간 프레임 내에서 발생할 수 있다.
시간 프레임의 만료시에 또는 프로세싱 제약들이 부담이 되는 경우에, 제 2 사용자는 제 1 사용자의 맵을 활용할 수 있다. 다른 실시예에서, 제 1 헤드 장착 디바이스(2205) 및 제 2 헤드 장착 디바이스(2210)는 서로에 대해 먼 2개의 지리적 위치들에 위치될 수 있고, 유사한 영역들을 스캔하지 않을 수 있다. 따라서, 디지털 자산들 및 가상 물체들이 헤드 장착 디바이스들(2205 및 2210) 사이에서 공유될 것이지만, 협력에 관련되지 않을 이러한 정보와 같은 맵 데이터를 공유할 필요는 없을 수 있다. 대신에, 3차원 맵들의 공유는, 근처에 위치되거나 또는 헤드 장착 디바이스들(2205 및 2210)이 영역을 스캔하도록 요구되는 동일한 빌딩에 위치되는 사용자의 경우에 가장 유용할 수 있다.
제 1 사용자는, 디스플레이(2215), 스피커(2220), 이미지 신 센서(2225) 및 오디오 센서(2230)를 가질 수 있는 제 1 헤드 장착 디스플레이 디바이스(2205)를 동작시킨다. 제 1 헤드 장착 디바이스(2205)는 또한, 무선 또는 유선 인터페이스(2260), 및 다수의 제어 컴포넌트들을 포함하는 제어기를 포함할 수 있다. 다른 실시예에서, 헤드 장착 디바이스는 디스플레이(2215), 무선 인터페이스(2260), 배터리(미도시), 스피커(2220) 및 마이크로폰/오디오 센서(2230)를 포함할 수 있다. 컴포넌트들은, 신 관리자 블록(2235), 사용자 제어 블록(2240), 표면 관리자 블록(2245), 오디오 관리자 블록(2250) 및 정보 액세스 블록(2255)을 포함한다.
제 2 사용자는 또한, 유사한 컴포넌트들을 포함하는 제 2 헤드 장착 디바이스(2210)를 동작시킨다. 제 2 디바이스(2210)는 디스플레이(2215a), 스피커(2220a), 이미지 신 센서(2225a) 및 오디오 센서(2230a)를 가질 수 있다. 제 2 디바이스(2210)는 또한, 무선 또는 유선 인터페이스(2240a) 및 제어기를 포함할 수 있다. 제어기는, 신 관리자(2235a), 사용자 제어 블록(2240a), 표면 관리자 블록(2245a), 오디오 관리자 블록(2250a) 및 정보 액세스 블록(2255a)을 포함하는 다수의 제어 컴포넌트들을 포함한다.
디바이스들(2205 및 2210) 각각은, 디바이스들(2205 및 2210) 각각에 대해 서비스 기능을 제공할 수 있는 제어 제공기(2265)와 통신한다. 제어 제공기(2265)는 2개의 디바이스들(2205 및 2210)을 보조할 수 있고, 디바이스들(2205 및 2210)이 경량으로 유지되고 계산 집약적인 프로세싱을 반드시 로컬로 수행할 필요가 없도록, 디바이스들을 대신하여 서비스들을 제공할 수 있다. 임의의 2개의 인터넷 접속 디바이스들과 유사하게, 제어 제공기(2265)는 해킹 공격들 및 악성 소프트웨어(malware)로부터 디바이스들을 보호하기 위해 방화벽들(2285 및 2285a)을 구현해야 할 수 있다 (예를 들어, 로컬 소프트웨어, 인터넷 서비스 제공자들 및/또는 엔터프라이즈 서비스 제공자들에 의해 제공될 수 있다). 방화벽들(2285 및 2285a)은 제어 제공기(2265)에 대한 액세스를 제한한다. 다른 실시예에서, 방화벽들(2285 및 2285a)은 선택적이고 제공되지 않는다.
제어 제공기(2265)는 디렉토리(2280)를 포함할 수 있고, 디렉토리(2280)는, 디바이스들(2205 및 2210)에 대한 식별 및 라우팅 정보를 포함하는 많은 디바이스들과 관련된 데이터를 유지한다. 제어 제어기(2265)는 또한 신 저장 블록(2270)을 포함할 수 있다. 신 저장 블록(2270)은 스캔된 이미지들의 표면 및 윤곽 정보와 관련된 데이터를 프로세싱한다. 표면 및 윤곽 데이터는 거리, 형상 및 배향 데이터를 포함할 수 있다. 신 저장 블록(2270)은 제 1 사용자가 제 1 영역을 맵핑하도록 허용할 수 있고, 제 2 사용자의 헤드 장착 디바이스가 신을 더 신속하게 렌더링하거나 스캔된 데이터 파라미터들을 검증하는 이점을 위해 데이터를 저장할 수 있다. 제어 제공기(2265)는 디지털 자산들을 공유하는 것을 용이하게 한다. 제어 제공기(2265)는, 최적화될 수 있는 무선 인터페이스(2260 및 2260a) 사이의 통신 링크를 제공할 수 있다. 제어 제공기(2265)는 또한 상이한 네트워크 토폴로지들, 방화벽들 및 IP 어드레싱 아키텍쳐들에 의한 접속을 용이하게 할 수 있다.
각각의 디바이스(2205 및 2210)는, 위치 데이터를, 맵핑되고 스캔된 이미지 및 스캔된 표면들과 관련하여 수집된 데이터에 임베딩할 수 있다. 예를 들어, 제 1 헤드 장착 디바이스(2205)는 방 안의 물체들을 포함하여 방을 스캔할 수 있다. 스캐닝은, 물체들에 대한 위치 데이터, 물체들의 윤곽 데이터, 물체로부터 헤드 장착 디바이스까지의 거리 데이터, 및 헤드 장착 디바이스와 물체들의 배향 데이터의 애그리게이션 및 수집을 초래할 수 있다. 스캐닝은, 라우터(2275)에 통신될 수 있는 데이터를 초래할 수 있다. 데이터와 함께, 제 1 헤드 장착 디바이스(2205) 프로세서는 위치 데이터를 스캔된 데이터에 임베딩할 수 있다. 위치 데이터는 경도, 위도 및 고도의 좌표들일 수 있다. 제 1 통신 디바이스(2205)는 로컬 물리적 환경에서 각각의 표면을 지정한다. 프로세서는, 다른 디바이스가 데이터를 신속하게 위치확인 및 활용할 수 있도록 각각의 표면 상에 어느 공유된 데이터가 배치될지를 식별할 수 있다.
제 1 헤드 장착 디바이스(2205)는 클라우드 기반 서비스(2265)에 데이터를 기록할 수 있다. 이러한 서비스(2265)는 헤드 장착 디바이스들에 대한 계산, 소프트웨어, 데이터 액세스 및 저장 서비스들을 제공할 수 있다. 헤드 장착 디바이스들은 서비스(2265)의 물리적 위치 및 구성에 대한 최종 사용자 지식을 요구하지 않는다. 클라우드 기반 서비스(2265)에는 룩업 디렉토리(2280)가 저장될 수 있다. 서비스(2265)는 서버 상에 상주한다. 서비스(2265) 자원들은, 헤드 장착 디바이스들 상에서 실행가능한 웹 애플리케이션들/웹 서비스들을 통해, 인터넷을 통한 파인-그레인드(fine-grained) 자체 서비스 기반으로 헤드 장착 디바이스들에 동적으로 프로비저닝될 수 있다. 서비스(2265)는 오프-사이트(off-site) 제 3자 제공기 상에 위치될 수 있다. 디렉토리(2280)는 제 1 디바이스(2205)를 보조하고, 원격 사용자들(2205, 2210) 사이에서 라우터(2275)를 통한 접속을 용이하게 한다. 이 방식으로, 제 2 헤드 장착 디바이스(2210)는, 헤드 장착 디바이스(2210)가 특정한 위치에 있고 라우터(2275)에 그 위치를 통신할 수 있다고 결정할 수 있다. 서비스(2265)는 동적으로 스캔가능한 자원들의 프로비저닝과 관련될 수 있다. 헤드 장착 디바이스들은, 사용자들 자신의 헤드 장착 디바이스 상에 프로그램이 로컬로 설치된 것처럼 사용자가 웹 브라우저를 통해 액세스하고 이용할 수 있는 웹-기반 툴 또는 애플리케이션으로 로딩될 수 있다. 서비스(2265)는, 웹 브라우져들로부터 액세스되는 인터넷을 통해 애플리케이션들을 전달할 수 있는 한편, 소프트웨어 및 데이터는 원격 위치에서 서버들 상에 저장된다. 서비스(2265)는 공유된 데이터-센터들을 통해 송신될 수 있고, 헤드 장착 디바이스들에 대한 액세스의 단일 포인트로서 보인다. 응답으로, 이미지를 렌더링하기 위한 추가적인 계산 프로세싱을 회피하기 위해, 제 1 헤드 장착 디바이스(2205)로부터 생성된 신 저장부(2270)로부터의 데이터는 신 관리자 및 표면 관리자 블록들(2235a 및 2245a)에 송신될 수 있다. 제 2 헤드 장착 디바이스(2210)는 신 센서 블록(2225a)에 의해 생성된 데이터를 검증할 수 있거나, 이미지를 렌더링하기 위한 추가적인 계산 프로세싱을 회피하기 위해, 신 저장부 블록(2270)으로부터 송신된 데이터를 활용하여 디스플레이(2215a) 상에 이미지를 렌더링할 수 있다.
도 23은 제 1 헤드 장착 디바이스(2205)에 대한 하이 레벨 도면을 도시한다. 제 1 헤드 장착 디바이스(2205)는 제 2 헤드 장착 디바이스(2210)에 매우 근접하게 위치될 수 있다. 헤드 장착 디바이스들(2205 및 2210)은 하나 또는 그 초과의 고속 무선 데이터 링크들을 통해 데이터를 교환할 수 있다. 제 1 헤드 장착 디스플레이 디바이스(2205)는 디스플레이(2215), 스피커(2220), 이미지 신 센서(2225) 및 오디오 센서(2230)를 가질 수 있다. 제 1 헤드 장착 디바이스(2205)는 또한, 액세스를 위해 데이터가 기록될 수 있는 사용자 데이터 저장부(2301)에 대한 유선 인터페이스 접속을 포함할 수 있다. 제 1 디바이스(2205)는 또한 공유된 데이터 저장부(2302)에 대한 유선 또는 무선 접속을 포함할 수 있고, 데이터 저장부(2302)는, 제 2 모바일 통신 디바이스가 액세스할 수 있는 메모리일 수 있다. 제 1 디바이스(2205)는 또한, 신 관리자(2235), 사용자 제어 블록(2240), 표면 관리자 블록(2245), 오디오 관리자 블록(2250) 및 정보 액세스 블록(2255)을 포함하는 다수의 제어 컴포넌트들을 포함하는 제어기를 가질 수 있다.
제 2 사용자는 또한, 제 1 헤드 장착 디바이스(2205)와 유사한 컴포넌트들을 포함하는 제 2 헤드 장착 디바이스(2210)를 동작시킨다. 제 2 디바이스(2210)는 디스플레이(2215a), 스피커(2220a), 이미지 신 센서(2225a) 및 오디오 센서(2230a)를 가질 수 있다. 제 2 디바이스(2210)는 또한 무선 또는 유선 인터페이스를 포함할 수 있다. 제 2 디바이스(2210)는 사용자 데이터 저장 메모리(2303)로/로부터 데이터를 기록 및 판독할 수 있다. 제 2 디바이스(2210)는 또한 제 1 디바이스(2205)에 의해 액세스가능한 공유된 데이터 저장 메모리(2302)에 데이터를 기록 및 판독할 수 있다. 제 2 디바이스(2210)는 또한, 다수의 제어 컴포넌트들 또는 모듈들을 포함하는 제어기를 가질 수 있다. 제 2 디바이스(2210)는 신 관리자 블록(2235a), 사용자 제어 블록(2240a), 표면 관리자 블록(2245a), 오디오 관리자 블록(2250a) 및 정보 액세스 블록(2255a)을 포함할 수 있다.
이와 관련하여, 사용자들은, 지정된 스캔된 표면 데이터의 세트를 공유할 수 있다. 사용자들은 가상 물체들로서 표면들 상에 배치되는 가상 자산들과 상호작용할 수 있다. 제 1 및 제 2 디바이스(2205 및 2210)는 로컬 고속 무선 데이터 캐리어(예를 들어, Wi-Fi®, Qualcomm® Peanut® 단거리 통신 표준 및 Qualcomm® FlashLinQ®)를 통해 통신할 수 있다. 추가적인 사용자들이 존재하면, 디바이스들(2205, 2210)은 피어-투-피어 접속들 또는 브로드캐스트, 유니캐스트 또는 멀티캐스트를 통해 추가로 통신할 수 있다.
도 24는, 위치 정보로 데이터를 태그하고 태그된 데이터를 디렉토리를 통해 적어도 2개의 헤드 장착 디바이스들 사이에서 공유하도록 서버를 이용하는 실시예 방법(2400)을 도시한다. 방법(2400)은, 방법(2400)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 디렉토리는 스캔된 3차원 맵들에 대한 정보를 제공할 수 있다. 예를 들어, 헤드 장착 디바이스는 적외선 광을 방출할 수 있고, 고속 게이팅 메커니즘을 통해 적외선 광의 이동 시간을 계산할 수 있고, 헤드 장착 디바이스(10)로부터 특정한 물체들이 떨어진 거리를 결정하기 위해 계산들을 저장할 수 있다. 추가적으로, 헤드 장착 디바이스(10)는, 물체들의 표면들 및 구조적 정보, 및 높이, 폭, 길이 및 거리 정보를 결정하기 위해, 물체들의 배향을 결정하도록 영역을 스캔할 수 있다.
방법(2400)의 블록(2401)에서, 프로세서는 헤드 장착 디바이스로부터 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(2402)에서, 프로세서는 이미지 데이터를 수신할 수 있다. 블록(2403)에서, 프로세서는 거리 및 배향을 계산할 수 있다. 프로세서는 블록(2404)에서 디스플레이를 위해 컨텐츠를 프로세싱할 수 있다. 프로세서는 블록(2405)에서 디스플레이된 이미지 내에 포함된 가상 물체를 갖는 이미지를 렌더링할 수 있다. 결정 블록(2406)에서, 프로세서는, 다른 헤드 장착 디바이스가 이미지 데이터를 활용할 수 있도록 위치 정보로 이미지를 태그할지 여부를 결정할 수 있다.
제 2 디바이스는, 이미지 데이터를 계산할 수 있는 제 2 프로세서를 포함할 수 있고, 스캔된 파라미터들을 기준으로서 검증하기 위해 제 1 디바이스 스캐닝 능력들을 자원으로서 활용할 수 있다. 다른 실시예에서, 제 2 디바이스는 스캔된 데이터를 수신할 수 있다. 수신된 데이터를 이용하여, 제 2 디바이스는 디스플레이된 이미지의 적어도 하나의 표면 상에 앵커된 가상 물체를 갖는 디스플레이된 이미지를 렌더링할 수 있다. 이것은, 제 2 헤드 장착 디바이스(10b)가 위치에 진입하는 경우 발생할 수 있다. 제 2 헤드 장착 디바이스(10b)는, 예를 들어, 방과 같은 영역에서 자신의 위치를 결정할 수 있고, 그 다음, 위치 데이터를 통신하여, 제 1 헤드 장착 디바이스(10)의 스캔된 데이터에 대한 요청을 형성할 수 있다.
위치 정보로 이미지를 태그하는 것으로 프로세서가 판단하면(즉, 결정 블록(2406) = "예"), 프로세서는 디렉토리에 대한 위치 정보로 스캔된 데이터를 태그할 수 있고, 다른 헤드 장착 디바이스(10b)가 스캔된 데이터에 액세스할 수 있도록 블록(2407)에서 서버 상에 데이터를 저장할 수 있다. 대안적으로, 서버 상에 데이터를 저장하는 대신에, 블록(2407)에서, 데이터는, 공유된 네트워크를 통해 액세스가능한 메모리와 같은 공유된 메모리에 저장될 수 있다. 위치 정보로 이미지를 태그하지 않는 것으로 프로세서가 판단하면(즉, 결정 블록(2406) = "아니오"), 프로세서는, 어떠한 다른 디바이스들도 공유된 데이터를 활용하도록 이용가능하지 않다고 결정할 수 있고, 블록(2408)에서 영역의 스캐닝을 계속하여 인스턴트 사용자에 대해 가상 물체를 렌더링할 것이다.
도 25a는 3개의 모바일 디바이스들(2501, 2502 및 2503) 및 서버(2504)를 갖는 시스템(2500)의 일 실시예를 도시한다. 디바이스들(2501-2503) 및 서버(2054)는 스캔된 데이터 및 맵 정보를 교환한다. 맵은 방의 스캔된 파라미터들을 포함할 수 있다. 맵은, 이미지의 물체들의 형상들 및 크기들을 포함하여, 평탄한 스크린 디스플레이(2530) 및 테이블(2532)과 같은, 이미지의 표면들의 식별을 포함할 수 있다. 맵은 또한, 물체들이 디바이스로부터 위치되는 거리 및 각도, 또는 방 또는 임의의 좌표들과 링크되는 기준 프레임 내의 좌표 위치들을 포함할 수 있다. 예를 들어, 맵은, 방의 특정한 코너를 정의하는 3개의 축들(예를 들어, 길이, 폭, 높이)을 따르는 것과 같은 3개의 수직 좌표축들을 따라 원점으로부터 수 미터의 관점에서 물체들의 위치들을 식별할 수 있다. 맵은, 물체들이 캡쳐되는 디바이스의 위치 및 3차원 위치과 관련되는 헤더를 포함할 수 있다. 맵 데이터는, 디바이스가 이미지 데이터를 스캔하는 각각의 위치로부터 서버(2504)에 업로드될 수 있고, 서버는 방에 링크되는 기준 프레임에 기초하여 맵을 구축하기 위해 모든 헤드 장착 디바이스들로부터 및 모든 위치들로부터 거리 측정들 및 이미지들을 이용할 수 있다. 이를 행하기 위해, 서버(2504)는, 예를 들어, 방의 길이, 폭 및 높이 좌표들에 대해 물체들을 위치확인하기 위해, 헤드 장착 디바이스-중심의 구 좌표들(즉, 헤드 장착 디바이스로부터 각각의 물체까지의 거리 및 각도)로부터 임의의 직교 좌표계로 거리 측정들을 변환하기 위해 모든 수신된 위치 데이터에 대해 좌표 변환을 수행할 수 있다. 이러한 좌표 변환들을 달성하기 위한 수학 및 알고리즘들은 당업계에 주지되어 있다.
시스템(2500)의 실시예는 헤드 장착 디바이스로 제한되지만, 그 대신, 상이한 컴퓨팅 디바이스에 추가로 적용가능할 수 있다. 대안적으로, 헤드 장착 디바이스(10)는 모바일 CPU(폰, 태블릿 등)에 대한 액세서리일 수 있고, 메인 프로세싱은 모바일 CPU 상에서 수행되고, 데이터는 모바일 폰과 헤드 장착 디바이스(미도시) 사이에서 그들에 의해 교환된다. 도 25a는, 중앙집중형 데이터베이스 서버(2504)를 이용하여 이미지를 신속하게 스캔하고 렌더링하기 위해 협력이 어떻게 발생할 수 있는지를 도시한다. 예를 들어, 디바이스들(2501, 2502 및 2503)은, 방 안의 물체들 및 표면들까지의 거리들을 이동 시간 계산들을 통해 측정하기 위해 광 또는 초음파를 방출 및 감지하기 위한 디바이스를 포함할 수 있다. 다른 실시예에서, RGB-D 카메라가 이미지 데이터를 캡쳐할 수 있다. 디바이스들(2501, 2502 및 2503)은, 스캔된 데이터를 활용하여, 가상 물체를 생성하고, 이미지의 적어도 하나의 표면 상에 가상 물체를 앵커하고, 캡쳐된 이미지와 함께 가상 물체를 렌더링하여 가상 또는 증강 현실 경험을 제공할 수 있다.
제 1 디바이스(2501)는 부분적 맵을 생성할 수 있고, 이 맵을 서버(2504)에 업로드할 수 있다. 부분적 맵은 위치 52.23.0.14에 대한 이미지의 제 1 및 제 2 물체와 관련된 데이터를 포함할 수 있다. 맵은, 위치를 식별하는 헤더를 포함할 수 있다. 맵은 또한, 디바이스(2501)로부터의 거리, 물체 길이, 물체 폭 및 물체 높이, 물체들의 배향, 및 벽, 천장, 문 등으로부터 물체들이 있는 거리를 포함하는, 스캔된 이미지들에 대한 상당한 데이터를 포함할 수 있다. 각각의 물체의 개별적 좌표들 및 위치 데이터는 또한 맵에 기록되고 저장될 수 있다.
제 2 디바이스(2502)는 좌표들(52.23.0.14)을 통해 서버(2504)에 자신의 위치를 리포팅할 수 있고, 이 좌표는, 제 1 디바이스(2501)에 의해 이미 스캔되었을 수 있는 미리 결정된 위치에 대응한다. 제 2 디바이스(2502)는 위치 데이터를 서버(2504)에 업로드할 수 있다. 서버(2504)는 위치 데이터를 수신할 수 있다. 제 2 디바이스(2502)는, 부분적 맵이 이용가능하다는 메시지를 수신할 수 있다. 제 2 디바이스(2502)는 제 1 디바이스(2501)에 의해 형성된 부분적 맵을 다운로드할 수 있다. 실질적으로 동시에, 제 2 디바이스(2502)는 방의 상이한 부분을 스캔할 수 있다. 예를 들어, 제 2 디바이스(2502)는 제 1 테이블에 인접한 방의 일부를 스캔할 수 있다. 제 2 디바이스(2502)는 스캔된 데이터를 활용할 수 있고, 가상 물체를 갖는 디스플레이된 이미지를 렌더링하기 위해, 스캔된 데이터를 다운로드된 맵과 병합할 수 있다. 제 2 디바이스(2502)는 또한 업데이트된 맵을 서버(2504)에 업로드할 수 있다.
제 3 디바이스(2503)는 또한 요청의 형태로 자신의 위치 데이터 52.23.0.14를 제공할 수 있다. 서버(2504)는 위치 데이터 52.23.0.14 및 좌표들을 수신할 수 있고, 적절한 데이터 세트를 선택할 수 있고, 스캔된 데이터의 데이터 세트를 맵의 형태로 제 3 디바이스(2503)에 송신할 수 있다. 제 3 디바이스(2503)는, 제 1 디바이스(2501)의 스캔된 데이터, 및 제 1 디바이스(2501)의 스캔된 데이터를 보충할 수 있는 제 2 디바이스(2502)의 스캔된 데이터를 포함하는 맵 데이터를 다운로드할 수 있다. 다른 실시예에서, 데이터는 보충하지 않을 수 있고, 그 대신 제 2 디바이스(2502)는, 제 1 데이터 세트가 정확한지 여부를 결정하기 위해 스캔할 수 있고, 그 데이터 세트를 검증할 수 있다. 다른 실시예에서, 데이터가 부정확하면, 제 2 디바이스(2502)는 제 1 디바이스(2501)의 스캔된 데이터를 대체할 수 있다.
제 3 디바이스(2503)는 가상 물체를 갖는 디스플레이된 이미지를 렌더링하기 위해 맵을 활용할 수 있다. 도시된 바와 같이, 제 3 디바이스(2503)는 업데이트된 맵을 활용하여, 평탄한 스크린 텔레비젼(2530) 및 테이블(2532)을 포함하는 이미지에서 물체들의 위치를 신속하게 결정할 수 있다. 제 3 디바이스(2503)는 이미지 데이터를 추가로 캡쳐할 수 있고, 방의 새로운 영역을 스캔할 수 있고, 또한 맵의 업데이트에 대응하여 서버(2504)에 데이터를 업로드할 수 있다. 이 방식으로, 디바이스들(2501, 2502 및 2503) 각각은 전체 이미지를 로컬로 프로세싱할 필요가 없고, 가상 물체 및 디스플레이된 이미지를 더 신속하게 렌더링하기 위해 서비스들을 획득할 수 있다.
디바이스들(2501, 2502 및 2503) 각각 및 서버(2504)는, 맵을 신속하게 수신하기 위해 서로 최적화될 수 있고, 신을 신속하게 렌더링하기 위해, 스캔된 데이터 및 맵 컴포넌트들을 함께 조각화(piece)할 수 있다. 예를 들어, 디바이스(2501)가 새로운 위치에 있고, 기록될 어떠한 스캔된 이미지들도 없으면, 디바이스(2501)는 전체 영역을 스캔할 수 있다. 예를 들어, 디바이스(2501)는 대안적으로, 스캔된 데이터가 오래된 것이고 어느 정도 전에 기록된 것으로 결정할 수 있다. 디바이스(2501)는 스캔된 데이터가 오래된 것이라고 결정할 수 있고, 전체 영역을 스캔하기로 판단할 수 있다.
대안적으로, 디바이스(2501)는 스캔된 데이터의 존재기간(age)을 임계값과 비교할 수 있고, 전체 영역을 스캔할지 여부를 결정할 수 있다. 예를 들어, 디바이스(2501)는 전체 방을 스캔할 시간을 계산할 수 있고, 전체 방을 스캔할 시간이 프로세싱 요건에 기초하여 미리 결정된 제한보다 크면, 오래된 맵을 허용하거나 거부할 수 있다. 대안적으로, 디바이스(2501)는 다른 디바이스들(2502, 2503)의 위치를 모니터링할 수 있고, 모니터링된 위치에 기초하여 스캔된 이미지를 수신하기 위한 요청을 형성할 수 있다. 예를 들어, 디바이스(2501)는, 디바이스들(2502, 2503)이 멀리 떨어져 위치된 다른 먼 영역에 있고, 맵에 대한 요청이 무관한(유용하지 않은) 데이터를 렌더링할 것이고, 요청을 포뮬레이트하는 것이 불필요하다고 결정할 수 있다. 또 다른 실시예에서, 몇몇 디바이스들(2501, 2502 및 2503)이 존재하면, 각각의 디바이스는 더 신속한 방식으로 방을 스캔하기 위해 방 안의 상이한 영역들을 스캔할 수 있다.
도 25b는, 헤드 장착 디스플레이 상에 가상 물체를 생성하기 위해 활용되는 데이터의 클라우드 저장 및 리트리벌(retrieval)을 위한 실시예 방법(2506)을 도시한다. 방법(2506)은, 방법(2506)의 동작을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 가상 물체를 생성하는 것은, 방 안의 하나 또는 그 초과의 표면들에 가상 이미지를 앵커하도록, 물체들의 거리, 물체들의 형상 및 물체들의 배향을 결정하기 위해 방 안의 표면들의 집약적 스캐닝을 요구할 수 있다. 몇몇 헤드 장착 디바이스들은 자신들의 위치를 클라우드에 다운로드할 수 있고, 정확한 데이터를 즉시 수신할 수 있어서, 데이터를 로컬로 프로세싱하는 것을 회피하고 스캔된 데이터를 검증하기 위해, 표면 상에 가상 물체를 렌더링하는 것을 보조할 수 있다. 방법(2506)에서, 프로세서는, 블록(2508)에서 헤드 장착 또는 신체 장착 카메라로 사용자의 이미지들을 캡쳐함으로써 동작을 시작할 수 있다. 블록(2510)에서, 프로세서는 센서 어레이로 공간적 데이터를 캡쳐하기 위해, 방의 영역을 스캔하기 위한 프로그램 명령들을 제공할 수 있다. 이것은, 적외선 광 방출 디바이스로 스캐닝하고, 표면들로부터 반사된 적외선 광의 이동 시간을 측정함으로써 달성될 수 있다.
데이터는 또한, 방의 3차원 맵을 생성할 수 있는 프로세서에 제공될 수 있다. 프로세서는, 캡쳐된 이미지에서 물체들을 인식할 수 있고, 캡쳐된 이미지에서 물체들의 거리 파라미터를 결정할 수 있고, 또한 블록(2512)에서 이미지 내에 포함된 표면들의 배향을 결정할 수 있다. 프로세서는 블록(2514)에서 가상 물체를 생성할 수 있다. 일 실시예에서, 가상 물체(14)는, 컨텐츠를 방출하는 협력적 평탄한 스크린 3차원 물체(14)와 유사할 수 있다. 가상 물체(14)는 이미지의 표면(16)에 앵커될 수 있고, 사용자가 방 주위를 이동할 수 있지만, 가상 물체 디스플레이 파라미터들이 변경되어, 가상 물체는 원하는 앵커 표면에 앵커되어 유지된다. 프로세서는, 블록(2516)에서 가상 물체를 디스플레이하기 위해 거리 및 배향을 포함하는 파라미터들을 계산할 수 있고, 계산된 파라미터들을 태그할 수 있고, 블록(2518)에서 클라우드 서버에 그 계산된 파라미터들을 업로드할 수 있다. 프로세서는, 지오태그일 수 있는 위치 태그로 그 계산된 파라미터들을 태그할 수 있다. 다른 실시예에서, 지오태그는, 위도 좌표들, 경도 좌표들, 고도 좌표들, 베어링 좌표들, 거리 좌표들 및 정확도 데이터를 포함할 수 있다. 지오태그는 다양한 업로드된 파라미터들에 지리적 식별 메타데이터를 추가한다. 지오태그는, 사용자들이, 스캔된 영역의 3차원 맵에서 광범위한 위치-특정 정보를 발견하는 것을 도울 수 있다.
결정 블록(2520)에서, 프로세서는, 제 2 헤드 장착 디바이스가 특정한 위치에 대한 가상 물체를 더 빠르게 생성하기 위해 상보적 공유 데이터를 수신할 위치에 진입했는지 여부를 결정할 수 있다. 예를 들어, 제 2 헤드 장착 디바이스는 동일한 방에 있을 수 있고, 제 1 헤드 장착 디바이스에 신호를 방출할 수 있거나, 클라우드 서버에 신호를 방출할 수 있고, 이것은 제 2 디바이스가 특정한 위치에 진입했음을 결정한다. 이미지를 프로세싱하는 것은 몇몇 디바이스들에 대해서는 부담스러울 수 있다. 또한, 방을 스캐닝하는 것은 또한 시간 소모적일 수 있다. 따라서, 제 2 헤드 장착 디바이스는, 제 1 헤드 장착 디바이스가 이미 수행한 작업을 이용할 수 있고, 제 2 사용자에 대해 가상 물체를 더 빠르게 생성하기 위해, 방 안의 물체들 및 표면들과 관련된 계산된 파라미터들을 수신할 수 있다.
프로세서가 자신이 새로운 방에 진입했다고 결정하면(즉, 결정 블록(2520) = "예"), 블록(2522)에서, 제 2 헤드 장착 디바이스는 내비게이션 디바이스로부터 자신의 위치 데이터를 송신할 수 있고, 서버로부터 태그된 계산된 파라미터들을 다운로드할 수 있다. 블록(2524)에서,제 2 헤드 장착 디바이스의 프로세서는, 액세스되고 태그된 계산된 파라미터들을 이용하여 가상 물체를 생성할 수 있다. 프로세서가 자신이 위치들을 변경하지 않았다고 결정하면(즉, 결정 블록(2520) = "아니오"), 프로세서는, 다른 제 3 헤드 장착 디바이스가 영역을 이미 스캔하고 앵커된 가상 물체를 생성한 경우 그 계산된 파라미터들이 정확한 것을 검증하기 위한 동작들을 수행할 수 있다. 블록(2526)에서, 제 1 헤드 장착 디바이스는 내비게이션 디바이스로부터 자신의 위치를 송신할 수 있고, 서버로부터 계산된 파라미터들을 다운로드할 수 있다. 블록(2528)에서, 프로세서는 계산된 파라미터들을 서버로부터 다운로드된 계산된 파라미터들로 검증할 수 있다.
다른 실시예에서, 물체들의 거리 및 배향을 포함하는 계산된 파라미터들 대신에, 특정한 영역의 3차원 맵이 형성될 수 있고 클라우드 서버에 업로드될 수 있다. 태그 또는 위치 데이터는 헤더의 형태로 3차원 맵 메시지에 임베딩될 수 있고, 3차원 맵은 제 2 헤드 장착 디바이스에 의한 액세스를 위해 클라우드 서버에 송신 및 저장될 수 있다. 예를 들어, 제 2 헤드 장착 디바이스가 영역에 진입하는 경우, 제 2 헤드 장착 디바이스는 자신의 위치 좌표들을 업로드할 수 있고, 방 또는 미리 결정된 영역의 3차원 맵을 다운로드할 수 있다. 제 2 헤드 장착 디바이스는 이미지 내의 물체들을 인식할 수 있고, 3차원 맵을 활용하여 이미지 내의 물체들의 거리 파라미터를 결정할 수 있다. 이것은, 제 2 헤드 장착 컴퓨팅 디바이스에서 캡쳐된 이미지 및 공간적 데이터의 최소 프로세싱으로 발생할 수 있다. 다른 실시예에서, 메타데이터는 클라우드 서버에 저장될 수 있다. 메타데이터는, 캡쳐된 물체들의 거리 및 배향을 포함할 수 있고, 이것은 상이한 헤드 장착 디바이스들에 의해 액세스될 수 있다. 메타데이터는 또한, 방 안의 물체들의 위치들과 관련된 실내 위치 데이터, 및 데이터가 오래되었는지 여부를 결정하기 위해 프로세서가 이용할 수 있는 표시를 포함할 수 있다.
도 26은, 추적된 이미지들에 해부학적 모델을 적용 및 비교함으로써, 추적된 이미지들에서 검출되는 검출된 신체 부분 위에 중첩되는 가상 물체를 디스플레이하기 위한 실시예 방법(2600)을 도시한다. 방법(2600)은, 방법(2600)의 동작들을 수행하기 위한 프로세서 실행가능한 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(2600)의 블록(2601)에서, 프로세서는, 디바이스의 배향에 관한 데이터를 제공하는 센서들(예를 들어, 가속도계, 자이로스코프들, 전자 콤파스 등)을 포함하는 헤드 장착 디바이스로부터 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(2602)에서, 프로세서는 이미지 데이터를 수신할 수 있다. 블록(2603)에서, 프로세서는 거리 및 배향을 계산할 수 있고, 거리 센서 데이터, 카메라 데이터, 배향 데이터 및 거리 데이터를 활용하여 블록(2604)에서 디스플레이를 위해 컨텐츠를 프로세싱할 수 있다. 프로세서는 블록(2605)에서 가상 물체를 갖는 이미지를 렌더링할 수 있다.
결정 블록(2606)에서, 헤드 장착 디스플레이의 디스플레이된 이미지에 포함되는 검출된 신체 부분의 표면 상에 가상 물체를 중첩시킬지 여부에 관한 판단에 도달될 수 있다. 검출된 신체 부분의 표면 상에 가상 물체를 중첩시키는 것으로 프로세서가 판단하면(즉, 결정 블록(2606) = "예"), 프로세서는 블록(2607)에서 신체 부분 상에 가상 물체를 중첩시킬 수 있다. 검출된 신체 부분의 표면 상에 가상 물체를 중첩시키지 않는 것으로 프로세서가 판단하면(즉, 결정 블록(2606) = "아니오"), 프로세서는 블록(2608)에서 신체 부분 상에 물체를 중첩시키지 않을 것이고, 신체 부분이 가상 물체를 가리도록 허용할 수 있거나, 가상 물체를 디스플레이의 상이한 위치에 렌더링할 수 있다. 예를 들어, 가상 물체는 프로세서에 의해 수신되는 사용자에 의한 입력에 따라 중첩될 수 있다.
도 27은, 이미지들을 추적하고, 이미지에 포함된 신체 부분들을 검출하기 위해 추적된 이미지들에 해부학적 모델을 적용함으로써, 사용자의 손들이 가상 물체 상에서 가려질 수 있는 실시예 방법(2700)을 도시한다. 방법(2700)의 블록(2701)에서, 프로세서는, 배향에 관한 데이터를 제공하는 센서들을 포함하는 헤드 장착 디바이스로부터 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(2702)에서, 프로세서는 이미지들을 추적할 수 있다. 블록(2703)에서, 프로세서는 추적된 이미지에 해부학적 모델을 적용할 수 있다. 블록(2704)에서, 프로세서는 사용자의 손들을 식별할 수 있고, 블록(2706)에서 이미지를 렌더링할 수 있다. 예를 들어, 프로세서는, 추적된 이미지들에서 바닥으로부터 시작하여 위로 향하는 손가락들, 손 및 팔을 사용자의 손으로 식별할 수 있다. 이와 동시에, 제 2 신체 부분을 검출하기 위해 해부학적 또는 골격 추적 알고리즘이 적용될 수 있다. 제 2 신체 부분은 또한 손가락들, 손 및 팔을 포함할 수 있다. 프로세서는, 이미지에서 상단에서 시작하여 아래로 연장되는 제 2 신체 부분이 다른 사용자의 신체 부분일 수 있다고 추론할 수 있다. 추가적으로, 프로세서는, 이미지의 크기 및 배향에 기초하여 사용자로부터 너무 멀리 떨어진 미리 결정된 거리에 있는 팔들 및 손들은 다른 사용자의 결정된 신체 부분일 수 있다고 추론할 수 있다.
결정 블록(2706)에서, 가상 물체 상에서 사용자의 손들을 가릴지 여부에 관한 판단에 도달될 수 있다. 가상 물체 위에 사용자의 손들을 렌더링하는 것으로 프로세서가 결정하면(즉, 결정 블록(2706) = "예"), 블록(2707)에서, 프로세서는 가상 물체 상에서 사용자의 손들의 선택적 어클루젼(occlusion)으로 가상 물체를 렌더링할 수 있다. 예를 들어, 사용자의 손들이 관측자로부터 가상 물체를 차단할 수 있다. 블록(2708)에서, 이미지는 프로세서에 의해 업데이트될 수 있다. 가상 물체 위에 사용자의 손들을 렌더링하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(2706) = "아니오"), 블록(2709)에서, 프로세서는, 신체 부분이 투명하게 보이도록 사용자의 신체 부분 위에 중첩되도록 가상 물체를 디스플레이할 것이다. 예를 들어, 사용자는 자신의 손을 가상 물체 상에 이동시킬 수 있다. 그러나, 가상 물체는 신체 부분 위에 디스플레이될 수 있고, 손의 표면 위에 중첩될 수 있어서, 사용자의 손이 가상 물체를 차단하고 있을 것이라는 사실에도 불구하고, 가상 물체 상의 컨텐츠는 보이도록 유지된다. 커맨드가 검출되고 검출된 제스쳐 또는 입력 커맨드에 의해 사용자로부터 확인되면, 검출된 커맨드 및 가상 물체 컨텐츠의 동작 및 작업의 실행 시에 입력 결과들이 블록(2709)에서 업데이트될 수 있다.
도 28a는, 제 2 개인의 손들이 가상 물체 위에서 투명하거나 부존재하는 것으로 렌더링될 수 있는 실시예 방법(2800)을 도시한다. 방법(2800)은, 방법(2800)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(2800)에서, 프로세서는, 블록(2801)에서 배향에 관한 데이터를 제공하는 센서들을 포함하는 헤드 장착 디바이스로부터 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(2802)에서, 프로세서는 캡쳐된 이미지들을 추적할 수 있다. 블록(2803)에서, 프로세서는 추적된 이미지에 해부학적 모델을 적용할 수 있다. 예를 들어, 해부학적 모델은, 임의의 신체 부분들이 이미지에 포함되어 있는지 여부를 결정하기 위해 골격 모델에 추적된 물체들을 비교하는 골격 추적 알고리즘일 수 있다. 물체가 프로세서에 의해 신체 부분인 것으로 검출되지 않으면, 프로세서는 그 물체를 무시할 수 있다.
블록(2804)에서, 프로세서는 사용자의 손들 및 제 2 개인의 손들을 식별할 수 있다. 블록(2805)에서 프로세서는, 예를 들어, 데스크탑 상에서 또는 벽 상에서 이미지에 포함된 앵커 표면 상에 이미지를 렌더링할 수 있다. 결정 블록(2806)에서, 프로세서는 신체 부분 상에 가상 물체를 중첩시킬지 여부를 결정할 수 있다. 신체 부분 상에 가상 물체를 중첩시키도록 프로세서가 결정하면(즉, 결정 블록(2806) = "예"), 블록(2807)에서, 프로세서는, 제 2 개인의 손들을 가상 물체 상에서 투명하거나 부존재하는 것으로 렌더링할 수 있거나, 또는 신체 부분이 가상 물체를 가리는 경우, 신체 부분이 투명한 것으로 보이도록 가상 물체는 신체 부분의 상단 표면 위에 디스플레이될 수 있다. 다른 실시예에서, 신체 부분의 윤곽은 여전히 가시적으로 유지될 수 있고, 가상 물체는 신체 부분 표면 상에 중첩된다. 블록(2808)에서, 가상 물체의 디스플레이된 이미지는, 신체 부분의 이동 및 컨텐츠의 변경들을 고려하기 위해 프로세서에 의해 업데이트될 수 있다. 신체 부분 상에 가상 물체를 중첩하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(2806) = "아니오"), 프로세서는 블록(2809)에서 가상 물체를 디스플레이할 것이고, 사용자의 이동에 대해 가상 물체를 업데이트할 것이다.
도 28b는, 어느 손들이 사용자의 손들인지 및 어느 손들이 다른 사용자의 손들인지를 프로세서가 추론할 수 있고, 손들이 가상 물체를 가리는 경우 프로세서가 다른 사용자의 손들을 투명하거나 부존재하는 것으로 렌더링할 수 있는 실시예 방법(2810)을 도시한다. 방법(2810)은, 방법(2810)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(2810)에서, 프로세서는, 블록(2811)에서 캡쳐된 이미지 데이터를 포함하는 데이터를 헤드 장착 디바이스로부터 수신함으로써 동작을 시작할 수 있다. 블록(2812)에서, 프로세서는 센서 어레이로 공간적 데이터를 캡쳐할 수 있다. 블록(2813)에서, 프로세서는 이미지에서 물체들을 인식할 수 있고, 이미지에서 물체들의 거리 파라미터를 결정할 수 있다. 블록(2814)에서, 프로세서는 물체들을 추적하기 위해 이미지들을 프로세싱할 수 있고, 프로세서는 추적된 이미지에 골격 모델을 통한 해부학적 분석을 적용할 수 있다. 이것은, 카메라가 사용자 상에 장착되는 경우 또는 다른 사용자가 센서의 시계에서 오직 부분적으로만 가시적인 경우, 부분적 해부구조의 식별을 포함할 수 있다. 예를 들어, 해부학적 모델은, 추적된 물체들이 이미지에 포함된 임의의 신체 부분들인지 여부를 결정하기 위해, 추적된 물체들을 골격 모델에 비교하는 골격 추적 알고리즘일 수 있다. 물체가 프로세서에 의해 신체 부분인 것으로 검출되지 않으면, 프로세서는 물체를 무시할 수 있다. 예를 들어, 프로세서는, 신체 부분이 이미지 내에 있는지 여부를 결정하기 위해 이미지에 해부학적 분석을 적용할 수 있다. 프로세서는, 메모리 내의 저장된 해부학적 또는 골격 모델을 참조할 수 있고, 이를, 비디오 이미지의 추적된 물체들에 비교할 수 있다. 저장된 골격 모델은, 예를 들어, 인간 골격의 주요한 관절들, 뼈들 및 팔들에 대한 상대적 위치 및 다른 데이터와 같은 해부학적 데이터를 포함할 수 있다. 프로세서는, 신체 부분이 이미지에 있는지 여부를 결정하기 위해, 이미지의 추적된 물체들을 저장된 골격 모델에 비교할 수 있다.
*예를 들어, 프로세서는, 이미지의 바닥으로부터 위로 나아가는 팔, 손목 및 손가락들로, 또는 제 1 배향에서 손으로부터 연장되는 다수의 손가락들 및 팔을 검출함으로써 사용자의 팔을 검출할 수 있다. 프로세서는, 이미지의 상단으로부터 아래로 나아가는 팔, 손목 및 손가락들로, 또는 제 2 배향에서 제 2 손으로부터 연장되는 제 2 수의 손가락들 및 제 2 팔을 검출함으로써 제 2 개인의 팔을 검출할 수 있다. 다른 실시예에서, 프로세서는, 배향, 물체 크기, 사용자로부터의 거리에 대해 추정된 이미지들을 검토함으로써 또는 이미지 내에서 신체 부분들의 수를 카운팅함으로써 사용자와 다른 신체 부분들 사이를 구별할 수 있다.
블록(2815)에서, 프로세서는, 이미지에서 앵커된 가상 물체를 갖는 이미지를 렌더링할 수 있다. 결정 블록(2816)에서, 프로세서는, 검출된 신체 부분이 사용자에게 속하는지 다른 개인에게 속하는지를 결정할 수 있다. 프로세서는 다른 사용자의 신체 부분 상에 가상 물체를 중첩시킬 수 있다. 디스플레이된 이미지에서, 오직 사용자의 손들이 가상 물체를 가리는 한편, 다른 손들, 팔들 및 신체 부분들은 가상 물체를 가리지 않을 것이고 투명하게 보일 것이다.
사용자는, 다른 사용자의 신체 부분이 투명하게 렌더링되도록, 가상 물체를 다른 사용자의 신체 부분 상에 중첩되는 것으로 볼 수 있다. 프로세서는, 다른 개인의 신체 부분과 관련된 이미지의 영역을 결정할 수 있고, 다른 개인의 신체 부분이 앵커된 가상 물체를 가리는 경우에만 그 이미지 상에 가상 물체를 디스플레이할 수 있다. 검출된 신체 부분이 사용자에게 속하는 것으로 프로세서가 결정하면(즉, 결정 블록(2816) = "예"), 블록(2818)에서, 프로세서는, 블록(2817)에서 사용자의 신체 부분이 이미지를 가리는 경우 그 사용자의 신체 부분을 견고한 것으로 렌더링할 수 있다. 검출된 신체 부분이 다른 개인에게 속하는 것으로 프로세서가 결정하면(즉, 결정 블록(2816) = "아니오"), 프로세서는, 신체 부분이 가상 물체를 가리는 경우, 가상 물체 또는 그 일부를 블록(2819)에서 검출된 신체 부분 상에 중첩하는 것으로 디스플레이할 것이다.
예를 들어, 프로세서는 다른 개인의 신체 부분 상의 (픽셀들의) 영역으로 정의된 이미지에서 영역을 결정할 수 있다. 프로세서는, 영역 상에 중첩된 가상 물체를 형성할 수 있고, 신체 부분의 둘레 상에 가상 물체를 렌더링하지 않을 수 있다. 신체 부분이 앵커된 가상 물체 상에 위치되는 경우, 제 2 개인의 신체 부분의 윤곽은 여전히 나타나고 렌더링될 수 있다. 따라서, 윤곽은 앵커된 가상 물체 상에서 가시적일 수 있는 한편, 나머지 부분은 투명한 것으로 렌더링될 수 있다. 블록(2819)에서, 프로세서는, 신체 부분의 이동 및 컨텐츠에서의 변경들을 고려하기 위해 사용자의 이동에 대해 가상 물체를 업데이트할 수 있다. 예를 들어, 프로세서는 앵커된 가상 물체를 표면 상의 직사각형 가상 디스플레이로서 디스플레이할 수 있다. 앞서 설명된 바와 같이, 프로세서는 사용자 제스쳐들을 검출하기 위해 캡쳐된 이미지들을 분석할 수 있다. 제 2 개인 및 사용자에 의해 앵커된 가상 물체와 가상 현실 상호작용으로 간주되는 것이 발생할 수 있다. 다른 실시예에서, 프로세서는 제 3 개인의 신체 부분을 검출할 수 있다. 프로세서는, 제 3 개인의 신체 부분이 앵커된 가상 물체 상에 위치되는 경우, 제 3 개인의 신체 부분 상에 중첩된 가상 물체를 디스플레이할 수 있다. 프로세서는 또한, 신체 부분이 앵커된 가상 물체 아래에 위치되어 가상 물체를 가리지 않는 것으로 결정되는 경우, 제 3 개인의 신체 부분 상에 중첩된 가상 물체를 디스플레이하지 않을 수 있고 신체 부분이 디스플레이되도록 허용할 수 있다.
도 29는, 헤드 장착 디바이스에서 서비스들을 제공하고 프로세싱을 완화시키기 위해 서버로부터 다수의 디바이스들에 데이터가 송신될 수 있는 실시예 방법(2900)을 도시한다. 방법(2900)은, 방법(2900)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 하나 또는 그 초과의 헤드 장착 디바이스들 및 서버를 포함할 수 있는, 도 25a를 참조하여 앞서 설명된 것과 유사한 시스템 내에서 구현될 수 있다. 방법(2900)에서, 서버(2504)는, 블록(2901)에서 스펙트럼 데이터 및 이미지들에 관한 데이터를 제공하는 센서들을 포함하는 헤드 장착 디바이스로부터 이미지 및 위치 데이터를 수신할 수 있다. 블록(2902)에서, 프로세서는, 데이터가 스캔된 위치와 관련되는 위치 정보를 갖는 데이터를 서버에 업로드할 수 있다. 서버는 다수의 상이한 헤드 장착 디바이스들에 스캔된 데이터를 출력할 수 있다. 블록(2903)에서, 프로세서는 데이터를 기준으로서 제 2 헤드 장착 디스플레이에 출력할 수 있다.
블록(2904)에서, 프로세서는, 제 3 헤드 장착 디바이스의 스캔된 데이터를 보충하고 캡쳐된 스캔된 데이터를 검증하기 위해 제 3 헤드 장착 디바이스에 데이터를 출력할 수 있다. 블록(2905)에서, 서버는 제 4 헤드 장착 디바이스 상에 존재하는 데이터를 향상시키기 위해 제 4 헤드 장착 디바이스에 데이터를 출력할 수 있고, 블록(2906)에서, 서버는 배터리 전력 및 프로세싱을 보존하기 위해 데이터를 업로드할 수 있다. 실질적으로 이와 동시에, 헤드 장착 디바이스들 각각은, 영역에서 물체들에 대한 정보를 결정하기 위해 영역에 대한 자기 스스로 스캐닝을 수행할 수 있다. 예를 들어, 헤드 장착 디바이스들은 이미지에서 물체들의 형상 및 차원들을 결정하기 위해 영역을 스캔할 수 있고, 이미지에서 표면들의 상대적 위치들 및 이미지에서 물체들의 배향을 결정하기 위해 영역을 스캔할 수 있고, 이것은, 방대한 가상 또는 증강 현실 경험을 위해 가상 물체를 앵커하는데 유용할 수 있다. 결정 블록(2907)에서, 프로세서는, 서버 상에서의 저장을 위해 디바이스들로부터의 업데이트된 스캔된 위치 데이터를 서버에 업로드할지 여부를 결정할 수 있다. 스캔된 위치 데이터를 서버에 업로드하는 것으로 프로세서가 결정하면(즉, 결정 블록(2907) = "예"), 프로세서는 업데이트된 데이터를 업로드할 수 있고, 헤드 장착 디바이스들의 스캔된 데이터를 서버 상에 저장된 데이터와 병합 및 결합할 수 있다. 스캔된 위치 데이터를 서버에 업로드하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(2907) = "아니오"), 프로세서는, 블록(2908)에서 가상 물체를 디스플레이할 수 있고, 사용자의 이동에 대해 가상 물체를 업데이트할 수 있다.
다른 대안적인 실시예에서, 도 29의 프로세서는 "매직 렌즈"로서 동작할 수 있다. 이 방식으로, 방 안의 물리적 표면 상에 디스플레이되는 가상 물체는 종래의 스마트폰 또는 컴퓨팅 디바이스 상에서 관측될 수 있다. 이러한 스마트폰은 데이터를 서버에 출력할 수 있고, 서버에 추가로 링크할 수 있다. 헤드 장착 디바이스가 없고 모바일 통신 디바이스를 이용하는 사용자는, 모바일 통신 디바이스 또는 스마트폰을 이용하여, 헤드 장착 디스플레이들을 착용한 사용자들과 협력할 수 있다. 예를 들어, 사용자는 스마트폰 디스플레이를 시청함으로써 물리적 표면 상에 앵커된 가상 물체의 출력을 관측할 수 있고, 헤드 장착 디스플레이를 활용하는 사용자에게 무선 오디오 링크를 통해 통신할 수 있다.
스마트폰은, 셀룰러 데이터 링크(예를 들어, 3G, 4G, LTE, UTMS 등)과 같은 무선 RF 링크를 통해 서버에 동작가능하게 접속될 수 있다. 스마트폰은 스마트폰의 디스플레이 상에 이미지를 출력할 수 있다. 이미지는 다른 사용자의 헤드 장착 디스플레이 출력에 정확하게 대응할 수 있다. 스마트폰 상에서 디스플레이를 관측하는 사용자는 물리적 표면들 상에 나타난 증강들 및 가상 물체들을 관측할 수 있다. 이 디스플레이는 스마트폰의 디스플레이 상에서 2차원 또는 3차원으로 발생할 수 있다. 스마트폰은 또한, 서버로부터 신호들을 수신하기 위해 무선 인터페이스 및 모바일 통신 디바이스를 이용하여 헤드 장착 디바이스(10)와 협력하도록 동작가능할 수 있다. 대안적으로, 스마트폰은 단거리 통신 프로토콜을 이용하여 헤드 장착 디바이스(10)로부터 직접 RF 데이터 신호들을 수신할 수 있다. 이 방식으로, 사용자는 스마트폰을 잡을 수 있고, 협력을 위해 헤드 장착 디스플레이의 사용자들의 가상 또는 증강 현실 경험을 관측할 수 있다. 이 실시예에서, 스마트폰은, 본 명세서에서 설명되는 것과 유사한 방법들을 이용하여, 인근 표면들과 관련하여 스마트폰 자신의 위치 및 배향을 정정하기 위해 이미지를 조작할 수 있다.
도 30은, 2개의 헤드 장착 디바이스들을 이용하여 사용자들이 협력중일 수 있는 실시예 방법(3000)을 도시한다. 2개의 헤드 장착 디바이스들은 2개의 상이한 소프트웨어 제공자들로부터의 상이한 호환불가능한 소프트웨어 애플리케이션들을 실행중일 수 있다. 일반적으로, 제 1 워드 프로세서를 이용하는 제 1 사용자는, 그와 동시에 제 2의 상이한 호환불가능한 워드 프로세서를 이용하는 다른 사용자와 협력적 방식으로 작업할 수 없다. 방법(3000)에서, 프로세서는, 제 1 소프트웨어 애플리케이션을 이용하는 제 1 사용자 및 제 2 소프트웨어 애플리케이션을 이용하는 제 2 사용자가 서로 협력할 수 있고, 실시간으로 관측가능한 데이터를 입력할 수 있도록, 데이터를 조화시키고 변환시킬 수 있다.
방법(3000)은 헤드 장착 디바이스로 제한되지 않고, 다른 타입들의 컴퓨팅 디바이스에서 구현될 수 있다. 방법(3000)에서, 프로세서는, 블록(3001)에서 제 1 애플리케이션을 열고, 블록(3002)에서 제 2 애플리케이션을 열어서 동작을 시작할 수 있다. 결정 블록(3003)에서, 프로세서는 다른 디바이스들과 협력할지 여부를 판단할 수 있다. 다른 디바이스들과 협력하는 것으로 프로세서가 판단하면(즉, 결정 블록(3003) = "예"), 블록(3004)에서, 프로세서는 디바이스들 사이에서 협력하고 양방향 통신을 제공할 수 있다. 다른 디바이스들과 협력하지 않는 것으로 프로세서가 판단하면(즉, 결정 블록(3003) = "아니오"), 프로세서는 블록(3010)에서 가상 물체를 디스플레이할 것이고, 사용자의 이동에 대해 가상 물체를 업데이트할 것이다.
블록(3005)에서, 프로세서는 가상 스크린을 가상 물체로서 렌더링할 것이다. 가상 스크린은 소프트웨어 애플리케이션의 디스플레이 출력을 제공할 수 있다. 가상 스크린은 적어도 2명의 상이한 사용자들에 의해 입력되는 변경들에 대해 업데이트한다. 블록(3006)에서, 프로세서는, 2개의 상이한 소프트웨어 애플리케이션들에 대해 충돌 해결 프로그램을 적용할 것이다. 충돌 해결은, 2개의 호환불가능한 소프트웨어 프로그램들의 입력들 및 출력들의, 일반적 포맷으로의 변환을 제공할 수 있고, 이것은 제 3의 일반적 소프트웨어 프로그램에 로딩될 수 있고, 제 3의 일반적 소프트웨어 프로그램은 일반적 포맷에서 변경들을 조화시키고, 조화된 데이터를 제 1 및 제 2 호환불가능한 포맷들로 재변환한다. 제 3 소프트웨어 프로그램은, 변경들을 렌더링하기 위해, 일반적 포맷의, 제 1 및 제 2 소프트웨어 프로그램들로의 재변환을 제공할 수 있고, 이것은 원래의 고유의 프로그램에서 사용자들에 의해 관측가능할 수 있다.
예를 들어, 데이터는, 제 1 사용자의 입력들과 관련된 제 1 소프트웨어 프로그램으로부터 수집될 수 있고, 일반적 포맷에 통신될 수 있고, 제 3 소프트웨어 프로그램에 통신될 수 있다. 다음으로, 데이터는, 제 2 사용자의 입력들과 관련된 제 2 소프트웨어 프로그램으로부터 수집될 수 있고, 일반적 포맷에 통신될 수 있고, 제 3 소프트웨어 프로그램에 통신될 수 있다.
제 3 소프트웨어 프로그램은 변경들을 조화시킬 수 있고, 변경들을 메모리에 저장할 수 있다. 이제, 사용자들 각각은 문서에 대한 각각의 다른 사람들의 변경들을 실시간으로 관측하기를 원할 것이다. 제 3 소프트웨어 프로그램은 이 변경들을, 제 1 및 제 2 소프트웨어 프로그램들 각각에 의해 이해되는 포맷으로 변환할 수 있다. 제 3 소프트웨어 프로그램은, 사용자들 각각이 그들 고유의 프로그램의 포맷팅에서 전체 변경들을 관측할 수 있도록, 변환된 변경들을 제 1 및 제 2 소프트웨어 프로그램에 다시 출력할 수 있다. 블록(3007)에서, 프로세서는 또한 변경들의 실행자(author)를 식별할 수 있다. 블록(3008)에서, 프로세서는 문서 맵을 업데이트할 것이고, 블록(3009)에서 문서 이미지를 가상 물체로서 렌더링할 것이고, 프로세서는 블록(3005)에서 가상 스크린을 업데이트할 수 있다.
도 31은, 참조 부호(3100, 3101 및 3102)로 도시된 컴퓨팅 디바이스를 동작시키는 3명의 상이한 사용자들의 하이 레벨 블록도를 도시한다. 각각은 상이한 소프트웨어 애플리케이션을 이용중일 수 있다. 소프트웨어 프로그램들 각각으로부터의 데이터는 서버(3103) 상에 저장될 수 있다. 예를 들어, 제 1 로컬 변경들이 종래에 공지된 바와 같이 관련 소프트웨어 프로그램에서 행해질 수 있다. 제 2 원격 변경들이 또한 행해질 수 있고, 공유된 저장 매체(3106)에 기록될 수 있다. 예를 들어, 제 2 원격 데이터 변경들은 라이브러리(3104)에 통신될 수 있다. 라이브러리(3104)는 각각의 애플리케이션으로부터의 입력 데이터 및 출력 데이터를, 원격 변경들로부터 일반적 소프트웨어 프로그램에 의해 입력 및 판독될 수 있는 일반적 포맷으로 변경할 수 있다. 일반적 포맷은 라이브러리(3104) 상에 저장될 수 있고, 저장 매체(3106) 상에 공유된 문서 포맷으로 기록될 수 있다.
저장 매체(3106) 상에 저장된 공유된 문서 포맷은 변경들을 단일한 일반적 프로그램으로 애그리게이트할 수 있다. 단일의 일반적 프로그램은 또한, 각각의 사용자(3100, 3101 및 3102)가 다른 사용자들에 의해 행해진 변경들을 관측할 수 있도록, 관련 소프트웨어 애플리케이션에 특정되고 그에 의해 이해될 수 있는 포맷으로, 데이터의 단일 스트림에서 각각의 사용자에 의해 렌더링된 변경들을 변환하고 소프트웨어 애플리케이션 각각에 다시 출력할 수 있다.
예를 들어, 공유된 문서 포맷(3106)은, 소프트웨어 프로그램들의 입력들 및 출력들의, 일반적 포맷으로의 변환을 제공할 수 있는 충돌 해결 기능을 포함할 수 있고, 이것은 제 3 독립적 소프트웨어 프로그램(3106)으로 로딩될 수 있다. 제 3 독립적 소프트웨어 프로그램에서, 사용자들 모두로부터의 변경들이 입력되고 저장된다. 다수의 상이한 소프트웨어 워드 프로세싱 프로그램들의 변환이 서버(3103) 상에 저장될 수 있다. 프로세서는, 변경들 모두를 갖는 일반적 포맷의, 제 1, 제 2 및 제 3 소프트웨어 프로그램들(3100, 3101 및 3102)로의 재변환을 제공하여, 그 프로그램들에서 변경들을 렌더링하고 나타낼 수 있다.
도 32는, 사용자들이 2개의 컴퓨터 시스템들을 이용하여 협력중일 수 있는 실시예 방법(3200)을 도시한다. 사용자들은 2개의 상이한 소프트웨어 제공자들로부터 상이한 호환불가능한 소프트웨어 애플리케이션들을 활용하여 서로 협력중일 수 있다. 방법(3200)은, 다수의 상이한 호환불가능한 컴퓨터 소프트웨어 애플리케이션들을 활용하는 다수의 사용자들에 의해 임의의 및 모든 변경들이 관측가능하도록, 데이터의 입력들 및 출력들을 조화시킬 수 있다.
방법(3200)에서, 프로세서는 블록(3201)에서 제 1 애플리케이션을 열고, 블록(3202)에서 제 2 애플리케이션을 열어서 동작을 시작할 수 있다. 결정 블록(3203)에서, 협력할지 여부에 관한 판단이 디바이스들로부터 서버로 도달될 수 있다. 서버와 협력하는 것으로 프로세서가 결정하면(즉, 결정 블록(3203) = "예"), 프로세서는 협력을 위한 프로그램 명령들을 출력하고, 디바이스들 사이에 양방향 통신을 제공한다(블록(3204)). 예를 들어, 호환불가능한 소프트웨어 애플리케이션들 각각에서의 변경들은 로컬로 렌더링될 수 있고 또한 원격 위치에 송신될 수 있으며, 원격 위치에서 변경들은 애그리케이트되고 제 3 소프트웨어 프로그램에 입력될 수 있다. 서버와 협력하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(3203) = "아니오"), 프로세서는 디바이스들 사이에서 양방향 통신을 설정하지 않을 것이고, 블록(3210)에서 스크린을 렌더링할 것이고, 행해진 변경들을 비협력적 방식으로 업데이트할 것이다.
블록(3205)에서, 프로세서는 스크린을 렌더링할 것이고, 변경들에 대해 스크린을 업데이트할 것이다. 예를 들어, 소프트웨어 애플리케이션들 각각에서의 변경들은 원격 위치로 송신될 수 있고, 원격 위치에서 변경들은 애그리게이트되고 제 3 호환가능한 소프트웨어 프로그램에 입력된다. 블록(3206)에서, 프로세서는 2개의 상이한 소프트웨어 애플리케이션들에 대해 충돌 해결 프로그램을 적용할 것이다. 그 다음, 변경들은 고유의 포맷으로 변환되고, 그 다음, 각각의 애플리케이션들 상에서의 디스플레이를 위해 고유한 포맷으로 사용자들 각각에게 송신된다. 블록(3207)에서, 프로세서는 변경들의 실행자를 식별할 것이다. 블록(3208)에서, 프로세서는 문서 이미지를 업데이트할 것이고, 문서 이미지를 렌더링할 것이다. 블록(3209)에서, 프로세서는 문서 이미지를 업데이트할 것이다.
도 33은, 검출된 제스쳐를 이용하여 오디오 커맨드가 프로세싱 및 확인될 수 있는 실시예 방법(3300)을 도시한다. 방법(3300)은, 방법(3300)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(3300)에서, 프로세서는, 블록(3301)에서 헤드 장착 디바이스의 배향에 관한 데이터를 제공하는 센서들로부터 스캔된 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(3302)에서, 프로세서는 이미지들에 관한 이미지 데이터를 카메라로부터 수신할 수 있다. 블록(3303)에서, 프로세서는 이미지들 내에서 물체들의 배향 및 거리를 계산할 수 있다. 블록(3304)에서, 프로세서는 센서들로부터의 데이터, 카메라 데이터 및 거리 데이터를 이용하여 이미지를 프로세싱할 수 있고, 블록(3305)에서 프로세서는 가상 물체를 갖는 이미지를 렌더링할 수 있다. 추가적으로, 블록(3305)에서, 프로세서는, 실행될 제스쳐 입력 커맨드가 있는지 여부를 결정하기 위해 사용자의 이동들을 추적할 수 있다. 블록(3306)에서, 프로세서는 오디오 신호를 수신할 수 있다.
결정 블록(3307)에서, 프로세서는, 사용자에 의해 말해진 오디오 커맨드가 인식되는지 여부를 결정할 수 있다. 예를 들어, 사용자는 가상 물체의 크기를 디스플레이 상에 렌더링된 더 큰 가상 물체로 확대하기를 원할 수 있고, 단어 "가상 물체를 확대하라"를 말할 수 있다. 예를 들어, 사용자는 대안적으로, 가상 물체의 형상을 직사각형으로부터 다른 형상으로 변경하기를 원할 수 있고, 단어 "가상 물체를 타원형으로 변경하라"를 말할 수 있다. 다른 유사한 커맨드들이 또한 고려되고 가능하며, 본 개시의 범위 내에 있다. 프로세서가 사용자에 의해 말해진 오디오 커맨드를 인식하면(즉, 결정 블록(3307) = "예"), 블록(3308)에서 프로세서는 미리 결정된 시간 기간 동안 제스쳐에 대해 비디오 데이터를 추적할 수 있다. 제 1 오디오 커맨드를 확인하기 위해 제스쳐 커맨드가 활용될 수 있다. 예를 들어, 사용자는 말하고 있을 수 있고, 제 2 사용자에게 말하는 문장에서 단순히 부주의하게 "확대" 및 "가상 물체"를 언급할 수 있고, 이것은 마이크로폰에 의해 수신되어 프로세서에 통신될 수 있다. 그 후, 커맨드를 무턱대로(blindly) 실행하는 대신에, 검출된 제스쳐의 형태로 확인이 대기될 수 있다. 예를 들어, 사용자는 어떤 방향을 포인팅할 수 있거나, 사용자는 나머지 손가락들은 펴고 엄지와 검지로 "O.K." 사인을 제공할 수 있다. 이 제 2 커맨드는 제 1 커맨드를 확인시킬 것이다. 결정 블록(3309)에서, 프로세서는, 오디오 커맨드를 확인하는 제스쳐가 인식되는지 여부를 결정할 수 있다. 제스쳐가 오디오 커맨드를 확인하는 것으로 프로세서가 인식하면(즉, 결정 블록(3309) = "예"), 프로세서는 블록(3310)에서 작업을 실행할 수 있다.
프로세서가 사용자에 의해 말해진 오디오 커맨드를 인식하지 않으면(즉, 결정 블록(3307) = "아니오"), 프로세서는 오디오를 수신하는 것을 계속할 수 있다. 제스쳐가 오디오 커맨드를 확인하는 것을 프로세서가 인식하지 않으면(즉, 결정 블록(3309) = "아니오"), 프로세서는 오디오 데이터를 수신 및 분석하는 것을 계속할 수 있다. 예를 들어, 사용자는 말하고 있을 수 있고, 제 2 사용자에게 말하는 문장에서 단순히 부주의하게 "확대" 및 "가상 물체"를 언급할 수 있다. 그러나, 어떠한 확인도 검출된 제스쳐의 형태(포인팅, O.K. 사인, 손을 펴는 것)로 검출되지 않으면, 프로세서는 제 1 커맨드를 실행하지 않을 것이고, 추가적인 새로운 커맨드들에 대해 오디오를 모니터링하는 것을 단순히 계속할 수 있다. 많은 제스쳐들이 확인을 제공할 수 있고, 임의의 본 명세서에 개시된 것으로 제한되지 않는다. 또한, (예를 들어, 스피치 인식을 통한) 구두 커맨드들 및 (예를 들어, 키보드 상에서) 사용자가 버튼을 누르는 것에 의해 입력되는 커맨드들이 허용될 수 있고 프로세서에 의해 프로세싱될 수 있다. 예를 들어, 구두 커맨드들이 제스쳐 커맨드들과 동일한 정보를 확인 또는 표현하도록 허용될 수 있어서, 헤드 장착 디바이스 및 시스템이 사용자의 입력을 더 정확하게 해석하는 것을 가능하게 할 수 있다.
도 34는, 검출된 오디오 커맨드를 이용하여 제스쳐 커맨드가 프로세싱 및 확인될 수 있는 실시예 방법(3400)을 도시하며, 이것은 앞서 개시된 것과는 상이한 동작 순서일 수 있다. 방법(3400)은, 방법(3400)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(3400)에서, 프로세서는, 블록(3401)에서 배향에 관한 데이터를 제공하는 센서들을 포함하는 데이터를 헤드 장착 디바이스로부터 수신함으로써 동작을 시작할 수 있다. 블록(3402)에서, 프로세서는 이미지들에 관한 데이터를 카메라로부터의 수신할 수 있다.
블록(3403)에서, 프로세서는 이미지들 내의 물체들의 배향 및 거리를 계산할 수 있다. 블록(3404)에서, 프로세서는, 배향 센서들로부터의 데이터, 카메라 데이터 및 거리 데이터를 이용하여 이미지를 프로세싱할 수 있다. 블록(3405)에서, 프로세서는 가상 물체를 갖는 이미지를 렌더링할 수 있고, 블록(3406)에서 프로세서는 사용자의 이동들을 추적하기 위해 카메라를 제어할 수 있다.
결정 블록(3407)에서, 예를 들어, 포인팅, 박수, 손가락들을 스내핑(snapping)하는 것, 엄지와 손가락으로 "O.K. 제스쳐"를 하는 것을 포함하는 하나 또는 그 초과의 선택된 제스쳐들을 인식함으로써, 제스쳐 커맨드를 인식할지 여부에 관한 판단에 도달될 수 있다. 이것은, 추적된 비디오 데이터에 적용될 수 있는 해부학적 모델을 이용하여 수행될 수 있다. 제스쳐가 검출되면(즉, 결정 블록(3407) = "예"), 프로세서는 검출된 제스쳐 커맨드를 확인하기 위해 블록(3408)에서 시간 기간 동안 커맨드에 대한 오디오 데이터를 추적할 수 있다.
결정 블록(3409)에서, 오디오 커맨드를 제스쳐 커맨드의 확인으로서 인식할지 여부에 관한 판단에 도달될 수 있다. 확인이 수신되면(즉, 결정 블록(3409) = "예"), 프로세서는 블록(3410)에서 작업을 실행할 수 있다.
제스쳐가 인식되지 않으면(즉, 결정 블록(3407) = "아니오") (이것은, 제스쳐가 부주의하게 검출되는 경우 발생할 수 있음), 프로세서는 새로운 제스쳐 커맨드에 대해 캡쳐된 비디오 이미지들을 추적하는 것을 계속할 수 있다. 또한, 어떠한 오디오 확인도 인식되지 않으면(즉, 결정 블록(3409) = "아니오"), 프로세서는 비디오를 수신하고 비디오를 추적하는 것을 계속할 수 있고, 어떠한 확인도 검출되지 않았기 때문에 제스쳐 커맨드를 무시한다. 또한, 헤드 장착 디바이스 및 시스템이 사용자의 입력을 더 정확하게 해석하는 것을 가능하게 하기 위해, 앞서 언급된 구두 커맨드들 및 사용자가 버튼을 누르는 것에 의해 입력된 커맨드들이 단독으로 또는 제스쳐 커맨드들과 함께 허용될 수 있고 프로세서에 의해 프로세싱될 수 있다.
도 35는, 제스쳐 커맨드가 프로세싱 및 인식될 수 있는 실시예 방법(3500)을 도시한다. 제스쳐 커맨드에 응답하여, 프로세서는, 사용자가 가상 입력 디바이스를 활용하여 가상 물체를 조작할 수 있도록, 가상 물체 상에 "가상 입력 디바이스"를 렌더링할 수 있다. 가상 입력 디바이스는, 사용자의 이동들을 추적함으로써 제어될 수 있는 생성된 가상 물체일 수 있다. 예를 들어, 가상 물체는 가상 포인터, 또는 아이콘, 또는 사용자에 의해 선택된 임의의 다른 제어가능한 가상 물체일 수 있다.
방법(3500)은, 방법(3500)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 예를 들어, 입력 디바이스는 가상 현실 포인터 물체일 수 있다. 포인터는, 앵커 표면에 연결된 가상 물체 및 제스쳐/추적 카메라들로부터 측정되는 시선에 자동으로 생성될 수 있다. 방법(3500)에서, 프로세서는, 블록(3501)에서 배향에 관한 데이터를 제공하는 센서들을 포함하는 헤드 장착 디바이스로부터 데이터를 수신함으로써 동작을 시작할 수 있다. 블록(3502)에서, 프로세서는 스테레오 이미지들에 관한 캡쳐된 이미지 데이터를 카메라로부터 수신할 수 있다.
블록(3503)에서, 프로세서는 이미지들 내의 물체들의 배향 및 거리를 계산할 수 있다. 블록(3504)에서, 프로세서는 배향 센서들로부터의 데이터, 카메라 데이터 및 거리 데이터를 이용하여 이미지를 프로세싱할 수 있다. 블록(3505)에서, 프로세서는 가상 물체를 갖는 이미지를 렌더링할 수 있고, 블록(3506)에서 프로세서는 사용자의 이동들을 추적하기 위해 카메라를 제어할 수 있다.
결정 블록(3507)에서, 프로세서는, 예를 들어, 추적된 이미지들에 해부학적 인식 알고리즘을 적용함으로써, 제스쳐 커맨드가 인식되는지 여부를 결정할 수 있다. 프로세서는, 이미지 내에서, 포인팅, 박수, 손가락들을 스내핑하는 것, 엄지와 손가락으로 "O.K. 제스쳐"를 하는 것 등을 포함하는 하나 또는 그 초과의 선택된 제스쳐들을 인식할 수 있다. 프로세서가 제스쳐를 인식하면(즉, 결정 블록(3507) = "예"), 프로세서는 블록(3508)에서 가상 포인터 작업을 실행하기 위한 표시를 가질 수 있다.
포인터는, 3차원 디스플레이 상에 디스플레이되고, 가상 물체 상에 배치되고, 사용자가 텍스트를 강조하고, 선택하고, 입력 커맨드들을 행하고, 입력들을 헤드 장착 디바이스의 프로세서에 제공하는 것을 허용할 수 있는 "입력 디바이스 관련 가상 물체"(마우스 아이콘, 레이저 포인터 가상 물체, 화살표 입력 디바이스)일 수 있다. 결정 블록(3508)에서, 포인터 작업을 실행할지 여부에 관한 판단에 도달될 수 있다. 프로세서가 포인터 작업을 실행하는 것으로 결정하면(즉, 결정 블록(3508) = "예"), 프로세서는 작업을 실행할 수 있고, 블록(3509)에서 복수의 상이한 가상 입력 디바이스들로부터 포인터의 타입이 선택될 수 있다. 블록(3510)에서, 헤드 장착 또는 신체 장착 카메라로부터 사용자의 손가락 및 가상 물체까지의 벡터가 계산될 수 있다. 벡터는 블록(3511)에서 가상 물체 상에 포인터를 렌더링하는데 이용될 수 있다. 블록(3512)에서, 가상 물체 및 가상 입력 디바이스의 디스플레이는 업데이트될 수 있다.
프로세서가 제스쳐를 인식하지 않으면(즉, 결정 블록(3507) = "아니오"), 프로세서는 미리 결정된 제스쳐들을 인식하기 위해 비디오 이미지들을 프로세싱하는 것을 계속할 수 있다. 또한, 프로세서가 포인터 작업을 실행하지 않는 것으로 결정하면(즉, 결정 블록(3508) = "아니오"), 프로세서는 비디오를 추적하는 것을 계속할 수 있고, 어떠한 작업도 실행되지 않을 것이기 때문에 제스쳐 커맨드를 무시할 수 있다.
도 36은, 제스쳐 커맨드가 인식 및 프로세싱될 수 있고, 입력 커맨드들을 제공하기 위해 3차원 가상 현실 타입의 입력 디바이스가 가상 물체 상에 렌더링될 수 있는 실시예 방법(3600)을 도시한다. 추가적으로, 프로세서는 개인들의 특징들을 인식할 수 있고, 특징들/신체 부분들이 가상 물체를 가리는 경우, 이것은 투명하게 렌더링될 수 있다. 방법(3600)은, 방법(3600)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 예를 들어, 입력 디바이스는, 헤드 장착 디스플레이 상에만 디스플레이되는 가상 현실 포인터 물체일 수 있다. 물체는 디스플레이 상에 디스플레이될 수 있고, 제스쳐/추적 카메라들로부터, 앵커 표면 상에 연결된 가상 물체까지 측정될 수 있는 시선 또는 벡터에서 생성될 수 있다. 예를 들어, 카메라 또는 사용자의 손가락으로부터 디스플레이 상의 가상 물체까지 벡터가 형성될 수 있다. 가상 포인터 물체는 벡터에 연결되는 것으로 배치 및 디스플레이될 수 있다. 사용자는, 하나 또는 그 초과의 검출된 제스쳐들, 오디오 커맨드들에 의해, 입력 디바이스에 의해, 또는 다른 입력 커맨드에 의해, 가상 포인터 물체를 제어할 수 있다. 방법(3600)에서, 프로세서는 블록(3601)에서 스테레오 이미지들에 관한 데이터를 카메라로부터 수신함으로써 동작을 시작할 수 있다.
블록(3602)에서, 프로세서는 이미지들 내의 물체들의 배향 및 거리를 계산할 수 있다. 블록(3603)에서, 프로세서는 배향 센서들로부터의 데이터, 카메라 데이터 및 거리 데이터를 이용하여 이미지를 프로세싱할 수 있다. 블록(3604)에서, 프로세서는 가상 물체를 갖는 이미지를 렌더링할 수 있다. 블록(3605)에서, 프로세서는, 검출된 신체 부분에 대한 추적된 이미지들에 해부학적 알고리즘을 적용함으로써 사용자의 이동들을 추적하기 위해 카메라를 제어하기 위한 명령들을 제공할 수 있고, 미리 결정된 시간 인터벌에 걸쳐 신체 부분을 추적할 수 있다.
결정 블록(3606)에서, 프로세서는, 제스쳐 커맨드가 인식되는지 여부를 판단할 수 있고, 이것은, 추적된 이미지들 내의 이동 및 형상들을 갖는 제스쳐 딕셔너리에서 하나 또는 그 초과의 제스쳐들 사이에 매칭이 존재하는 경우 발생할 수 있고, 프로세서는 소프트웨어 애플리케이션을 실행하기 위해 또는 몇몇 미리 정의된 동작을 취하기 위해, 검출된 제스쳐를 입력 커맨드에 상관시킬 수 있다. 프로세서가 제스쳐 커맨드를 인식하면(즉, 결정 블록(3606) = "예"), 프로세서는 블록(3607)에서 포인터 작업을 실행할 수 있다.
포인터는, 헤드 장착 디스플레이 상에 디스플레이되는 가상 입력 디바이스(마우스 아이콘, 레이저 포인터 가상 물체)일 수 있다. 가상 입력 디바이스는, 사용자가 텍스트를 강조하고, 하이퍼링크들을 선택하고, 입력 커맨드들을 포뮬레이트하고, 가상 물체에 대해 입력들을 형성하는 것을 허용할 수 있는 가상 물체와 연관될 수 있다. 예를 들어, 가상 입력 디바이스는, 헤드 장착 디스플레이 상에 디스플레이되는 3차원 가상 현실 화살표일 수 있다. 이러한 실시예에서, 화살표는 사용자 제스쳐들에 응답하여 디스플레이 상의 자유 공간에서 이동가능할 수 있다. 예를 들어, 사용자가 손을 좌측으로 이동시키는 것에 응답하여, 시스템은, 헤드 장착 디스플레이 상에서 좌측으로 이동하는 화살표의 이미지를 렌더링할 수 있다. 다른 예로, 사용자는 커맨드를 입력할 수 있고, 화살표는 커맨드가 실행된 것을 나타낼 수 있다. 예를 들어, 사용자는, 화살표가 가상 물체 상의 텍스트에 인접할 때 단어 "선택"을 말할 수 있고, 화살표는, 그 텍스트가 선택되는 것을 표시할 수 있다.
결정 블록(3607)에서, 프로세서는, 포인터 작업을 실행할지 여부, 및 다수의 미리 정의된 대안들(예를 들어, 화살표, 포인터 디바이스 또는 다양한 가상 아이콘들)로부터 가상 입력 디바이스 물체를 선택할지 여부를 결정할 수 있다. 실행할 것으로 결정되면(즉, 결정 블록(3607) = "예"), 프로세서는 작업을 실행할 수 있고, 블록(3608)에서, 메모리에 저장된 상이한 포인터 타입들의 어레이로부터 가상 입력 디바이스가 선택될 수 있다. 블록(3609)에서, 카메라로부터 사용자의 손 및 가상 물체까지의 벡터가 계산될 수 있다. 가상 입력 디바이스는 계산된 벡터 상에 직접 렌더링 및 배치될 수 있고, 가상 또는 증강 현실 경험을 제공하기 위해, 사용자의 손의 이동을 추적함으로써 디스플레이 상에서 이동가능할 수 있다. 블록(3610)에서, 가상 현실 입력 디바이스/포인터는 디스플레이 상의 가상 물체의 일부를 이동, 선택, 확대 또는 강조하는데 이용될 수 있다.
블록(3611)에서, 선택적으로 사용자의 특징들은 가상 물체와 접촉될 수 있고, 가상 물체를 가릴 수 있다. 예를 들어, 사용자의 손은 가상 물체 상에서 지나갈 수 있고, 사용자의 시점으로부터 가상 물체의 뷰를 가리거나 차단할 수 있으며, 이것은 선호되지 않을 수 있다. 프로세서는, 사용자의 신체 부분이 디스플레이 상의 가상 물체를 가려야 하는 경우에도, 가상 물체가 사용자에게 가시적으로 유지될 수 있도록 사용자의 신체 부분 상에 가상 물체를 중첩시킬 수 있다. 이 방식으로, 신체 부분은 투명하게 보이고, 신체 부분의 윤곽만이 나타나도록 외견상 렌더링될 수 있다. 블록(3612)에서, 가상 물체 상에 포인터를 렌더링하기 위해 벡터가 이용될 수 있다. 블록(3613)에서, 가상 입력 디바이스는 업데이트될 수 있다. 블록(3614)에서, 가상 입력 디바이스는 가상 물체와 함께 디스플레이될 수 있다.
어떠한 제스쳐 커맨드도 인식되지 않으면(즉, 결정 블록(3606) = "아니오"), 프로세서는, 프로세서가 제스쳐를 인식하는지 여부를 결정하기 위해 비디오를 추적하는 것을 계속할 수 있다. 또한, 프로세서가 포인터를 실행 또는 이용하지 않는 것으로 판단하면(즉, 결정 블록(3607) = "아니오), 프로세서는 비디오를 추적하는 것을 계속할 수 있고, 가상 입력 디바이스를 생성 및 디스플레이하지 않을 것이다.
도 37은, 헤드 장착 디스플레이(3704) 상에서 가시적인 가상 물체 현실 입력 디바이스 또는 가상 포인터(3706)를 포함하는 시스템(3700)의 하이 레벨 도면 및 가상 물체(14)의 하이 레벨 도면을 도시한다. 헤드 장착 디스플레이(3704)는, 안테나(미도시)를 포함하는 무선 통신 디바이스 및 프로세서를 포함할 수 있다. 도 5a를 참조하여 앞서 논의된 바와 같이, 헤드 장착 디바이스(3704)는, 애플리케이션들을 실행하기 위한 코프로세서(때때로 애플리케이션 프로세서로 지칭됨)를 포함할 수 있는 코어 프로세서를 포함할 수 있다.
헤드 장착 디바이스(3704)는 또한, 통신들(예를 들어, 무선 모뎀 프로세서), 내비게이션(예를 들어, GPS 수신기 프로세서) 및 그래픽스(예를 들어, 그래픽스 프로세서 유닛(GPU))를 포함하는 중요한 디바이스 능력들과 연관된 다수의 피어 프로세서들을 포함할 수 있다. 헤드 장착 디바이스(3704)는 또한 셀룰러 트랜시버 또는 모뎀(미도시)을 포함할 수 있고, 이것은 많은 경우들에서, 주요 작업이 무선 통신들을 관리하는 것인 하나 또는 그 초과의 프로세서들을 포함한다. 헤드 장착 디바이스(3704)는 또한, 별개의 트랜시버 칩일 수 있는 Wi-Fi 모뎀(미도시)과 같은 다른 타입들의 무선 통신 네트워크들을 통해 통신하기 위해 다른 무선 트랜시버들을 포함할 수 있고, 이 경우, 이것은 또한 별개의 프로그래머블 프로세서를 포함할 수 있다. 임베딩된 프로그래머블 프로세서들을 갖는 다른 무선 트랜시버들(미도시)은, 근거리 통신(NFC) 링크들, Bluetooth® 링크들, 및 다른 무선 프로토콜들에 기초한 링크들과 같은 다른 타입들의 무선 통신 링크들에 접속하기 위해 포함될 수 있다.
통신 프로세서들에 부가하여, 헤드 장착 디바이스(3704)는 또한, 전용 프로세서를 가질 수 있는 GPS 수신기(미도시)를 포함할 수 있다. 또한, 그래픽스 프로세서는 고해상도 그래픽스를 제공하기 위해 포함될 수 있다. 헤드 장착 디바이스(3704)는 또한 USB 포트와 같은 유선 통신들과 연관된 프로세서들을 포함할 수 있다. 도 5a를 참조하여 앞서 설명된 바와 같이, 헤드 장착 디스플레이(3701)는 RGB-D 카메라 시스템을 포함할 수 있고, RGB-D 카메라 시스템은 스스로, RGB 카메라(3704a)를 적외선 카메라(3704b) 및 구조화된 적외선 광 적외선 방출기(3704c)와 결합할 수 있다.
프로세서는, 헤드 장착 또는 신체 장착 카메라(3701)로부터 사용자의 손가락(3705)까지 및 손가락(3705)으로부터 가상 물체(14)까지 캡쳐될 수 있는 벡터를 측정한다. 벡터를 이용하여, 입력 디바이스 가상 물체(3706)가 생성될 수 있고 벡터 상에 배치될 수 있다. 가상 입력 디바이스(3706)가 생성될 수 있고, 가상 입력 디바이스(3706)의 배향이 계산될 수 있다. 가상 입력 디바이스(3706)는, 가상 물체(14)가 연결되는 위치일 수 있는 앵커 표면(3703)에 연결되도록 생성될 수 있다. 이 실시예에서, 가상 물체(14)는, 헤드 장착 디스플레이 상에 디스플레이되는 빌딩의 크기와 같이 매우 큰 크기에 대한 디스플레이를 위해 렌더링될 수 있다. 가상 입력 디바이스(3706)를 이용하는 사용자는 텍스트 또는 가상 물체의 부분들 또는 그의 가상 물체(14)와 디스플레이되는 컨텐츠를 선택할 수 있다.
도 38은, 제 1 헤드 장착 디바이스에 의한 구현을 위해 제 2 헤드 장착 디바이스가 포인팅 좌표들 및 제스쳐 제어들을 어떻게 제공할 수 있는지를 도시하는 제 1 및 제 2 헤드 장착 디바이스 시스템(3800 및 3800a)의 하이 레벨 도면을 도시한다. 1차 헤드 장착 디바이스 시스템(3800)은, 제 1 헤드 장착 또는 신체 장착 카메라 어레이(3801), 및 피어 투 피어 기반 어레인지먼트와 동작가능한 제 1 프로세서(3804)를 포함할 수 있다. 제 1 프로세서(3804)는 호스트 프로세서로서 동작가능할 수 있고, 제 2 프로세서(3805)는 2차 시스템으로서 동작가능할 수 있다. 제 2 헤드 장착 디바이스 시스템(3800a)은, 1차 시스템(3800)으로부터 디스플레이를 위한 생성된 이미지를 수신하는 시스템으로서 동작할 수 있다. 제 2 헤드 장착 디바이스 시스템(3800a)은 헤드 장착 또는 신체 장착 카메라 어레이(3802) 및 제 2 프로세서(3805)를 포함할 수 있다. 사용자가 3차원 이미지들을 관측하도록 디스플레이 시스템(3803)이 또한 제공될 수 있다. 헤드 장착 또는 신체 장착 카메라 어레이(3801)는 제 1 프로세서(3804)에 이미지 및 거리 데이터를 제공할 수 있고, 제 1 프로세서(3804)는 이미지 데이터를 생성하고 이를 디스플레이 시스템(3803)에 제공한다. 1차 프로세서(3804)는 제 2 프로세서(3805)에 이미지를 제공할 수 있고, 제 2 헤드 장착 디바이스는 포인트 좌표들 및 제스쳐 제어들을 1차 프로세서(3804)에 제공할 수 있다. 이미지 및 거리 데이터가 프로세서들(3804 및 3805)에 제공되어, 1차 프로세서는 가상 물체를 생성하고, 디스플레이 시스템(3803) 상에 이미지를 디스플레이를 디스플레이하고, 또한 이미지를 디스플레이를 위해 제 2 프로세서(3805)에 통신한다. 제 2 프로세서(3805)는, 앵커 표면들에 대한 위치들로 포인팅하는 것 또는 물체들을 이동시키는 것 및 제어 커맨드들과 같은 사용자 입력들로서의 사용자 제스쳐들을 검출할 수 있고, 이 포인트 및 제스쳐 제어들을, 입력들이 프로세싱될 수 있는 제 1 프로세서에 제공할 수 있다.
도 39는, 포인트 및 제스쳐 제어들 및 이미지 데이터 정보가 클라우드 서버(3906) 상에 저장될 수 있고 그에 의해 다른 것들에 (예를 들어, 멀티캐스트로) 중계될 수 있는 클라우드 구성에서 동작하는 시스템(3900)을 도시한다. 이 시스템은, 가상 물체 및 디스플레이 데이터가 협력하는 헤드 장착 디스플레이 시스템들(3900a 및 3900b)에 무선으로 통신되는 것을 가능하게 한다. 시스템(3900)은 또한, 다른 헤드 장착 디바이스들을 포함하는 다른 컴퓨팅 디바이스들이, 협력하는 헤드 장착 디스플레이 시스템들(3900a 및 3900b) 사이에서 발생하는 데이터 교환들을 모니터링하는 것을 가능하게 한다. 이 방식으로, 협력은 더 광범위한 청중에 의해 관측될 수 있다.
시스템(3900)은 중앙 서버(3906) 상에서 동작가능한 중앙 프로세서를 포함할 수 있다. 제 1 헤드 장착 디바이스(3900a)는 헤드 장착 또는 신체 장착 카메라(3902) 및 제 1 프로세서(3903)를 포함할 수 있다. 제 2 헤드 장착 디바이스(3900b)는 제 2 프로세서(3905)를 갖는 헤드 장착 또는 신체 장착 카메라(3904)를 포함할 수 있다. 디스플레이 시스템(3901)이 또한 제공될 수 있다. 이미지는 서버(3906)로부터 디스플레이 시스템(3901)에 제공될 수 있다. 이미지는 또한 제 1 프로세서(3903)에 제공될 수 있다. 제 1 프로세서(3903)는, 제스쳐들, 포인트 좌표들, 거리 데이터, 이미지 데이터, 배향 데이터 및 감지된 파라미터들을 포함하는 데이터를 서버(3906)에 송신한다. 이미지는 또한 제 2 프로세서(3905)에 제공될 수 있다. 제 2 프로세서(3905)는 또한, 제스쳐들, 포인트 좌표들, 거리 데이터, 이미지 데이터, 배향 데이터 및 감지된 파라미터들을 포함하는 데이터를 서버(3906)에 제공할 수 있다. 중앙 서버(3906) 상에서 동작가능한 중앙 프로세서는, 가상 포인터 물체 및 가상 물체를 렌더링하기 위한 제 1 및 제 2 프로세서들(3903 및 3905) 상에서의 계산 프로세싱을 경감시키기 위해, 헤드 장착 디바이스들에 서비스들을 제공할 수 있다.
예를 들어, 제 1 사용자 시스템(3900a)은 적외선 광으로 영역을 스캔할 수 있고, 반사된 적외선 광의 게이팅 메커니즘까지의 이동 시간을 측정할 수 있다. 이것은, 미리 결정된 영역에서 물체들의 형상을 결정하는데 활용될 수 있고, 또한 물체들의 거리 파라미터를 결정하는데 활용될 수 있다. 제 1 사용자 시스템(3900a)은 서버(3906)에 거리 파리미터를 무선으로 통신할 수 있다. 클라우드 서버(3906)는 가상 물체를 포함하는 이미지를 생성하기 위해 스캔된 데이터를 활용할 수 있다. 가상 물체는 이미지에서 생성될 수 있고, 미리 결정된 영역의 스캔된 데이터와 함께 디스플레이 시스템(3901) 및 제 2 헤드 장착 디바이스(3900b)에 무선으로 통신될 수 있다.
도 37을 다시 참조하면, 헤드 장착 디바이스에 의해 추적될 수 있는 제스쳐의 예는 가상 물체를 표시하거나 선택하는 포인팅 제스쳐이다. 예를 들어, 사용자는 손가락(3705)으로 가상 물체(14)를 포인팅할 수 있고, 헤드 장착 디스플레이의 카메라 시스템은, 헤드 장착 또는 신체 장착 카메라(3708)로부터 사용자의 손가락(3705)까지 및 손가락(3705)으로부터 가상 물체(14)까지의 벡터를 결정할 수 있다. 이 벡터를 이용하여, 프로세서는 입력 디바이스 가상 물체를 생성할 수 있다.
예를 들어, 헤드 장착 디스플레이 상의 디스플레이를 위해 가상 물체(14)의 배향이 결정될 수 있다. 가상 입력 디바이스 물체(14)는 앵커 표면(3704)에 연결될 수 있고, 사용자가 가상 입력 디바이스 물체(14)를 제어할 수 있도록 가상 물체(14)에 연결될 수 있다. 가상 물체(14)는 헤드 장착 디스플레이 상에 렌더링된 이미지들 내에서 앵커 표면(3703) 상에 앵커될 수 있다. 이 실시예에서, 가상 물체(14)는 디스플레이를 위해 렌더링될 수 있고, 가상 물체 입력 디바이스를 이용하여, 사용자는, 제스쳐 추적 카메라(3708)를 활용하여 캡쳐된 제스쳐들 및 추적된 비디오로 인식되는 가상 물체(14)의 부분들 또는 텍스트를 선택할 수 있다. 이 실시예에서, 가상 입력 디바이스 물체(14)는 사용자 주위의 이동가능한 3차원 물체로서 디스플레이될 수 있거나, 사용자가 그 주위를 걸을 수 있다. 가상 물체(14)는 빌딩의 크기와 같이, 디스플레이된 이미지의 매우 큰 가상 물체로서 렌더링될 수 있다. 사용자는, 디스플레이된 이미지에서 매우 큰 가상 물체(14) 상의 공간에서의 위치를 특정하기 위해 가상 입력 디바이스를 활용할 수 있다.
도 40a 및 도 40b는, 도 1에 도시된 헤드 장착 디스플레이 디바이스(10)가 피코 투사기(4005)로 대체 또는 보충될 수 있는 다른 실시예를 도시하고, 피코 투사기(4005)는 모바일 스마트폰(4010)에 무선으로 접속될 수 있고, 입력 커맨드들을 제공하기 위해 사용자들의 제스쳐들이 활용될 수 있는 표면 상에 투사된 이미지를 생성할 수 있다. 이 실시예에서, 사용자는 임의의 헤드 장착 장치를 착용하지 않고, 수평 또는 수직 표면 상에서 투사된 이미지들을 단지 관측할 수 있다. 도 40a 및 도 40b에 도시된 바와 같이 가상 물체(14a)를 출력하기 위해, 핸드헬드 투사기(4005)(또한 포켓 투사기(4005), 모바일 투사기 또는 피코 투사기로 지칭됨)가 핸드헬드 디바이스(4010)와 함께 이용될 수 있다. 핸드헬드 투사기(4005)는, 도 1에 도시된 벽(16) 또는 도 40b에 도시된 데스크탑(16a)과 같은 임의의 인근의 관측 표면(16) 상에 디지털 이미지들(14a)을 투사할 수 있는 소형화된 하드웨어 및 소프트웨어를 포함할 수 있다.
피코 투사기(4005)는 배터리(4015), 전자 마더보드(4005), 다이오드 레이저, 레이저 또는 다른 광원(4030), 결합기 광학 엘리먼트(4035) 및 스캐닝 미러들(4040)을 포함할 수 있다. 핸드헬드 투사기(4005)의 컴포넌트들의 다양한 구성들이 가능하고 본 개시의 범위 내에 있다. 프로세서(4020)는 마더보드(4020)에 커플링될 수 있다. 프로세서(4020)는, 미러 및 옵틱(optic)(4040 및 4035)을 활용하여 프로세서(4020)에 의해 제어되는 이미지를 출력하기 위해, 레이저 다이오드(4030) 및 투사기를 제어할 수 있다.
도 40a를 참조하면, 피코 투사기(4005)는 투사기 엘리먼트(4006), 입력 센서(4007), 커넥터(4008), 및 모바일 디바이스(4010) 또는 다른 컴퓨팅 디바이스에 접속하기 위한 무선 인터페이스(4009)를 포함할 수 있다. 입력-감지 피코 투사기는 모듈식 방식으로 동일한 타입의 다른 유닛들에 접속될 수 있다. 투사기들은, 사용자들 사이에서 실시간 로컬 디지털 협력을 위해, 가상 물체들(14a 및 14b)로서 렌더링되는 다수의 위치 인식 공유된 투사 디스플레이들을 생성할 수 있다. 피코 투사기(4005)는 제 1 사용자에 대한 이미지들을 캡쳐할 수 있고, 캡쳐된 이미지들에 해부학적 알고리즘을 적용할 수 있다. 프로세서는 제 1 사용자를 검출할 수 있고, 제 1 사용자에 대해 편리한 위치에서 데스크탑 표면(16) 상에 제 1 가상 물체(14a)를 투사할 수 있다. 피어-투-피어 또는 다른 RF 무선 통신 링크를 이용하거나 캡쳐된 이미지 데이터를 이용하는 피코 투사기(4005)는, 제 2 사용자가 협력에 참가했음을 검출할 수 있다. 피코 투사기(4005)는 캡쳐된 이미지 데이터에 기초하여 제 2 사용자에 대해 정확하게 배향된 제 2 가상 물체(14b)를 출력할 수 있다.
각각의 투사기(4005)는 고속 무선 데이터 링크들(예를 들어, 4G, Wi-Fi 또는 Bluetooth®)을 통해 모바일 컴퓨팅 디바이스(4010)(또는 다른 컴퓨팅 디바이스)에 접속될 수 있고, 그리고/또는 피어-투-피어 통신 프로토콜을 통해 링크될 수 있다. 각각의 투사기(4005)는 또한 유선 데이터 링크를 통해 모바일 컴퓨팅 디바이스(4010)(또는 다른 컴퓨팅 디바이스)에 링크될 수 있다. 모바일 컴퓨팅 디바이스(4010)는 피코 투사기(4005)에 대한 프로세싱 유닛 및 데이터 저장 디바이스로서 동작할 수 있고, 투사된 이미지를 생성할 수 있고 이미지를 피코 투사기(4005)에 통신할 수 있다. 피코 투사기(4005)는 대안적으로, 예를 들어, 각각의 투사기(4005)의 하우징 상에 전략적으로 위치된 커넥터들(4008)을 통해 다른 피코 투사기들에 물리적으로 접속할 수 있다. 예를 들어, 2개의 피코 투사기들(4005)은 각각의 커넥터들(4008)을 통해 접속할 수 있다. 커넥터들(4008)은, 2개의 피코 투사기들(4005)이 서로 접속된 경우 피코 투사기들(4005) 각각에 대한 기준 데이터 포인트를 제공할 수 있다. 피코 투사기(4005)는, 기준 데이터 포인트로부터 미리 결정된 거리일 수 있는 표면(16a) 상에 투사된 이미지를 디스플레이할 수 있다.
각각의 투사기(4005)의 하우징 상의 접속들(4008)은 모두 물리적 지지를 제공할 수 있고, 투사기들(4005) 사이에서 고속 데이터 링크를 위한 회로를 포함할 수 있고, 각각의 투사기의 무선 접속된 모바일 컴퓨팅 디바이스(4010) 사이에서 통신들을 브릿지할 수 있다. 커넥터(4008) 및 회로는 USB, Firewire® 또는 당업계에 공지된 임의의 다른 고속 커넥터(4008)를 지원할 수 있다.
추가적으로, 접속들은, 도 40a에 도시된 커넥터(4008)를 통해 접속된 다른 투사기들에 대해 각각의 투사기의 물리적 배향에 관한 기준 데이터 포인트를 소프트웨어에 제공할 수 있다. 커넥터들(4008)은, 투사기들(4005)에 걸쳐 디지털 자산들을 전송하는 능력 및 인터페이스 소프트웨어를 제공하기 위해 이용될 수 있다. 투사기(4005)는 표면 상으로의 투사로서 가상 물체(14a)를 출력할 수 있다. 투사기(4005)는 또한 추적 및 제스쳐 인식을 위해 이미지의 물체들을 감지하도록 캡쳐된 이미지 데이터를 이용할 수 있다. 투사된 이미지(14a)는 가상 터치 스크린(14a)일 수 있고, 또한 가상 물체 상에 가상 입력 디바이스를 포함할 수 있다. 투사된 이미지와 연관된 제스쳐들이 검출될 수 있고, 프로세서는 검출된 제스쳐들에 기초하여 입력 커맨드들을 포뮬레이트할 수 있다. 이 제스쳐 인식 기능은, 사용자가 가상 입력 디바이스를 제어하고 있을 수 있는 시뮬레이션된 외관을 제공할 수 있다.
도 40b는, 제 1 가상 물체(14a) 및 제 2 가상 물체(14b)를 렌더링하는 피코 투사기(4005)를 도시한다. 일 실시예에서, 단일 피코 투사기(4005)가 각각의 사용자에 대해 적어도 2개의 상이한 이미지들을 투사할 수 있다. 다른 실시예에서, 피코 투사기(4005)는, 제 2 피코 투사기와 메이팅될(mated) 수 있고, 이것은 2개의 투사기들 사이에서 전자 접속을 완성시킨다. 2개의 상이한 피코 투사기들(4005)은 모바일 컴퓨팅 디바이스(4010) 또는 다른 이용가능한 컴퓨팅 디바이스들과 무선으로 접속할 수 있고, 각각은 각각의 사용자에게 2개의 상이한 이미지들을 하나로 출력할 수 있다. 모바일 컴퓨팅 디바이스들(4010)에 링크되는 투사기(4005)는 가상 물체(14a 및 14b)를 렌더링하기 위해 각각의 모바일 컴퓨팅 디바이스(4010)의 프로세서를 이용할 수 있다. 모바일 컴퓨팅 디바이스(4010)의 프로세서 및 이미지 센서는, 가상 물체(14a 및 14b)를 렌더링하기 위해 그리고 사용자들 각각에 대해 가상 물체(14a 및 14b)의 정확한 배향을 결정하기 위해, 각각의 사용자와 연관된 파라미터들을 검출할 수 있다.
입력 센서(4007)는 이미지를 전자 신호로 변환할 수 있다. 전자 신호는, 상이한 색들 및 강도들을 갖는 광원들을 상이한 광학 경로들로 구동시킬 수 있다. 결합기 옵틱(4035)에서, 상이한 광 경로들은 다수의 색들을 나타내는 하나의 경로로 결합될 수 있다. 미러들(4040)은 이미지를 픽셀 단위로 반사하고 이미지를 투사한다. 핸드헬드 투사기(4005)는, 관측 표면(16)의 물리적 특성들과 무관하게, 깨끗한 이미지를 투사할 수 있다. 예를 들어, 가상 물체(14a)의 투사된 이미지는, 워드 프로세싱 애플리케이션으로 키보드와 같은 "가상 물체 입력 디바이스"일 수 있다. 사용자의 제스쳐들은 가상 물체들(14a-14c) 상에서 입력 디바이스 위치들에 대응하여 검출될 수 있고, 하나 또는 그 초과의 입력 커맨드들로서 인식될 수 있다.
도시된 실시예에서, 이미지는 도 40b에 도시된 표면(16a) 상에 가상 물체(14a)를 투사할 수 있고, 사용자는 물리적 표면(16a) 상에 가상 물체(14a)를 앵커할 수 있다. 사용자가 센서(4007)의 출력에 기초하여 이동할 때, 가상 물체(14a)는 물리적 표면(16a) 상에 앵커되어 유지되도록 형상, 배향 및 크기에서 변할 수 있다. 예를 들어, 사용자는 투사기(4005)에 대해 뒤로 또는 앞으로 또는 좌측 또는 우측으로 이동하는 것으로 센서(4007)에 의해 검출될 수 있다. 입력 센서(4007)는 사용자에 의한 위치 변경을 통신할 수 있고, 프로세서(4020)는, 투사된 이미지를 더 크거나 더 작아지도록 제어할 수 있거나, 사용자의 새로운 위치와 연관된 편안한 관측 위치에 대해 투사된 이미지를 더 제어할 수 있다. 예를 들어, 투사된 이미지는 사용자를 따라 수평 표면으로부터 수직 표면으로 이동할 수 있다.
*스마트폰과 같은 모바일 컴퓨팅 디바이스(4010)는 투사기(4005)의 제스쳐 사용자 인터페이스 기능을 지원하도록 구성될 수 있고, 투사기(4005)는 투사 표면(16) 상에 (프리젠테이션 슬라이드, 텍스트 문서 또는 사진과 같은) 컴퓨터 생성 이미지를 투사한다. 모바일 컴퓨팅 디바이스(4010)에 커플링된 카메라(이미지 센서)(4007)(도 40a)는, 그 시계가 디스플레이된 이미지의 적어도 일부를 포함하도록 위치될 수 있다. 다른 실시예에서, 사용자는 또한 디스플레이된 이미지 상에 레이저 스팟(spot)을 배치시키기 위해 레이저 포인터를 이용할 수 있고, 이것은 카메라(4007)에 의해 검출될 수 있다.
카메라(4007)는, 디스플레이된 이미지의 적어도 일부 및 레이저 스팟의 디지털 이미지를 획득할 수 있고, 모바일 컴퓨팅 디바이스(4010)의 프로세서(4020)에 이미지 내의 레이저 스팟의 위치를 갖는 카메라 이미지를 제공할 수 있다. 모바일 컴퓨팅 디바이스(4010) 프로세서(4020)는, 투사 표면(16) 상에 투사되고 있는 디스플레이 컨텐츠의 적어도 일부를 인식하고 그 컨텐츠에 대한 레이저 스팟의 위치를 결정하기 위해, 카메라(4007)에 의해 생성된 이미지(본 명세서에서는 "수신된 카메라 이미지"로 지칭됨)를 분석하기 위한 소프트웨어 명령들로 구성될 수 있다. 레이저 포인터들이 특정한 파장에서 광의 밝은 빔을 방출하기 때문에, 레이저 스팟은 프로세서(4020)에 의해 쉽게 인식될 수 있고, 강도 및/또는 색 엘리먼트들에 기초하여 투사된 이미지로부터 구별될 수 있다. 카메라(4007)는, 레이저 스팟의 이동을 추적하고, 그 이동을 미리 정의된 레이저 제스쳐들에 상관시키도록 추가로 구성될 수 있다. 레이저 제스쳐가 인식되는 경우, 프로세서(4020)는 대응하는 기능을 실행할 수 있다.
도 40c는, 하나 또는 그 초과의 검출된 사용자들에 기초하여 다수의 상이한 투사된 이미지들을 출력하는 투사기의 하이 레벨 도면이다. 도 40c는, 협력에 참가한 추가적인 사용자들의 추적된 이미지들로부터 제스쳐들을 검출하기 위해 모바일 통신 디바이스 프로세서(4010)(도 40a)를 이용하는 투사기(4005)를 도시한다. 새로운 사용자를 검출하는 것에 응답하여, 프로세서는, 제 3 사용자에게 정확하게 배향되는 모듈형 방식으로 제 3 가상 물체(14c)를 렌더링할 수 있다. 유사하게, 추가적 사용자가 참가하고 검출되면, 프로세서는, 적어도 2개의 투사된 이미지들이 동일한 컨텐츠 및 이미지들을 렌더링할 수 있는 모듈형 방식으로 제 4 가상 물체(미도시)를 렌더링할 수 있다. 추가로, 제 3 또는 제 4 사용자는, 투사된 이미지들(14a, 14b 및 14c)의 디스플레이를 변경하기 위해 모바일 컴퓨팅 디바이스(4010)를 이용할 수 있다. 예를 들어, 사용자는 제 3 물체(14c)를 닫고, 상이한 컨텐츠를 갖는 새로운 물체를 열 수 있다.
투사기(4005)를 이용하면, 매우 휴대가능한 큰 입력 및 디스플레이 환경을 제공함으로써 모바일 사용자 경험이 향상될 수 있다. 다수의 사용자들에 대한 디지털 협력 환경들은 모바일 디바이스들(4010)을 이용함으로써, 애드혹(ad hoc) 방식으로 셋업될 수 있다. 투사기들(4005) 상의 물리적 커넥터들(4008)은 투사기들 사이에서 상대적인 위치 인식을 제공할 수 있다. 위치 데이터는 높은 정확도로 제공될 수 있다. 이것은, 사용자들이, 다수의 투사된 가상 물체들(14a-14c)을 이용하여 협력적 데이터 프리젠테이션들 및 조작들을 쉽게 생성하는 것을 허용한다.
도 40d는, 검출된 물체/제스쳐에 기초하여 사용자에 대해 편리한 방식으로 이미지들을 투사하기 위한 실시예 방법(4045)을 도시한다. 방법(4045)은, 방법(4045)의 동작들을 수행하기 위한 프로세서 실행가능 명령들로 구성되는 프로세서를 갖는 컴퓨팅 디바이스에서 구현될 수 있다. 방법(4045)에서, 프로세서는 사용자의 이미지들을 캡쳐할 수 있고, 블록들(4046 및 4047)에서 센서 어레이로 공간적 데이터를 캡쳐할 수 있다. 블록(4048)에서, 프로세서는 이미지에서 물체들을 인식할 수 있고, 이미지에서 물체들까지의 거리들을 결정할 수 있다. 블록(4049)에서, 프로세서는 이미지에서 물체들을 추적할 수 있고, 이미지 내에 신체 부분이 존재하는지 여부를 결정하기 위해 해부학적 분석을 적용할 수 있다.
예를 들어, 프로세서는, 캡쳐된 이미지가 헤드 및 어깨들, 몸통 및 팔들 등, 또는 사용자 또는 사용자가 보고 있는 방향을 표시할 임의의 다른 신체 부분을 포함하는지 여부를 결정하기 위해, 캡쳐된 이미지들에 해부학적 분석을 적용할 수 있다. 신체 부분이 검출되면, 프로세서는, 시간에 걸쳐 검출된 신체 부분이 메모리에 (예를 들어, 제스쳐 딕셔너리에) 저장된 제스쳐들에 부합하는지 여부를 결정할 수 있고, 제스쳐가 인식되는 경우 커맨드를 적용할 수 있다. 일 실시예에서, 피코 투사기는, 사용자가 투사된 이미지들을 편리하게 보고 그와 상호작용할 수 있도록, 특정한 위치에 이미지를 투사할 수 있다. 예를 들어, 이미지에 헤드 및 어깨들이 있는 것으로 결정되면, 피코 투사기는 사용자 근처의 벽 상에 또는 테이블 상단 상에 편리하게 이미지를 투사할 수 있다.
추가적 실시예에서, 사용자의 손들 및 손가락들을 구별하고 이동 제스쳐들을 인식하는 것을 보조하기 위해, 사용자들은, 하나 또는 두개의 손 또는 손목 장갑, 반지, 팔찌, 및 또는 거리 센서들 및 카메라들 중 하나 또는 둘 모두에 의해 인식될 수 있는, 색이 있거나 특징 반사형 특징들인 다른 아이템들을 적용 또는 착용할 수 있다. 예를 들어, 사용자는, 손가락들 각각 상에 나타나는 상이한 색들을 갖는 장갑을 착용할 수 있고, 헤드 장착 디바이스는, 신 이미지의 픽셀들 내의 손가락 각각의 적색-녹색-청색 강도 값들에 기초하여 손가락 색들 각각을 인식하도록 구성될 수 있다.
블록들(4050 및 4051)에서, 프로세서는, 피코 투사기들과 프로세서 사이에서 데이터를 링크시키고 통신하기 위해, 각각의 제 1 및 제 2 피코 투사기로부터 제 1 및 제 2 신호를 수신한다. 예를 들어, 피코 투사기들은, 모바일 통신 디바이스 메모리와 연관된 메모리의 데이터 컨텐츠가 액세스되고 디스플레이 또는 공유될 수 있도록, 모바일 통신 디바이스와 링크될 수 있다. 결정 블록(4052)에서, 프로세서는, 검출된 신체 부분에 기초하여 피코 투사기들로부터 이미지들을 투사할지 여부를 결정한다. 투사하는 것으로 결정하면(즉, 결정 블록(4052) = "예"), 프로세서는 블록(4053)에서 사용자에게 편리한 표면에 투사된 이미지를 활용하여 컨텐츠를 디스플레이할 수 있다. 블록(4054)에서, 프로세서는 피코 투사기들 사이의 무선 데이터 링크 및 사용자들 사이의 데이터를 공유할 수 있다. 예를 들어, 이미지 파일들, 워드 프로세싱 파일들, e-메일들 또는 임의의 다른 데이터는 투사된 이미지로서 공유 또는 디스플레이될 수 있다. 검출된 신체 부분에 기초하여 이미지들을 투사하지 않는 것으로 프로세서가 결정하면(즉, 결정 블록(4052) = "아니오"), 프로세서는 블록들(4055 및 4056)에서 종래의 방식으로 이미지를 투사하기 위해 프롬프트를 디스플레이할 수 있고 이미지를 투사할 수 있다. 예를 들어, 피코 투사기는, 입력이 수신될 때까지 투사들을 투사하는 것을 연기할 수 있고, 사용자는 투사된 이미지들을 수동으로 검출할 수 있다. 투사된 이미지들은 가상 물체를 포함할 수 있고, 헤드 장착 디바이스들은, 투사된 가상 물체 이미지와 상호작용하거나 그와 관련된 사용자 손 제스쳐들을 사용자 입력들로서 인식하도록 구성될 수 있다. 이러한 실시예들에서, 프로세서는, 투사된 가상 입력 디바이스를 활용하는 경우 행해지는 인식된 손 제스쳐에 대응하는 커맨드를 적용할 수 있다.
예를 들어, 사용자의 손의 추적된 이동들에 의해 이동될 수 있는 가상 마우스 또는 가상 포인터가 디스플레이될 수 있다. 추가적으로, 검출된 제스쳐를 이용하여, 프로세서는 수직 또는 수평 표면 상에 투사된 이미지들을 정확하게 배향시킬 수 있다. 이 방식으로, 투사된 이미지는 검출된 신체 부분에 기초하여 똑바로 투사될 수 있다. 예를 들어, 제 1 피코 투사기는 백투백(back to back) 구성으로 제 2 투사기에 접속될 수 있고, 투사기들은 적어도 2개의 상이한 투사된 이미지들을 투사할 수 있고, 투사된 이미지들은 서로에 대해 적어도 180도만큼 분리된다. 또 다른 실시예에서, 프로세서는 기준 포인트를 정의할 수 있고, 기준 포인트에 기초하여 제 1 및 제 2 투사기들 각각의 배향을 결정할 수 있다. 프로세서는, 제 1 및 제 2 투사기들의 배향 및 기준 포인트에 기초하여 투사된 이미지를 사용자들에 대해 배향시킬 수 있다.
다른 실시예에서, 프로세서는 제 3 사용자를 검출할 수 있고, 검출된 신체 부분에 기초하여 적어도 제 3 투사된 이미지를 투사할 수 있다. 또한, 프로세서는, 협력을 위해 제 3 사용자와 연관된 제 3 컴퓨팅 디바이스로부터 데이터를 수신할 수 있다. 다른 실시예에서, 제 4 피코 투사기 및 적어도 4개의 상이한 투사된 이미지들이 제공될 수 있다.
다양한 실시예들은, 제 1 및 제 2 투사기들 인근에서 신의 이미지들을 캡쳐함으로써 컴퓨팅 디바이스에 커플링되는 제 1 및 제 2 피코 투사기들로부터 이미지들을 투사하는 단계, 제 1 및 제 2 투사기들 인근에서 센서 어레이로 공간적 데이터를 캡쳐하는 단계, 신체 부분들을 인식하기 위해 캡쳐된 신 이미지들을 분석하는 단계, 및 인식된 신체 부분들에 기초하여 결정되는 형상 및 배향으로 제 1 및 제 2 투사기들 각각으로부터 이미지들을 투사하는 단계의 방법들을 포함할 수 있다. 일 실시예에서, 제 1 및 제 2 투사기들은 피코 투사기들일 수 있다. 추가적 실시예에서, 인식된 신체 부분들에 기초하여 결정된 형상 및 배향으로 제 1 및 제 2 투사기들 각각으로부터 이미지들을 투사하는 단계는 투사기들 인근에서 사용자들 정면의 표면 상에 이미지들을 투사하는 단계를 포함할 수 있다.
*추가적 실시예에서, 방법은, 투사기들의 인근에서 사용자들에 대해 적절한 수직 또는 수평 표면 상에 투사된 이미지들을 배향시키는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 인식된 신체 부분들의 이동들을 추적하는 단계, 미리 결정된 제스쳐를 검출하기 위해 추적된 이동들에 검출 알고리즘을 적용하는 단계, 검출된 미리 결정된 제스쳐에 대응하는 커맨드를 적용하는 단계, 및 적용된 커맨드에 응답하여 투사된 이미지들을 변형하는 단계를 포함할 수 있다. 추가적 실시예에서, 신체 부분들을 인식하기 위해 캡쳐된 이미지들을 분석하는 단계는, 캡쳐된 이미지들 내의 물체들이 해부학적 모델의 일부에 매칭하는지 여부를 결정하기 위해 이미지들에 해부학적 분석을 적용하는 단계를 포함할 수 있다.
추가적 실시예에서, 투사된 이미지들은 가상 입력 디바이스의 이미지일 수 있고, 검출된 미리 결정된 제스쳐에 대응하는 커맨드를 적용하는 단계는, 사용자 입력 디바이스의 커맨드에 일치하는 커맨드를 적용하는 단계를 포함할 수 있다. 추가적 실시예에서, 검출된 미리 결정된 제스쳐에 대응하는 커맨드를 적용하는 단계는, 가상 물체를 이동시키는 것에 대응하는 커맨드를 적용하는 단계를 포함할 수 있고, 적용된 커맨드에 응답하여 투사된 이미지들을 변형하는 단계는, 미리 결정된 제스쳐를 검출하는 것에 응답하여 가상 물체를 제 1 위치로부터 제 2 위치로 이동하도록 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 백투백 구성으로 각각의 투사기의 외부 상의 커넥터들을 통해 제 1 투사기를 제 2 투사기에 접속시키는 단계를 포함할 수 있고, 여기서 인식된 신체 부분들에 기초하여 결정된 형상 및 배향으로 제 1 및 제 2 투사기들 각각으로부터 이미지들을 투사하는 단계는 적어도 2개의 이미지들을 대략 반대 방향들로 투사하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 투사기들의 외부 상의 커넥터들을 통해 제 1 투사기를 제 3 투사기에 접속시키는 단계, 및 투사기들의 외부 상의 커넥터들을 통해 제 3 투사기를 제 2 투사기에 접속시키는 단계를 포함할 수 있고, 여기서 인식된 신체 부분들에 기초하여 결정된 형상 및 배향으로 제 1 및 제 2 투사기들 각각으로부터 이미지들을 투사하는 단계는, 이미지들이 대략 90도만큼 분리되도록 적어도 3개의 투사된 이미지들을 투사하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 투사기들의 외부 상의 커넥터들을 통해 제 1 투사기를 제 3 투사기 및 제 4 투사기에 접속시키는 단계, 및 투사기들의 외부 상의 커넥터들을 통해 제 3 및 제 4 투사기들을 제 2 투사기에 접속시키는 단계를 포함할 수 있고, 여기서 인식된 신체 부분들에 기초하여 결정된 형상 및 배향으로 제 1 및 제 2 투사기들 각각으로부터 이미지들을 투사하는 단계는, 이미지들이 대략 90도만큼 분리되도록 4개의 투사된 이미지들을 투사하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 신에서 기준 포인트를 정의하는 단계, 정의된 기준 포인트에 기초하여 제 1 및 제 2 투사기들 각각의 배향을 결정하는 단계, 및 정의된 기준 포인트 및 제 1 및 제 2 투사기들의 배향에 기초하여, 투사된 이미지들을 배향시키는 단계를 포함할 수 있다. 추가적 실시예에서, 신에서 기준 포인트를 정의하는 단계는, 접속 포인트로 제 1 투사기를 제 2 투사기에 접속시키는 단계 및 접속 포인트를 기준 포인트로 정의하는 단계를 포함할 수 있다.
다양한 실시예들은, 신체 장착 카메라로 이미지를 캡쳐함으로써 증강 현실 시스템에서 가상 이미지들을 렌더링하는 단계, 신체 장착 센서 어레이로 공간적 데이터를 캡쳐하는 단계, 캡쳐된 이미지 내에서 물체를 인식하는 단계, 이미지에 위치된 제 1 표면에 대응하는 캡쳐된 이미지의 제 1 앵커 표면을 표시하는 제 1 사용자 입력을 수신하는 단계, 제 1 앵커 표면에 대응하는 신체 장착 카메라에 대한 거리 및 배향을 포함하는 파라미터들을 계산하는 단계, 가상 물체가 그 선택된 제 1 앵커 표면에 앵커된 것으로 보이도록 가상 물체를 디스플레이하는 단계, 제 1 앵커 표면과 상이한 캡쳐된 이미지 내의 제 2 앵커 표면을 표시하는 제 2 입력을 수신하는 단계 ―여기서 제 2 앵커 표면은 이미지에 위치된 제 2 표면에 대응하고, 제 1 및 제 2 표면들은 상이함―, 제 2 앵커 표면에 대응하는 신체 장착 카메라에 대해 거리 및 배향을 포함하는 파라미터들을 계산하는 단계, 및 가상 물체가 그 선택된 제 2 앵커 표면에 앵커되고 제 1 앵커 표면으로부터 이동되는 것으로 사용자에게 보이도록 가상 물체를 디스플레이하는 단계의 방법들을 포함할 수 있다.
일 실시예에서, 방법은, 사용자가 자신의 헤드를 돌리고 선택된 제 1 또는 제 2 앵커 표면에 대해 이동할 때 가상 물체가 그 선택된 제 1 또는 제 2 앵커 표면에 앵커된 것으로 보이도록, 생성된 가상 물체의 디스플레이를 계속적으로 업데이트하는 단계를 포함할 수 있다. 추가적 실시예에서, 가상 물체를 디스플레이하는 단계는 가상 헤드 장착 디스플레이를 디스플레이하는 단계를 포함할 수 있다. 방법은, 선택된 제 1 또는 제 2 앵커 표면에 앵커된 헤드 장착 디스플레이 상에 보이는 것처럼 비디오 이미지들을 출력하는 단계를 더 포함할 수 있다. 추가적 실시예에서, 가상 물체가 그 선택된 제 2 앵커 표면에 앵커되고 제 1 앵커 표면으로부터 이동되는 것으로 사용자에게 보이도록 생성된 가상 물체를 디스플레이하는 단계는, 가상 물체를 평탄한 스크린 디스플레이와 유사한 직사각형 형상의 가상 물체로서 생성하는 단계 및 생성된 가상 물체를 반투명 디스플레이 상에 디스플레이하는 단계를 포함할 수 있고, 가상 물체는 반투명 디스플레이를 통해 볼 수 있는 실세계 표면 상에 중첩된다.
추가적 실시예에서, 제 1 또는 제 2 앵커 표면은 방 안의 벽을 포함할 수 있고, 여기서 가상 물체는, 사용자가 방 안에서 주위를 이동할 때 방 안의 벽 상에 앵커되어 유지된다. 추가적 실시예에서, 가상 물체가 그 선택된 제 1 또는 제 2 앵커 표면에 앵커된 것으로 보이도록 생성된 가상 물체를 디스플레이하는 단계는, 가상 물체가 제 1 또는 제 2 앵커 표면에 접촉하는 것으로 보이도록, 그리고 제 1 또는 제 2 앵커 표면이 앵커된 가상 물체에 대해 견고한 지지 포인트인 것으로 보이도록 가상 물체를 생성하는 단계를 포함할 수 있다. 추가적 실시예에서, 가상 물체가 그 선택된 앵커 표면에 앵커된 것으로 보이도록 생성된 가상 물체를 디스플레이하는 단계는, 가상 물체가 제 1 또는 제 2 앵커 표면으로부터 멀리 이격되지만 고정된 위치에 정지되고 제 1 또는 제 2 앵커 표면에 대해 이격되게 보이도록 가상 물체를 생성하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 캡쳐된 공간적 데이터, 생성된 가상 물체 및 이미지에 의한 데이터를 제 2 헤드 장착 디스플레이에 송신하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 마이크로폰을 활용하여 사용자로부터 오디오를 수신하는 단계, 미리 결정된 오디오 신호를 검출하기 위해, 수신된 오디오에 검출 알고리즘을 적용하는 단계, 및 미리 결정된 오디오 신호가 검출되는 경우 미리 정의된 사용자 입력을 구현하는 단계를 포함할 수 있다. 추가적 실시예에서, 미리 결정된 오디오 신호를 검출하기 위해, 수신된 오디오에 검출 알고리즘을 적용하는 단계는, 미리 정의된 사용자 입력에 대응하여 사용자에 의해 말해진 미리 결정된 오디오 신호를 검출하기 위해, 수신된 오디오에 검출 알고리즘을 적용하는 단계를 포함할 수 있다. 추가적 실시예에서, 검출된 미리 결정된 오디오 신호에 대응하는 미리 정의된 사용자 입력은, 제 1 입력, 제 2 입력 또는 제 1 및 제 2 입력들 중 하나의 확인 중 하나이다.
추가적 실시예에서, 방법은, 헤드 장착 디스플레이와 함께 장착 및 배치되는 신체 장착 카메라로 이미지를 캡쳐하는 단계 및 헤드 장착 디스플레이 상에 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 신체 장착 카메라 및 헤드 장착 디스플레이는 신체 장착 디바이스를 포함한다. 방법은, 신체 장착 디바이스와 제 2 신체 장착 디바이스 사이에 무선 데이터 링크를 설정하는 단계, 무선 데이터 링크를 통해 제 2 신체 장착 디바이스로부터 오디오 데이터를 수신하는 단계 및 사용자에게 오디오를 출력하기 위해, 수신된 오디오 데이터를 이용하는 단계를 더 포함할 수 있다. 추가적 실시예에서, 방법은, 무선 데이터 링크를 통해 비디오 데이터를 수신하는 단계, 제 2 신체 장착 디바이스로부터 수신된 비디오 이미지들을 헤드 장착 디스플레이 상에 출력하기 위해, 수신된 비디오 데이터를 이용하는 단계를 포함할 수 있고, 여기서 비디오는 앵커된 가상 물체를 디스플레이한다.
추가적 실시예에서, 무선 데이터 링크를 통해 비디오 데이터를 수신하는 단계는, 가상 물체에 대한 3차원 모델 데이터, 앵커 표면에 대한 3차원 데이터, 앵커 포인트에 대한 3차원 데이터, 3차원 깊이 데이터 및 3차원 거리 데이터 중 하나 또는 그 초과를 수신하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 가상 물체에 대한 대기 위치를 표시하는 제 3 입력을 수신하는 단계 ―여기서 대기 위치는 제 1 및 제 2 앵커 표면들과 상이함―, 대기 위치에 대응하는 신체 장착 카메라에 대해 거리 및 배향을 포함하는 파라미터들을 계산하는 단계, 및 대기 위치에서 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 대기 위치는 디스플레이 상에서 자유 플로우팅으로 디스플레이되고, 여기서, 가상 물체는, 사용자가 자신의 헤드를 돌리고 이동할 때 이미지의 표면들에 연결되지 않고 이동가능한 것으로 디스플레이 상에 나타난다.
추가적 실시예에서, 신체 장착 카메라로 이미지를 캡쳐하는 단계는, 풀-컬러 비디오 카메라로 비디오 데이터를 캡쳐하는 단계를 포함할 수 있고, 신체 장착 센서로 공간적 데이터를 캡쳐하는 단계는, 이미지의 물체들까지의 거리들을 결정하기 위해 거리 센서를 활용하여 공간적 데이터를 캡쳐하는 단계를 포함할 수 있다. 추가적 실시예에서, 신체 장착 센서 어레이로 공간적 데이터를 캡쳐하는 단계는, 적외선 레이저 및 적외선 센서를 이용하여 이미지에서 물체들의 거리 정보를 캡쳐하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 캡쳐된 비디오 데이터 및 계산된 공간적 데이터에 기초하여 3차원 맵을 구축하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 신체 장착 카메라를 활용하여 사용자의 이동들을 추적하는 단계, 미리 결정된 제스쳐를 검출하기 위해 추적된 사용자 이동들에 검출 알고리즘을 적용하는 단계, 및 미리 결정된 제스쳐가 검출되는 경우 미리 결정된 제스쳐에 대응하는 커맨드를 실행하는 단계를 포함할 수 있다.
추가적 실시예에서, 검출된 미리 결정된 제스쳐는, "OK" 사인, 주먹, 손을 편 것, 한 손가락으로 포인팅하는 것, 두 손가락으로 포인팅하는 것, 셋 또는 네 손가락으로 포인팅하는 것, 손을 뻗은 것, 손을 회전시키는 것, 웨이브, 하나 또는 그 초과의 손가락들의 이동, 신체 부분 또는 발의 이동, 및 이들의 임의의 조합으로 이루어진 그룹으로부터 선택된다. 추가적 실시예에서, 미리 결정된 제스쳐는 제스쳐 딕셔너리로부터 리트리브된다. 추가적 실시예에서, 제스쳐 딕셔너리는, 찌르기 제스쳐, 쓰다듬기 제스쳐, 또는 타겟 선택 또는 토글링을 위한 태핑 제스쳐, 스크린에 걸쳐 스크린 물체를 가이딩하기 위한 푸쉬 제스쳐, 스크린 물체에 모멘텀을 부여하기 위한 튕기기 제스쳐, 스크린 물체를 회전시키기 위한 돌리기 제스쳐, 잡기 제스쳐 또는 줌 동작들을 위한 당기기 제스쳐, 패닝 동작들을 위해 두 손을 이동시키는 제스쳐, 스크린 물체를 리사이징하기 위해 손을 멀리 드로잉하는 제스쳐, 및 미디어를 통한 수평 스크롤링 또는 셔틀링을 위한 스와핑 제스쳐 중 하나 또는 그 초과를 정의한다.
추가적 실시예에서, 캡쳐된 이미지에서 제 1 앵커 표면을 표시하는 제 1 입력을 수신하는 단계는, 캡쳐된 이미지 내의 표면을 앵커 표면으로 지정하기 위해 커맨드에 대응하여 사용자에 의해 행해진 제 1의 미리 결정된 제스쳐를 검출하고 커맨드를 적용하는 단계를 포함할 수 있고, 이미지에서 가상 물체를 앵커하기 위해 제 2 입력을 수신하는 단계는, 앵커 표면을 캡쳐된 이미지의 다른 표면으로 이동시키는 커맨드에 대응하여 사용자에 의해 행해진 제 2의 미리 결정된 제스쳐를 검출하고 커맨드를 적용하는 단계를 포함할 수 있다. 추가적 실시예에서, 제 1 또는 제 2의 검출된 미리 결정된 제스쳐들 중 하나는 사용자가 캡쳐된 이미지의 표면을 포인팅하는 것을 포함할 수 있다. 추가적 실시예에서, 방법은, 제 1 입력이 수신된 이후 사용자의 이동들을 추적하는 것을 계속하는 단계, 제 1 입력을 확인하는 사용자 입력에 대응하는 제 3의 미리 결정된 제스쳐를 검출하기 위해, 추적된 이동들에 검출 알고리즘을 적용하는 단계, 및 제 3의 미리 결정된 제스쳐에 응답하여, 선택된 앵커 표면에 가상 물체를 앵커시키는 단계를 포함할 수 있다.
다양한 실시예들은, 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여, 신의 물체들 및 표면들의 위치들에 관한 데이터를 생성함으로써 증강 현실 시스템에서 이용하기 위한 공간적 데이터를 저장하는 단계, 생성된 데이터에 기초하여 신의 3차원 맵을 생성하는 단계, 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계, 지리적 식별 메타데이터 및 3차원 맵을 메모리에 저장하는 단계, 및 지리적 식별 메타데이터 및 3차원 맵의 적어도 일부를 제 2 신체 장착 센서 디바이스에 송신하는 단계의 방법들을 포함할 수 있다. 일 실시예에서, 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여 신의 물체들 및 표면들의 위치들에 관한 데이터를 수집하는 단계는, 신체 장착 카메라로 신의 신 이미지를 캡쳐하는 단계, 신체 장착 센서 어레이로 신 내의 물체들의 공간적 데이터를 캡쳐하는 단계, 캡쳐된 신 이미지 내의 물체들을 인식하는 단계 및 제 1 신체 장착 센서 디바이스로부터 신 이미지 내에서 인식된 물체들까지의 거리들을 결정하는 단계를 포함할 수 있고, 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는, 결정된 거리들을 신 이미지 내에서 인식된 물체들과 연관시키는 단계를 포함할 수 있다.
일 실시예에서, 방법은, 제 2 신체 장착 센서 디바이스의 위치를 결정하는 단계를 포함할 수 있고, 여기서 지리적 식별 메타데이터 및 3차원 맵 중 적어도 일부를 제 2 신체 장착 센서 디바이스에 송신하는 단계는, 제 2 신체 장착 센서 디바이스의 위치와 관련된, 지리적 식별 메타데이터 및 3차원 맵 중 일부를 송신하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 지리적 식별 메타데이터 및 3차원 맵 중 송신된 부분을 제 2 신체 장착 센서 디바이스에서 수신하는 단계, 및 지리적 식별 메타데이터 및 3차원 맵 중 수신된 부분에 부분적으로 기초하여, 제 2 신체 장착 센서 디바이스 상의 디스플레이 상에 가상 이미지를 생성하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 제 2 신체 장착 센서 디바이스의 위치를 결정하는 단계, 제 2 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여 신의 물체들 및 표면들의 위치들에 관한 데이터를 수집하는 단계, 및 제 2 신체 장착 센서 디바이스에 의해 수집된 데이터에 기초하여 지리적 식별 메타데이터 및 3차원 맵을 개선시키는 단계를 포함할 수 있다. 추가적 실시예에서, 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는 지오태그로 3차원 맵을 태그하는 단계를 포함할 수 있다. 추가적 실시예에서, 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여, 신의 물체들 및 표면들의 위치들에 관한 데이터를 수집하는 단계, 생성된 데이터에 기초하여 신의 3차원 맵을 생성하는 단계 및 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는, 제 1 신체 장착 센서 디바이스 내의 프로세서에서 달성된다.
추가적 실시예에서, 방법은, 제 1 신체 장착 센서 디바이스에 의해 수집된 이미지들 및 공간적 데이터를, 제 1 신체 장착 센서 디바이스와 통신하는 프로세서에 중계하는 단계를 포함할 수 있고, 여기서 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여 신의 물체들 및 표면들의 위치들에 관한 데이터를 생성하는 단계, 생성된 데이터에 기초하여 신의 3차원 맵을 생성하는 단계 및 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는, 제 1 신체 장착 센서 디바이스와 통신하는 프로세서에서 달성된다. 추가적 실시예에서, 방법은, 제 1 신체 장착 센서 디바이스에 의해 수집된 이미지들 및 공간적 데이터를 네트워크를 통해 서버에 송신하는 단계를 포함할 수 있고, 여기서 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여 신의 물체들 및 표면들의 위치들에 관한 데이터를 생성하는 단계, 생성된 데이터에 기초하여 신의 3차원 맵을 생성하는 단계 및 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는, 제 1 신체 장착 센서 디바이스로부터 수신된 이미지들 및 공간적 데이터에 기초하여 서버에서 달성된다.
추가적 실시예에서, 방법은, 제 2 신체 장착 센서 디바이스의 위치를 결정하는 단계, 및 지리적 식별 메타데이터 및 3차원 맵의 일부에 대해 제 2 신체 장착 센서 디바이스로부터의 요청을 서버에 송신하는 단계를 포함할 수 있고, 요청은 제 2 신체 장착 센서 디바이스의 결정된 위치를 포함하고, 여기서 지리적 식별 메타데이터 및 3차원 맵의 적어도 일부를 제 2 신체 장착 센서 디바이스에 송신하는 단계는, 제 2 신체 장착 센서 디바이스의 위치와 관련된, 지리적 식별 메타데이터 및 3차원 맵의 일부를 서버로부터 제 2 신체 장착 센서 디바이스에 송신하는 단계를 포함할 수 있다. 추가적 실시예에서, 신의 3차원 맵을 생성하는 단계는, 신 내의 3차원 표면들의 수학적 표현을 개발하는 단계, 및 지리적 식별 메타데이터를 수학적 표현에 기록하는 단계를 포함할 수 있다. 추가적 실시예에서, 지리적 식별 메타데이터 및 3차원 맵을 메모리에 저장하는 단계는 제 1 및 제 2 신체 장착 센서 디바이스들에 의해 액세스 가능한 서버 상에 수학적 표현을 저장하는 단계를 포함할 수 있다.
추가적 실시예에서, 제 1 신체 장착 센서 디바이스로부터 수집된 이미지들 및 공간적 데이터에 기초하여 신의 물체들 및 표면들의 위치들에 관한 데이터를 생성하는 단계는, 제 1 신체 장착 센서 디바이스의 위치를 결정하는 단계, 신체 장착 카메라로 신의 신 이미지를 캡쳐하는 단계, 신체 장착 센서 어레이로 신 내의 물체들의 공간적 데이터를 캡쳐하는 단계, 캡쳐된 신 이미지 내에서 물체들을 인식하는 단계, 및 신 이미지 내에서 인식된 물체들의 위치들을 결정하는 단계를 포함할 수 있고, 지리적 식별 메타데이터를 신의 3차원 맵에 추가하는 단계는, 결정된 위치들을, 신 이미지 내에서 인식된 물체들과 연관시키는 단계를 포함할 수 있다. 추가적 실시예에서, 이미지 내에서 인식된 물체들의 위치들을 결정하는 단계는, 제 1 신체 장착 센서 디바이스의 결정된 위치에 대해 물체들의 위치들을 결정하는 단계를 포함할 수 있다. 추가적 실시예에서, 이미지 내에서 인식된 물체들의 위치들을 결정하는 단계는, 제 1 신체 장착 센서 디바이스의 위치를 결정하는데 이용된 좌표계 내에서 물체들의 위치들을 결정하는 단계를 포함할 수 있다.
다양한 실시예들은, 가상 물체가 디스플레이될 신의 이미지를 캡쳐함으로써 증강 현실 시스템에서 이미지들을 렌더링하는 단계, 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 단계, 및 인식된 신체 부분에 기초하여 가상 물체의 디스플레이를 조정하는 단계의 방법들을 포함할 수 있다. 일 실시예에서, 가상 물체의 디스플레이를 조정하는 단계는, 인식된 신체 부분에 중첩하는 가상 물체의 부분을 식별하는 단계, 및 인식된 신체 부분이 가상 물체의 식별된 부분을 가리는 것으로 보이도록 그 식별된 부분을 억제하는 단계를 포함할 수 있다. 추가적 실시예에서, 가상 물체의 디스플레이를 조정하는 단계는, 인식된 신체 부분에 중첩하는 가상 물체의 일부를 식별하는 단계, 및 가상 물체의 식별된 부분이 인식된 신체 부분을 가리는 것으로 보이도록, 인식된 신체 부분 상에 가상 물체를 중첩시키는 단계를 포함할 수 있다.
추가적 실시예에서, 디스플레이된 가상 물체를 조정하는 단계는, 인식된 신체 부분을 통해 가상 물체가 관측가능하도록 그리고 인식된 신체 부분이 반투명으로 보이도록, 인식된 신체 부분에 중첩하는 가상 물체의 디스플레이된 부분들을 조정하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 신체 장착 반투명 디스플레이를 착용한 개인이 디스플레이를 통해 신을 관측할 수 있도록 신체 장착 반투명 디스플레이 상에 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 가상 물체가 디스플레이될 신의 이미지를 캡쳐하는 단계는, 제 1 개인이 착용한 신체 장착 카메라로 신을 캡쳐하는 단계를 포함할 수 있다. 방법은, 제 1 개인이 착용한 신체 장착 센서 어레이로 공간적 데이터를 캡쳐하는 단계, 캡쳐된 이미지 내에서 물체들을 인식하는 단계, 및 캡쳐된 이미지 내에서 인식된 물체들까지의 거리들을 결정하는 단계를 더 포함할 수 있다. 추가적 실시예에서, 방법은, 신체 장착 반투명 디스플레이를 착용한 개인에게 신이 관측가능하도록 헤드 장착 디스플레이 상에 가상 물체 및 캡쳐된 이미지를 디스플레이하는 단계를 포함할 수 있다.
추가적 실시예에서, 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 단계는, 캡쳐된 이미지에 해부학적 분석을 적용하는 단계를 포함할 수 있다. 추가적 실시예에서, 이미지에 해부학적 분석을 적용하는 단계는, 캡쳐된 이미지 내의 물체들을 인식하는 단계, 인식된 물체들을 메모리에 저장된 골격 모델에 비교하는 단계 ―저장된 골격 모델은 인간 골격의 주요한 관절들, 뼈들 및 팔들에 대한 상대적 위치 정보를 포함함―, 및 인식된 물체들을 골격 모델에 비교하는 것에 응답하여, 인식된 물체들 중 임의의 물체가 골격 모델의 일부에 매칭하는지 여부를 결정하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 것에 응답하여, 신체 부분이 제 1 개인에 속하는지 또는 제 2 개인에 속하는지를 결정하는 단계, 가상 물체의 위치 및 포함된 영역을 결정하는 단계, 및 인식된 신체 부분이 가상 물체에 의해 포함된 영역의 적어도 일부에 중첩하는지 여부를 결정하는 단계를 포함할 수 있다.
추가적 실시예에서, 신체 부분이 제 1 개인에 속하는지 또는 제 2 개인에 속하는지를 결정하는 단계는, 인식된 신체 부분의 배향에 기초하여, 신체 부분이 제 1 개인에 속하는지 또는 제 2 개인에 속하는지를 결정하는 단계를 포함할 수 있다. 추가적 실시예에서, 신체 부분이 제 1 개인에 속하는지 또는 제 2 개인에 속하는지를 결정하는 단계는, 신체 장착 카메라로부터 인식된 신체 부분의 거리에 기초하여, 신체 부분이 제 1 또는 제 2 개인에 속한다고 결정하는 단계를 포함할 수 있다. 추가적 실시예에서, 신체 부분이 제 1 개인에 속하는지 또는 제 2 개인에 속하는지를 결정하는 단계는, 캡쳐된 이미지에 있는 것으로 결정되는 다수의 신체 부분들에 기초하여, 신체 부분이 제 1 또는 제 2 개인에 속한다고 결정하는 단계를 포함할 수 있다.
추가적 실시예에서, 가상 물체의 디스플레이를 조정하는 단계는, 신체 부분이 제 2 개인에게 속한다고 결정되는 경우 제 2 개인의 인식된 신체 부분 상에 중첩되도록 가상 물체를 디스플레이하는 단계, 및 신체 부분이 제 1 개인에게 속한다고 결정되는 경우 가상 물체가 그 인식된 신체 부분 아래에 위치되는 것으로 보이도록 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 가상 물체가 그 인식된 신체 부분 아래에 위치되는 것으로 보이도록 가상 물체를 디스플레이하는 단계는, 인식된 신체 부분에 중첩하는 가상 물체의 부분들을 렌더링하지 않는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 제 2 개인의 인식된 신체 부분 중 가상 물체에 의해 포함되는 디스플레이 영역에 중첩하는 부분들의 윤곽을, 디스플레이에서 가상 물체 상에 그 윤곽이 가시적이도록 디스플레이하는 단계를 포함할 수 있다.
다양한 실시예들은, 신체 장착 카메라 및 헤드 장착 디스플레이를 각각 포함하는 제 1 및 제 2 신체 장착 디바이스들에 의해 증강 현실 시스템에서 이미지들을 렌더링하는 방법들을 포함할 수 있다. 방법은, 제 1 신체 장착 디바이스의 신체 장착 카메라로 신의 제 1 신 이미지를 캡쳐하는 단계, 제 1 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 1 이미지를 디스플레이하는 단계 ―제 1 이미지는, 제 1 신체 장착 디바이스의 사용자에 대해 적절한 제 1 배향에서, 캡쳐된 제 1 신 이미지 내의 제 1 앵커 표면에 앵커되는 것으로 가상 물체를 디스플레이함―, 및 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 2 이미지를 디스플레이하는 단계를 포함할 수 있고, 제 2 이미지는, 제 2 신체 장착 디바이스의 사용자에 대해 적절한 제 2 배향에서, 제 2 앵커 표면에 앵커되는 것으로 가상 물체를 디스플레이한다.
추가적 실시예에서, 방법은, 가상 물체를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스로 전송하는 단계, 제 2 신체 장착 디바이스에서 가상 물체를 수신하는 단계, 제 2 신체 장착 디바이스의 신체 장착 카메라로 신의 제 2 신 이미지를 캡쳐하는 단계, 및 제 2 신체 장착 디바이스의 사용자가 보고 있는 방향에 근접한 방향에 있는 제 2 신 이미지 내의 적절한 앵커 표면을 식별하기 위해, 캡쳐된 제 2 신 이미지를 분석하는 단계를 포함할 수 있고, 여기서 제 2 신체 장착 디바이스의 신체 장착 디스플레이 상에 제 2 이미지를 디스플레이하는 단계는, 가상 물체가 그 식별된 적절한 앵커 표면에 앵커되는 것으로 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다. 일 실시예에서, 방법은, 가상 물체의 배향을 표시하는 신호를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계를 포함할 수 있고, 여기서 제 2 이미지를 디스플레이하는 단계는, 제 1 신체 장착 디바이스로부터 수신된 신호에 부분적으로 기초하여 가상 물체가 배향되도록 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다.
추가적 실시예에서, 방법은, 가상 물체의 선호되는 배향을 표시하는 신호를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계, 표시된 선호되는 배향을 제 2 신체 장착 디바이스의 사용자에게 통지하는 단계, 및 표시된 선호되는 배향을 허용 또는 거부하는 입력을 제 2 신체 장착 디바이스의 사용자로부터 수신하는 단계를 포함할 수 있고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 2 이미지를 디스플레이하는 단계는, 수신된 입력이 그 표시된 선호되는 배향을 허용하는 경우 그 표시된 선호되는 배향에 부분적으로 기초하여 가상 물체가 배향되도록, 그리고 수신된 입력이 그 표시된 선호되는 배향을 거부하는 경우 그 표시된 선호되는 배향과는 상이한 방식으로 가상 물체가 배향되도록, 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다.
추가적 실시예에서, 제 1 앵커 표면 및 제 2 앵커 표면은 동일한 표면이다. 추가적 실시예에서, 방법은, 가상 물체를 제 1 신체 장착 디바이스로부터 제 2 신체 장착 디바이스에 송신하는 단계를 포함할 수 있고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 가상 물체의 제 2 이미지를 디스플레이하는 단계는, 제 2 배향에서 제 1 앵커 표면에 앵커되는 것으로 제 2 이미지를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 제 1 및 제 2 신체 장착 디바이스들은 상이한 위치들에 위치되고, 방법은, 네트워크를 통해 제 1 및 제 2 신체 장착 디바이스들 각각에 가상 물체를 송신하는 단계를 더 포함할 수 있다.
추가적 실시예에서, 방법은, 제 2 신체 장착 디바이스의 신체 장착 카메라로 제 2 신 이미지를 캡쳐하는 단계, 및 캡쳐된 제 2 신 이미지에서 제 2 앵커 표면을 표시하는 입력을 제 2 신체 장착 디바이스 상에서 수신하는 단계를 포함할 수 있고, 표시된 제 2 앵커 표면은 제 1 앵커 표면과 상이하고, 여기서 제 2 신체 장착 디바이스의 헤드 장착 디스플레이 상에 제 2 이미지를 디스플레이하는 단계는, 제 2 신체 장착 디바이스의 사용자 및 표시된 제 2 앵커 표면에 대해 적절한 구성으로 그 표시된 제 2 앵커 표면에 앵커되는 것으로 가상 물체를 디스플레이하는 단계를 포함할 수 있다. 추가적 실시예에서, 방법은, 제 2 가상 물체를 제 2 신체 장착 디바이스로부터 제 1 신체 장착 디바이스에 송신하는 단계, 및 제 1 신체 장착 디바이스의 헤드 장착 디스플레이 상에 제 3 이미지를 디스플레이하는 단계를 포함할 수 있고, 제 3 이미지는 제 1 앵커 표면에 앵커되는 것으로 제 2 가상 물체를 디스플레이한다.
추가적 실시예들은, 앞서 논의된 다양한 실시예 방법들 및/또는 동작들에 대응하는 다양한 동작들을 수행하도록 구성되는 시스템들, 서버들 및/또는 컴퓨팅 디바이스들을 포함할 수 있다. 더 추가적인 실시예들은, 프로세서로 하여금 앞서 논의된 다양한 실시예 방법들 및/또는 동작들에 대응하는 동작들을 수행하게 하는 프로세서 실행가능 명령들이 저장된 비일시적(non-transitory) 프로세서 판독가능 저장 매체들을 포함할 수 있다.
도 41은 임의의 실시예들에 이용하기에 적절한 수신기 디바이스의 시스템 블록도이다. 통상적인 수신기 디바이스(4100)는, 내부 메모리(4102), 디스플레이(4103) 및 스피커(4154)에 커플링된 프로세서(4101)를 포함할 수 있다. 추가적으로, 수신기 디바이스(4100)는, 프로세서(4101)에 커플링되는 무선 링크 및/또는 셀룰러 전화 트랜시버(4105) 및 프로세서(4101)에 커플링되는 모바일 멀티미디어 브로드캐스트 수신기(4106)에 접속될 수 있는, 전자기 방사를 전송 및 수신하기 위한 안테나(4104)를 포함할 수 있다. 수신기 디바이스들(4100)은 또한 통상적으로, 사용자 입력들을 수신하기 위한 메뉴 선택 버튼들 또는 로커 스위치들(4108)을 포함한다.
다양한 실시예들은, 도 42에 도시된 서버(4200)와 같은 다양한 상업적으로 이용가능한 서버 디바이스들 중 임의의 서버 디바이스 상에서 구현될 수 있다. 이러한 서버(4200)는 통상적으로, 디스크 드라이브(4203)와 같은 대용량 비휘발성 메모리 및 휘발성 메모리(4202)에 커플링되는 프로세서(4201)를 포함할 수 있다. 서버(4200)는 또한 프로세서(4201)에 커플링되는 플로피 디스크 드라이브, 컴팩트 디스크(CD) 또는 DVD 디스크 드라이브(4206)를 포함할 수 있다. 서버(4200)는 또한, 다른 브로드캐스트 시스템 컴퓨터들 및 서버들에 커플링되는 로컬 영역 네트워크와 같은 네트워크(4205)와 데이터 접속들을 설정하기 위해 프로세서(4201)에 커플링되는 네트워크 액세스 포트들(4204)을 포함할 수 있다.
프로세서들(3903, 3905, 4101, 4201)은, 앞서 설명된 다양한 실시예들의 기능들을 포함하는 다양한 기능들을 수행하도록 소프트웨어 명령들(애플리케이션들)에 의해 구성될 수 있는 임의의 프로그래머블 마이크로프로세서, 마이크로컴퓨터 또는 다중 프로세서 칩 또는 칩들일 수 있다. 몇몇 디바이스들에서, 하나의 프로세서는 무선 통신 기능들에 전용되고 하나의 프로세서는 다른 애플리케이션들을 실행시키는데 전용되는 것과 같은 다수의 프로세서들(3903, 3905, 4101)이 제공될 수 있다. 통상적으로, 소프트웨어 애플리케이션들은, 액세스되고 프로세서(4101, 4201)로 로딩되기 전에, 내부 메모리(4102, 4202, 4203)에 저장될 수 있다. 프로세서(4101, 4201)는 애플리케이션 소프트웨어 명령들을 저장하기에 충분한 내부 메모리를 포함할 수 있다. 많은 디바이스들에서, 내부 메모리는 플래쉬 메모리와 같은 비휘발성 또는 휘발성 메모리 또는 둘 모두의 혼합일 수 있다. 이 설명의 목적들로, 메모리에 대한 일반적 참조는, 디바이스에 플러그인되는 착탈식 메모리 또는 내부 메모리 및 프로세서(3903, 3905, 4101, 4201) 자체 내의 메모리를 포함하는, 프로세서(3903, 3905, 4101, 4201)에 의해 액세스가능한 메모리를 지칭한다.
상기 방법 설명들 및 프로세스 흐름도들은 단지 예시적인 예들로서 제공되고, 다양한 실시예들의 단계들이 제시된 순서로 수행되어야 함을 요구하거나 의미하도록 의도되지 않는다. 당업자에 의해 인식될 바와 같이, 상기 실시예들의 단계들의 순서는 임의의 순서로 수행될 수 있다. "그 후", "그 다음", "다음" 등과 같은 단어들은 단계들의 순서를 제한하도록 의도되지 않고; 이 단어들은 단순히, 방법들의 설명에 걸쳐 독자를 안내하기 위해 사용된다. 추가로, 예를 들어, 관사들("a", "an" 또는 "the")을 이용한 단수인 청구항 엘리먼트들에 대한 임의의 참조는 그 엘리먼트를 단수로 제한하는 것으로 해석되어서는 안된다.
본 명세서에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 상호 호환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능적 관점에서 앞서 설명되었다. 이러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션, 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 발명의 범위를 벗어나는 것을 야기하는 것으로 해석되어서는 안 된다.
본 명세서에서 개시되는 실시예들과 관련하여 설명된 다양한 예시적인 로직, 로직 블록들, 모듈들 및 회로들을 구현하는데 이용되는 하드웨어는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합에 의해 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 또는 그 초과의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 대안적으로, 몇몇 단계들 또는 방법들은, 주어진 기능에 특정된 회로에 의해 수행될 수 있다.
하나 또는 그 초과의 예시적인 실시예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면, 상기 기능들은 비일시적 컴퓨터 판독가능 매체 상에 하나 또는 그 초과의 명령들 또는 코드로서 저장될 수 있다. 본 명세서에 개시된 알고리즘 또는 방법의 단계들은, 비일시적 컴퓨터 판독가능 매체 상에 상주할 수 있는 실행된 프로세서 실행가능 소프트웨어 모듈에서 구현될 수 있다. 비일시적 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 저장 매체를 포함한다. 예를 들어, 이러한 비일시적(non-transitory) 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장 또는 다른 자기 저장 디바이스들 또는 명령들 또는 데이터 구조들의 형태로 요구되는 프로그램 코드를 저장 또는 전달하는데 이용될 수 있고, 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다. 여기서 사용되는 디스크(disk 및 disc)는 컴팩트 디스크(disc)(CD), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(DVD), 플로피 디스크(disk), 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저들로 데이터를 광학적으로 재생한다. 상기한 것의 조합들 또한 비일시적 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다. 추가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 물건에 통합될 수 있는 비일시적 컴퓨터 판독가능 매체 및/또는 비일시적 머신 판독가능 매체 상에 코드들 및/또는 명령들 중 하나 또는 이들의 임의의 조합 또는 이들의 세트로서 상주할 수 있다.
개시된 실시예들의 상기 설명은 이 분야의 당업자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이 실시예들에 대한 다양한 변형들은 이 분야의 당업자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 따라서, 본 발명은 본 명세서에 제시된 실시예들로 한정되는 것으로 의도되지 않고, 본 명세서에 개시된 하기 청구항들 및 원리들 및 신규한 특징들과 부합하는 가장 넓은 범위에 따라야 한다.
Claims (40)
- 증강 현실 시스템에서 이미지들을 렌더링하는 방법으로서,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 단계;
컴퓨팅 디바이스를 통해, 캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 단계;
컴퓨팅 디바이스를 통해, 상기 인식하는 단계에 응답하여, 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 단계;
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 1 개인에게 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 단계; 및
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 상기 가상 물체를 디스플레이하는 단계를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스를 통해, 상기 가상 물체가 상기 인식된 신체 부분을 통과해 보여질 수 있도록 그리고 상기 인식된 신체 부분이 반투명하게 나타나도록 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 디스플레이된 부분들을 조절하는 단계를 더 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 디스플레이는, 신체 장착 반투명 디스플레이를 입은 개인이 상기 디스플레이를 통해 상기 신을 보도록 구성되는 신체 장착 반투명 디스플레이를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스를 통해, 상기 캡쳐된 이미지 내의 물체들을 인식하는 단계; 및
상기 컴퓨팅 디바이스를 통해, 상기 캡쳐된 이미지 내의 상기 인식된 물체들까지의 거리들을 판단하는 단계를 더 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 4 항에 있어서,
상기 디스플레이는, 상기 신이 헤드 장착 디스플레이를 입는 개인에게 보여질 수 있도록 헤드 장착 디스플레이를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 단계는,
상기 컴퓨팅 디바이스를 통해 상기 캡쳐된 이미지에 해부학적 분석을 적용하는 단계를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 6 항에 있어서,
상기 캡쳐된 이미지에 해부학적 분석을 적용하는 단계는,
상기 컴퓨팅 디바이스를 통해, 상기 캡쳐된 이미지 내의 물체들을 인식하는 단계;
상기 컴퓨팅 디바이스를 통해, 상기 인식된 물체들을 메모리에 저장된 골격 모델과 비교하는 단계 ― 상기 골격 모델은 인간 골격의 주요한 관절들, 뼈들 또는 팔들 중 적어도 하나에 대한 상대적 위치 정보를 포함함 ―; 및
상기 컴퓨팅 디바이스를 통해, 상기 비교하는 단계에 응답하여, 상기 인식된 물체들 중 임의의 물체가 상기 골격 모델의 일부에 매칭하는지 판단하는 단계를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스를 통해, 상기 가상 물체의 위치 및 포함된 영역을 판단하는 단계; 및
상기 컴퓨팅 디바이스를 통해, 상기 인식된 신체 부분이 상기 가상 물체의 포함된 영역의 적어도 하나의 부분에 중첩하는지를 판단하는 단계를 더 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 가상 물체가 상기 인식된 신체 부분의 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 단계는 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 부분들을 렌더링하지 않는 단계를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 제 1 항에 있어서,
상기 컴퓨팅 디바이스를 통해, 상기 디스플레이의 상기 가상 물체 위에 아웃라인이 보이도록 상기 가상 물체의 포함된 영역에 중첩하는 상기 제 2 개인의 인식된 신체 부분의 일부들의 아웃라인을 디스플레이하는 단계를 더 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 컴퓨팅 디바이스로서,
메모리; 및
상기 메모리에 연결되는 프로세서를 포함하고,
상기 프로세서는,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 동작;
캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 동작;
상기 컴퓨팅 디바이스를 통해, 상기 인식하는 동작에 응답하여, 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 동작;
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 1 개인에게 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 동작; 및
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 상기 가상 물체를 디스플레이하는 동작을 포함하는 동작들을 수행하기 위한 프로세서-실행가능 명령들로 구성되는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 프로세서는,
상기 가상 물체가 상기 인식된 신체 부분을 통과해 보여질 수 있도록 그리고 상기 인식된 신체 부분이 반투명하게 나타나도록 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 디스플레이되는 부분들을 조절하는 동작을 포함하는 동작들을 수행하기 위한 프로세서-실행가능 명령들로 추가적으로 구성되는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 디스플레이는, 신체 장착 반투명 디스플레이를 입은 개인이 상기 디스플레이를 통해 상기 신을 보도록 구성되는 신체 장착 반투명 디스플레이를 포함하는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 캡쳐된 이미지 내의 물체들을 인식하는 동작; 및
상기 캡쳐된 이미지 내의 상기 인식된 물체들까지의 거리들을 판단하는 동작을 포함하는 동작들을 수행하기 위한 프로세서-실행가능 명령들로 추가적으로 구성되는,
컴퓨팅 디바이스. - 제 14 항에 있어서,
상기 디스플레이는, 상기 신이 헤드 장착 디스플레이를 입는 개인에게 보여질 수 있도록 헤드 장착 디스플레이를 포함하는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 프로세서-실행가능 명령들은,
상기 캡쳐된 이미지에 존재하는 신체 부분을 인식하는 동작이 상기 캡쳐된 이미지에 해부학적 분석을 적용하는 동작을 포함하도록 하는,
컴퓨팅 디바이스. - 제 16 항에 있어서,
상기 프로세서-실행가능 명령들은 ,
상기 이미지에 해부학적 분석을 적용하는 동작이,
상기 캡쳐된 이미지 내의 물체들을 인식하는 동작;
상기 인식된 물체들을 메모리에 저장된 골격 모델과 비교하는 동작 ― 상기 골격 모델은 인간 골격의 주요한 관절들, 뼈들 또는 팔들 중 적어도 하나에 대한 상대적 위치 정보를 포함함 ―; 및
상기 비교하는 동작에 응답하여, 상기 인식된 물체들 중 임의의 물체가 상기 골격 모델의 일부에 매칭하는지 판단하는 동작을 포함하도록 하는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 프로세서는,
상기 가상 물체의 위치 및 포함된 영역을 판단하는 동작; 및
상기 인식된 신체 부분이 상기 가상 물체의 포함된 영역의 적어도 하나의 부분에 중첩하는지를 판단하는 동작을 포함하는 동작들을 수행하기 위한 프로세서-실행가능 명령들로 추가적으로 구성되는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 프로세서-실행가능 명령들은,
상기 가상 물체가 상기 인식된 신체 부분의 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 동작이 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 부분들을 렌더링하지 않는 동작을 포함하도록 하는,
컴퓨팅 디바이스. - 제 11 항에 있어서,
상기 프로세서는,
상기 디스플레이의 상기 가상 물체 위에 아웃라인이 보이도록 상기 가상 물체의 포함된 영역에 중첩하는 상기 제 2 개인의 인식된 신체 부분의 일부들의 아웃라인을 디스플레이하는 동작을 포함하는 동작들을 수행하기 위한 프로세서-실행가능 명령들로 추가적으로 구성되는,
컴퓨팅 디바이스. - 컴퓨팅 디바이스로서,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하기 위한 수단;
상기 이미지에 존재하는 신체 부분을 인식하기 위한 수단;
상기 인식에 응답하여, 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하기 위한 수단;
상기 신체 부분이 상기 제 1 개인에게 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하기 위한 수단; 및
상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 상기 가상 물체를 디스플레이하기 위한 수단을 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 가상 물체가 상기 신체 부분을 통과해 보여질 수 있도록 그리고 상기 신체 부분이 반투명하게 나타나도록 상기 신체 부분에 중첩하는 상기 가상 물체의 디스플레이된 부분들을 조절하기 위한 수단을 더 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 이미지 내의 물체들을 인식하기 위한 수단; 및
상기 이미지 내의 상기 물체들까지의 거리들을 판단하기 위한 수단을 더 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 이미지에 존재하는 신체 부분을 인식하기 위한 수단은, 상기 이미지에 해부학적 분석을 적용하기 위한 수단을 포함하는,
컴퓨팅 디바이스. - 제 24 항에 있어서,
상기 이미지에 해부학적 분석을 적용하기 위한 수단은,
상기 이미지 내의 물체들을 인식하기 위한 수단;
상기 물체들을 메모리에 저장된 골격 모델과 비교하기 위한 수단 ― 상기 골격 모델은 인간 골격의 주요한 관절들, 뼈들 또는 팔들 중 적어도 하나에 대한 상대적 위치 정보를 포함함 ―; 및
상기 물체들 중 임의의 물체가 상기 골격 모델의 일부에 매칭하는지 판단하기 위한 수단 ― 상기 골격 모델의 일부에 매칭하는지 판단하기 위한 수단은 상기 골격 모델과 상기 물체들의 비교에 응답하여 동작하도록 구성됨 ― 을 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 가상 물체의 위치 및 포함된 영역을 판단하기 위한 수단; 및
상기 신체 부분이 상기 가상 물체의 포함된 영역의 적어도 하나의 부분에 중첩하는지를 판단하기 위한 수단을 더 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 가상 물체가 상기 신체 부분의 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하기 위한 수단은 상기 신체 부분에 중첩하는 상기 가상 물체의 부분들을 렌더링하지 않기 위한 수단을 포함하는,
컴퓨팅 디바이스. - 제 21 항에 있어서,
상기 디스플레이의 상기 가상 물체 위에 아웃라인이 보이도록 상기 가상 물체의 포함된 영역에 중첩하는 상기 제 2 개인의 신체 부분의 일부들의 아웃라인을 디스플레이하기 위한 수단을 더 포함하는,
컴퓨팅 디바이스. - 프로세서로 하여금, 증강 현실 시스템에서 이미지들을 렌더링하기 위한 동작들을 수행하게 하도록 구성되는 프로세서-실행가능 소프트웨어 명령들이 저장되는 비-일시적인(non-transitory) 컴퓨터 판독가능 저장 매체로서,
상기 동작들은,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 동작;
캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 동작;
상기 인식하는 동작에 응답하여, 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 동작;
상기 신체 부분이 상기 제 1 개인에게 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 동작; 및
상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 상기 가상 물체를 디스플레이하는 동작을 포함하는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 비-일시적인 컴퓨터 판독가능 저장 매체는,
상기 가상 물체가 상기 인식된 신체 부분을 통과해 보여질 수 있도록 그리고 상기 인식된 신체 부분이 반투명하게 나타나도록 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 디스플레이를 조절하는 동작을 위해 구성되는 프로세서-실행가능 소프트웨어 명령들을 더 포함하는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은 상기 프로세서로 하여금,
상기 캡쳐된 이미지 내의 물체들을 인식하는 동작; 및
상기 캡쳐된 이미지 내의 상기 인식된 물체들까지의 거리들을 판단하는 동작을 포함하는 동작들을 수행하게 하도록 추가적으로 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은,
상기 캡쳐된 이미지에 존재하는 상기 신체 부분을 인식하는 동작이 상기 캡쳐된 이미지에 해부학적 분석을 적용하는 동작을 포함하도록 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 32 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은,
상기 이미지에 해부학적 분석을 적용하는 동작이,
상기 캡쳐된 이미지 내의 물체들을 인식하는 동작;
상기 인식된 물체들을 메모리에 저장된 골격 모델과 비교하는 동작 ― 상기 골격 모델은 인간 골격의 주요한 관절들, 뼈들 또는 팔들 중 적어도 하나에 대한 상대적 위치 정보를 포함함 ―; 및
상기 비교하는 동작에 응답하여, 상기 인식된 물체들 중 임의의 물체가 상기 골격 모델의 일부에 매칭하는지 판단하는 동작을 포함하도록 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은, 상기 프로세서로 하여금,
상기 가상 물체의 위치 및 포함된 영역을 판단하는 동작; 및
상기 인식된 신체 부분이 상기 가상 물체의 포함된 영역의 적어도 하나의 부분에 중첩하는지를 판단하는 동작을 포함하는 동작들을 수행하게 하도록 추자적으로 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은,
상기 가상 물체가 상기 인식된 신체 부분의 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 동작이 상기 인식된 신체 부분에 중첩하는 상기 가상 물체의 부분들을 렌더링하지 않는 동작을 포함하도록 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 제 29 항에 있어서,
상기 프로세서-실행가능 소프트웨어 명령들은, 상기 프로세서로 하여금,
상기 디스플레이의 상기 가상 물체 위에 아웃라인이 보이도록 상기 가상 물체의 포함된 영역에 중첩하는 상기 제 2 개인의 인식된 신체 부분의 일부들의 아웃라인을 디스플레이하는 동작을 포함하는 동작들을 수행하게 하도록 추가적으로 구성되는,
비-일시적인 컴퓨터 판독가능 저장 매체. - 증강 현실 시스템에서 이미지들을 렌더링하는 방법으로서,
컴퓨팅 디바이스를 통해, 가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 단계;
컴퓨팅 디바이스를 통해, 캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 단계;
컴퓨팅 디바이스를 통해, 상기 인식하는 단계에 응답하여, 상기 캡쳐된 이미지에 있는 것으로 판단되는 신체 부분들의 수, 상기 인식된 신체 부분의 방향, 또는 신체 장착 카메라로부터 상기 인식된 신체 부분까지의 거리 중 적어도 하나에 기초하여 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 단계;
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 가상 물체를 디스플레이하는 단계; 및
상기 컴퓨팅 디바이스를 통해, 상기 신체 부분이 상기 제 1 개인에 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 단계를 포함하는,
증강 현실 시스템에서 이미지들을 렌더링하는 방법. - 컴퓨팅 디바이스로서,
메모리; 및
상기 메모리에 연결되는 프로세서를 포함하고,
상기 프로세서는,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 동작;
캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 동작;
상기 인식하는 동작에 응답하여, 상기 캡쳐된 이미지에 있는 것으로 판단되는 신체 부분들의 수, 상기 인식된 신체 부분의 방향, 또는 신체 장착 카메라로부터 상기 인식된 신체 부분까지의 거리 중 적어도 하나에 기초하여 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 단계;
상기 신체 부분이 상기 제 1 개인에 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 단계; 및
상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 가상 물체를 디스플레이하는 단계를 포함하는,
컴퓨팅 디바이스. - 컴퓨팅 디바이스로서,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하기 위한 수단;
상기 이미지에 존재하는 신체 부분을 인식하기 위한 수단;
상기 이미지에 있는 것으로 판단되는 신체 부분들의 수, 상기 신체 부분의 방향, 또는 신체 장착 카메라로부터 상기 신체 부분까지의 거리 중 적어도 하나에 기초하여 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하기 위한 수단 ― 상기 판단하기 위한 수단은 상기 이미지의 상기 신체 부분의 인식에 응답하여 동작하도록 구성됨 ―;
상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 가상 물체를 디스플레이하기 위한 수단; 및
상기 신체 부분이 상기 제 1 개인에 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하기 위한 수단을 포함하는,
컴퓨팅 디바이스. - 프로세서로 하여금, 증강 현실 시스템에서 이미지들을 렌더링하기 위한 동작들을 수행하게 하도록 구성되는 프로세서-실행가능 소프트웨어 명령들이 저장되는 비-일시적인(non-transitory) 컴퓨터 판독가능 저장 매체로서,
상기 동작들은,
가상 물체가 디스플레이될 신(scene)의 이미지를 캡쳐하는 동작;
캡쳐된 상기 이미지에 존재하는 신체 부분을 인식하는 동작;
상기 인식하는 동작에 응답하여, 상기 캡쳐된 이미지에 있는 것으로 판단되는 신체 부분들의 수, 상기 인식된 신체 부분의 방향, 또는 신체 장착 카메라로부터 상기 인식된 신체 부분까지의 거리 중 적어도 하나에 기초하여 상기 신체 부분이 제 1 개인 또는 제 2 개인에 속하는지 판단하는 동작;
상기 신체 부분이 상기 제 1 개인에 속하는 것으로 판단되는 경우, 상기 가상 물체가 상기 인식된 신체 부분 밑에 위치되는 것으로 나타나도록 상기 가상 물체를 디스플레이하는 동작; 및
상기 신체 부분이 상기 제 2 개인에게 속하는 것으로 판단되는 경우, 상기 제 2 개인의 인식된 신체 부분 위에 중첩되는 가상 물체를 디스플레이하는 동작을 포함하는,
비-일시적인 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161468937P | 2011-03-29 | 2011-03-29 | |
| US61/468,937 | 2011-03-29 | ||
| US13/434,533 US9047698B2 (en) | 2011-03-29 | 2012-03-29 | System for the rendering of shared digital interfaces relative to each user's point of view |
| US13/434,533 | 2012-03-29 | ||
| PCT/US2012/031321 WO2012135554A1 (en) | 2011-03-29 | 2012-03-29 | System for the rendering of shared digital interfaces relative to each user's point of view |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137028581A Division KR101591493B1 (ko) | 2011-03-29 | 2012-03-29 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160017130A true KR20160017130A (ko) | 2016-02-15 |
| KR101818024B1 KR101818024B1 (ko) | 2018-01-12 |
Family
ID=46926511
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167017930A KR20160084502A (ko) | 2011-03-29 | 2012-03-29 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| KR1020137028581A KR101591493B1 (ko) | 2011-03-29 | 2012-03-29 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
| KR1020137028471A KR20130136566A (ko) | 2011-03-29 | 2012-03-29 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| KR1020137028470A KR101591579B1 (ko) | 2011-03-29 | 2012-03-29 | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 |
| KR1020167002518A KR101818024B1 (ko) | 2011-03-29 | 2012-03-29 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167017930A KR20160084502A (ko) | 2011-03-29 | 2012-03-29 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| KR1020137028581A KR101591493B1 (ko) | 2011-03-29 | 2012-03-29 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
| KR1020137028471A KR20130136566A (ko) | 2011-03-29 | 2012-03-29 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
| KR1020137028470A KR101591579B1 (ko) | 2011-03-29 | 2012-03-29 | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 |
Country Status (6)
| Country | Link |
|---|---|
| US (5) | US20120249544A1 (ko) |
| EP (6) | EP3654147A1 (ko) |
| JP (5) | JP5784818B2 (ko) |
| KR (5) | KR20160084502A (ko) |
| CN (4) | CN103460256B (ko) |
| WO (5) | WO2012135545A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101720132B1 (ko) * | 2016-03-17 | 2017-03-27 | 주식회사 엔토소프트 | 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 |
| WO2020171270A1 (ko) * | 2019-02-22 | 2020-08-27 | 엘지전자 주식회사 | 모바일 디바이스 및 그 제어 방법 |
| KR102345297B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
| KR102345295B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
Families Citing this family (1147)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL2023812T3 (pl) | 2006-05-19 | 2017-07-31 | The Queen's Medical Center | Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii |
| US9138636B2 (en) | 2007-05-16 | 2015-09-22 | Eyecue Vision Technologies Ltd. | System and method for calculating values in tile games |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| EP2462537A1 (en) | 2009-08-04 | 2012-06-13 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
| US9595108B2 (en) | 2009-08-04 | 2017-03-14 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
| US9030536B2 (en) | 2010-06-04 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for presenting media content |
| US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
| US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
| KR20120002737A (ko) * | 2010-07-01 | 2012-01-09 | 삼성전자주식회사 | 마이크를 이용한 휴대용 단말기의 동작 제어 방법 및 장치 |
| US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
| US9049426B2 (en) | 2010-07-07 | 2015-06-02 | At&T Intellectual Property I, Lp | Apparatus and method for distributing three dimensional media content |
| US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
| US9232274B2 (en) | 2010-07-20 | 2016-01-05 | At&T Intellectual Property I, L.P. | Apparatus for adapting a presentation of media content to a requesting device |
| US8438502B2 (en) | 2010-08-25 | 2013-05-07 | At&T Intellectual Property I, L.P. | Apparatus for controlling three-dimensional images |
| KR20120020627A (ko) * | 2010-08-30 | 2012-03-08 | 삼성전자주식회사 | 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 |
| US10359545B2 (en) | 2010-10-21 | 2019-07-23 | Lockheed Martin Corporation | Fresnel lens with reduced draft facet visibility |
| US9632315B2 (en) | 2010-10-21 | 2017-04-25 | Lockheed Martin Corporation | Head-mounted display apparatus employing one or more fresnel lenses |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| WO2012095846A1 (en) * | 2011-01-16 | 2012-07-19 | Eyecue Vision Technologies Ltd. | System and method for identification of printed matter in an image |
| US20120242793A1 (en) * | 2011-03-21 | 2012-09-27 | Soungmin Im | Display device and method of controlling the same |
| WO2016057997A1 (en) * | 2014-10-10 | 2016-04-14 | Pantomime Corporation | Support based 3d navigation |
| WO2012135545A1 (en) | 2011-03-29 | 2012-10-04 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
| US9504909B2 (en) | 2011-05-05 | 2016-11-29 | Qualcomm Incorporated | Method and apparatus of proximity and stunt recording for outdoor gaming |
| RU2017118159A (ru) * | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
| US8760395B2 (en) * | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| US9560314B2 (en) * | 2011-06-14 | 2017-01-31 | Microsoft Technology Licensing, Llc | Interactive and shared surfaces |
| KR101423536B1 (ko) * | 2011-06-14 | 2014-08-01 | 한국전자통신연구원 | 인쇄매체 기반 혼합현실 구현 장치 및 방법 |
| DE102011104524A1 (de) * | 2011-06-15 | 2012-12-20 | Ifakt Gmbh | Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich |
| FR2976681B1 (fr) * | 2011-06-17 | 2013-07-12 | Inst Nat Rech Inf Automat | Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme |
| US9723293B1 (en) * | 2011-06-21 | 2017-08-01 | Amazon Technologies, Inc. | Identifying projection surfaces in augmented reality environments |
| US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
| JP6074170B2 (ja) | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
| US9602766B2 (en) | 2011-06-24 | 2017-03-21 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting three dimensional objects with telepresence |
| US9030522B2 (en) | 2011-06-24 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus and method for providing media content |
| US9445046B2 (en) | 2011-06-24 | 2016-09-13 | At&T Intellectual Property I, L.P. | Apparatus and method for presenting media content with telepresence |
| US8947497B2 (en) * | 2011-06-24 | 2015-02-03 | At&T Intellectual Property I, Lp | Apparatus and method for managing telepresence sessions |
| US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US8558759B1 (en) * | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
| US8587635B2 (en) | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
| US10209771B2 (en) * | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US10019962B2 (en) * | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
| WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
| US8830302B2 (en) * | 2011-08-24 | 2014-09-09 | Lg Electronics Inc. | Gesture-based user interface method and apparatus |
| US9218063B2 (en) * | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| US20130249947A1 (en) * | 2011-08-26 | 2013-09-26 | Reincloud Corporation | Communication using augmented reality |
| US9274595B2 (en) | 2011-08-26 | 2016-03-01 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
| US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
| US8854282B1 (en) * | 2011-09-06 | 2014-10-07 | Google Inc. | Measurement method |
| DE102011112617A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Kooperativer 3D-Arbeitsplatz |
| US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| US9690100B1 (en) * | 2011-09-22 | 2017-06-27 | Sprint Communications Company L.P. | Wireless communication system with a liquid crystal display embedded in an optical lens |
| US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9063566B2 (en) * | 2011-11-30 | 2015-06-23 | Microsoft Technology Licensing, Llc | Shared collaboration using display device |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US9684379B2 (en) * | 2011-12-23 | 2017-06-20 | Intel Corporation | Computing system utilizing coordinated two-hand command gestures |
| US9678574B2 (en) | 2011-12-23 | 2017-06-13 | Intel Corporation | Computing system utilizing three-dimensional manipulation command gestures |
| EP2795430A4 (en) | 2011-12-23 | 2015-08-19 | Intel Ip Corp | TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION |
| US10345911B2 (en) | 2011-12-23 | 2019-07-09 | Intel Corporation | Mechanism to provide visual feedback regarding computing system command gestures |
| US9230171B2 (en) | 2012-01-06 | 2016-01-05 | Google Inc. | Object outlining to initiate a visual search |
| US9052804B1 (en) | 2012-01-06 | 2015-06-09 | Google Inc. | Object occlusion to initiate a visual search |
| US8840250B1 (en) | 2012-01-11 | 2014-09-23 | Rawles Llc | Projection screen qualification and selection |
| US9077846B2 (en) * | 2012-02-06 | 2015-07-07 | Microsoft Technology Licensing, Llc | Integrated interactive space |
| US9384711B2 (en) | 2012-02-15 | 2016-07-05 | Microsoft Technology Licensing, Llc | Speculative render ahead and caching in multiple passes |
| US20130215132A1 (en) * | 2012-02-22 | 2013-08-22 | Ming Fong | System for reproducing virtual objects |
| EP2817785B1 (en) * | 2012-02-23 | 2019-05-15 | Charles D. Huston | System and method for creating an environment and for sharing a location based experience in an environment |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| JP2013196156A (ja) * | 2012-03-16 | 2013-09-30 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| US9170648B2 (en) * | 2012-04-03 | 2015-10-27 | The Boeing Company | System and method for virtual engineering |
| US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
| JP6040564B2 (ja) * | 2012-05-08 | 2016-12-07 | ソニー株式会社 | 画像処理装置、投影制御方法及びプログラム |
| US9210413B2 (en) * | 2012-05-15 | 2015-12-08 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
| US9153073B2 (en) | 2012-05-23 | 2015-10-06 | Qualcomm Incorporated | Spatially registered augmented video |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| JP5966624B2 (ja) * | 2012-05-29 | 2016-08-10 | 株式会社リコー | 情報処理装置及び情報表示システム |
| US9177533B2 (en) | 2012-05-31 | 2015-11-03 | Microsoft Technology Licensing, Llc | Virtual surface compaction |
| US9286122B2 (en) * | 2012-05-31 | 2016-03-15 | Microsoft Technology Licensing, Llc | Display techniques using virtual surface allocation |
| US9235925B2 (en) | 2012-05-31 | 2016-01-12 | Microsoft Technology Licensing, Llc | Virtual surface rendering |
| US9230517B2 (en) | 2012-05-31 | 2016-01-05 | Microsoft Technology Licensing, Llc | Virtual surface gutters |
| US9456187B1 (en) | 2012-06-01 | 2016-09-27 | Amazon Technologies, Inc. | Edge-based pose detection |
| US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
| US20130339859A1 (en) | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
| US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
| US20130342568A1 (en) * | 2012-06-20 | 2013-12-26 | Tony Ambrus | Low light scene augmentation |
| EP2866204B1 (en) * | 2012-06-21 | 2018-09-19 | LG Electronics Inc. | Apparatus and method for digital image processing |
| US9696547B2 (en) * | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
| US10176635B2 (en) * | 2012-06-28 | 2019-01-08 | Microsoft Technology Licensing, Llc | Saving augmented realities |
| WO2014002415A1 (ja) * | 2012-06-28 | 2014-01-03 | パナソニック株式会社 | 撮像装置 |
| US20140007115A1 (en) * | 2012-06-29 | 2014-01-02 | Ning Lu | Multi-modal behavior awareness for human natural command control |
| US10528853B1 (en) * | 2012-06-29 | 2020-01-07 | Amazon Technologies, Inc. | Shape-Based Edge Detection |
| TWI498771B (zh) * | 2012-07-06 | 2015-09-01 | Pixart Imaging Inc | 可辨識手勢動作的眼鏡 |
| KR20150043312A (ko) * | 2012-07-12 | 2015-04-22 | 주식회사 듀얼어퍼처인터네셔널 | 제스처―기반 사용자 인터페이스 |
| US20140018094A1 (en) * | 2012-07-13 | 2014-01-16 | Microsoft Corporation | Spatial determination and aiming of a mobile device |
| US9235241B2 (en) * | 2012-07-29 | 2016-01-12 | Qualcomm Incorporated | Anatomical gestures detection system using radio signals |
| KR102009928B1 (ko) * | 2012-08-20 | 2019-08-12 | 삼성전자 주식회사 | 협업 구현 방법 및 장치 |
| US10209946B2 (en) * | 2012-08-23 | 2019-02-19 | Red Hat, Inc. | Augmented reality personal identification |
| US9589000B2 (en) | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| US9530232B2 (en) | 2012-09-04 | 2016-12-27 | Qualcomm Incorporated | Augmented reality surface segmentation |
| KR102245648B1 (ko) | 2012-09-10 | 2021-04-29 | 에이매스, 아이엔씨. | 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 |
| US9129404B1 (en) | 2012-09-13 | 2015-09-08 | Amazon Technologies, Inc. | Measuring physical objects and presenting virtual articles |
| US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
| US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
| US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
| US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
| US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
| US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
| US8928695B2 (en) | 2012-10-05 | 2015-01-06 | Elwha Llc | Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors |
| CN103777857A (zh) * | 2012-10-24 | 2014-05-07 | 腾讯科技（深圳）有限公司 | 实现视频画面转动的方法和装置 |
| US20140123077A1 (en) * | 2012-10-29 | 2014-05-01 | Intel Corporation | System and method for user interaction and control of electronic devices |
| KR102065687B1 (ko) | 2012-11-01 | 2020-02-11 | 아이캠, 엘엘씨 | 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법 |
| US9524585B2 (en) | 2012-11-05 | 2016-12-20 | Microsoft Technology Licensing, Llc | Constructing augmented reality environment with pre-computed lighting |
| US9167160B2 (en) * | 2012-11-14 | 2015-10-20 | Karl Storz Imaging, Inc. | Image capture stabilization |
| KR20140063272A (ko) * | 2012-11-16 | 2014-05-27 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
| US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
| US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
| US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
| US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
| US10185416B2 (en) | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
| US8994827B2 (en) | 2012-11-20 | 2015-03-31 | Samsung Electronics Co., Ltd | Wearable electronic device |
| JP6036217B2 (ja) * | 2012-11-27 | 2016-11-30 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置および表示装置の制御方法 |
| US10126820B1 (en) * | 2012-11-29 | 2018-11-13 | Amazon Technologies, Inc. | Open and closed hand detection |
| US9728008B2 (en) * | 2012-12-10 | 2017-08-08 | Nant Holdings Ip, Llc | Interaction analysis systems and methods |
| JP6102944B2 (ja) * | 2012-12-10 | 2017-03-29 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
| JP6155622B2 (ja) * | 2012-12-18 | 2017-07-05 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法 |
| US9317972B2 (en) | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
| TW201426551A (zh) * | 2012-12-26 | 2014-07-01 | Hon Hai Prec Ind Co Ltd | 虛擬機啟動排程系統及方法 |
| US9857470B2 (en) * | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| CA2896985A1 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
| TWI495903B (zh) * | 2013-01-09 | 2015-08-11 | Nat Univ Chung Hsing | 具無接觸手勢控制之眼鏡型行動電話 |
| US20140198190A1 (en) * | 2013-01-16 | 2014-07-17 | Kris Okumu | Wearable surgical imaging device with semi-transparent screen |
| JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
| US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
| CN109008972A (zh) | 2013-02-01 | 2018-12-18 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
| WO2014124416A1 (en) | 2013-02-11 | 2014-08-14 | Graco Minnesota Inc. | Remote monitoring for fluid applicator system |
| US10969805B2 (en) | 2013-02-11 | 2021-04-06 | Graco Minnesota Inc. | Paint sprayer distributed control and output volume monitoring architectures |
| US9299185B2 (en) * | 2013-02-12 | 2016-03-29 | Disney Enterprises, Inc. | Enhanced system and method for rendering visual surface |
| JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
| JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
| US9325943B2 (en) * | 2013-02-20 | 2016-04-26 | Microsoft Technology Licensing, Llc | Providing a tele-immersive experience using a mirror metaphor |
| WO2014128810A1 (ja) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイ及び画像表示装置 |
| US20140258942A1 (en) * | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
| US10477154B2 (en) | 2013-03-07 | 2019-11-12 | Cognex Corporation | System and method for aligning two work pieces with a vision system in the presence of occlusion |
| US9721284B1 (en) | 2013-03-08 | 2017-08-01 | Aftershock Services, Inc. | System and method for facilitating a game through a primary client device and in-game content purchases through a mobile device |
| US9072033B2 (en) | 2013-03-08 | 2015-06-30 | Qualcomm Incorporated | Systems and methods for concurrent device discovery |
| KR102516124B1 (ko) * | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| US9367145B2 (en) * | 2013-03-14 | 2016-06-14 | Qualcomm Incorporated | Intelligent display image orientation based on relative motion detection |
| US9330531B1 (en) | 2013-03-14 | 2016-05-03 | Kabam, Inc. | System and method for displaying a game using a primary display and communicating alliance information among alliance members using a secondary display |
| KR102003383B1 (ko) * | 2013-03-14 | 2019-07-24 | 삼성전자주식회사 | 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법 |
| US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
| US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
| US9639964B2 (en) | 2013-03-15 | 2017-05-02 | Elwha Llc | Dynamically preserving scene elements in augmented reality systems |
| US20140282275A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a zooming gesture |
| US9454220B2 (en) * | 2014-01-23 | 2016-09-27 | Derek A. Devries | Method and system of augmented-reality simulations |
| US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
| US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
| US9607418B1 (en) * | 2013-03-15 | 2017-03-28 | Comdata Inc. | Method of transaction card recognition and interaction |
| US20140282274A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a gesture performed with at least two control objects |
| US20140267234A1 (en) * | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
| KR102318391B1 (ko) | 2013-03-15 | 2021-10-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9401048B2 (en) | 2013-03-15 | 2016-07-26 | Qualcomm Incorporated | Methods and apparatus for augmented reality target detection |
| US10268276B2 (en) * | 2013-03-15 | 2019-04-23 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
| US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
| US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
| US10109075B2 (en) | 2013-03-15 | 2018-10-23 | Elwha Llc | Temporal element restoration in augmented reality systems |
| US20140282113A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Personal digital assistance and virtual reality |
| US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
| US9889367B2 (en) * | 2013-03-18 | 2018-02-13 | Zvi Minkovitch | Sports match refereeing system |
| GB201305402D0 (en) * | 2013-03-25 | 2013-05-08 | Sony Comp Entertainment Europe | Head mountable display |
| KR101845350B1 (ko) * | 2013-03-26 | 2018-05-18 | 세이코 엡슨 가부시키가이샤 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
| JP6369005B2 (ja) * | 2013-10-25 | 2018-08-08 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP5929811B2 (ja) * | 2013-03-27 | 2016-06-08 | ブラザー工業株式会社 | 画像表示装置および画像表示プログラム |
| JP2014191718A (ja) * | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
| WO2014156257A1 (ja) * | 2013-03-29 | 2014-10-02 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
| US20150277699A1 (en) * | 2013-04-02 | 2015-10-01 | Cherif Atia Algreatly | Interaction method for optical head-mounted display |
| EP2983137B1 (en) * | 2013-04-04 | 2019-05-22 | Sony Corporation | Information processing device, information processing method and program |
| US8922589B2 (en) | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
| US9898873B2 (en) * | 2013-04-08 | 2018-02-20 | Kalloc Studios Asia Limited | Methods and systems for processing 3D graphic objects at a content processor |
| US9390561B2 (en) * | 2013-04-12 | 2016-07-12 | Microsoft Technology Licensing, Llc | Personal holographic billboard |
| TWI578210B (zh) * | 2013-04-12 | 2017-04-11 | 鴻海精密工業股份有限公司 | 電子白板 |
| US9723251B2 (en) * | 2013-04-23 | 2017-08-01 | Jaacob I. SLOTKY | Technique for image acquisition and management |
| DE102013207528A1 (de) * | 2013-04-25 | 2014-10-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt |
| US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
| US9539497B1 (en) | 2013-05-07 | 2017-01-10 | Kabam, Inc. | Display of a game through a primary and mobile display with individualized audio through the mobile device |
| US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
| US9230368B2 (en) * | 2013-05-23 | 2016-01-05 | Microsoft Technology Licensing, Llc | Hologram anchoring and dynamic positioning |
| EP3005195A4 (en) | 2013-05-24 | 2017-05-24 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
| EP2932708B1 (en) | 2013-05-28 | 2017-07-19 | Hewlett-Packard Enterprise Development LP | Mobile augmented reality for managing enclosed areas |
| KR101515484B1 (ko) * | 2013-05-31 | 2015-04-29 | 전자부품연구원 | 증강현실정보 제공 장치 및 그 방법 |
| KR20140141383A (ko) * | 2013-05-31 | 2014-12-10 | 삼성전자주식회사 | 협동 촬영하는 전자 장치 및 그 제어 방법 |
| US9685003B2 (en) * | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
| US20140359450A1 (en) * | 2013-06-03 | 2014-12-04 | Nokia Corporation | Activating a selection and a confirmation method |
| US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
| US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
| GB201310367D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
| GB201310373D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable Apparatus and systems |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| GB201310358D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
| US9307007B2 (en) | 2013-06-14 | 2016-04-05 | Microsoft Technology Licensing, Llc | Content pre-render and pre-fetch techniques |
| US10175483B2 (en) * | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
| US10955665B2 (en) * | 2013-06-18 | 2021-03-23 | Microsoft Technology Licensing, Llc | Concurrent optimal viewing of virtual objects |
| KR102099834B1 (ko) * | 2013-06-18 | 2020-04-10 | 엘지전자 주식회사 | 전자장치 및 전자장치의 동작방법 |
| US10139623B2 (en) * | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
| EP2818985B1 (en) * | 2013-06-28 | 2021-05-12 | Nokia Technologies Oy | A hovering input field |
| KR20150004989A (ko) * | 2013-07-03 | 2015-01-14 | 한국전자통신연구원 | 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법 |
| KR102063076B1 (ko) | 2013-07-10 | 2020-01-07 | 엘지전자 주식회사 | 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법 |
| US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| US20150032412A1 (en) * | 2013-07-25 | 2015-01-29 | Icu Sensor Llc | Low power movement sensor |
| US9666187B1 (en) * | 2013-07-25 | 2017-05-30 | Google Inc. | Model for enabling service providers to address voice-activated commands |
| WO2015017670A2 (en) * | 2013-07-31 | 2015-02-05 | Sidhant Gupta | Methods and systems for managing multi-device interaction using the doppler effect |
| US20150049001A1 (en) * | 2013-08-19 | 2015-02-19 | Qualcomm Incorporated | Enabling remote screen sharing in optical see-through head mounted display with augmented reality |
| WO2015027114A1 (en) | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
| US9466266B2 (en) | 2013-08-28 | 2016-10-11 | Qualcomm Incorporated | Dynamic display markers |
| KR102138511B1 (ko) * | 2013-08-28 | 2020-07-28 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 |
| US9996974B2 (en) | 2013-08-30 | 2018-06-12 | Qualcomm Incorporated | Method and apparatus for representing a physical scene |
| US10698364B2 (en) * | 2013-09-04 | 2020-06-30 | Essilor International | Methods and systems for augmented reality |
| KR102083596B1 (ko) * | 2013-09-05 | 2020-03-02 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
| US9355268B2 (en) | 2013-09-06 | 2016-05-31 | Microsoft Technology Licensing, Llc | Managing access by applications to perceptual information |
| US9697365B2 (en) | 2013-09-06 | 2017-07-04 | Microsoft Technology Licensing, Llc | World-driven access control using trusted certificates |
| US9413784B2 (en) | 2013-09-06 | 2016-08-09 | Microsoft Technology Licensing, Llc | World-driven access control |
| US9424239B2 (en) * | 2013-09-06 | 2016-08-23 | Microsoft Technology Licensing, Llc | Managing shared state information produced by applications |
| US9626773B2 (en) | 2013-09-09 | 2017-04-18 | Empire Technology Development Llc | Augmented reality alteration detector |
| US10229523B2 (en) | 2013-09-09 | 2019-03-12 | Empire Technology Development Llc | Augmented reality alteration detector |
| KR102097705B1 (ko) * | 2013-09-10 | 2020-04-07 | 삼성디스플레이 주식회사 | 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법 |
| US10585478B2 (en) * | 2013-09-13 | 2020-03-10 | Nod, Inc. | Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices |
| WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
| JP6263917B2 (ja) * | 2013-09-17 | 2018-01-24 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| WO2015047216A1 (en) * | 2013-09-24 | 2015-04-02 | Intel Corporation | Systems and methods for wireless display discovery |
| US10893147B2 (en) | 2014-05-13 | 2021-01-12 | Intel Corporation | Room sensor applications and techniques |
| US20150089453A1 (en) * | 2013-09-25 | 2015-03-26 | Aquifi, Inc. | Systems and Methods for Interacting with a Projected User Interface |
| US20170142299A1 (en) * | 2013-09-26 | 2017-05-18 | Justin Brown | Bodyband |
| KR102201733B1 (ko) * | 2013-09-30 | 2021-01-12 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| US8943569B1 (en) * | 2013-10-01 | 2015-01-27 | Myth Innovations, Inc. | Wireless server access control system and method |
| US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
| US10402930B2 (en) * | 2013-10-14 | 2019-09-03 | Microsoft Technology Licensing, Llc | Management of graphics processing units in a cloud platform |
| KR102099178B1 (ko) * | 2013-11-29 | 2020-04-09 | 엘지전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법 |
| JP6318596B2 (ja) * | 2013-12-13 | 2018-05-09 | セイコーエプソン株式会社 | 情報処理装置および情報処理装置の制御方法 |
| WO2015095507A1 (en) | 2013-12-18 | 2015-06-25 | Joseph Schuman | Location-based system for sharing augmented reality content |
| US20160307374A1 (en) * | 2013-12-19 | 2016-10-20 | Metaio Gmbh | Method and system for providing information associated with a view of a real environment superimposed with a virtual object |
| TW201528112A (zh) * | 2013-12-27 | 2015-07-16 | Sony Corp | 控制裝置、控制方法及電腦程式 |
| CN104750229B (zh) * | 2013-12-27 | 2017-12-29 | 中芯国际集成电路制造(上海)有限公司 | 可穿戴智能设备的交互方法及穿戴智能设备系统 |
| CN104750234B (zh) * | 2013-12-27 | 2018-12-21 | 中芯国际集成电路制造(北京)有限公司 | 可穿戴智能设备及可穿戴智能设备的互动方法 |
| US20150185826A1 (en) * | 2013-12-30 | 2015-07-02 | Daqri, Llc | Mapping gestures to virtual functions |
| US9264479B2 (en) * | 2013-12-30 | 2016-02-16 | Daqri, Llc | Offloading augmented reality processing |
| US10586395B2 (en) | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
| CN104777988B (zh) * | 2014-01-13 | 2018-12-14 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| WO2015106114A1 (en) | 2014-01-13 | 2015-07-16 | T1visions, Inc. | Display capable of object recognition |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9651788B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9524588B2 (en) * | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
| US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
| US9207780B2 (en) * | 2014-01-27 | 2015-12-08 | Fuji Xerox Co., Ltd. | Systems and methods for hiding and finding digital content associated with physical objects via coded lighting |
| US9111214B1 (en) | 2014-01-30 | 2015-08-18 | Vishal Sharma | Virtual assistant system to remotely control external services and selectively share control |
| EP3100240B1 (en) * | 2014-01-31 | 2018-10-31 | Empire Technology Development LLC | Evaluation of augmented reality skins |
| US9953462B2 (en) | 2014-01-31 | 2018-04-24 | Empire Technology Development Llc | Augmented reality skin manager |
| EP3100256A4 (en) | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
| WO2015116183A2 (en) * | 2014-01-31 | 2015-08-06 | Empire Technology Development, Llc | Subject selected augmented reality skin |
| US20150241964A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US10007329B1 (en) * | 2014-02-11 | 2018-06-26 | Leap Motion, Inc. | Drift cancelation for portable object detection and tracking |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| CN104853125B (zh) * | 2014-02-19 | 2018-08-31 | 联想(北京)有限公司 | 一种智能投影方法及电子设备 |
| US9823749B2 (en) * | 2014-02-21 | 2017-11-21 | Nod, Inc. | Location determination and registration methodology for smart devices based on direction and proximity and usage of the same |
| KR101859311B1 (ko) * | 2014-02-24 | 2018-05-18 | 소니 주식회사 | 출력을 최적화하기 위한 스마트 착용형 디바이스들 및 방법들 |
| US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
| KR20150104711A (ko) * | 2014-03-06 | 2015-09-16 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| JP2015170175A (ja) * | 2014-03-07 | 2015-09-28 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射系统和方法 |
| CN106233227B (zh) * | 2014-03-14 | 2020-04-28 | 索尼互动娱乐股份有限公司 | 具有体积感测的游戏装置 |
| WO2015148391A1 (en) | 2014-03-24 | 2015-10-01 | Thomas Michael Ernst | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
| US10725298B2 (en) * | 2014-03-26 | 2020-07-28 | Mark D. Wieczorek, P.C. | Virtual reality devices and accessories |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| JP6374203B2 (ja) * | 2014-04-04 | 2018-08-15 | 株式会社日本総合研究所 | 表示システム及びプログラム |
| JP6483725B2 (ja) | 2014-04-07 | 2019-03-13 | サムスン エレクトロニクス カンパニー リミテッド | 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置 |
| US10529359B2 (en) | 2014-04-17 | 2020-01-07 | Microsoft Technology Licensing, Llc | Conversation detection |
| US9922667B2 (en) | 2014-04-17 | 2018-03-20 | Microsoft Technology Licensing, Llc | Conversation, presence and context detection for hologram suppression |
| WO2015161307A1 (en) * | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9883301B2 (en) * | 2014-04-22 | 2018-01-30 | Google Technology Holdings LLC | Portable electronic device with acoustic and/or proximity sensors and methods therefor |
| CN110989285A (zh) * | 2014-04-22 | 2020-04-10 | 日本电信电话株式会社 | 视频生成装置、视频生成方法、数据结构以及程序 |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| JP6427942B2 (ja) * | 2014-05-01 | 2018-11-28 | セイコーエプソン株式会社 | 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法 |
| US9766715B2 (en) | 2014-05-01 | 2017-09-19 | Seiko Epson Corporation | Head-mount type display device, control system, method of controlling head-mount type display device, and computer program |
| TWI602436B (zh) * | 2014-05-06 | 2017-10-11 | 虛擬會議系統 | |
| CN110363840A (zh) * | 2014-05-13 | 2019-10-22 | 河谷控股Ip有限责任公司 | 通过反照率模型、系统和方法的增强现实内容渲染 |
| US10845884B2 (en) * | 2014-05-13 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Detecting inadvertent gesture controls |
| US20160025977A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
| US20160027414A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9557955B2 (en) * | 2014-05-21 | 2017-01-31 | International Business Machines Corporation | Sharing of target objects |
| US10083356B2 (en) * | 2014-05-21 | 2018-09-25 | Tangible Play, Inc. | Virtualization of tangible interface objects |
| US9723109B2 (en) | 2014-05-28 | 2017-08-01 | Alexander Hertel | Platform for constructing and consuming realm and object feature clouds |
| US9972131B2 (en) * | 2014-06-03 | 2018-05-15 | Intel Corporation | Projecting a virtual image at a physical surface |
| US9575560B2 (en) * | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
| US11983401B1 (en) * | 2014-06-04 | 2024-05-14 | ULTRAHAPTICS IP TWO LIMITED, , United Kingd | Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| JP6326996B2 (ja) * | 2014-06-13 | 2018-05-23 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
| EP3907590A3 (en) * | 2014-06-24 | 2022-02-09 | Sony Group Corporation | Information processing device, information processing method, and computer program |
| US9958947B2 (en) * | 2014-06-25 | 2018-05-01 | Comcast Cable Communications, Llc | Ocular focus sharing for digital content |
| KR101638550B1 (ko) | 2014-06-25 | 2016-07-12 | 경북대학교 산학협력단 | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 |
| KR101687017B1 (ko) * | 2014-06-25 | 2016-12-16 | 한국과학기술원 | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 |
| JP6350037B2 (ja) * | 2014-06-30 | 2018-07-04 | 株式会社安川電機 | ロボットシミュレータおよびロボットシミュレータのファイル生成方法 |
| US10219168B2 (en) * | 2014-06-30 | 2019-02-26 | Futurewei Technologies, Inc. | Methods and systems for intelligent mobile function distribution |
| WO2016001908A1 (en) * | 2014-07-03 | 2016-01-07 | Imagine Mobile Augmented Reality Ltd | 3 dimensional anchored augmented reality |
| KR20160005899A (ko) | 2014-07-08 | 2016-01-18 | 엘지전자 주식회사 | 디지털 이미지 처리 장치, 시스템 및 제어 방법 |
| EP3173848B1 (en) | 2014-07-22 | 2020-04-22 | LG Electronics Inc. | Head mounted display and control method thereof |
| US20160028781A1 (en) * | 2014-07-22 | 2016-01-28 | International Business Machines Corporation | Surface computing based social interaction |
| US9734589B2 (en) | 2014-07-23 | 2017-08-15 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| CN104102412B (zh) * | 2014-07-24 | 2017-12-12 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| JP6428020B2 (ja) * | 2014-07-24 | 2018-11-28 | セイコーエプソン株式会社 | Ｇｕｉ装置 |
| US10311638B2 (en) * | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
| US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
| US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
| US9904055B2 (en) * | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
| US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
| US10282057B1 (en) | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
| US10412594B2 (en) | 2014-07-31 | 2019-09-10 | At&T Intellectual Property I, L.P. | Network planning tool support for 3D data |
| JP6410510B2 (ja) * | 2014-08-05 | 2018-10-24 | シャープ株式会社 | ヘッドホンユニット、一対のヘッドホンユニット、ヘッドホン装置及びヘッドホンシステム |
| CN106029190B (zh) | 2014-08-11 | 2020-03-10 | Vr考斯特有限及两合公司 | 操作装置，尤其为游乐设施、运输工具、健身设备等的方法 |
| US9696551B2 (en) * | 2014-08-13 | 2017-07-04 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
| US9830395B2 (en) * | 2014-08-15 | 2017-11-28 | Daqri, Llc | Spatial data processing |
| US9799143B2 (en) | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data visualization |
| CA2960793A1 (en) * | 2014-08-15 | 2016-02-18 | Beam Authentic, Inc. | Systems for handling media for wearable display devices |
| US9799142B2 (en) | 2014-08-15 | 2017-10-24 | Daqri, Llc | Spatial data collection |
| US9578399B2 (en) | 2014-08-25 | 2017-02-21 | Daqri, Llc | Remote sensor access and queuing |
| KR102313861B1 (ko) * | 2014-09-03 | 2021-10-18 | 엘지디스플레이 주식회사 | 웨어러블 디바이스 |
| KR101524576B1 (ko) * | 2014-09-03 | 2015-06-03 | 박준호 | 웨어러블 디바이스 |
| ES2563105B1 (es) * | 2014-09-10 | 2016-12-16 | Universidad De Valladolid | Sistema interactivo que combina movimiento, sonido y color como apoyo terapeútico para desarrollar habilidades perceptivo-motrices, estimular el área senso-perceptiva, fomentar la auto-expresión, realizar diagnósticos de procesos emotivos del usuario |
| EP2996017B1 (en) * | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
| WO2016042039A1 (en) * | 2014-09-16 | 2016-03-24 | Foundation For Research And Technology - Hellas (Forth) | Gesture recognition apparatuses, methods and systems for human-machine interaction |
| US9924143B2 (en) * | 2014-09-23 | 2018-03-20 | Intel Corporation | Wearable mediated reality system and method |
| JP6452369B2 (ja) * | 2014-09-29 | 2019-01-16 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
| US9778750B2 (en) | 2014-09-30 | 2017-10-03 | Xerox Corporation | Hand-gesture-based region of interest localization |
| JP2016071900A (ja) * | 2014-09-30 | 2016-05-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム |
| US20160092726A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Using gestures to train hand detection in ego-centric video |
| US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
| US20170201721A1 (en) * | 2014-09-30 | 2017-07-13 | Hewlett Packard Enterprise Development Lp | Artifact projection |
| US10134082B2 (en) * | 2014-10-13 | 2018-11-20 | Paypal, Inc. | Virtual display device for an interactive merchant sales environment |
| KR102358548B1 (ko) | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | 디바이스를 이용한 화면 처리 방법 및 장치 |
| US20160112479A1 (en) * | 2014-10-16 | 2016-04-21 | Wipro Limited | System and method for distributed augmented reality |
| US10684476B2 (en) | 2014-10-17 | 2020-06-16 | Lockheed Martin Corporation | Head-wearable ultra-wide field of view display device |
| CN105980928B (zh) * | 2014-10-28 | 2020-01-17 | 深圳市大疆创新科技有限公司 | 使用超声波深度感测的rgb-d成像系统和方法 |
| KR102265086B1 (ko) * | 2014-11-07 | 2021-06-15 | 삼성전자 주식회사 | 정보를 공유하기 위한 가상 환경 |
| EP3216023A4 (en) * | 2014-11-07 | 2018-07-18 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| US11054893B2 (en) | 2014-11-15 | 2021-07-06 | Vr Exit Llc | Team flow control in a mixed physical and virtual reality environment |
| US11030806B2 (en) * | 2014-11-15 | 2021-06-08 | Vr Exit Llc | Combined virtual and physical environment |
| US10043319B2 (en) | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
| US20160140761A1 (en) * | 2014-11-19 | 2016-05-19 | Microsoft Technology Licensing, Llc. | Using depth information for drawing in augmented reality scenes |
| GB2532464B (en) | 2014-11-19 | 2020-09-02 | Bae Systems Plc | Apparatus and method for selectively displaying an operational environment |
| KR102332752B1 (ko) * | 2014-11-24 | 2021-11-30 | 삼성전자주식회사 | 지도 서비스를 제공하는 전자 장치 및 방법 |
| US20160147408A1 (en) * | 2014-11-25 | 2016-05-26 | Johnathan Bevis | Virtual measurement tool for a wearable visualization device |
| US10248192B2 (en) * | 2014-12-03 | 2019-04-02 | Microsoft Technology Licensing, Llc | Gaze target application launcher |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| KR101655818B1 (ko) * | 2014-12-11 | 2016-09-08 | 현대자동차주식회사 | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 |
| US20160171739A1 (en) * | 2014-12-11 | 2016-06-16 | Intel Corporation | Augmentation of stop-motion content |
| EP3234685B1 (en) * | 2014-12-18 | 2021-02-03 | Facebook Technologies, LLC | System, device and method for providing user interface for a virtual reality environment |
| EP3234732B1 (en) | 2014-12-19 | 2021-11-24 | Hewlett-Packard Development Company, L.P. | Interaction with 3d visualization |
| US10643377B2 (en) * | 2014-12-22 | 2020-05-05 | Husqvarna Ab | Garden mapping and planning via robotic vehicle |
| JP6621826B2 (ja) * | 2014-12-22 | 2019-12-18 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ヘッドウェアラブルデバイスを含む通信システム |
| US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
| JP6387825B2 (ja) | 2014-12-26 | 2018-09-12 | セイコーエプソン株式会社 | 表示システム、及び、情報表示方法 |
| US9728010B2 (en) * | 2014-12-30 | 2017-08-08 | Microsoft Technology Licensing, Llc | Virtual representations of real-world objects |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| US20160202947A1 (en) * | 2015-01-09 | 2016-07-14 | Sony Corporation | Method and system for remote viewing via wearable electronic devices |
| US10725297B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
| US9852546B2 (en) * | 2015-01-28 | 2017-12-26 | CCP hf. | Method and system for receiving gesture input via virtual control objects |
| US10726625B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| JP6725805B2 (ja) | 2015-02-13 | 2020-07-22 | スワン ソリューションズ インコーポレーテッド | 端末装置を制御するためのシステム及び方法 |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10216273B2 (en) | 2015-02-25 | 2019-02-26 | Bae Systems Plc | Apparatus and method for effecting a control action in respect of system functions |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| WO2016141054A1 (en) | 2015-03-02 | 2016-09-09 | Lockheed Martin Corporation | Wearable display system |
| US10156721B2 (en) | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
| US10108247B2 (en) | 2015-03-11 | 2018-10-23 | Swan Solutions, Inc. | Method for regulating a system for controlling a terminal device |
| US10216982B2 (en) * | 2015-03-12 | 2019-02-26 | Microsoft Technology Licensing, Llc | Projecting a virtual copy of a remote object |
| JP6328579B2 (ja) | 2015-03-13 | 2018-05-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| CN104657103B (zh) * | 2015-03-16 | 2017-06-16 | 哈尔滨工业大学 | 基于深度摄像机的手持cave投影系统 |
| US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| DE102015003883A1 (de) | 2015-03-26 | 2016-09-29 | Audi Ag | Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung |
| US10627908B2 (en) * | 2015-03-27 | 2020-04-21 | Lucasfilm Entertainment Company Ltd. | Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface |
| TWI564647B (zh) * | 2015-03-27 | 2017-01-01 | 國立臺北科技大學 | 全景動態網路攝影機的影像轉換運算方法 |
| US9594967B2 (en) * | 2015-03-31 | 2017-03-14 | Google Inc. | Method and apparatus for identifying a person by measuring body part distances of the person |
| KR102304023B1 (ko) * | 2015-04-03 | 2021-09-24 | 한국과학기술원 | 증강현실 기반 인터렉티브 저작 서비스 제공 시스템 |
| EP3280344A2 (en) * | 2015-04-07 | 2018-02-14 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
| JP6572600B2 (ja) | 2015-04-09 | 2019-09-11 | セイコーエプソン株式会社 | 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム |
| EP3082017A1 (en) | 2015-04-15 | 2016-10-19 | Thomson Licensing | Method and system for displaying additional information associated with a content via an optical head mounted display device |
| US10156908B2 (en) * | 2015-04-15 | 2018-12-18 | Sony Interactive Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
| EP3283994A4 (en) | 2015-04-17 | 2018-12-19 | Tulip Interfaces Inc. | Monitoring tool usage |
| US10055888B2 (en) * | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
| EP3094082A1 (en) * | 2015-05-13 | 2016-11-16 | AIM Sport Vision AG | Digitally overlaying an image with another image |
| IL244255A (en) | 2016-02-23 | 2017-04-30 | Vertical Optics Llc | Wearable devices for deflecting vision |
| US9442575B1 (en) * | 2015-05-15 | 2016-09-13 | Atheer, Inc. | Method and apparatus for applying free space input for surface constrained control |
| US9690119B2 (en) | 2015-05-15 | 2017-06-27 | Vertical Optics, LLC | Wearable vision redirecting devices |
| WO2016190458A1 (ko) | 2015-05-22 | 2016-12-01 | 삼성전자 주식회사 | Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법 |
| JP6528964B2 (ja) * | 2015-05-25 | 2019-06-12 | 株式会社リコー | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 |
| KR102547245B1 (ko) * | 2015-05-27 | 2023-06-22 | 주식회사 넥슨코리아 | 가상 현실 디스플레이 시스템 및 방법 |
| US9898864B2 (en) * | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| KR20180057576A (ko) * | 2015-05-31 | 2018-05-30 | 에이. 레이 쵸두리 | 정보 디스플레이 |
| JP6585929B2 (ja) * | 2015-06-02 | 2019-10-02 | キヤノン株式会社 | システム、システムの制御方法 |
| US10248188B2 (en) * | 2015-06-03 | 2019-04-02 | James M. O'Neil | System and method for generating wireless signals and controlling digital responses from physical movement |
| US11237624B2 (en) * | 2015-06-03 | 2022-02-01 | James M. O'Neil | System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses |
| US20160358383A1 (en) * | 2015-06-05 | 2016-12-08 | Steffen Gauglitz | Systems and methods for augmented reality-based remote collaboration |
| WO2016199699A1 (ja) * | 2015-06-12 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、制御方法及びプログラム |
| JP6780642B2 (ja) * | 2015-06-15 | 2020-11-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2016205350A1 (en) * | 2015-06-15 | 2016-12-22 | University Of Maryland, Baltimore | Method and apparatus to provide a virtual workstation with enhanced navigational efficiency |
| US20160371884A1 (en) * | 2015-06-17 | 2016-12-22 | Microsoft Technology Licensing, Llc | Complementary augmented reality |
| US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
| CN105120058A (zh) * | 2015-07-02 | 2015-12-02 | 上海闻泰电子科技有限公司 | 基于光感的手机手势识别系统 |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
| US10462421B2 (en) * | 2015-07-20 | 2019-10-29 | Microsoft Technology Licensing, Llc | Projection unit |
| US10799792B2 (en) | 2015-07-23 | 2020-10-13 | At&T Intellectual Property I, L.P. | Coordinating multiple virtual environments |
| WO2017013805A1 (ja) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | 入力装置、入力支援方法および入力支援プログラム |
| US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
| CN106406507B (zh) * | 2015-07-30 | 2020-03-27 | 株式会社理光 | 图像处理方法以及电子设备 |
| KR101734287B1 (ko) * | 2015-08-04 | 2017-05-11 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어방법 |
| US10290118B2 (en) * | 2015-08-06 | 2019-05-14 | Cognex Corporation | System and method for tying together machine vision coordinate spaces in a guided assembly environment |
| US11172273B2 (en) | 2015-08-10 | 2021-11-09 | Delta Energy & Communications, Inc. | Transformer monitor, communications and data collection device |
| WO2017027682A1 (en) * | 2015-08-11 | 2017-02-16 | Delta Energy & Communications, Inc. | Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components |
| US10169917B2 (en) | 2015-08-20 | 2019-01-01 | Microsoft Technology Licensing, Llc | Augmented reality |
| US10235808B2 (en) | 2015-08-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Communication system |
| US10241990B2 (en) * | 2015-08-26 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture based annotations |
| JP6586824B2 (ja) * | 2015-08-27 | 2019-10-09 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| CN106484085B (zh) * | 2015-08-31 | 2019-07-23 | 北京三星通信技术研究有限公司 | 在头戴式显示器中显示真实物体的方法及其头戴式显示器 |
| US10186086B2 (en) * | 2015-09-02 | 2019-01-22 | Microsoft Technology Licensing, Llc | Augmented reality control of computing device |
| US10055966B2 (en) | 2015-09-03 | 2018-08-21 | Delta Energy & Communications, Inc. | System and method for determination and remediation of energy diversion in a smart grid network |
| US9766713B2 (en) * | 2015-09-08 | 2017-09-19 | Unity IPR ApS | System and method for providing user interface tools |
| US9964765B2 (en) * | 2015-09-11 | 2018-05-08 | The Boeing Company | Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object |
| EP4254145A3 (en) | 2015-09-16 | 2023-11-01 | Magic Leap, Inc. | Head pose mixing of audio files |
| GB2542434A (en) | 2015-09-21 | 2017-03-22 | Figment Productions Ltd | A System for Providing a Virtual Reality Experience |
| EP3295657B1 (en) * | 2015-09-22 | 2021-03-17 | Samsung Electronics Co., Ltd. | Screen grab method in electronic device |
| KR20170035130A (ko) * | 2015-09-22 | 2017-03-30 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어방법 |
| US11182600B2 (en) * | 2015-09-24 | 2021-11-23 | International Business Machines Corporation | Automatic selection of event video content |
| US10133532B2 (en) * | 2015-09-25 | 2018-11-20 | Seiko Epson Corporation | Display system, display device, information display method, and program |
| US10027888B1 (en) * | 2015-09-28 | 2018-07-17 | Amazon Technologies, Inc. | Determining area of interest in a panoramic video or photo |
| CN113093917A (zh) | 2015-09-28 | 2021-07-09 | 微软技术许可有限责任公司 | 统一的虚拟现实平台 |
| CN108027656B (zh) * | 2015-09-28 | 2021-07-06 | 日本电气株式会社 | 输入设备、输入方法和程序 |
| CN108028798B (zh) | 2015-09-28 | 2022-09-09 | 微软技术许可有限责任公司 | 用于统一的消息传递平台的方法、装置和计算机设备 |
| CA3000206C (en) | 2015-10-02 | 2023-10-17 | Delta Energy & Communications, Inc. | Supplemental and alternative digital data delivery and receipt mesh network realized through the placement of enhanced transformer mounted monitoring devices |
| US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
| US10152825B2 (en) | 2015-10-16 | 2018-12-11 | Fyusion, Inc. | Augmenting multi-view image data with synthetic objects using IMU and image data |
| JP6298432B2 (ja) * | 2015-10-19 | 2018-03-20 | 株式会社コロプラ | 画像生成装置、画像生成方法、及び画像生成プログラム |
| US10754156B2 (en) | 2015-10-20 | 2020-08-25 | Lockheed Martin Corporation | Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system |
| WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
| WO2017070648A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology |
| WO2017070646A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Data transfer facilitation across a distributed mesh network using light and optical based technology |
| KR102400900B1 (ko) * | 2015-10-26 | 2022-05-23 | 엘지전자 주식회사 | 시스템 |
| WO2017072049A1 (en) * | 2015-10-27 | 2017-05-04 | Philips Lighting Holding B.V. | Determining the lighting effect for a virtually placed luminaire |
| US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| US10528021B2 (en) | 2015-10-30 | 2020-01-07 | Rockwell Automation Technologies, Inc. | Automated creation of industrial dashboards and widgets |
| KR102489402B1 (ko) * | 2015-11-02 | 2023-01-18 | 삼성전자주식회사 | 디스플레이 장치 및 그의 영상 표시 방법 |
| US10440355B2 (en) * | 2015-11-06 | 2019-10-08 | Facebook Technologies, Llc | Depth mapping with a head mounted display using stereo cameras and structured light |
| US10082878B2 (en) | 2015-11-11 | 2018-09-25 | Swan Solutions, Inc. | Method for controlling and calibrating a device with a gesture |
| US20170140215A1 (en) * | 2015-11-18 | 2017-05-18 | Le Holdings (Beijing) Co., Ltd. | Gesture recognition method and virtual reality display output device |
| US10716515B2 (en) | 2015-11-23 | 2020-07-21 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10133441B2 (en) * | 2015-11-30 | 2018-11-20 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
| JP6597235B2 (ja) * | 2015-11-30 | 2019-10-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US10304247B2 (en) | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
| US9824437B2 (en) | 2015-12-11 | 2017-11-21 | Daqri, Llc | System and method for tool mapping |
| EP3182328A1 (en) * | 2015-12-17 | 2017-06-21 | Nokia Technologies Oy | A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image |
| US10345594B2 (en) | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
| US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
| US10404938B1 (en) | 2015-12-22 | 2019-09-03 | Steelcase Inc. | Virtual world method and system for affecting mind state |
| US9841813B2 (en) * | 2015-12-22 | 2017-12-12 | Delphi Technologies, Inc. | Automated vehicle human-machine interface system based on glance-direction |
| WO2017110731A1 (ja) | 2015-12-24 | 2017-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム |
| US20170185142A1 (en) * | 2015-12-25 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Method, system and smart glove for obtaining immersion in virtual reality system |
| US10578882B2 (en) | 2015-12-28 | 2020-03-03 | Ostendo Technologies, Inc. | Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof |
| US10140507B2 (en) * | 2015-12-29 | 2018-11-27 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing hand gestures in a virtual reality headset |
| EP3188075B1 (en) * | 2015-12-29 | 2023-02-22 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing hand gestures in a virtual reality headset |
| US9706286B1 (en) * | 2015-12-31 | 2017-07-11 | Oculus Vr, Llc | Headphone retention mechanism |
| US10313281B2 (en) | 2016-01-04 | 2019-06-04 | Rockwell Automation Technologies, Inc. | Delivery of automated notifications by an industrial asset |
| US10679058B2 (en) * | 2016-01-06 | 2020-06-09 | Orcam Technologies Ltd. | Wearable apparatus and methods for processing images to identify contextual situations |
| US9952429B2 (en) * | 2016-01-07 | 2018-04-24 | International Business Machines Corporation | Plurality of wearable devices sharing partially obstructing view at different angles to overcome visual obstructions |
| US10068376B2 (en) * | 2016-01-11 | 2018-09-04 | Microsoft Technology Licensing, Llc | Updating mixed reality thumbnails |
| CN105700160A (zh) * | 2016-01-19 | 2016-06-22 | 陈超平 | 三维显示装置及适用该三维显示装置的图像处理方法 |
| US10397320B2 (en) | 2016-01-20 | 2019-08-27 | International Business Machines Corporation | Location based synchronized augmented reality streaming |
| US10095266B2 (en) * | 2016-01-28 | 2018-10-09 | Colopl, Inc. | System and method for interfacing between a display and a controller |
| US10120437B2 (en) * | 2016-01-29 | 2018-11-06 | Rovi Guides, Inc. | Methods and systems for associating input schemes with physical world objects |
| US10067636B2 (en) * | 2016-02-09 | 2018-09-04 | Unity IPR ApS | Systems and methods for a virtual reality editor |
| EP3206121A1 (en) * | 2016-02-09 | 2017-08-16 | Nokia Technologies Oy | Methods and apparatuses relating to the handling of visual virtual reality content |
| EP3206122A1 (en) | 2016-02-10 | 2017-08-16 | Nokia Technologies Oy | An apparatus and associated methods |
| WO2017142977A1 (en) | 2016-02-15 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for tethering 3-d virtual elements to digital content |
| US10169922B2 (en) * | 2016-02-16 | 2019-01-01 | Microsoft Technology Licensing, Llc | Reality mixer for mixed reality |
| US10567449B2 (en) | 2016-02-17 | 2020-02-18 | Meta View, Inc. | Apparatuses, methods and systems for sharing virtual elements |
| US10181218B1 (en) | 2016-02-17 | 2019-01-15 | Steelcase Inc. | Virtual affordance sales tool |
| MX2018010238A (es) | 2016-02-24 | 2019-06-06 | Delta Energy & Communications Inc | Red de malla 802.11s distribuida usando hardware de módulo de transformador para la captura y transmisión de datos. |
| US9984510B1 (en) * | 2016-03-02 | 2018-05-29 | Meta Company | System and method for modifying virtual elements in a virtual environment using hierarchical anchors incorporated into virtual elements |
| US20170256096A1 (en) * | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
| GB2548346B (en) | 2016-03-11 | 2020-11-18 | Sony Interactive Entertainment Europe Ltd | Image processing method and apparatus |
| WO2017209829A2 (en) * | 2016-03-15 | 2017-12-07 | Ellwood Sutherland Cook | Hybrid photonic vr/ar systems |
| US10091466B2 (en) | 2016-03-18 | 2018-10-02 | Motorola Solutions, Inc. | Visual perception determination system and method |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
| US10115234B2 (en) | 2016-03-21 | 2018-10-30 | Accenture Global Solutions Limited | Multiplatform based experience generation |
| JP2017173530A (ja) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置 |
| CN105892650A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US20170287215A1 (en) * | 2016-03-29 | 2017-10-05 | Google Inc. | Pass-through camera user interface elements for virtual reality |
| US10373381B2 (en) * | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
| WO2017172982A1 (en) | 2016-03-31 | 2017-10-05 | Magic Leap, Inc. | Interactions with 3d virtual objects using poses and multiple-dof controllers |
| CN105913495A (zh) * | 2016-03-31 | 2016-08-31 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105912102B (zh) * | 2016-03-31 | 2019-02-05 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| US10353203B2 (en) | 2016-04-05 | 2019-07-16 | Ostendo Technologies, Inc. | Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices |
| US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| EP3443441A1 (en) * | 2016-04-12 | 2019-02-20 | R-Stor Inc. | Method and apparatus for presenting imagery within a virtualized environment |
| US10652303B2 (en) * | 2016-04-28 | 2020-05-12 | Rabbit Asset Purchase Corp. | Screencast orchestration |
| US10453431B2 (en) | 2016-04-28 | 2019-10-22 | Ostendo Technologies, Inc. | Integrated near-far light field display systems |
| US9995936B1 (en) * | 2016-04-29 | 2018-06-12 | Lockheed Martin Corporation | Augmented reality systems having a virtual image overlaying an infrared portion of a live scene |
| US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
| CN105931272B (zh) * | 2016-05-06 | 2019-04-05 | 上海乐相科技有限公司 | 一种运动对象追踪方法及系统 |
| KR20170126295A (ko) * | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
| WO2017196404A1 (en) * | 2016-05-10 | 2017-11-16 | Google Llc | Methods and apparatus to use predicted actions in virtual reality environments |
| KR20230113663A (ko) * | 2016-05-20 | 2023-07-31 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
| US20170337745A1 (en) | 2016-05-23 | 2017-11-23 | tagSpace Pty Ltd | Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments |
| US10981060B1 (en) | 2016-05-24 | 2021-04-20 | Out of Sight Vision Systems LLC | Collision avoidance system for room scale virtual reality system |
| US10650591B1 (en) | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
| EP3467792B1 (en) * | 2016-05-25 | 2024-04-24 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and program |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| US9762851B1 (en) * | 2016-05-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Shared experience with contextual augmentation |
| US10217231B2 (en) * | 2016-05-31 | 2019-02-26 | Microsoft Technology Licensing, Llc | Systems and methods for utilizing anchor graphs in mixed reality environments |
| US9992429B2 (en) | 2016-05-31 | 2018-06-05 | Microsoft Technology Licensing, Llc | Video pinning |
| JP6689679B2 (ja) * | 2016-06-01 | 2020-04-28 | 京セラ株式会社 | 表示装置、情報表示システム、及びプログラム |
| US11468111B2 (en) | 2016-06-01 | 2022-10-11 | Microsoft Technology Licensing, Llc | Online perspective search for 3D components |
| US20170351415A1 (en) * | 2016-06-06 | 2017-12-07 | Jonathan K. Cheng | System and interfaces for an interactive system |
| US10146335B2 (en) * | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Modular extension of inertial controller for six DOF mixed reality input |
| US10249084B2 (en) * | 2016-06-10 | 2019-04-02 | Microsoft Technology Licensing, Llc | Tap event location with a selection apparatus |
| US10338392B2 (en) * | 2016-06-13 | 2019-07-02 | Microsoft Technology Licensing, Llc | Identification of augmented reality image display position |
| US10245507B2 (en) | 2016-06-13 | 2019-04-02 | Sony Interactive Entertainment Inc. | Spectator management at view locations in virtual reality environments |
| WO2017217595A1 (ko) * | 2016-06-14 | 2017-12-21 | 주식회사 엔토소프트 | 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템 |
| US10062353B2 (en) * | 2016-06-27 | 2018-08-28 | Intel Corporation | System to compensate for visual impairment |
| US10591988B2 (en) * | 2016-06-28 | 2020-03-17 | Hiscene Information Technology Co., Ltd | Method for displaying user interface of head-mounted display device |
| US10657701B2 (en) * | 2016-06-30 | 2020-05-19 | Sony Interactive Entertainment Inc. | Dynamic entering and leaving of virtual-reality environments navigated by different HMD users |
| US11275446B2 (en) * | 2016-07-07 | 2022-03-15 | Capital One Services, Llc | Gesture-based user interface |
| US10726443B2 (en) | 2016-07-11 | 2020-07-28 | Samsung Electronics Co., Ltd. | Deep product placement |
| DE102016113000A1 (de) * | 2016-07-14 | 2018-01-18 | Aesculap Ag | Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung |
| EP3496044A4 (en) * | 2016-07-15 | 2019-10-09 | Nurve, Inc. | PICTURE DISPLAY AND PICTURE DISPLAY SYSTEM |
| KR20180010891A (ko) * | 2016-07-22 | 2018-01-31 | 동서대학교산학협력단 | Vr기기를 통한 360도 오페라 영상 제공방법 |
| US10489978B2 (en) * | 2016-07-26 | 2019-11-26 | Rouslan Lyubomirov DIMITROV | System and method for displaying computer-based content in a virtual or augmented environment |
| CN106155326A (zh) * | 2016-07-26 | 2016-11-23 | 北京小米移动软件有限公司 | 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备 |
| EP3494447B1 (en) | 2016-08-04 | 2021-05-19 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
| CN106303555B (zh) * | 2016-08-05 | 2019-12-03 | 深圳市摩登世纪科技有限公司 | 一种基于混合现实的直播方法、装置和系统 |
| US11238610B2 (en) * | 2016-08-10 | 2022-02-01 | Disney Enterprises, Inc. | Placing large objects and objects separated by large distances in augmented reality |
| CA3033344A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| US10592067B2 (en) * | 2016-08-12 | 2020-03-17 | Boston Scientific Scimed, Inc. | Distributed interactive medical visualization system with primary/secondary interaction features |
| US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
| WO2018035143A1 (en) | 2016-08-15 | 2018-02-22 | Delta Energy & Communications, Inc. | Integrated solution of internet of things and smart grid network |
| US10318570B2 (en) | 2016-08-18 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Multimodal search input for an industrial search platform |
| US10192258B2 (en) * | 2016-08-23 | 2019-01-29 | Derek A Devries | Method and system of augmented-reality simulations |
| US10158834B2 (en) * | 2016-08-30 | 2018-12-18 | Hand Held Products, Inc. | Corrected projection perspective distortion |
| US10074205B2 (en) | 2016-08-30 | 2018-09-11 | Intel Corporation | Machine creation of program with frame analysis method and apparatus |
| EP3291531A1 (en) * | 2016-09-06 | 2018-03-07 | Thomson Licensing | Methods, devices and systems for automatic zoom when playing an augmented reality scene |
| JP6298130B2 (ja) * | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| US10325407B2 (en) | 2016-09-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | Attribute detection tools for mixed reality |
| US10791037B2 (en) | 2016-09-21 | 2020-09-29 | Iunu, Inc. | Reliable transfer of numerous geographically distributed large files to a centralized store |
| US11244398B2 (en) | 2016-09-21 | 2022-02-08 | Iunu, Inc. | Plant provenance and data products from computer object recognition driven tracking |
| US11538099B2 (en) | 2016-09-21 | 2022-12-27 | Iunu, Inc. | Online data market for automated plant growth input curve scripts |
| US10635274B2 (en) | 2016-09-21 | 2020-04-28 | Iunu, Inc. | Horticultural care tracking, validation and verification |
| US20180082477A1 (en) * | 2016-09-22 | 2018-03-22 | Navitaire Llc | Systems and Methods for Improved Data Integration in Virtual Reality Architectures |
| US20180082476A1 (en) * | 2016-09-22 | 2018-03-22 | International Business Machines Corporation | Collaborative search for out of field of view augmented reality objects |
| US10319128B2 (en) | 2016-09-26 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Augmented reality presentation of an industrial environment |
| US10401839B2 (en) | 2016-09-26 | 2019-09-03 | Rockwell Automation Technologies, Inc. | Workflow tracking and identification using an industrial monitoring system |
| US10545492B2 (en) | 2016-09-26 | 2020-01-28 | Rockwell Automation Technologies, Inc. | Selective online and offline access to searchable industrial automation data |
| US11432051B2 (en) * | 2016-09-27 | 2022-08-30 | Srinivas Krishna | Method and system for positioning, viewing and sharing virtual content |
| US10068379B2 (en) * | 2016-09-30 | 2018-09-04 | Intel Corporation | Automatic placement of augmented reality models |
| US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
| US10503349B2 (en) * | 2016-10-04 | 2019-12-10 | Facebook, Inc. | Shared three-dimensional user interface with personal space |
| EP3526775A4 (en) * | 2016-10-17 | 2021-01-06 | Muzik Inc. | INTEGRATED PROJECTOR AUDIO / VIDEO CLOTHING COMPUTER SYSTEM |
| GB2555378B (en) * | 2016-10-18 | 2021-06-09 | Virtually Live Switzerland Gmbh | HMD delivery system and method |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| KR102561860B1 (ko) * | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| US10484568B2 (en) * | 2016-10-26 | 2019-11-19 | Orcam Technologies Ltd. | Providing a social media recommendation based on data captured by a wearable device |
| KR101846142B1 (ko) * | 2016-11-04 | 2018-05-21 | 이장근 | 체험 공유 시스템 |
| US10388075B2 (en) | 2016-11-08 | 2019-08-20 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10735691B2 (en) | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US10866631B2 (en) | 2016-11-09 | 2020-12-15 | Rockwell Automation Technologies, Inc. | Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality |
| GB2555838A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
| WO2018090056A2 (en) * | 2016-11-14 | 2018-05-17 | Taqtile | Cross-platform multi-modal virtual collaboration and holographic maps |
| US10158634B2 (en) | 2016-11-16 | 2018-12-18 | Bank Of America Corporation | Remote document execution and network transfer using augmented reality display devices |
| TWI587206B (zh) * | 2016-11-24 | 2017-06-11 | 財團法人工業技術研究院 | 互動顯示裝置及系統 |
| US10152851B2 (en) * | 2016-11-29 | 2018-12-11 | Microsoft Technology Licensing, Llc | Notification artifact display |
| US20180150204A1 (en) * | 2016-11-30 | 2018-05-31 | Google Inc. | Switching of active objects in an augmented and/or virtual reality environment |
| CN109997175B (zh) * | 2016-12-02 | 2023-12-08 | 皇家Kpn公司 | 确定虚拟对象的大小 |
| US10147243B2 (en) * | 2016-12-05 | 2018-12-04 | Google Llc | Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment |
| US10403285B1 (en) * | 2016-12-05 | 2019-09-03 | Google Llc | Methods and apparatus to define virtual scenes using natural language commands and natural gestures |
| US10937391B2 (en) | 2016-12-05 | 2021-03-02 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
| US11164378B1 (en) | 2016-12-08 | 2021-11-02 | Out of Sight Vision Systems LLC | Virtual reality detection and projection system for use with a head mounted display |
| CN106409157B (zh) * | 2016-12-12 | 2018-12-11 | 北京沃富瑞德文化传播有限公司 | 一种可用于魔术表演的幻术显示系统 |
| JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
| US20180160777A1 (en) | 2016-12-14 | 2018-06-14 | Black Brass, Inc. | Foot measuring and sizing application |
| US10420397B2 (en) | 2016-12-14 | 2019-09-24 | Black Brass, Inc. | Foot measuring and sizing application |
| US10182210B1 (en) * | 2016-12-15 | 2019-01-15 | Steelcase Inc. | Systems and methods for implementing augmented reality and/or virtual reality |
| US10482665B2 (en) * | 2016-12-16 | 2019-11-19 | Microsoft Technology Licensing, Llc | Synching and desyncing a shared view in a multiuser scenario |
| US20180173300A1 (en) * | 2016-12-19 | 2018-06-21 | Microsoft Technology Licensing, Llc | Interactive virtual objects in mixed reality environments |
| JP6920057B2 (ja) * | 2016-12-22 | 2021-08-18 | キヤノンマーケティングジャパン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10262464B2 (en) * | 2016-12-30 | 2019-04-16 | Intel Corporation | Dynamic, local augmented reality landmarks |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
| CN106775258A (zh) * | 2017-01-04 | 2017-05-31 | 虹软(杭州)多媒体信息技术有限公司 | 利用手势控制实现虚拟现实交互的方法和装置 |
| US10575067B2 (en) | 2017-01-04 | 2020-02-25 | Samsung Electronics Co., Ltd. | Context based augmented advertisement |
| KR102294218B1 (ko) | 2017-01-06 | 2021-08-27 | 나이키 이노베이트 씨.브이. | 자동 쇼핑 어시스턴트를 이용한 개인화 쇼핑을 위한 시스템, 플랫폼 및 방법 |
| US10437343B2 (en) | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
| KR102254709B1 (ko) * | 2017-01-09 | 2021-05-24 | 스냅 인코포레이티드 | 증강 현실 객체 조작 |
| US10242503B2 (en) * | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US10212428B2 (en) | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
| JP6812803B2 (ja) * | 2017-01-12 | 2021-01-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10843068B2 (en) * | 2017-01-18 | 2020-11-24 | Xvisio Technology Corp. | 6DoF inside-out tracking game controller |
| JP2018116537A (ja) * | 2017-01-19 | 2018-07-26 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US10347049B2 (en) * | 2017-01-20 | 2019-07-09 | Houzz, Inc. | Interactive item placement simulation |
| KR20180089208A (ko) * | 2017-01-31 | 2018-08-08 | 삼성전자주식회사 | 스마트 워치의 워치 페이스를 제어하는 전자 장치와 이의 동작 방법 |
| US20180232937A1 (en) * | 2017-02-14 | 2018-08-16 | Philip Moyer | System and Method for Implementing Virtual Reality |
| DE102017202517A1 (de) * | 2017-02-16 | 2018-08-16 | Siemens Healthcare Gmbh | Bedienvorrichtung und Bedienverfahren zum Bedienen eines medizinischen Geräts |
| WO2018148845A1 (en) | 2017-02-17 | 2018-08-23 | Nz Technologies Inc. | Methods and systems for touchless control of surgical environment |
| US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
| US11417426B2 (en) | 2017-02-24 | 2022-08-16 | Masimo Corporation | System for displaying medical monitoring data |
| US11176743B2 (en) * | 2017-02-28 | 2021-11-16 | Signify Holding B.V. | Portable device for rendering a virtual object and a method thereof |
| US10795022B2 (en) | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
| US10672171B2 (en) * | 2017-03-07 | 2020-06-02 | Lamplight Forest Holdings Pty Ltd | System and method for dynamic content generation in a virtual space |
| US9812004B1 (en) | 2017-03-16 | 2017-11-07 | Swan Solutions, Inc. | Control system for a terminal device and a switch |
| CN107066092B (zh) * | 2017-03-20 | 2020-04-03 | 上海大学 | Vr运行空间动态检测与参数化虚拟场景重构系统与方法 |
| JP6793255B2 (ja) * | 2017-03-20 | 2020-12-02 | グーグル エルエルシー | 仮想現実における保持オブジェクトの安定化 |
| WO2018175335A1 (en) * | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for discovering and positioning content into augmented reality space |
| US10091549B1 (en) | 2017-03-30 | 2018-10-02 | Rovi Guides, Inc. | Methods and systems for recommending media assets based on the geographic location at which the media assets are frequently consumed |
| US10290152B2 (en) | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
| US10713848B2 (en) * | 2017-04-06 | 2020-07-14 | Htc Corporation | System and method for providing simulated environment |
| EP3384832A1 (en) * | 2017-04-06 | 2018-10-10 | Koninklijke Philips N.V. | Method and apparatus for providing guidance for placement of a wearable device |
| US10642045B2 (en) | 2017-04-07 | 2020-05-05 | Microsoft Technology Licensing, Llc | Scanner-illuminated LCOS projector for head mounted display |
| US10430147B2 (en) * | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
| US10768693B2 (en) | 2017-04-19 | 2020-09-08 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| US10268263B2 (en) | 2017-04-20 | 2019-04-23 | Microsoft Technology Licensing, Llc | Vestibular anchoring |
| US11782669B2 (en) * | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
| IL301087A (en) * | 2017-05-01 | 2023-05-01 | Magic Leap Inc | Adapting content to a three-dimensional spatial environment |
| US10817724B2 (en) | 2017-05-01 | 2020-10-27 | Microsoft Technology Licensing, Llc | Real time object surface identification for augmented reality environments |
| US10871934B2 (en) * | 2017-05-04 | 2020-12-22 | Microsoft Technology Licensing, Llc | Virtual content displayed with shared anchor |
| US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
| CN110809804B (zh) | 2017-05-08 | 2023-10-27 | 梅西莫股份有限公司 | 使用适配器将医疗系统与网络控制器配对的系统 |
| US10510174B2 (en) * | 2017-05-08 | 2019-12-17 | Microsoft Technology Licensing, Llc | Creating a mixed-reality video based upon tracked skeletal features |
| US10650037B2 (en) | 2017-05-15 | 2020-05-12 | Sony Interactive Entertainment LLC | Enhancing information in a three-dimensional map |
| CN110914789A (zh) * | 2017-05-16 | 2020-03-24 | 皇家飞利浦有限公司 | 用于协同介入的增强现实 |
| JP7353982B2 (ja) * | 2017-05-16 | 2023-10-02 | コーニンクレッカ フィリップス エヌ ヴェ | 拡張現実におけるユーザインタラクションのための仮想カバー |
| JP6812579B2 (ja) * | 2017-06-02 | 2021-01-13 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 仮想基体として使用するための平面及び／又は四分木を検出するための方法及びデバイス |
| US20180359448A1 (en) * | 2017-06-07 | 2018-12-13 | Digital Myths Studio, Inc. | Multiparty collaborative interaction in a virtual reality environment |
| TWI634344B (zh) | 2017-06-07 | 2018-09-01 | 國立中山大學 | 三維軌跡偵測系統 |
| IT201700064174A1 (it) * | 2017-06-09 | 2018-12-09 | Arioli S P A | Macchina per il trattamento di tessuti stampati in falde |
| KR102395030B1 (ko) | 2017-06-09 | 2022-05-09 | 한국전자통신연구원 | 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 |
| US10748244B2 (en) * | 2017-06-09 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for stereo content detection |
| DE112018002980T5 (de) | 2017-06-12 | 2020-02-20 | Sony Corporation | Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm |
| US10620710B2 (en) * | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
| US10304251B2 (en) * | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
| US10830882B2 (en) * | 2017-06-19 | 2020-11-10 | Ge Aviation Systems, Llc | Methods and apparatus for distributed, multi-node, low-frequency radar systems for degraded visual environments |
| EP3616035B1 (en) * | 2017-06-19 | 2024-04-24 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
| US20180365900A1 (en) | 2017-06-20 | 2018-12-20 | Immerex Inc. | Mixed Reality Head Mounted Display Device |
| US20180373293A1 (en) * | 2017-06-21 | 2018-12-27 | Newtonoid Technologies, L.L.C. | Textile display system and method |
| JP7211983B2 (ja) | 2017-06-27 | 2023-01-24 | ナイキ イノベイト シーブイ | 自動買い物アシスタントを用いて個人の嗜好に合った買い物を行うためのシステム、プラットフォーム、および方法 |
| US11302439B2 (en) | 2017-06-27 | 2022-04-12 | Sony Corporation | Medical image processing apparatus, medical image processing method, and computing device |
| US11682045B2 (en) | 2017-06-28 | 2023-06-20 | Samsung Electronics Co., Ltd. | Augmented reality advertisements on objects |
| US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
| US10895966B2 (en) * | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
| CN107315355B (zh) * | 2017-06-30 | 2021-05-18 | 京东方科技集团股份有限公司 | 一种电器控制设备及方法 |
| US20190007672A1 (en) * | 2017-06-30 | 2019-01-03 | Bobby Gene Burrough | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections |
| CN108700912B (zh) * | 2017-06-30 | 2022-04-01 | 广东虚拟现实科技有限公司 | 通过增强现实操作设备的方法和系统 |
| KR101988110B1 (ko) | 2017-07-03 | 2019-09-30 | 포항공과대학교 산학협력단 | 생체신호연동 가상현실 교육 시스템 및 방법 |
| US10885714B2 (en) | 2017-07-07 | 2021-01-05 | Niantic, Inc. | Cloud enabled augmented reality |
| CN107368193B (zh) * | 2017-07-19 | 2021-06-11 | 讯飞幻境(北京)科技有限公司 | 人机操作交互方法和系统 |
| WO2019015765A1 (en) * | 2017-07-20 | 2019-01-24 | Universitätsklinikum Hamburg-Eppendorf | APPARATUS FOR MEASURING OR DRIVING EMOTION OR BEHAVIOR |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| CN107390875B (zh) * | 2017-07-28 | 2020-01-31 | 腾讯科技（上海）有限公司 | 信息处理方法、装置、终端设备和计算机可读存储介质 |
| CN107479699A (zh) * | 2017-07-28 | 2017-12-15 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互方法、装置及系统 |
| US10521944B2 (en) * | 2017-08-16 | 2019-12-31 | Microsoft Technology Licensing, Llc | Repositioning user perspectives in virtual reality environments |
| US10529136B2 (en) | 2017-08-16 | 2020-01-07 | Dell Products L.P. | Augmented reality workspace system |
| US10613703B2 (en) | 2017-08-18 | 2020-04-07 | Adobe Inc. | Collaborative interaction with virtual reality video |
| US10803642B2 (en) * | 2017-08-18 | 2020-10-13 | Adobe Inc. | Collaborative virtual reality anti-nausea and video streaming techniques |
| US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
| CN111034190B (zh) * | 2017-08-29 | 2022-04-15 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| US11030810B1 (en) | 2017-09-13 | 2021-06-08 | Lucasfilm Entertainment Company Ltd. | Shared mixed-reality environments responsive to motion-capture data |
| WO2019055703A2 (en) | 2017-09-13 | 2019-03-21 | Magical Technologies, Llc | VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT |
| CN107730591A (zh) * | 2017-09-14 | 2018-02-23 | 北京致臻智造科技有限公司 | 一种基于混合现实设备的装配引导方法及系统 |
| US10304252B2 (en) * | 2017-09-15 | 2019-05-28 | Trimble Inc. | Collaboration methods to improve use of 3D models in mixed reality environments |
| CN109559370A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种三维建模方法及装置 |
| DE102017217025A1 (de) * | 2017-09-26 | 2019-03-28 | Audi Ag | Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person |
| JP2019061590A (ja) * | 2017-09-28 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
| WO2019067482A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| KR101938361B1 (ko) * | 2017-09-29 | 2019-01-14 | 재단법인 아산사회복지재단 | X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램 |
| EP4235263A3 (en) | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
| WO2019067642A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | APPLICATION PRESENTATION BASED ON AN ENVIRONMENT |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| US10768696B2 (en) * | 2017-10-05 | 2020-09-08 | Microsoft Technology Licensing, Llc | Eye gaze correction using pursuit vector |
| US10685456B2 (en) * | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
| WO2019078836A1 (en) * | 2017-10-18 | 2019-04-25 | Hewlett-Packard Development Company, L.P. | SYSTEMS OF INCREASED REALITY |
| WO2019079790A1 (en) | 2017-10-21 | 2019-04-25 | Eyecam, Inc | ADAPTIVE GRAPHIC USER INTERFACE SYSTEM |
| WO2019079826A1 (en) * | 2017-10-22 | 2019-04-25 | Magical Technologies, Llc | DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY |
| US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
| WO2019090221A1 (en) * | 2017-11-03 | 2019-05-09 | Marxent Labs, LLC | Technologies for composing a virtual reality setting in a mobile computing environment |
| EP3602272B1 (en) * | 2017-11-06 | 2023-11-22 | Google LLC | Methods and systems for attending to a presenting user |
| GB2568241B (en) * | 2017-11-06 | 2022-01-05 | Sony Interactive Entertainment Inc | Content generation apparatus and method |
| US10445944B2 (en) | 2017-11-13 | 2019-10-15 | Rockwell Automation Technologies, Inc. | Augmented reality safety automation zone system and method |
| IL255671B (en) * | 2017-11-14 | 2021-09-30 | Everysight Ltd | System and method for determining an image position using one or more anchors |
| CN107967054B (zh) * | 2017-11-16 | 2020-11-27 | 中国人民解放军陆军装甲兵学院 | 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘 |
| GB2568678A (en) * | 2017-11-21 | 2019-05-29 | Edesix Ltd | Method of monitoring video |
| US10911656B2 (en) * | 2017-11-21 | 2021-02-02 | Microsoft Technology Licensing, Llc | Optical isolation systems for displays |
| CN107832036B (zh) * | 2017-11-22 | 2022-01-18 | 北京小米移动软件有限公司 | 语音控制方法、装置及计算机可读存储介质 |
| CN107885334B (zh) * | 2017-11-23 | 2021-10-22 | 联想(北京)有限公司 | 一种信息处理方法和虚拟设备 |
| US20190163434A1 (en) * | 2017-11-27 | 2019-05-30 | Marxent Labs, LLC | Technologies for networked virtual content in a mobile computing environment |
| US10382094B2 (en) * | 2017-11-28 | 2019-08-13 | International Business Machines Corporation | Cable tracking by electromagnetic emission |
| WO2019106558A1 (ru) * | 2017-11-29 | 2019-06-06 | ГИОРГАДЗЕ, Анико Тенгизовна | Взаимодействие пользователей в коммуникационной системе с использованием объектов дополненной реальности |
| US11087527B2 (en) * | 2017-12-01 | 2021-08-10 | Koninklijke Kpn N.V. | Selecting an omnidirectional image for display |
| US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
| KR102596429B1 (ko) | 2017-12-10 | 2023-10-30 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
| GB2569544B (en) * | 2017-12-19 | 2022-07-20 | Displaylink Uk Ltd | Transmission of a reverse video feed |
| KR101918262B1 (ko) * | 2017-12-19 | 2018-11-13 | (주) 알큐브 | 혼합 현실 서비스 제공 방법 및 시스템 |
| EP3729172A4 (en) | 2017-12-20 | 2021-02-24 | Magic Leap, Inc. | INSERT FOR AUGMENTED REALITY VIEWING DEVICE |
| CA3084670A1 (en) * | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment |
| JP7196179B2 (ja) | 2017-12-22 | 2022-12-26 | マジック リープ， インコーポレイテッド | 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム |
| JP6968689B2 (ja) * | 2017-12-27 | 2021-11-17 | Ｄｙｎａｂｏｏｋ株式会社 | 電子機器、ウェアラブル機器及び表示制御方法 |
| CN108269288B (zh) * | 2017-12-28 | 2020-07-24 | 中国科学院自动化研究所 | 智能异形投影非接触式交互系统和方法 |
| US10600205B2 (en) | 2018-01-08 | 2020-03-24 | Htc Corporation | Anchor recognition in reality system |
| US20190213792A1 (en) * | 2018-01-11 | 2019-07-11 | Microsoft Technology Licensing, Llc | Providing Body-Anchored Mixed-Reality Experiences |
| CN108269307B (zh) * | 2018-01-15 | 2023-04-07 | 歌尔科技有限公司 | 一种增强现实交互方法及设备 |
| WO2019143572A1 (en) * | 2018-01-17 | 2019-07-25 | Pcms Holdings, Inc. | Method and system for ar and vr collaboration in shared spaces |
| JP7061883B2 (ja) | 2018-01-22 | 2022-05-02 | マクセル株式会社 | 画像表示装置および画像表示方法 |
| DK201870346A1 (en) | 2018-01-24 | 2019-09-12 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| AU2019100079B4 (en) * | 2018-01-24 | 2019-08-08 | Apple Inc. | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models |
| US11014242B2 (en) * | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
| US10438414B2 (en) | 2018-01-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Authoring and presenting 3D presentations in augmented reality |
| DE102018201336A1 (de) * | 2018-01-29 | 2019-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Virtual-Reality-Konferenzsystem |
| US11398088B2 (en) | 2018-01-30 | 2022-07-26 | Magical Technologies, Llc | Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects |
| US11062516B2 (en) | 2018-02-07 | 2021-07-13 | Iunu, Inc. | Augmented reality based horticultural care tracking |
| JP7139436B2 (ja) | 2018-02-22 | 2022-09-20 | マジック リープ， インコーポレイテッド | 物理的操作を用いたオブジェクト作成 |
| IL301443A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | A browser for mixed reality systems |
| WO2019167213A1 (ja) * | 2018-03-01 | 2019-09-06 | 株式会社ソニー・インタラクティブエンタテインメント | 位置推定装置、トラッカー、位置推定方法及びプログラム |
| US10488940B2 (en) * | 2018-03-09 | 2019-11-26 | Capital One Services, Llc | Input commands via visual cues |
| CN112136152A (zh) | 2018-03-15 | 2020-12-25 | 奇跃公司 | 由观看设备的部件变形导致的图像校正 |
| GB201804383D0 (en) * | 2018-03-19 | 2018-05-02 | Microsoft Technology Licensing Llc | Multi-endpoint mixed reality meetings |
| US11880540B2 (en) * | 2018-03-22 | 2024-01-23 | Hewlett-Packard Development Company, L.P. | Digital mark-up in a three dimensional environment |
| US10467816B2 (en) * | 2018-03-23 | 2019-11-05 | Microsoft Technology Licensing, Llc | Mixed reality objects |
| US11587285B2 (en) * | 2018-03-28 | 2023-02-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Head-mounted display and method thereof |
| US10672159B2 (en) * | 2018-04-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Anchor graph |
| US11238675B2 (en) * | 2018-04-04 | 2022-02-01 | The Boeing Company | Mobile visual-inspection system |
| US10922862B2 (en) | 2018-04-05 | 2021-02-16 | Lenovo (Singapore) Pte. Ltd. | Presentation of content on headset display based on one or more condition(s) |
| US10872470B2 (en) * | 2018-04-05 | 2020-12-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of content at headset display based on other display not being viewable |
| US11086474B2 (en) * | 2018-04-09 | 2021-08-10 | Spatial Systems Inc. | Augmented reality computing environments—mobile device join and load |
| US10838574B2 (en) * | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
| EP3557378B1 (en) * | 2018-04-16 | 2022-02-23 | HTC Corporation | Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same |
| US10803293B2 (en) * | 2018-04-17 | 2020-10-13 | Fuji Xerox Co., Ltd. | System and method for semantic or visual collaborative augmented reality |
| US10852816B2 (en) * | 2018-04-20 | 2020-12-01 | Microsoft Technology Licensing, Llc | Gaze-informed zoom and pan with manual speed control |
| CN108615261B (zh) * | 2018-04-20 | 2022-09-09 | 深圳市天轨年华文化科技有限公司 | 增强现实中图像的处理方法、处理装置及存储介质 |
| EP3785452B1 (en) * | 2018-04-24 | 2022-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for rendering an audio signal for a playback to a user |
| WO2019209608A1 (en) * | 2018-04-24 | 2019-10-31 | Zermatt Technologies Llc | Multi-device editing of 3d models |
| US10839603B2 (en) * | 2018-04-30 | 2020-11-17 | Microsoft Technology Licensing, Llc | Creating interactive zones in virtual environments |
| US11380067B2 (en) * | 2018-04-30 | 2022-07-05 | Campfire 3D, Inc. | System and method for presenting virtual content in an interactive space |
| US20190340821A1 (en) * | 2018-05-04 | 2019-11-07 | Microsoft Technology Licensing, Llc | Multi-surface object re-mapping in three-dimensional use modes |
| US10455351B1 (en) | 2018-05-04 | 2019-10-22 | Microsoft Technology Licensing, Llc | Sharing geo-located information |
| JP7081045B2 (ja) * | 2018-05-04 | 2022-06-06 | グーグル エルエルシー | ユーザと自動化されたアシスタントインターフェースとの間の距離に応じて自動化されたアシスタントのコンテンツを生成するおよび／または適応させること |
| US10937249B2 (en) * | 2018-05-07 | 2021-03-02 | Google Llc | Systems and methods for anchoring virtual objects to physical locations |
| DK201870351A1 (en) | 2018-05-07 | 2020-01-13 | Apple Inc. | Devices and Methods for Measuring Using Augmented Reality |
| CN112105983B (zh) * | 2018-05-08 | 2023-07-07 | 苹果公司 | 增强的视觉能力 |
| CN112041788B (zh) | 2018-05-09 | 2024-05-03 | 苹果公司 | 使用眼睛注视来选择文本输入字段 |
| US11270426B2 (en) * | 2018-05-14 | 2022-03-08 | Sri International | Computer aided inspection system and methods |
| US11614849B2 (en) | 2018-05-15 | 2023-03-28 | Thermo Fisher Scientific, Inc. | Collaborative virtual reality environment for training |
| US10861242B2 (en) | 2018-05-22 | 2020-12-08 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
| CN110515452B (zh) * | 2018-05-22 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| US11315337B2 (en) | 2018-05-23 | 2022-04-26 | Samsung Electronics Co., Ltd. | Method and apparatus for managing content in augmented reality system |
| KR102275520B1 (ko) * | 2018-05-24 | 2021-07-12 | 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 | 현실 세계를 대표하는 실시간 3d 가상 세계 내에서 실시간 3d 가상 객체의 양방향 실시간 대화형 오퍼레이션 |
| US11204491B2 (en) | 2018-05-30 | 2021-12-21 | Magic Leap, Inc. | Compact variable focus configurations |
| US11651555B2 (en) * | 2018-05-31 | 2023-05-16 | Microsoft Technology Licensing, Llc | Re-creation of virtual environment through a video call |
| JP7319303B2 (ja) | 2018-05-31 | 2023-08-01 | マジック リープ， インコーポレイテッド | レーダ頭部姿勢位置特定 |
| WO2019227485A1 (zh) * | 2018-06-01 | 2019-12-05 | 西门子股份公司 | 用于无线电模拟的增强现实的方法、设备 |
| US10380804B1 (en) * | 2018-06-01 | 2019-08-13 | Imajion Corporation | Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream |
| US10825424B2 (en) | 2018-06-05 | 2020-11-03 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| US10747302B2 (en) * | 2018-06-08 | 2020-08-18 | Facebook Technologies, Llc | Artificial reality interaction plane |
| US20190377538A1 (en) | 2018-06-08 | 2019-12-12 | Curious Company, LLC | Information Presentation Through Ambient Sounds |
| EP3803545A4 (en) * | 2018-06-08 | 2022-01-26 | Magic Leap, Inc. | AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT |
| US20200042160A1 (en) * | 2018-06-18 | 2020-02-06 | Alessandro Gabbi | System and Method for Providing Virtual-Reality Based Interactive Archives for Therapeutic Interventions, Interactions and Support |
| EP3584692A1 (en) * | 2018-06-19 | 2019-12-25 | InterDigital CE Patent Holdings | Sharing virtual content in a mixed reality scene |
| US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
| CN108919951B (zh) * | 2018-06-28 | 2020-11-20 | 联想(北京)有限公司 | 一种信息交互方法及装置 |
| US20200005791A1 (en) * | 2018-06-29 | 2020-01-02 | International Business Machines Corporation | Audio content visualized by pico projection of text for interaction |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US10818088B2 (en) | 2018-07-10 | 2020-10-27 | Curious Company, LLC | Virtual barrier objects |
| US10839604B2 (en) * | 2018-07-11 | 2020-11-17 | The Boeing Company | Augmented reality system with an active portable anchor |
| US10776943B2 (en) * | 2018-07-17 | 2020-09-15 | Samsung Electronics Co., Ltd. | System and method for 3D association of detected objects |
| US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US10671163B2 (en) * | 2018-07-24 | 2020-06-02 | Microsoft Technology Licensing, Llc | Refining virtual mesh models through physical contacts |
| CN112639731A (zh) | 2018-07-24 | 2021-04-09 | 奇跃公司 | 应用共享 |
| JP6745301B2 (ja) * | 2018-07-25 | 2020-08-26 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム |
| CN109214648A (zh) * | 2018-07-27 | 2019-01-15 | 中国联合网络通信集团有限公司 | 新能源交易方法、装置、设备及存储介质 |
| US10909772B2 (en) | 2018-07-31 | 2021-02-02 | Splunk Inc. | Precise scaling of virtual objects in an extended reality environment |
| US10692299B2 (en) * | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
| EP3831058A4 (en) | 2018-08-02 | 2022-04-20 | Magic Leap, Inc. | VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US10957112B2 (en) | 2018-08-13 | 2021-03-23 | Magic Leap, Inc. | Cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| KR20200019486A (ko) * | 2018-08-14 | 2020-02-24 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
| JP7317024B2 (ja) * | 2018-08-23 | 2023-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
| US10909373B1 (en) | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
| US10593120B1 (en) * | 2018-08-28 | 2020-03-17 | Kyocera Document Solutions Inc. | Augmented reality viewing of printer image processing stages |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| CN109240498B (zh) * | 2018-08-30 | 2021-08-20 | Oppo广东移动通信有限公司 | 交互方法、装置、穿戴式设备及存储介质 |
| JP7081052B2 (ja) * | 2018-09-04 | 2022-06-06 | アップル インコーポレイテッド | 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示 |
| US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
| US11004270B2 (en) * | 2018-09-11 | 2021-05-11 | Houzz, Inc. | Virtual item placement system |
| US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
| DE102018215715A1 (de) * | 2018-09-14 | 2020-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System und verfahren zur funkwellenbasierten ortung und koordinatentransformation |
| FR3086423B1 (fr) * | 2018-09-21 | 2021-09-10 | Diotasoft | Procede et systeme de visualisation en realite augmentee |
| EP3857291A4 (en) | 2018-09-25 | 2021-11-24 | Magic Leap, Inc. | SYSTEMS AND PROCEDURES FOR EXTENDED REALITY |
| US11189054B2 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | Localization and mapping using images from multiple devices |
| US11366514B2 (en) | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
| US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
| EP3814876B1 (en) * | 2018-10-03 | 2023-02-22 | Google LLC | Placement and manipulation of objects in augmented reality environment |
| US11232635B2 (en) * | 2018-10-05 | 2022-01-25 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| US11494990B2 (en) * | 2018-10-08 | 2022-11-08 | Google Llc | Hybrid placement of objects in an augmented reality environment |
| US10891969B2 (en) * | 2018-10-19 | 2021-01-12 | Microsoft Technology Licensing, Llc | Transforming audio content into images |
| KR102640871B1 (ko) | 2018-10-30 | 2024-02-27 | 삼성전자주식회사 | 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법 |
| CN109636917B (zh) * | 2018-11-02 | 2023-07-18 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
| US11501765B2 (en) * | 2018-11-05 | 2022-11-15 | Dish Network L.L.C. | Behavior detection |
| US11532138B2 (en) | 2018-11-15 | 2022-12-20 | Edx Technologies, Inc. | Augmented reality (AR) imprinting methods and systems |
| CN117111304A (zh) | 2018-11-16 | 2023-11-24 | 奇跃公司 | 用于保持图像清晰度的图像尺寸触发的澄清 |
| WO2020106299A1 (en) | 2018-11-21 | 2020-05-28 | Hewlett-Packard Development Company, L.P. | Augmenting live images of a scene for occlusion |
| KR102581146B1 (ko) | 2018-11-23 | 2023-09-21 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| US10678492B1 (en) | 2018-11-27 | 2020-06-09 | International Business Machines Corporation | Co-located augmented reality sharing between augmented reality devices |
| US10902627B2 (en) * | 2018-11-30 | 2021-01-26 | Hins Sas | Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm |
| US11055913B2 (en) | 2018-12-04 | 2021-07-06 | Curious Company, LLC | Directional instructions in an hybrid reality system |
| CN111290566B (zh) * | 2018-12-06 | 2021-09-17 | 中国科学院长春光学精密机械与物理研究所 | 一种基于ar的智能家居体验方法及体验系统 |
| US10776933B2 (en) | 2018-12-06 | 2020-09-15 | Microsoft Technology Licensing, Llc | Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects |
| CN111290567B (zh) * | 2018-12-06 | 2022-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种智能家居装饰显像系统及虚拟家具摆放方法 |
| JP7414395B2 (ja) | 2018-12-18 | 2024-01-16 | 川崎重工業株式会社 | 情報投影システム、制御装置、及び情報投影制御方法 |
| US10942633B2 (en) * | 2018-12-20 | 2021-03-09 | Microsoft Technology Licensing, Llc | Interactive viewing and editing system |
| CN113330484A (zh) | 2018-12-20 | 2021-08-31 | 斯纳普公司 | 虚拟表面修改 |
| KR102152217B1 (ko) * | 2018-12-20 | 2020-09-04 | 서강대학교 산학협력단 | Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법 |
| FR3090941A1 (fr) * | 2018-12-21 | 2020-06-26 | Orange | Procédé d’interaction d’un utilisateur avec un environnement de réalité virtuelle |
| US10970935B2 (en) | 2018-12-21 | 2021-04-06 | Curious Company, LLC | Body pose message system |
| KR20200080047A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
| EP3903162A4 (en) * | 2018-12-27 | 2022-03-02 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
| US20200210137A1 (en) * | 2018-12-27 | 2020-07-02 | Facebook Technologies, Llc | Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration |
| CN111399630B (zh) * | 2019-01-03 | 2022-05-31 | 广东虚拟现实科技有限公司 | 虚拟内容交互方法、装置、终端设备及存储介质 |
| KR20200094843A (ko) | 2019-01-23 | 2020-08-10 | 삼성전자주식회사 | 외부 전자 장치를 제어하는 방법 및 이를 지원하는 전자 장치 |
| US11209966B2 (en) * | 2019-01-24 | 2021-12-28 | Disney Enterprises, Inc. | Extended on-screen gameplay via augmented reality |
| US11145085B2 (en) * | 2019-01-25 | 2021-10-12 | Social Construct Company | Systems and methods for automating installation of prefabricated parts using projected installation graphics |
| EP3690703A1 (en) | 2019-01-29 | 2020-08-05 | Siemens Aktiengesellschaft | Postures recognition of objects in augmented reality applications |
| US10891792B1 (en) | 2019-01-31 | 2021-01-12 | Splunk Inc. | Precise plane detection and placement of virtual objects in an augmented reality environment |
| US11341676B2 (en) | 2019-02-05 | 2022-05-24 | Google Llc | Calibration-free instant motion tracking for augmented reality |
| JP2022519292A (ja) | 2019-02-06 | 2022-03-22 | マジック リープ， インコーポレイテッド | 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節 |
| US11175728B2 (en) * | 2019-02-06 | 2021-11-16 | High Fidelity, Inc. | Enabling negative reputation submissions in manners that reduce chances of retaliation |
| JP7234264B2 (ja) * | 2019-02-06 | 2023-03-07 | マクセル株式会社 | 複合現実表示装置および複合現実表示方法 |
| US11250641B2 (en) * | 2019-02-08 | 2022-02-15 | Dassault Systemes Solidworks Corporation | System and methods for mating virtual objects to real-world environments |
| KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| WO2020165885A1 (en) * | 2019-02-13 | 2020-08-20 | Quaqua Experiences Pvt. Ltd. | Computer-implemented method and system for providing interaction rules in mixed reality |
| US11204735B2 (en) | 2019-02-14 | 2021-12-21 | International Business Machines Corporation | Receiving audio from a listening device associated with a selected geographic area |
| US10852906B2 (en) | 2019-02-15 | 2020-12-01 | Microsoft Technology Licensing, Llc | System and method for identifying locations for virtual items within a physical environment |
| US11137874B2 (en) * | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
| US11334326B2 (en) * | 2019-02-27 | 2022-05-17 | Adrian Andres Rodriguez-Velasquez | Systems, devices, and methods of developing or modifying software using physical blocks |
| JP7262247B2 (ja) * | 2019-03-01 | 2023-04-21 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US11467656B2 (en) | 2019-03-04 | 2022-10-11 | Magical Technologies, Llc | Virtual object control of a physical device and/or physical device control of a virtual object |
| WO2020181136A1 (en) | 2019-03-05 | 2020-09-10 | Physmodo, Inc. | System and method for human motion detection and tracking |
| US11331006B2 (en) | 2019-03-05 | 2022-05-17 | Physmodo, Inc. | System and method for human motion detection and tracking |
| JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| US10872584B2 (en) | 2019-03-14 | 2020-12-22 | Curious Company, LLC | Providing positional information using beacon devices |
| US20200301553A1 (en) * | 2019-03-22 | 2020-09-24 | Sony Interactive Entertainment Inc. | Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr) |
| US10845842B2 (en) * | 2019-03-29 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for presentation of input elements based on direction to a user |
| CN113574591A (zh) * | 2019-03-29 | 2021-10-29 | 索尼互动娱乐股份有限公司 | 边界设置设备、边界设置方法和程序 |
| JP7440532B2 (ja) | 2019-04-03 | 2024-02-28 | マジック リープ， インコーポレイテッド | 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること |
| US10846899B2 (en) | 2019-04-17 | 2020-11-24 | Honeywell International Inc. | Methods and systems for augmented reality safe visualization during performance of tasks |
| CN113614678A (zh) * | 2019-04-18 | 2021-11-05 | 苹果公司 | 用于头戴式设备的共享数据和协作 |
| CN110062216B (zh) * | 2019-04-18 | 2021-05-25 | 北京森焱精创科技有限公司 | 实景交互方法、系统、计算机设备和存储介质 |
| US11107293B2 (en) | 2019-04-23 | 2021-08-31 | XRSpace CO., LTD. | Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium |
| CN114127837A (zh) * | 2019-05-01 | 2022-03-01 | 奇跃公司 | 内容提供系统和方法 |
| US10748302B1 (en) * | 2019-05-02 | 2020-08-18 | Apple Inc. | Multiple user simultaneous localization and mapping (SLAM) |
| EP3734419A1 (en) * | 2019-05-03 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium |
| WO2020226832A1 (en) * | 2019-05-06 | 2020-11-12 | Apple Inc. | Device, method, and computer-readable medium for presenting computer-generated reality files |
| WO2020226833A1 (en) | 2019-05-06 | 2020-11-12 | Apple Inc. | Device, method, and graphical user interface for composing cgr files |
| EP3745237A1 (en) | 2019-05-31 | 2020-12-02 | Koninklijke Philips N.V. | Rendering an image on a virtual user interface of an augmented or virtual reality device |
| WO2020246639A1 (ko) * | 2019-06-05 | 2020-12-10 | 엘지전자 주식회사 | 증강현실 전자기기의 제어방법 |
| JP2020201330A (ja) * | 2019-06-07 | 2020-12-17 | セイコーエプソン株式会社 | 表示装置の動作方法および表示装置 |
| US11334212B2 (en) * | 2019-06-07 | 2022-05-17 | Facebook Technologies, Llc | Detecting input in artificial reality systems based on a pinch and pull gesture |
| US11422669B1 (en) | 2019-06-07 | 2022-08-23 | Facebook Technologies, Llc | Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action |
| US10852839B1 (en) * | 2019-06-07 | 2020-12-01 | Facebook Technologies, Llc | Artificial reality systems with detachable personal assistant for gating user interface elements |
| US10890983B2 (en) * | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
| US10897564B1 (en) | 2019-06-17 | 2021-01-19 | Snap Inc. | Shared control of camera device by multiple devices |
| US11546721B2 (en) | 2019-06-18 | 2023-01-03 | The Calany Holding S.À.R.L. | Location-based application activation |
| US11341727B2 (en) | 2019-06-18 | 2022-05-24 | The Calany Holding S. À R.L. | Location-based platform for multiple 3D engines for delivering location-based 3D content to a user |
| US11516296B2 (en) | 2019-06-18 | 2022-11-29 | THE CALANY Holding S.ÀR.L | Location-based application stream activation |
| CN112102498A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法 |
| CN112102497A (zh) | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 用于将应用和交互附接到静态对象的系统和方法 |
| EP3987385A4 (en) * | 2019-06-24 | 2022-09-14 | Magic Leap, Inc. | VIRTUAL LOCATION SELECTION FOR VIRTUAL CONTENT |
| WO2020261292A1 (en) * | 2019-06-24 | 2020-12-30 | Touchmagix Media Pvt. Ltd. | Interactive reality activity augmentation |
| TR201909402A2 (tr) * | 2019-06-25 | 2021-01-21 | Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi | Servi̇s yöneli̇mli̇ bi̇r artirilmiş gerçekli̇k altyapisi si̇stemi̇ |
| CN112153083B (zh) * | 2019-06-26 | 2022-07-19 | 浙江商汤科技开发有限公司 | 锚点共享方法及装置、系统、电子设备和存储介质 |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| CN112146645B (zh) * | 2019-06-28 | 2022-07-22 | 浙江商汤科技开发有限公司 | 一种坐标系对齐的方法及装置、电子设备和存储介质 |
| US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
| US11340857B1 (en) | 2019-07-19 | 2022-05-24 | Snap Inc. | Shared control of a virtual object by multiple devices |
| CN114174895A (zh) | 2019-07-26 | 2022-03-11 | 奇跃公司 | 用于增强现实的系统和方法 |
| US11172111B2 (en) * | 2019-07-29 | 2021-11-09 | Honeywell International Inc. | Devices and methods for security camera installation planning |
| US11022972B2 (en) * | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
| US11048760B1 (en) * | 2019-07-31 | 2021-06-29 | Splunk Inc. | Techniques for placing content in and applying layers in an extended reality environment |
| US11216233B2 (en) * | 2019-08-06 | 2022-01-04 | Motorola Mobility Llc | Methods and systems for replicating content and graphical user interfaces on external electronic devices |
| US11537351B2 (en) * | 2019-08-12 | 2022-12-27 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US20210056272A1 (en) * | 2019-08-23 | 2021-02-25 | KEFI Holdings, Inc | Object detection-based control of projected content |
| CN110533780B (zh) * | 2019-08-28 | 2023-02-24 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| TWI804671B (zh) | 2019-08-28 | 2023-06-11 | 財團法人工業技術研究院 | 互動顯示方法與互動顯示系統 |
| US11409364B2 (en) * | 2019-09-13 | 2022-08-09 | Facebook Technologies, Llc | Interaction with artificial reality based on physical objects |
| WO2021061351A1 (en) | 2019-09-26 | 2021-04-01 | Apple Inc. | Wearable electronic device presenting a computer-generated reality environment |
| US11379033B2 (en) | 2019-09-26 | 2022-07-05 | Apple Inc. | Augmented devices |
| US11113528B2 (en) * | 2019-09-26 | 2021-09-07 | Vgis Inc. | System and method for validating geospatial data collection with mediated reality |
| US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
| WO2021062278A1 (en) | 2019-09-27 | 2021-04-01 | Apple Inc. | Environment for remote communication |
| US11521356B2 (en) * | 2019-10-10 | 2022-12-06 | Meta Platforms Technologies, Llc | Systems and methods for a shared interactive environment |
| US10701316B1 (en) * | 2019-10-10 | 2020-06-30 | Facebook Technologies, Llc | Gesture-triggered overlay elements for video conferencing |
| US20210110646A1 (en) * | 2019-10-11 | 2021-04-15 | Citrix Systems, Inc. | Systems and methods of geolocating augmented reality consoles |
| WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
| CN114616534A (zh) | 2019-10-15 | 2022-06-10 | 奇跃公司 | 具有无线指纹的交叉现实系统 |
| US11568605B2 (en) | 2019-10-15 | 2023-01-31 | Magic Leap, Inc. | Cross reality system with localization service |
| US11380070B2 (en) | 2019-10-30 | 2022-07-05 | The Paddock LLC | Real-time augmentation of a virtual object onto a real-world object |
| CN114730546A (zh) | 2019-11-12 | 2022-07-08 | 奇跃公司 | 具有定位服务和基于位置的共享内容的交叉现实系统 |
| US11645756B2 (en) | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| WO2021097323A1 (en) | 2019-11-15 | 2021-05-20 | Magic Leap, Inc. | A viewing system for use in a surgical environment |
| US11638147B2 (en) * | 2019-11-22 | 2023-04-25 | International Business Machines Corporation | Privacy-preserving collaborative whiteboard using augmented reality |
| CN111061575A (zh) * | 2019-11-27 | 2020-04-24 | Oppo广东移动通信有限公司 | 数据处理方法、装置、用户设备及增强现实系统 |
| KR20210069491A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| CN110868635B (zh) * | 2019-12-04 | 2021-01-12 | 深圳追一科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| US11562542B2 (en) | 2019-12-09 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| US11195320B2 (en) * | 2019-12-12 | 2021-12-07 | Facebook Technologies, Llc | Feed-forward collision avoidance for artificial reality environments |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| US11474678B2 (en) * | 2019-12-20 | 2022-10-18 | Bayerische Motoren Werke Aktiengesellschaft | Method, an apparatus, and a machine-readable medium for displaying information |
| US11969651B2 (en) | 2019-12-20 | 2024-04-30 | Niantic, Inc. | Merging local maps from mapping devices |
| WO2021137348A1 (ko) * | 2019-12-31 | 2021-07-08 | 엔센스코리아주식회사 | 복수의 단말에서 3차원 공간정보를 공유하기 위한 공간맵 생성과 명령실행점 독출방법 |
| CN111124136A (zh) * | 2019-12-31 | 2020-05-08 | 维沃移动通信有限公司 | 虚拟画面同步方法及穿戴式设备 |
| WO2021137349A1 (ko) * | 2019-12-31 | 2021-07-08 | 엔센스코리아주식회사 | 환경 기반 실-가상 정합 사물 배치를 위한 3차원 공간인식과 2차원 인지적 영역분할의 결합 방법 및 시스템 |
| WO2021140575A1 (ja) * | 2020-01-07 | 2021-07-15 | マクセル株式会社 | Ａｒオブジェクトを表示するヘッドマウントディスプレイ |
| US20230035962A1 (en) * | 2020-01-09 | 2023-02-02 | Maxell, Ltd. | Space recognition system, space recognition method and information terminal |
| US11481930B2 (en) | 2020-01-21 | 2022-10-25 | Trimble Inc. | Accurately positioning augmented reality models within images |
| US11138771B2 (en) | 2020-02-03 | 2021-10-05 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| US11853943B1 (en) * | 2020-02-05 | 2023-12-26 | Blue Yonder Group, Inc. | Mixed-reality assisted dimensionality expansion and manipulation analytics |
| US11488358B2 (en) | 2020-02-05 | 2022-11-01 | Snap Inc. | Augmented reality session creation using skeleton tracking |
| WO2021156977A1 (ja) * | 2020-02-05 | 2021-08-12 | マクセル株式会社 | 空間認識システム、空間認識方法、情報端末、およびサーバ装置 |
| US11900546B1 (en) * | 2020-02-10 | 2024-02-13 | Blue Yonder Group, Inc. | Synchronized analysis of mixed-reality OLAP and supply chain network visualizations |
| JP2023513250A (ja) | 2020-02-10 | 2023-03-30 | マジック リープ， インコーポレイテッド | 仮想コンテンツの動的併置 |
| US11295511B1 (en) | 2020-02-11 | 2022-04-05 | Progress Software Corporation | Multi-user data presentation in AR/VR |
| JP2023514206A (ja) * | 2020-02-13 | 2023-04-05 | マジック リープ， インコーポレイテッド | 大規模環境のためのクロスリアリティシステム |
| EP4104145A4 (en) * | 2020-02-13 | 2024-01-24 | Magic Leap Inc | CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION |
| WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
| CN115398314A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 使用多分辨率帧描述符进行地图处理的交叉现实系统 |
| EP4103999A4 (en) | 2020-02-14 | 2023-08-02 | Magic Leap, Inc. | SESSION MANAGER |
| US11609345B2 (en) * | 2020-02-20 | 2023-03-21 | Rockwell Automation Technologies, Inc. | System and method to determine positioning in a virtual coordinate system |
| US11432076B2 (en) * | 2020-02-20 | 2022-08-30 | Orcam Technologies Ltd. | Processing audio and video in a hearing aid system |
| JP2023515524A (ja) | 2020-02-26 | 2023-04-13 | マジック リープ， インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
| WO2021173390A1 (en) * | 2020-02-27 | 2021-09-02 | Qsinx Management Llc | Connecting spatially distinct settings |
| US11107280B1 (en) | 2020-02-28 | 2021-08-31 | Facebook Technologies, Llc | Occlusion of virtual objects in augmented reality by physical objects |
| WO2021175997A1 (en) * | 2020-03-04 | 2021-09-10 | Abusizz Ag | Interactive display apparatus and method for operating the same |
| US11727650B2 (en) * | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
| WO2021190264A1 (en) * | 2020-03-25 | 2021-09-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Cooperative document editing with augmented reality |
| US11720980B2 (en) | 2020-03-25 | 2023-08-08 | Iunu, Inc. | Crowdsourced informatics for horticultural workflow and exchange |
| US11985175B2 (en) | 2020-03-25 | 2024-05-14 | Snap Inc. | Virtual interaction session to facilitate time limited augmented reality based communication between multiple users |
| US11823343B1 (en) * | 2020-03-26 | 2023-11-21 | Apple Inc. | Method and device for modifying content according to various simulation characteristics |
| US11960651B2 (en) * | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
| US11455078B1 (en) | 2020-03-31 | 2022-09-27 | Snap Inc. | Spatial navigation and creation interface |
| US11763427B2 (en) * | 2020-03-31 | 2023-09-19 | Unity IPR ApS | Method and system for intelligent importing and transformation of digital assets |
| US11593997B2 (en) * | 2020-03-31 | 2023-02-28 | Snap Inc. | Context based augmented reality communication |
| US11138802B1 (en) | 2020-04-06 | 2021-10-05 | Saudi Arabian Oil Company | Geo-augmented field excursion for geological sites |
| US11222478B1 (en) * | 2020-04-10 | 2022-01-11 | Design Interactive, Inc. | System and method for automated transformation of multimedia content into a unitary augmented reality module |
| US20210327146A1 (en) * | 2020-04-17 | 2021-10-21 | Michael E. Buerli | Virtual anchoring systems and methods for extended reality |
| US11120639B1 (en) | 2020-04-24 | 2021-09-14 | Microsoft Technology Licensing, Llc | Projecting telemetry data to visualization models |
| WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
| US11325043B2 (en) | 2020-05-15 | 2022-05-10 | Microsoft Technology Licensing, Llc | Utilizing multiple input sources for generating gameplay locations |
| JP2021182374A (ja) * | 2020-05-19 | 2021-11-25 | パナソニックＩｐマネジメント株式会社 | コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム |
| US11221690B2 (en) | 2020-05-20 | 2022-01-11 | Micron Technology, Inc. | Virtual peripherals for mobile devices |
| WO2021235193A1 (ja) * | 2020-05-21 | 2021-11-25 | ソニーグループ株式会社 | 情報処理システム、情報処理方法およびプログラム |
| US11830119B1 (en) * | 2020-05-29 | 2023-11-28 | Apple Inc. | Modifying an environment based on sound |
| JP2023528376A (ja) | 2020-05-29 | 2023-07-04 | ナイキ イノベイト シーブイ | キャプチャ画像の処理システム及び方法 |
| US11769302B2 (en) * | 2020-06-05 | 2023-09-26 | Verb Surgical Inc. | Remote surgical mentoring |
| US11743340B2 (en) * | 2020-06-10 | 2023-08-29 | Snap Inc. | Deep linking to augmented reality components |
| TWI759764B (zh) * | 2020-06-12 | 2022-04-01 | 光時代科技有限公司 | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 |
| US20210396779A1 (en) * | 2020-06-20 | 2021-12-23 | Apple Inc. | User posture transition detection and classification |
| GB202009562D0 (en) * | 2020-06-23 | 2020-08-05 | Univ Of Essex Enterprise Limited | Visual assistance |
| US11282267B2 (en) | 2020-07-02 | 2022-03-22 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for providing automated data visualization and modification |
| KR20220012073A (ko) | 2020-07-22 | 2022-02-03 | 삼성전자주식회사 | 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치 |
| US11233973B1 (en) * | 2020-07-23 | 2022-01-25 | International Business Machines Corporation | Mixed-reality teleconferencing across multiple locations |
| JP2022028491A (ja) * | 2020-08-03 | 2022-02-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及びプログラム |
| US20230290081A1 (en) * | 2020-08-06 | 2023-09-14 | Maxell, Ltd. | Virtual reality sharing method and system |
| TWI757824B (zh) * | 2020-08-10 | 2022-03-11 | 宏碁股份有限公司 | 擴增實境螢幕系統及擴增實境螢幕顯示方法 |
| US11157740B1 (en) * | 2020-08-11 | 2021-10-26 | Amazon Technologies, Inc. | Augmented reality object model configuration based on placement location |
| KR20220021757A (ko) | 2020-08-14 | 2022-02-22 | 삼성전자주식회사 | 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치 |
| WO2022037758A1 (en) * | 2020-08-18 | 2022-02-24 | Siemens Aktiengesellschaft | Remote collaboration using augmented and virtual reality |
| US11694413B2 (en) * | 2020-08-25 | 2023-07-04 | Spatial Systems Inc. | Image editing and sharing in an augmented reality system |
| US11410393B2 (en) * | 2020-08-25 | 2022-08-09 | Spatial Systems Inc. | Auto arranging wall in an augmented reality system |
| US11176756B1 (en) | 2020-09-16 | 2021-11-16 | Meta View, Inc. | Augmented reality collaboration system |
| US11756225B2 (en) * | 2020-09-16 | 2023-09-12 | Campfire 3D, Inc. | Augmented reality collaboration system with physical device |
| CN114200895A (zh) * | 2020-09-17 | 2022-03-18 | 北京小米移动软件有限公司 | 设备控制方法、装置及存储介质 |
| CN114371819B (zh) * | 2020-10-15 | 2023-10-17 | 宏碁股份有限公司 | 扩增实境屏幕系统及扩增实境屏幕显示方法 |
| CN112198963A (zh) * | 2020-10-19 | 2021-01-08 | 深圳市太和世纪文化创意有限公司 | 一种沉浸式隧道型多媒体交互展示方法、设备及存储介质 |
| US11095857B1 (en) | 2020-10-20 | 2021-08-17 | Katmai Tech Holdings LLC | Presenter mode in a three-dimensional virtual conference space, and applications thereof |
| US10979672B1 (en) | 2020-10-20 | 2021-04-13 | Katmai Tech Holdings LLC | Web-based videoconference virtual environment with navigable avatars, and applications thereof |
| US11070768B1 (en) | 2020-10-20 | 2021-07-20 | Katmai Tech Holdings LLC | Volume areas in a three-dimensional virtual conference space, and applications thereof |
| US11076128B1 (en) | 2020-10-20 | 2021-07-27 | Katmai Tech Holdings LLC | Determining video stream quality based on relative position in a virtual space, and applications thereof |
| US10952006B1 (en) | 2020-10-20 | 2021-03-16 | Katmai Tech Holdings LLC | Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof |
| US11457178B2 (en) | 2020-10-20 | 2022-09-27 | Katmai Tech Inc. | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof |
| CN112230836B (zh) * | 2020-11-02 | 2022-05-27 | 网易（杭州）网络有限公司 | 对象的移动方法、装置、存储介质和电子装置 |
| US11145228B1 (en) * | 2020-11-06 | 2021-10-12 | Lockheed Martin Corporation | Immersive display structure |
| CN112365828B (zh) * | 2020-11-09 | 2024-03-12 | 深圳Tcl新技术有限公司 | 智能调整显示效果的方法、装置、设备及介质 |
| GB2602248A (en) * | 2020-11-11 | 2022-06-29 | 3D4Medical Ltd | Motion assessment instrument |
| KR102398839B1 (ko) * | 2020-12-01 | 2022-05-17 | 서울과학기술대학교 산학협력단 | 객체의 표면에 영상을 투영시키는 장치 |
| US20220198764A1 (en) * | 2020-12-18 | 2022-06-23 | Arkh, Inc. | Spatially Aware Environment Relocalization |
| US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
| US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
| EP4268060A1 (en) * | 2020-12-22 | 2023-11-01 | Snap Inc. | Recentering ar/vr content on an eyewear device |
| JP2022102041A (ja) * | 2020-12-25 | 2022-07-07 | 時男 後藤 | 三次元アノテーション描写システム |
| KR102299943B1 (ko) * | 2020-12-29 | 2021-09-09 | 주식회사 버넥트 | 속성정보 적용 기반의 증강현실 콘텐츠 제작 방법 및 시스템 |
| CN112907754A (zh) * | 2021-01-22 | 2021-06-04 | 四川智能小子科技有限公司 | Ar导览系统及ar导览方法 |
| CN113010009B (zh) | 2021-02-08 | 2022-07-22 | 北京蜂巢世纪科技有限公司 | 对象共享方法及装置 |
| KR20230144042A (ko) | 2021-02-08 | 2023-10-13 | 사이트풀 컴퓨터스 리미티드 | 생산성을 위한 확장 현실 |
| EP4288950A1 (en) * | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
| EP4295314A1 (en) | 2021-02-08 | 2023-12-27 | Sightful Computers Ltd | Content sharing in extended reality |
| US20220262078A1 (en) * | 2021-02-14 | 2022-08-18 | Broadstone Technologies, Llc | Remote device provisioning and remote support using augmented reality |
| US11875604B1 (en) * | 2021-02-22 | 2024-01-16 | Meta Platforms Technologies, Llc | Systems and methods for determining hand poses in artificial reality environments |
| CN112891938A (zh) * | 2021-03-05 | 2021-06-04 | 华人运通(上海)云计算科技有限公司 | 车端游戏方法、装置、系统、设备及存储介质 |
| US11442582B1 (en) * | 2021-03-05 | 2022-09-13 | Zebra Technologies Corporation | Virtual keypads for hands-free operation of computing devices |
| US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
| US11980813B2 (en) | 2021-05-04 | 2024-05-14 | Ztag, Inc. | System and method of using a virtual focal point in real physical game |
| US11184362B1 (en) | 2021-05-06 | 2021-11-23 | Katmai Tech Holdings LLC | Securing private audio in a virtual conference, and applications thereof |
| US11743430B2 (en) | 2021-05-06 | 2023-08-29 | Katmai Tech Inc. | Providing awareness of who can hear audio in a virtual conference, and applications thereof |
| US11640698B2 (en) | 2021-05-27 | 2023-05-02 | International Business Machines Corporation | Mapping physical locations to fit virtualized AR and VR environments |
| US11586337B2 (en) * | 2021-05-27 | 2023-02-21 | Peer Inc | System and method for using portal systems in augmented reality virtual environments |
| US11676348B2 (en) * | 2021-06-02 | 2023-06-13 | Meta Platforms Technologies, Llc | Dynamic mixed reality content in virtual reality |
| US11599338B2 (en) * | 2021-06-18 | 2023-03-07 | Qingdao Pico Technology Co., Ltd. | Model loading method and apparatus for head-mounted display device, and head-mounted display device |
| US11997185B2 (en) * | 2021-06-23 | 2024-05-28 | Qualcomm Incorporated | Demodulator configuration based on user equipment signaling |
| US20220413433A1 (en) * | 2021-06-28 | 2022-12-29 | Meta Platforms Technologies, Llc | Holographic Calling for Artificial Reality |
| US11887267B2 (en) | 2021-07-07 | 2024-01-30 | Meta Platforms Technologies, Llc | Generating and modifying representations of hands in an artificial reality environment |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US11637715B2 (en) * | 2021-07-28 | 2023-04-25 | Microsoft Technology Licensing, Llc | Virtual event segmentation based on topics and interactions graphs |
| US11989404B1 (en) * | 2021-07-30 | 2024-05-21 | Apple Inc. | Time-based visualization of content anchored in time |
| CN113347400B (zh) * | 2021-08-05 | 2021-12-24 | 南京爱可利克信息科技有限公司 | 一种儿童舞蹈比赛用趣味投影系统及其使用方法 |
| US20230040610A1 (en) * | 2021-08-06 | 2023-02-09 | Apple Inc. | Object placement for electronic devices |
| US20230108256A1 (en) * | 2021-08-11 | 2023-04-06 | MeetKai, Inc. | Conversational artificial intelligence system in a virtual reality space |
| CN117882033A (zh) * | 2021-08-30 | 2024-04-12 | 苹果公司 | 用于调用写入表面的方法和设备 |
| US20230076953A1 (en) * | 2021-08-30 | 2023-03-09 | Bank Of America Corporation | Smart glass interface to mobile user |
| KR20240049629A (ko) * | 2021-09-01 | 2024-04-16 | 스냅 인코포레이티드 | 물리적 액션-기반 증강 현실 통신 교환들 |
| CN113724398A (zh) * | 2021-09-01 | 2021-11-30 | 北京百度网讯科技有限公司 | 增强现实方法、装置、设备以及存储介质 |
| US11934569B2 (en) * | 2021-09-24 | 2024-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US20230152935A1 (en) * | 2021-09-25 | 2023-05-18 | Apple Inc. | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments |
| US20230108152A1 (en) * | 2021-09-30 | 2023-04-06 | Snap Inc. | Providing a takeable item within a virtual conferencing system |
| EP4163765A1 (en) * | 2021-10-07 | 2023-04-12 | Koninklijke Philips N.V. | Method and apparatus for initiating an action |
| JP7212744B1 (ja) | 2021-11-17 | 2023-01-25 | 株式会社Ｄｒ．健康クラブ | トレーニングサポートシステム、トレーニングサポートプログラム及びトレーニングサポート方法 |
| KR20230072256A (ko) * | 2021-11-17 | 2023-05-24 | 삼성전자주식회사 | 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법 |
| US11734929B2 (en) | 2021-12-07 | 2023-08-22 | Marxent Labs Llc | Enhanced product visualization technology with web-based augmented reality user interface features |
| US11682180B1 (en) * | 2021-12-09 | 2023-06-20 | Qualcomm Incorporated | Anchoring virtual content to physical surfaces |
| US11704885B2 (en) * | 2021-12-17 | 2023-07-18 | Richard Fishman | Augmented reality (AR) visual display to save |
| US11656835B1 (en) * | 2021-12-29 | 2023-05-23 | Transmira, Inc. | Systems and methods for spatial conversion and synchronization between geolocal augmented reality and virtual reality modalities associated with real-world physical locations |
| WO2023130046A1 (en) * | 2021-12-30 | 2023-07-06 | Canon U.S.A., Inc. | Systems and methods for virtual reality immersive calling |
| WO2023146196A1 (ko) * | 2022-01-25 | 2023-08-03 | 삼성전자 주식회사 | 비디오에서 사용자의 손을 결정하는 방법 및 전자 장치 |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| US20230267692A1 (en) * | 2022-02-23 | 2023-08-24 | Htc Corporation | Mixed reality processing system and mixed reality processing method |
| USD1029076S1 (en) | 2022-03-10 | 2024-05-28 | Campfire 3D, Inc. | Augmented reality pack |
| WO2023173388A1 (en) * | 2022-03-18 | 2023-09-21 | Microsoft Technology Licensing, Llc | Interaction customization for a large-format display device |
| WO2023181549A1 (ja) * | 2022-03-24 | 2023-09-28 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
| US11908072B2 (en) | 2022-03-31 | 2024-02-20 | Tooliqa Inc. | System and method for generating and interacting with a virtual model of a physical entity |
| US11630633B1 (en) * | 2022-04-07 | 2023-04-18 | Promp, Inc. | Collaborative system between a streamer and a remote collaborator |
| KR20230147312A (ko) * | 2022-04-14 | 2023-10-23 | 주식회사 피아몬드 | 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템 |
| WO2023220027A1 (en) * | 2022-05-09 | 2023-11-16 | SB22, Inc. | Systems and methods for navigating interactive elements of an application |
| US20230393648A1 (en) * | 2022-06-01 | 2023-12-07 | Msg Entertainment Group, Llc | System for multi-user collaboration within a virtual reality environment |
| US11855831B1 (en) | 2022-06-10 | 2023-12-26 | T-Mobile Usa, Inc. | Enabling an operator to resolve an issue associated with a 5G wireless telecommunication network using AR glasses |
| US11651108B1 (en) | 2022-07-20 | 2023-05-16 | Katmai Tech Inc. | Time access control in virtual environment application |
| US11928774B2 (en) | 2022-07-20 | 2024-03-12 | Katmai Tech Inc. | Multi-screen presentation in a virtual videoconferencing environment |
| US11876630B1 (en) | 2022-07-20 | 2024-01-16 | Katmai Tech Inc. | Architecture to control zones |
| US11741664B1 (en) | 2022-07-21 | 2023-08-29 | Katmai Tech Inc. | Resituating virtual cameras and avatars in a virtual environment |
| US11700354B1 (en) | 2022-07-21 | 2023-07-11 | Katmai Tech Inc. | Resituating avatars in a virtual environment |
| US11711494B1 (en) | 2022-07-28 | 2023-07-25 | Katmai Tech Inc. | Automatic instancing for efficient rendering of three-dimensional virtual environment |
| US11776203B1 (en) | 2022-07-28 | 2023-10-03 | Katmai Tech Inc. | Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars |
| US11562531B1 (en) | 2022-07-28 | 2023-01-24 | Katmai Tech Inc. | Cascading shadow maps in areas of a three-dimensional environment |
| US11593989B1 (en) | 2022-07-28 | 2023-02-28 | Katmai Tech Inc. | Efficient shadows for alpha-mapped models |
| US11956571B2 (en) | 2022-07-28 | 2024-04-09 | Katmai Tech Inc. | Scene freezing and unfreezing |
| US11682164B1 (en) | 2022-07-28 | 2023-06-20 | Katmai Tech Inc. | Sampling shadow maps at an offset |
| US11704864B1 (en) | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
| US20240073372A1 (en) * | 2022-08-31 | 2024-02-29 | Snap Inc. | In-person participant interaction for hybrid event |
| US11748939B1 (en) | 2022-09-13 | 2023-09-05 | Katmai Tech Inc. | Selecting a point to navigate video avatars in a three-dimensional environment |
| JP2024048680A (ja) | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
| US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
| CN116416402A (zh) * | 2023-06-07 | 2023-07-11 | 航天宏图信息技术股份有限公司 | 一种基于mr协同数字沙盘的数据展示方法和系统 |
Family Cites Families (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8275617B1 (en) | 1998-12-17 | 2012-09-25 | Nuance Communications, Inc. | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands |
| JP2001157606A (ja) | 1999-12-02 | 2001-06-12 | Mima Jewelry:Kk | 携帯品の落下防止具 |
| US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
| JP2001216527A (ja) | 2000-02-04 | 2001-08-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
| JP3834766B2 (ja) | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| US6930715B1 (en) | 2000-07-21 | 2005-08-16 | The Research Foundation Of The State University Of New York | Method, system and program product for augmenting an image of a scene with information about the scene |
| US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
| JP3653463B2 (ja) * | 2000-11-09 | 2005-05-25 | 日本電信電話株式会社 | 複数のユーザによる仮想空間共有システム |
| JP2002157606A (ja) | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP3631151B2 (ja) * | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| DE10063089C1 (de) | 2000-12-18 | 2002-07-25 | Siemens Ag | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
| JP2002247602A (ja) | 2001-02-15 | 2002-08-30 | Mixed Reality Systems Laboratory Inc | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
| TW591321B (en) | 2002-01-21 | 2004-06-11 | Beauty Up Co Ltd | Projecting device |
| US6854850B2 (en) | 2002-01-23 | 2005-02-15 | Si Diamond Technology, Inc. | Multiple images from a single projector |
| EP1604266B1 (en) | 2003-03-10 | 2008-02-20 | Koninklijke Philips Electronics N.V. | Multi-view display |
| JP2005084969A (ja) * | 2003-09-09 | 2005-03-31 | Fuji Xerox Co Ltd | 会議支援システム及び会議支援方法、並びにコンピュータ・プログラム |
| US7411575B2 (en) * | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| JP2005128877A (ja) | 2003-10-24 | 2005-05-19 | Canon Inc | 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム |
| JP2005251118A (ja) * | 2004-03-08 | 2005-09-15 | Canon Inc | 画像処理方法、画像処理装置 |
| JP4522129B2 (ja) | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| SG155167A1 (en) * | 2004-08-03 | 2009-09-30 | Silverbrook Res Pty Ltd | Walk-up printing |
| US20060050070A1 (en) | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
| WO2006030613A1 (ja) * | 2004-09-15 | 2006-03-23 | Pioneer Corporation | 映像表示システムおよび映像表示方法 |
| JP4738870B2 (ja) | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| JP2006295779A (ja) | 2005-04-14 | 2006-10-26 | Matsushita Electric Ind Co Ltd | 携帯情報機器 |
| EP1922614A2 (en) | 2005-08-15 | 2008-05-21 | Koninklijke Philips Electronics N.V. | System, apparatus, and method for augmented reality glasses for end-user programming |
| JP4657060B2 (ja) | 2005-08-25 | 2011-03-23 | シャープ株式会社 | プロジェクタ |
| CN101479659B (zh) | 2006-07-03 | 2011-02-16 | 松下电器产业株式会社 | 投影系统及影像投射方法 |
| JP4747232B2 (ja) * | 2006-09-06 | 2011-08-17 | 独立行政法人産業技術総合研究所 | 小型携帯端末 |
| US8793621B2 (en) * | 2006-11-09 | 2014-07-29 | Navisense | Method and device to control touchless recognition |
| US8964014B2 (en) | 2007-01-10 | 2015-02-24 | V.I.O. Inc. | Point-of-view integrated video system having tagging and loop mode features |
| US20080266323A1 (en) | 2007-04-25 | 2008-10-30 | Board Of Trustees Of Michigan State University | Augmented reality user interaction system |
| GB0712690D0 (en) * | 2007-06-29 | 2007-08-08 | Imp Innovations Ltd | Imagee processing |
| JP5067850B2 (ja) * | 2007-08-02 | 2012-11-07 | キヤノン株式会社 | システム、頭部装着型表示装置、その制御方法 |
| JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| WO2009035705A1 (en) * | 2007-09-14 | 2009-03-19 | Reactrix Systems, Inc. | Processing of gesture-based user interactions |
| JP2009080181A (ja) | 2007-09-25 | 2009-04-16 | Brother Ind Ltd | プロジェクタ |
| US7874681B2 (en) | 2007-10-05 | 2011-01-25 | Huebner Kenneth J | Interactive projector system and method |
| JP2009104429A (ja) | 2007-10-24 | 2009-05-14 | Nikon Corp | ヘッドマウントディスプレイ装置及び携帯装置 |
| JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| JP4884352B2 (ja) | 2007-11-05 | 2012-02-29 | 三菱電機株式会社 | 投影表示装置及び投影表示方法 |
| JP4933406B2 (ja) * | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4852555B2 (ja) * | 2008-01-11 | 2012-01-11 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理方法、ならびに、プログラム |
| JP5374906B2 (ja) | 2008-04-07 | 2013-12-25 | 株式会社ニコン | プロジェクタ |
| JP5217630B2 (ja) | 2008-05-28 | 2013-06-19 | 株式会社ニコン | プロジェクタ及びマルチプロジェクションシステム |
| US9389419B2 (en) | 2008-08-14 | 2016-07-12 | Honeywell International Inc. | Near-to-eye display artifact reduction system and method |
| TW201013300A (en) * | 2008-09-22 | 2010-04-01 | Coretronic Corp | Projection system and expansion module for pico projector |
| WO2010062479A1 (en) | 2008-11-02 | 2010-06-03 | David Chaum | System and apparatus for eyeglass appliance platform |
| JP5444963B2 (ja) * | 2008-11-26 | 2014-03-19 | セイコーエプソン株式会社 | プロジェクタ |
| JP2010145861A (ja) | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US20100188397A1 (en) | 2009-01-28 | 2010-07-29 | Apple Inc. | Three dimensional navigation using deterministic movement of an electronic device |
| US9569001B2 (en) | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
| JP5417877B2 (ja) | 2009-02-12 | 2014-02-19 | 日本電気株式会社 | キーボード、キーボード入力方法およびキーボード入力プログラム |
| US20100208033A1 (en) | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
| JP2010217719A (ja) | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
| CN101520904B (zh) * | 2009-03-24 | 2011-12-28 | 上海水晶石信息技术有限公司 | 带有现实环境估算的增强现实的方法及其系统 |
| GB2470072B (en) | 2009-05-08 | 2014-01-01 | Sony Comp Entertainment Europe | Entertainment device,system and method |
| US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8943420B2 (en) | 2009-06-18 | 2015-01-27 | Microsoft Corporation | Augmenting a field of view |
| US8331611B2 (en) | 2009-07-13 | 2012-12-11 | Raytheon Company | Overlay information over video |
| TW201104561A (en) | 2009-07-23 | 2011-02-01 | Young Optics Inc | Projection system and method thereof |
| US9286720B2 (en) * | 2009-08-20 | 2016-03-15 | Northrop Grumman Systems Corporation | Locative video for situation awareness |
| CN201576164U (zh) * | 2009-11-13 | 2010-09-08 | 惠州市华阳多媒体电子有限公司 | 一种用于3d显示的微投影仪 |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| CN101727182B (zh) | 2010-01-28 | 2011-08-10 | 南京航空航天大学 | 头盔式虚拟现实环境中参与者实际手的可视化方法和系统 |
| WO2011109126A1 (en) | 2010-03-05 | 2011-09-09 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
| US8506090B2 (en) * | 2010-03-22 | 2013-08-13 | Microvision, Inc. | Projection system with image orientation correction and corresponding method |
| CN102939139B (zh) | 2010-04-13 | 2015-03-04 | 索尼电脑娱乐美国公司 | 共享虚拟空间中便携式设备的校准 |
| JP5418386B2 (ja) | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| TWI412866B (zh) | 2010-11-15 | 2013-10-21 | Hon Hai Prec Ind Co Ltd | 具有自動調整投影亮度功能的投影裝置及方法 |
| WO2012135545A1 (en) | 2011-03-29 | 2012-10-04 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
-
2012
- 2012-03-29 WO PCT/US2012/031300 patent/WO2012135545A1/en active Application Filing
- 2012-03-29 KR KR1020167017930A patent/KR20160084502A/ko not_active Application Discontinuation
- 2012-03-29 CN CN201280016357.8A patent/CN103460256B/zh active Active
- 2012-03-29 KR KR1020137028581A patent/KR101591493B1/ko active IP Right Grant
- 2012-03-29 JP JP2014502811A patent/JP5784818B2/ja active Active
- 2012-03-29 KR KR1020137028471A patent/KR20130136566A/ko active Application Filing
- 2012-03-29 EP EP19219084.1A patent/EP3654147A1/en not_active Ceased
- 2012-03-29 WO PCT/US2012/031321 patent/WO2012135554A1/en active Application Filing
- 2012-03-29 KR KR1020137028470A patent/KR101591579B1/ko active IP Right Grant
- 2012-03-29 US US13/434,434 patent/US20120249544A1/en not_active Abandoned
- 2012-03-29 EP EP12718476.0A patent/EP2691936A1/en not_active Withdrawn
- 2012-03-29 US US13/434,488 patent/US9142062B2/en active Active
- 2012-03-29 JP JP2014502810A patent/JP5960796B2/ja not_active Expired - Fee Related
- 2012-03-29 EP EP19219064.3A patent/EP3654146A1/en not_active Ceased
- 2012-03-29 US US13/434,533 patent/US9047698B2/en active Active
- 2012-03-29 WO PCT/US2012/031301 patent/WO2012135546A1/en active Application Filing
- 2012-03-29 EP EP12718477.8A patent/EP2691937A1/en not_active Ceased
- 2012-03-29 CN CN201280026127.XA patent/CN103562968B/zh active Active
- 2012-03-29 KR KR1020167002518A patent/KR101818024B1/ko active IP Right Grant
- 2012-03-29 US US13/434,317 patent/US9384594B2/en active Active
- 2012-03-29 EP EP12718478.6A patent/EP2691938B1/en active Active
- 2012-03-29 WO PCT/US2012/031314 patent/WO2012135553A1/en active Application Filing
- 2012-03-29 JP JP2014502813A patent/JP5784213B2/ja active Active
- 2012-03-29 WO PCT/US2012/031305 patent/WO2012135547A1/en active Application Filing
- 2012-03-29 JP JP2014502814A patent/JP6126076B2/ja active Active
- 2012-03-29 CN CN2012800162999A patent/CN103460255A/zh active Pending
- 2012-03-29 EP EP12712513.6A patent/EP2691935A1/en not_active Ceased
- 2012-03-29 US US13/434,258 patent/US20120249416A1/en not_active Abandoned
- 2012-03-29 CN CN201280016317.3A patent/CN103493106B/zh active Active
-
2015
- 2015-08-27 JP JP2015167751A patent/JP2015228256A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101720132B1 (ko) * | 2016-03-17 | 2017-03-27 | 주식회사 엔토소프트 | 측위 정보를 기반으로 복수의 사용자 간 동일한 증강 현실 영상을 공유하는 방법 및 그 시스템 |
| WO2020171270A1 (ko) * | 2019-02-22 | 2020-08-27 | 엘지전자 주식회사 | 모바일 디바이스 및 그 제어 방법 |
| KR102345297B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
| KR102345295B1 (ko) * | 2021-06-22 | 2021-12-30 | 주식회사 공간의파티 | 웹 서비스를 위한 엣지 서버 원격 렌더링 시스템 및 방법 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101591493B1 (ko) | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 | |
| KR102222974B1 (ko) | 홀로그램 스냅 그리드 | |
| US20210327156A1 (en) | Performing operations using a mirror in an artificial reality environment | |
| US20210135895A1 (en) | Private collaboration spaces for computing systems | |
| KR20150095868A (ko) | 증강 현실 인에이블 디바이스들을 위한 사용자 인터페이스 | |
| JP2008090807A (ja) | 小型携帯端末 | |
| KR20190035373A (ko) | 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |