KR102435628B1 - 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 - Google Patents
가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 Download PDFInfo
- Publication number
- KR102435628B1 KR102435628B1 KR1020227012530A KR20227012530A KR102435628B1 KR 102435628 B1 KR102435628 B1 KR 102435628B1 KR 1020227012530 A KR1020227012530 A KR 1020227012530A KR 20227012530 A KR20227012530 A KR 20227012530A KR 102435628 B1 KR102435628 B1 KR 102435628B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- virtual reality
- reality environment
- virtual object
- virtual
- Prior art date
Links
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005266 casting Methods 0.000 claims 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 11
- 238000007789 sealing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000004886 head movement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003667 anti-reflective effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
가상 오브젝트가 가상 현실 환경에 높은 정밀도로 배치될 수 있도록 가상 현실 환경의 한 위치와의 유저의 투영된 시선(gaze)의 교점의 결정을 가능하게 하는 센서 패키지를 갖는, 실세계 물리적 환경에서 동작하는 헤드 마운트형 디스플레이(HMD) 디바이스가 구성된다. 가상 세계에서의 유저의 뷰 포지션을 결정하기 위해, 센서 패키지로부터의 데이터를 사용하여 물리적 환경의 표면 재구성이 적용될 수 있다. 뷰 포지션으로부터 발생하는 주시선은 바깥쪽으로 투영되고, 가상 오브젝트, 플로어/지면, 등등과 같은 가상 세계와의 주시선의 가장 가까운 교점에서 커서 또는 유사한 인디케이터가 HMD 디스플레이 상에 렌더링된다. 유저 입력, 예컨대 제스쳐, 음성 상호작용, 또는 제어 조작에 응답하여, 투영된 주시선과 가상 현실 환경 사이의 교차점에 가상 오브젝트가 배치된다.
Description
가상 현실 컴퓨팅 디바이스, 예컨대 헤드 마운트형 디스플레이(head mounted display; HMD) 시스템 및 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)는, 유저의 시야(field of view)에서 그리고/또는 디바이스의 카메라의 시야에서 유저에게 가상 현실 환경을 디스플레이하도록 구성될 수도 있다. 마찬가지로, 모바일 디바이스는 카메라 뷰파인더 윈도우를 사용하여 이러한 정보를 디스플레이할 수도 있다.
이 배경은 후속하는 개요 및 상세한 설명에 대한 간략한 상황(context)을 소개하기 위해 제공된다. 이 배경은, 청구되는 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도되지 않으며, 또한 청구되는 주제를, 상기에서 제시되는 단점 또는 문제점 중 임의의 것 또는 전체를 해결하는 구현예로 제한하는 것으로 보이도록 의도된 것도 아니다.
가상 오브젝트가 가상 현실 환경에 높은 정밀도로 배치될 수 있도록 가상 현실 환경의 한 위치와의 유저의 투영된 시선(gaze)의 교점(intersection)의 결정을 가능하게 하는 센서 패키지를 갖는, 실세계 물리적 환경에서 동작하는 HMD 디바이스가 구성된다. 가상 세계에서의 유저의 뷰 포지션(view position)을 결정하기 위해, 센서 패키지로부터의 데이터를 사용하여 물리적 환경의 표면 재구성이 적용될 수 있다. 뷰 포지션으로부터 발생하는 주시선(gaze ray)은 바깥쪽으로 투영되고, 가상 오브젝트, 플로어/지면(ground), 등등과 같은 가상 세계와의 주시선의 가장 가까운 교점에서 커서 또는 유사한 인디케이터가 HMD 디스플레이 상에 렌더링된다. 유저 입력, 예컨대 제스쳐, 음성 상호작용, 또는 제어부(예를 들면, 버튼 또는 다른 유저 인터페이스 오브젝트)의 조작에 응답하여, 투영된 주시선과 가상 현실 환경 사이의 교차점(point of intersection)에 가상 오브젝트가 배치된다.
본 시선 기반의 가상 오브젝트 배치는 다양한 애플리케이션 및 사용 시나리오에서 사용될 수 있고, 뷰 포지션 및/또는 시선을 변경하는 것에 의해 가상 환경의 바람직한 위치에 유저가 가상 오브젝트를 쉽게 배치하는 것을 가능하게 한다. 예를 들면, HMD 디바이스 유저는, 측량 또는 매핑 애플리케이션에서 가상 세계 지형 상에 주목 지점을 나타내기 위해 마커를 배치할 수 있거나, 또는 유저는 게임 시나리오의 게임플레이의 일부로서 가상 세계의 특정한 포지션에 게임 오브젝트 및 아바타와 같은 가상 오브젝트를 배치할 수 있다.
이 개요는 하기의 상세한 설명에서 더 설명되는 엄선된 개념을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제의 주요한 피쳐 또는 본질적인 피쳐를 식별하도록 의도된 것도 아니고, 청구된 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다. 또한, 청구되는 주제는 본 개시의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현예로 한정되지는 않는다. 상기에서 설명되는 주제는 컴퓨터 제어 장치, 컴퓨터 프로세스, 컴퓨팅 시스템으로서, 또는 하나 이상의 컴퓨터 판독가능 매체와 같은 제조 물품으로서 구현될 수도 있다는 것이 이해될 수도 있다. 이들 및 다양한 다른 피쳐는 하기의 상세한 설명의 판독 및 관련 도면의 고찰로부터 명백해질 수도 있다.
도 1은 예시적인 가상 현실 환경을 도시하는데, 예시적인 가상 현실 환경의 일부는 HMD 디바이스의 유저의 시야 내에서 렌더링된다.
도 2는 HMD 디바이스의 유저가 위치하는 예시적인 실세계 물리적 환경을 도시한다.
도 3은 가상 세계의 한 지점과 교차하는 HMD 디바이스의 뷰 포지션으로부터 투영되는 예시적인 주시선을 도시한다.
도 4는 유저 입력에 응답하여 교차점에 배치되는 가상 오브젝트를 도시한다.
도 5는 HMD 디바이스 유저의 시야 내에서 가상 현실 환경의 투영된 주시선의 교차점에 렌더링되는 커서를 도시한다.
도 6은 가상 현실 환경과의 투영된 주시선의 교차점에 배치되는 예시적인 가상 오브젝트를 도시한다.
도 7은 HMD 디바이스 유저의 시야 내에서 가상 현실 환경의 투영된 주시선의 교차점에 렌더링되는 커서를 도시한다.
도 8은 가상 현실 환경과의 투영된 주시선의 교차점에 배치되는 예시적인 가상 오브젝트를 도시한다.
도 9는 하방으로 회전되고 있는 예시적인 투영된 주시선을 도시한다.
도 10은 상방으로 회전되고 있는 예시적인 투영된 주시선을 도시한다.
도 11은 유저의 시야에 의해 클리핑되는 예시적인 대형 가상 오브젝트를 도시한다.
도 12는 오브젝트가 시야의 상부 에지에 대해 클리핑되지 않도록 회전된 주시선을 사용하여 가상 세계에 배치되는 대형 가상 오브젝트를 도시한다.
도 13은 유저의 시야에 의해 클리핑되는 예시적인 가상 오브젝트를 도시한다.
도 14는, 오브젝트가 시야의 하부 에지에 대해 클리핑되지 않도록 그리고 오브젝트가 시야 내에서 더 중심에 위치하도록 회전된 주시선을 사용하여 가상 세계에 배치되는 가상 오브젝트를 도시한다.
도 15는 HMD 디바이스에 의해 캡쳐되고 있는 실세계 환경과 관련되는 표면 재구성 데이터를 묘사한다.
도 16은 HMD 디바이스에 의해 지원되는 예시적인 유저 인터페이스 및 HMD 센서 패키지에 의해 제공되는 예시적인 데이터를 도시한다.
도 17은 예시적인 표면 재구성 파이프라인(surface reconstruction pipeline)의 블록도를 도시한다.
도 18, 도 19, 및 도 20은 HMD 디바이스를 사용하여 수행될 수도 있는 예시적인 방법의 플로우차트이다.
도 21은 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 도면이다.
도 22는 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 기능적 블록도를 도시한다.
도 23 및 도 24는 가상 현실 HMD 디바이스의 컴포넌트로서 사용될 수도 있는 예시적인 밀봉 바이저(sealed visor)의 정면도이다.
도 25는 부분적으로 분해된 경우의 밀봉 바이저의 뷰를 도시한다.
도 26은 밀봉 바이저의 가상 라인(phantom line) 정면도를 도시한다.
도 27은 밀봉 바이저의 배면도를 도시한다.
도 28은 예시적인 컴퓨팅 시스템을 도시한다.
도면에서, 동일한 도면 부호는 동일한 엘리먼트를 가리킨다. 엘리먼트는 다른 식으로 나타내어지지 않는 한, 일정 축척으로 묘사되지는 않는다.
도 2는 HMD 디바이스의 유저가 위치하는 예시적인 실세계 물리적 환경을 도시한다.
도 3은 가상 세계의 한 지점과 교차하는 HMD 디바이스의 뷰 포지션으로부터 투영되는 예시적인 주시선을 도시한다.
도 4는 유저 입력에 응답하여 교차점에 배치되는 가상 오브젝트를 도시한다.
도 5는 HMD 디바이스 유저의 시야 내에서 가상 현실 환경의 투영된 주시선의 교차점에 렌더링되는 커서를 도시한다.
도 6은 가상 현실 환경과의 투영된 주시선의 교차점에 배치되는 예시적인 가상 오브젝트를 도시한다.
도 7은 HMD 디바이스 유저의 시야 내에서 가상 현실 환경의 투영된 주시선의 교차점에 렌더링되는 커서를 도시한다.
도 8은 가상 현실 환경과의 투영된 주시선의 교차점에 배치되는 예시적인 가상 오브젝트를 도시한다.
도 9는 하방으로 회전되고 있는 예시적인 투영된 주시선을 도시한다.
도 10은 상방으로 회전되고 있는 예시적인 투영된 주시선을 도시한다.
도 11은 유저의 시야에 의해 클리핑되는 예시적인 대형 가상 오브젝트를 도시한다.
도 12는 오브젝트가 시야의 상부 에지에 대해 클리핑되지 않도록 회전된 주시선을 사용하여 가상 세계에 배치되는 대형 가상 오브젝트를 도시한다.
도 13은 유저의 시야에 의해 클리핑되는 예시적인 가상 오브젝트를 도시한다.
도 14는, 오브젝트가 시야의 하부 에지에 대해 클리핑되지 않도록 그리고 오브젝트가 시야 내에서 더 중심에 위치하도록 회전된 주시선을 사용하여 가상 세계에 배치되는 가상 오브젝트를 도시한다.
도 15는 HMD 디바이스에 의해 캡쳐되고 있는 실세계 환경과 관련되는 표면 재구성 데이터를 묘사한다.
도 16은 HMD 디바이스에 의해 지원되는 예시적인 유저 인터페이스 및 HMD 센서 패키지에 의해 제공되는 예시적인 데이터를 도시한다.
도 17은 예시적인 표면 재구성 파이프라인(surface reconstruction pipeline)의 블록도를 도시한다.
도 18, 도 19, 및 도 20은 HMD 디바이스를 사용하여 수행될 수도 있는 예시적인 방법의 플로우차트이다.
도 21은 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 도면이다.
도 22는 가상 현실 HMD 디바이스의 설명에 도움이 되는 예의 기능적 블록도를 도시한다.
도 23 및 도 24는 가상 현실 HMD 디바이스의 컴포넌트로서 사용될 수도 있는 예시적인 밀봉 바이저(sealed visor)의 정면도이다.
도 25는 부분적으로 분해된 경우의 밀봉 바이저의 뷰를 도시한다.
도 26은 밀봉 바이저의 가상 라인(phantom line) 정면도를 도시한다.
도 27은 밀봉 바이저의 배면도를 도시한다.
도 28은 예시적인 컴퓨팅 시스템을 도시한다.
도면에서, 동일한 도면 부호는 동일한 엘리먼트를 가리킨다. 엘리먼트는 다른 식으로 나타내어지지 않는 한, 일정 축척으로 묘사되지는 않는다.
유저는, 통상적으로, 실세계 물리적 환경 내에서 (예를 들면, 어떤 형태의 이동을 통해) 움직이는 것에 의해 HMD 디바이스에 의해 렌더링되는 대응하는 가상 현실 환경 내에서 탐색, 내비게이팅, 및 이동할 수 있다. 설명에 도움이 되는 예에 있어서, 도 1에서 도시되는 바와 같이, 삼차원(three dimensions; 3D)으로 시각적으로 렌더링되는 그리고 몇몇 구현예에서 오디오 및/또는 촉각/햅틱 감각을 포함할 수도 있는 가상 현실 환경(100)을 경험하기 위해, 유저(102)는 HMD 디바이스(104)를 활용할 수 있다. 이 특정한 비제한적인 예에 있어서, HMD 디바이스(104) 상에서 실행되는 애플리케이션은, 다양한 건물, 가게, 등등을 포함하는 가상 현실 환경(100)을 지원한다. 유저가 자신의 머리의 포지션 또는 방위를 변경함에 따라 그리고/또는 도 2에서 도시되는 물리적인 실세계 환경(200) 내에서 이동함에 따라, 가상 현실 환경(100)의 유저의 뷰는 변할 수 있다. 시야(도 1에서 점선 영역(110)에 의해 나타내어짐)는 사이즈 및 형상이 정해질 수 있고, 유저에게 가상 세계에 있다는 강한 존재감을 제공하도록 HMD 디바이스 경험을 시각적으로 몰입하게 만들기 위해, 디바이스의 다른 특성이 제어될 수 있다. 본원에서 가상 현실 환경이 도시되고 설명되지만, 본 시선 기반의 오브젝트 배치는, 혼합 현실 환경 및 시나리오에 또한 적용될 수 있다.
HMD 디바이스(104)를 사용한 주어진 유저 경험의 과정 동안, 다양한 신규의 가상 오브젝트가 가상 현실 환경에 도입될 수 있다. 다양한 오브젝트 중 임의의 것이 도입될 수 있는데, 아바타, 지형, 마커, 플래그, 건물, 등등과 같은, 경험에 필수적일 수도 있는 것들, 또는 HMD 디바이스 상에서 지원되는 주어진 유저 인터페이스 또는 유저 경험을 용이하게 하기 위해 사용될 수도 있는 메뉴, 위젯, 통지, 등등을 포함하는 상호작용식 엘리먼트(interactive element)와 같은, 경험을 향상시키거나 제어하기 위해 사용될 수도 있는 것들을 포함한다.
도 3에서 도시되는 바와 같이, HMD 디바이스 유저의 뷰 포지션 및/또는 시선 방향은 HMD 디스플레이 상에 렌더링되는 가상 세계 내에 가상 오브젝트를 배치하기 위해 활용될 수도 있다. 주시선(302)은 HMD 디바이스(104)의 뷰 포지션으로부터 투영된다. 뷰 포지션은, 유저(102) 눈과 주시선(302) 사이에서 시작하며 주시선(302)은 도시되는 바와 같이 전방 방향을 가리킨다. 주시선은 가상 현실 환경(100)에 투사되고 가상 현실 환경(100)과의 주시선의 가장 가까운 교차점(304)이 결정된다. 커서(305), 또는 다른 적절한 인디케이터는, 통상적으로, 교차점에 디스플레이된다. 도 4에서 도시되는 바와 같이, HMD 디바이스(104)가 유저로부터 입력(402)을 수신하는 경우, 디바이스는 교차점에 가상 오브젝트(405)를 배치할 수 있다. 유저 입력(402)은 구현예에 의해 변할 수 있고, 예를 들면, 감지된 제스쳐, 음성 커맨드 또는 언어 입력, HMD 디바이스에 의해 지원되는 물리적 또는 가상 제어부의 조작, 및 등등을 포함할 수도 있다.
몇몇 구현예에서, 주시선은, 커서가 시야(110) 내의 어떤 임의의 지점에 렌더링될 수 있도록 투영될 수도 있다. 예를 들면, 커서는, 통상적인 시나리오에서 시야의 중심의 또는 중심 근처의 고정된 포지션에 위치할 수 있다. 시야 및 뷰 포지션이 통상적으로는 (하기에서 더 상세히 설명되는 바와 같이) 유저의 머리의 포지션 및 방위를 추적하는 것에 의해 결정되기 때문에, 유저는 시야를 조정하기 위해 머리 움직임을 단독으로 사용하여 가상 세계 내의 주목하는 오브젝트 상에 커서를 배치할 수 있다.
대안적인 구현예에서, HMD 디바이스는, 유저의 눈의 포지션에 따라 주어진 시야 내의 상이한 지점에 커서가 렌더링되는 것을 가능하게 하는 방식으로 주시선을 투영하도록 구성될 수도 있다. 눈 포지션은, 예를 들면, HMD 디바이스(104)에 통합될 수도 있는 내향 센서(inward facing sensor)를 사용하여 검출될 수도 있다. 이러한 눈 포지션 검출은 시선 추적으로 칭해지고 하기에서 더 상세하게 설명된다. 따라서, 유저는, 머리 및 눈 움직임의 조합을 사용하는 것에 의해 이들 대안적인 구현예에서 커서를 배치할 수 있다. 예를 들면, 유저는 시야 내의 주목하는 가상 오브젝트의 위치를 결정하기 위해 머리 움직임을 사용할 수도 있고 그 다음 그 오브젝트 상에 커서를 배치하기 위해 눈 움직임을 사용할 수 있다.
HMD 디바이스는 또한, 몇몇 경우에, 예를 들면, 눈 추적을 각각 불가능하게 하고 가능하게 하는 것에 의해, 고정된 커서 배치와 가변적인 커서 배치 사이에서 선택하기 위한 옵션을 유저에게 제공하도록 구성될 수 있다. 예를 들면, 시야에 대해 고정된 커서는, 머리 움직임이 단독으로 커서를 효율적으로 배치하는 방식을 제공하는 어떤 사용 시나리오에 어울릴 수도 있다. 다른 사용 시나리오에서, 머리 및 눈 움직임의 조합이 더 유익할 수도 있다. 일반적으로, 고정된 또는 가변적인 커서 배치의 활용은, 가상 오브젝트가 높은 정밀도를 가지고 가상 세계 안으로 배치되는 것을 가능하게 할 수 있다.
도 5는, HMD 디바이스 유저의 시야(110) 내에서 가상 현실 환경(100)의 투영된 주시선의 교차점에 렌더링되는 커서(305)를 도시한다(유저는 설명의 명확화를 위해 도시되지 않는다). 통상적으로는, 커서는, 가상 세계에서의 유저로부터의 커서의 거리에 비례하는 사이즈를 사용하여 HMD 디스플레이 상에 3D로 동적으로 렌더링된다(즉, 커서는 더 가까이 있을 때 더 크고 더 멀리 있을 때 더 작다). 도 6은, 제스쳐, 음성 커맨드, 또는 버튼 누름과 같은 유저 입력에 응답하여, 가상 현실 환경과의 투영된 주시선의 교차점에 배치되는 예시적인 가상 오브젝트(605)를 도시한다. 가상 오브젝트(605)는 예시적인 것으로 의도되며 렌더링된 가상 오브젝트는, 시야에서의 사이즈, 형상, 및 위치가 보이는 것과 다를 수 있다.
도 7은, 기복이 있는, 물결 모양의, 그리고 산이 많은 지형을 갖는 야외 풍경을 포함하는 가상 현실 환경(700)과 투영된 주시선 사이의 교차점에서 렌더링되는 커서(305)의 다른 설명에 도움이 되는 예를 도시한다. 도 8은 교차점에 배치되는 예시적인 가상 오브젝트 - 플래그(805) - 를 도시한다.
통상적인 구현예에서, HMD 디바이스(104)에 대한 시야(110)는 상대적으로 제한될 수 있다. 따라서, 가상 현실 환경(700)에 도입되고 있는 가상 오브젝트가, 유저의 시야 내에 맞지 않거나 시야의 에지에서 클리핑될 가능성이 존재한다. 이것은, 유저가, 예를 들면, 유저에 대해 불편함을 야기할 수도 있고/있거나 유저 경험의 질을 감소시킬 수도 있는 상대적으로 큰 가상 오브젝트와 상호작용할 때 발생할 수도 있다. 다른 상황에서, 주어진 가상 오브젝트는 교차점으로부터, 시야의 에지에 대해 클리핑을 야기하는 방식으로 연장될 수도 있고/있거나 유저 경험은, 가상 오브젝트가 시야 내에서 더욱 중심에 배치될 때 더 효과적일 수도 있다.
따라서, 몇몇 구현예에서, HMD 디바이스(104)는, 뷰 포지션으로부터의 주시선을 원래의 투영으로부터 회전시키도록 구성될 수도 있다. 이러한 회전은 주어진 사용 사례에 어울리도록 임의의 방향(예를 들면, 상, 하, 좌, 우, 또는 이들의 조합)에서 일반적으로 수행될 수 있고 회전의 각도는 변할 수 있다. 도 9에서 예시적으로 도시되는 바와 같이, 회전은 하방으로 수행될 수도 있다(도 9에서, 원래의 주시선은 도면 부호 905에 의해 나타내어지며 회전된 주시선은 도면 부호 910으로 나타내어진다). 도 10에서 예시적으로 도시되는 바와 같이, 회전은 상방으로 수행될 수도 있다(도 10에서, 원래의 주시선은 도면 부호 1005에 의해 나타내어지며 회전된 주시선은 도면 부호 1010에 의해 나타내어진다).
도 11은, 상대적으로 대형인 그리고 원래의 주시선(905)(도 9)과 가상 현실 환경(700)의 교점에 배치될 때 시야(110)의 상부에 대해 클리핑되는 예시적인 가상 오브젝트(1105)를 도시한다. 그에 비해, 도 12는, 가상 현실 환경(700)과의 하방 회전된 주시선(910)의 교점에 배치된 때의 가상 오브젝트(1105)를 도시한다. 통상적인 구현예에서, 투영된 주시선은 시야(110)의 하부 부분을 통해 충분히 투사되도록 하방으로 회전된다. 도시되는 바와 같이, 시야에는 훨씬 더 많은 여유가 존재하며 가상 오브젝트(1105)는 시야(110)의 상부 에지에 대해 더 이상 클리핑되지 않는다.
도 13은, 가상 현실 환경(700)에서 원래의 주시선(1005)(도 10)과 구름의 교차점으로부터 아래로 걸려 있는 배너로서 배치되는 예시적인 가상 오브젝트(1305)를 도시한다. 도시되는 바와 같이, 오브젝트(1305)는 시야(110)의 하부 에지에서 클리핑되며 (지오메트리 형상(geometric shape)에 의해 표현되는 바와 같은) 배너 상의 컨텐츠의 일부는 시야 밖에 있다. 컨텐츠는 또한, 시야의 하부에서 볼 때 그 만큼 효과적으로 제시되지 않으며 몇몇 경우에 유저에게 불편함을 야기할 수도 있다. 그에 비해, 도 14는, 가상 현실 환경(700)과의 상방 회전된 주시선(1010)의 교점에 배치된 때의 가상 오브젝트(1305)를 도시한다. 도시되는 바와 같이, 가상 오브젝트는 시야(110)의 하부 에지에 대해 더 이상 클리핑되지 않고, 배너 컨텐츠는 시야의 더욱 중심에 위치하는데, 배너 컨텐츠가 시야의 더욱 중심에 위치하는 것은 유저 경험의 효율성을 증가시킬 수도 있고 몇몇 상황에서 유저 편의성을 증가시킬 수도 있다.
HMD 디바이스(104)는, 도 15에서 도시되는 바와 같이, 물리적 환경(200) 내에서의 유저의 포지션을 감지하기 위해 통합된 센서 패키지(1505)를 사용하는 것에 의해, 표면 재구성 데이터(1500)를 획득하도록 구성된다. 센서 패키지는, 하기에서 더 상세히 설명되는 바와 같이, 깊이 센서 또는 깊이 감지 카메라 시스템을 포함할 수 있다. 대안적인 구현예에서, 깊이 데이터는 적절한 입체 이미지 분석 기술을 사용하여 유도될 수 있다.
도 16에서 도시되는 바와 같이, 센서 패키지(1505)는 표면 재구성(1610)을 포함하는 다양한 기능성을 지원할 수 있다. 표면 재구성은, 예를 들면, 가상 세계의 뷰 포지션이 결정될 수 있도록, 머리 포즈를 비롯한 물리적 실세계 환경(200) 내에서 유저의 머리의 3D(삼차원) 포지션 및 방위(1615)를 결정하는 머리 추적을 위해 활용될 수도 있다. 센서 패키지는 또한, 머리 포지션 및 방위 데이터와 함께 사용될 수도 있는 유저의 시선 방향(1625)을 확인하기 위해, 시선 추적(1620)을 지원할 수 있다. HMD 디바이스(104)는 또한, 시스템 메시지, 프롬프트, 및 등등을 디스플레이할 수 있을 뿐만 아니라 유저가 조작할 수도 있는 제어부를 노출시킬 수 있는 유저 인터페이스(user interface; UI)(1630)를 노출시키도록 구성될 수도 있다. 제어부는 몇몇 경우에 가상적일 수 있거나 또는 실제일 수 있다. UI(1630)는 또한, 감지된 제스쳐 및, 예를 들면, 음성 커맨드 또는 자연 언어를 사용하는 음성에 의해 동작하도록 구성될 수도 있다.
도 17은, 실세계 환경(200)에 대한 표면 재구성 데이터를 획득하기 위한 예시적인 표면 재구성 데이터 파이프라인(1700)을 도시한다. 개시된 기술은 예시적인 것이다는 것 및 특정한 구현예의 요건에 따라 다른 기술 및 방법론이 활용될 수도 있다는 것이 강조된다. 원시(raw) 깊이 센서 데이터(1702)는 센서의 3D(삼차원) 포즈 추정에 입력된다(블록 1704). 센서 포즈 추적은, 예를 들면, 예상 표면과 현재 센서 측정치 사이의 ICP(iterative closest point; 반복 최근접 지점) 정렬을 사용하여 달성될 수 있다. 센서의 각각의 깊이 측정치는, 예를 들면, 부호가 있는 거리장(signed distance field; SDF)으로서 인코딩되는 표면을 사용하여 볼륨 표현(volumetric representation)으로 통합될 수 있다(블록 1706). 루프를 사용하여, SDF는, 깊이 맵이 정렬되는 조밀한 표면 예측을 제공하기 위해 추정된 프레임 안으로 광선투사된다(raycast)(블록 1708). 따라서, 유저(102)가 가상 세계를 둘러 보는 경우, 유저의 머리 포지션 및 방위를 결정하기 위해, 실세계 환경(200)과 관련되는 표면 재구성 데이터가 수집 및 분석될 수 있다.
도 18, 도 19, 및 도 20은 예시적인 방법의 플로우차트이다. 명시적으로 언급되지 않는 한, 플로우차트에서 도시되는 그리고 첨부의 본문에서 설명되는 방법 또는 단계는 특정한 순서 또는 시퀀스로 한정되지 않는다. 또한, 방법 또는 그 단계의 일부는 동시에 발생할 수 있거나 또는 수행될 수 있고, 주어진 구현예에서 이러한 구현예의 요건에 따라 모든 방법 또는 단계가 수행되어야 하는 것은 아니며 몇몇 방법 또는 단계는 옵션 사항으로서 활용될 수도 있다.
도 18에서 도시되는 방법(1800)은, 가상 현실 환경의 렌더링을 지원하는 HMD 디바이스에 의해 수행될 수도 있다. 단계 1805에서, HMD 디바이스의 유저와 인접한 실세계 물리적 환경을 기술하는 센서 데이터가 획득된다. 센서 데이터는, 예를 들면, HMD 디바이스에 통합되는 깊이 센서를 사용하는 깊이 데이터를 포함할 수 있거나 또는 외부 센서 또는 소스로부터 획득될 수 있다. 깊이 데이터를 생성하기 위해 입체 이미징으로부터의 깊이 분석(depth-from-stereo imaging analysis)이 또한 사용될 수도 있다. 단계 1810에서, 센서 데이터는, 예를 들면, 표면 재구성을 사용하여 물리적 환경의 지오메트리(geometry)를 재구성하기 위해 사용된다.
단계 1815에서, 물리적 환경의 재구성된 지오메트리는 유저의 머리의 추적을 수행하여 가상 현실 환경의 현재의 시야 및 뷰 포지션을 결정하기 위해 사용된다. 단계 1820에서, 주시선은 유저의 시선의 방향을 따라 뷰 포지션으로부터 바깥쪽으로 투영된다. 시선 검출은 또한, 예를 들면, 센서 패키지(1505)(도 15)에 통합되는 내향 센서를 사용하여 구현될 수도 있다.
단계 1825에서, 투영된 주시선과 가상 현실 환경 사이에서 교점이 식별된다. 단계 1830에서, HMD 디바이스는 유저 인터페이스를 노출시키고 유저 입력이 수신된다. 유저 인터페이스는 주어진 구현예의 요구사항에 따라 구성될 수 있고, 유저에 의해 조작될 수도 있는 물리적 또는 가상 제어부를 포함할 수도 있고 몇몇 경우에 음성 및/또는 제스쳐를 지원할 수도 있다. 단계 1835에서, 투영된 주시선은, 예를 들면, 가상 오브젝트가 너무 커서 가상 오브젝트가 시야 내에 맞을 수 없는 경우에, 시야의 상부 에지를 따른 몇몇 가상 오브젝트(예를 들면, 대형 가상 오브젝트)의 클리핑을 방지하기 위해, 몇몇 경우에 하방으로 회전될 수도 있다. 몇몇 경우에서, 회전된 투영 주시선은 시야의 하부 부분을 통해 투사된다. 단계 1840에서, 유저 입력에 응답하여, 가상 오브젝트는 교차점에 배치될 수 있다.
도 19에서 도시되는 방법(1900)은, 하나 이상의 프로세서, 가변 시야를 사용하여 가상 현실 환경을 렌더링하기 위한 디스플레이, 센서 패키지, 및 방법을 구현하기 위해 활용될 수 있는 소프트웨어 코드와 같은 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스를 구비하는 HMD 디바이스에 의해 수행될 수도 있다. 단계 1905에서, 표면 재구성 데이터는, 깊이 센서 또는 카메라 시스템을 포함할 수도 있으며 HMD 디바이스에 통합되는 센서 패키지를 사용하여 생성된다. 단계 1910에서, 표면 재구성 데이터는, 가상 현실 환경의 유저의 뷰 포지션을 동적으로 추적하기 위해 사용된다. 다수의 중첩하는 표면이 통합되는 도 17의 파이프라인에서 도시되는 것을 비롯한 다양하고 적절한 표면 재구성 기술이 활용될 수도 있다.
단계 1915에서, 센서 패키지는, 예를 들면, 내향 센서를 사용하여, 유저의 시선 방향을 동적으로 추적하기 위해 사용될 수도 있다. 단계 1920에서, 유저의 시선 방향을 따라 뷰 포지션으로부터 투영되는 주시선과 시야 내의 가상 현실 환경에서의 한 지점 사이의 교점이 위치 결정된다. 단계 1925에서, HMD 디바이스는 위치 결정된 교점에 커서를 렌더링하도록 동작된다. 유저가 이동하고 시야 및 시선 방향이 변함에 따라, 가상 현실 환경에서의 커서 포지션이 업데이트되도록, 렌더링은 통상적으로 동적으로 수행된다. 배치된 가상 오브젝트가 시야에서 클리핑될 몇몇 경우에, 투영된 주시선은, 단계 1930에서, 하방으로 회전될 수 있고, 그 결과 오브젝트는, 오브젝트가 회전된 주시선과 가상 현실 환경의 교차점에 배치될 때, 현재 시야의 상부 에지에 의해 클리핑되지 않는다. 단계 1935에서, HMD 디바이스는 위치 결정된 교점에 가상 오브젝트를 배치하도록 동작된다. 통상적인 구현예에서, 배치는, HMD 디바이스에 의해 노출되는 UI에 대한 유저 입력에 응답하여 수행된다.
도 20의 방법(2000)은, 실세계 환경에서 동작하는 그리고 가상 현실 환경을 렌더링하는 디스플레이를 구비하는 HMD 디바이스 상에 저장되는 명령어에 의해 수행될 수도 있다. 단계 2005에서, 실세계 환경의 표면 재구성 모델은 HMD 디바이스 온보드의 센서 패키지로부터의 데이터를 사용하여 동적으로 생성된다. 모델은, 유저가 실세계 환경 내에서 이동함에 따라, 예를 들면, 프레임 단위 기반으로 또는 다른 적절한 기반으로 업데이트될 수 있다. 단계 2010에서, 센서 패키지로부터의 데이터는, 유저의 시선의 방향을 따라 유저의 뷰 포지션으로부터 투영되는 주시선을 생성하기 위해 활용된다.
현재의 표면 재구성 모델은, 단계 2015에서, 가상 현실 환경의 유저의 현재 시야를 결정하기 위해 활용된다. 단계 2020에서, 투영된 주시선과 가상 현실 환경 사이의 교차점에 커서가 렌더링된다. 단계 2025에서, 예를 들면, HMD 디바이스에 의해 노출되는 UI에서 유저 입력이 수신된다. 단계 2030에서, 투영된 주시선은, 배치된 가상 오브젝트가 시야 밖으로 연장되면, 하방으로 회전될 수 있다. 몇몇 구현예에서, 회전의 정도는, 오브젝트 위의 시야 내의 공간이 방해받지 않는 것을 허용하는 방식으로 가상 오브젝트가 배치되는 것을 가능하게 하기에 충분하다. 단계 2035에서, 수신된 유저 입력에 응답하여 교차점에 가상 오브젝트가 배치된다.
이제, 다양하고 예시적인 구현 상세를 주목하면, 본 구성에 따른 가상 현실 또는 혼합 현실 디스플레이 디바이스는, HMD 디바이스(104)와 같은 니어 아이 디바이스(near-eye device) 및/또는 다른 휴대형/모바일 디바이스를 포함하는 그러나 이들로 제한되지는 않는 임의의 적절한 형태를 취할 수도 있다. 도 21은 씨쓰루의 혼합 현실 디스플레이 시스템(2100)의 하나의 특정한 설명에 도움이 되는 예를 도시하고, 도 22는 시스템(2100)의 기능적 블록도를 도시한다. 그러나, 몇몇 구현예에서 씨쓰루 디스플레이가 사용될 수도 있지만, 다른 구현예에서는, 예를 들면, 카메라 기반의 패스쓰루(pass-through) 또는 외향 센서를 사용하는 불투명한(즉, 씨쓰루가 아닌) 디스플레이가 사용될 수도 있다는 것이 강조된다.
디스플레이 시스템(2100)은 씨쓰루 디스플레이 서브시스템(2104)의 일부를 형성하는 하나 이상의 렌즈(2102)를 포함하고, 그 결과 이미지는 렌즈(2102)를 사용하여(예를 들면, 렌즈(2102)로의 투영을 사용하여, 렌즈(2102)에 통합되는 하나 이상의 도파관 시스템을 사용하여, 그리고/또는 임의의 다른 적절한 방식으로) 디스플레이될 수도 있다. 디스플레이 시스템(2100)은, 유저가 보고 있는 백그라운드 장면 및/또는 물리적 환경의 이미지를 획득하도록 구성되는 하나 이상의 외향 이미지 센서(2106)를 더 포함하고, 사운드, 예컨대 유저로부터의 음성 커맨드를 검출하도록 구성되는 하나 이상의 마이크(2108)를 포함할 수도 있다. 외향 이미지 센서(2106)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수도 있다. 대안적인 구성에서, 상기에서 언급되는 바와 같이, 씨쓰루 디스플레이 서브시스템을 통합하는 대신, 가상 현실 또는 혼합 현실 디스플레이 시스템이 외향 이미지 센서에 대한 뷰파인더 모드를 통해 혼합 현실 이미지를 디스플레이할 수도 있다.
디스플레이 시스템(2100)은, 상기에서 설명되는 바와 같이, 유저의 각각의 눈의 시선의 방향 또는 초점의 위치 또는 방향을 검출하도록 구성되는 시선 검출 서브시스템(2110)을 더 포함할 수도 있다. 시선 검출 서브시스템(2110)은 유저의 눈의 각각의 시선 방향을 임의의 적절한 방식으로 결정하도록 구성될 수도 있다. 예를 들면, 도시되는 설명에 도움이 되는 예에서, 시선 검출 서브시스템(2110)은, 광의 광채(glint)가 유저의 각각의 안구로부터 반사되게 하도록 구성되는 하나 이상의 광채 소스(2112), 예컨대 적외선 광원, 및 유저의 각각의 안구의 이미지를 캡쳐하도록 구성되는 하나 이상의 이미지 센서(2114), 예컨대 내향 센서를 포함한다. 이미지 센서(들)(2114)를 사용하여 수집되는 이미지 데이터로부터 결정되는 바와 같은, 유저의 안구 및/또는 유저의 동공의 위치로부터의 광채의 변화는 시선의 방향을 결정하기 위해 사용될 수도 있다.
또한, 유저의 눈으로부터 투영되는 시선 라인이 외부 디스플레이와 교차하는 위치는, 유저가 응시하고 있는 오브젝트(예를 들면, 디스플레이된 가상 오브젝트 및/또는 실제 백그라운드 오브젝트)를 결정하기 위해 사용될 수도 있다. 시선 검출 서브시스템(2110)은 임의의 적절한 수 및 배치의 광원 및 이미지 센서를 구비할 수도 있다. 몇몇 구현예에서, 시선 검출 서브시스템(2110)은 생략될 수도 있다.
디스플레이 시스템(2100)은 또한 추가적인 센서를 포함할 수도 있다. 예를 들면, 디스플레이 시스템(2100)은, 디스플레이 시스템(2100)의 위치가 결정되는 것을 허용하는 전지구 위치 결정 시스템(global positioning system; GPS) 서브시스템(2116)을 포함할 수도 있다. 이것은, 유저의 인접한 물리적 환경에 위치할 수도 있는 실세계 오브젝트, 예컨대 빌딩 등등을 식별하는 것을 도울 수도 있다.
디스플레이 시스템(2100)은, 유저가 증강 현실 HMD 디바이스의 일부로서 시스템을 착용하고 있을 때 유저의 머리의 움직임 및 포지션/방위/포즈를 검출하기 위한 하나 이상의 모션 센서(2118)(예를 들면, 관성, 다축 자이로스코프 또는 가속도 센서)를 더 포함할 수도 있다. 시선 검출을 위해서 뿐만 아니라 외향 이미지 센서(들)(2106)로부터의 이미지에서의 블러(blur)에 대한 보정을 돕는 이미지 안정화를 위해, 잠재적으로 눈 추적 광채 데이터 및 외향 이미지 데이터와 함께, 모션 데이터가 사용될 수도 있다. 모션 데이터의 사용은, 외향 이미지 센서(들)(2106)로부터의 이미지 데이터가 분석될 수 없더라도, 시선 위치의 변화가 추적되는 것을 허용할 수도 있다.
또한, 모션 센서(2118)뿐만 아니라 마이크(들)(2108) 및 시선 검출 서브시스템(2110)은 또한 유저 입력 디바이스로서 활용될 수도 있고, 그 결과 유저는 눈, 목 및/또는 머리의 제스쳐를 통해서 뿐만 아니라, 몇몇 경우에서는 구두의 커맨드(verbal command)를 통해 디스플레이 시스템(2100)과 상호작용할 수도 있다. 증강 현실 HMD 디바이스의 특정한 구현예의 요구사항을 충족하기 위해 임의의 다른 적절한 센서 및/또는 센서의 조합이 활용될 수도 있기 때문에, 도 21 및 도 22에서 예시되며 첨부의 본문에서 설명되는 센서는 예시를 위해 포함되며 어떤 방식으로든 제한하도록 의도되지 않는다는 것이 이해될 수도 있다. 예를 들면, 몇몇 구현예에서 (예를 들면, 심박수 및 호흡수, 혈압, 뇌 활동, 체온, 등등을 검출하기 위한) 생체 센서(biometric sensor) 또는 (예를 들면, 온도, 습도, 고도, UV(ultraviolet; 자외) 광 레벨, 등등을 검출하기 위한) 환경 센서가 활용될 수도 있다.
디스플레이 시스템(2100)은, 통신 서브시스템(2126)을 통해 센서, 시선 검출 서브시스템(2110), 디스플레이 서브시스템(2104), 및/또는 다른 컴포넌트와 통신하는 로직 서브시스템(2122) 및 스토리지 서브시스템(2124)을 구비하는 컨트롤러(2120)를 더 포함할 수 있다. 통신 서브시스템(2126)은 또한, 원격으로 위치한 리소스, 예컨대 프로세싱, 스토리지, 전력, 데이터, 및 서비스와 연계하여 디스플레이 시스템이 동작되는 것을 용이하게 할 수 있다. 즉, 몇몇 구현예에서, HMD 디바이스는, 상이한 컴포넌트 및 서브시스템 사이에서 리소스 및 성능을 분배할 수 있는 시스템의 일부로서 동작될 수 있다.
스토리지 서브시스템(2124)은, 예를 들면, 다른 태스크 중에서도, 센서로부터 입력을 수신하여 해석하기 위한, 유저의 위치 및 움직임을 식별하기 위한, 표면 재구성 및 다른 기술을 사용하여 실제 오브젝트를 식별하기 위한, 그리고 유저가 오브젝트를 보는 것을 가능하게 하도록 오브젝트까지의 거리에 기초하여 디스플레이를 디밍/페이딩하기 위한, 로직 서브시스템(2122)에 의해 실행가능한 저장된 명령어를 포함할 수도 있다.
디스플레이 시스템(2100)은, 오디오가 증강 현실 경험의 일부로서 활용될 수 있도록, 하나 이상의 오디오 트랜스듀서(2128)(예를 들면, 스피커, 이어폰, 등등)와 함께 구성된다. 전력 관리 서브시스템(2130)은 하나 이상의 배터리(2132) 및/또는 보호 회로 모듈(protection circuit module; PCM) 및 관련된 충전기 인터페이스(2134) 및/또는 디스플레이 시스템(2100)의 컴포넌트로 전력을 공급하기 위한 원격 전력 인터페이스를 포함할 수도 있다.
묘사된 디스플레이 디바이스(104 및 2100)는 예시 용도로 설명되며, 따라서 제한하도록 의도되지는 않는다는 것이 이해될 수도 있다. 디스플레이 디바이스는, 본 구성의 범위를 벗어나지 않으면서, 도시된 것 이외의 추가적인 및/또는 대안적인 센서, 카메라, 마이크, 입력 디바이스, 출력 디바이스 등등을 포함할 수도 있다는 것이 또한 이해될 것이다. 추가적으로, 디스플레이 디바이스 및 그 다양한 센서와 서브컴포넌트의 물리적 구성은, 본 구성의 범위를 벗어나지 않으면서 여러 상이한 형태를 취할 수도 있다.
도 23 내지 도 27은, HMD 디바이스의 컴포넌트로서 사용될 수도 있는 가상 또는 혼합 현실 디스플레이 시스템(2300)에 대한 예시적인 대안적 구현예를 도시한다. 이 예에서, 시스템(2300)은, 씨쓰루 디스플레이 서브시스템을 위해 활용되는 내부 광학장치(optics) 어셈블리를 보호하도록 구성되는 씨쓰루 밀봉 바이저(2302)를 사용한다. 바이저(2302)는, 도 21 및 도 22와 연계하여 예시적으로 설명되는 바와 같이, 통상적으로, 헤드 마운팅/유지 시스템 및 센서, 전력 관리, 컨트롤러, 등등을 포함하는 다른 서브시스템과 같은 HMD 디바이스의 다른 컴포넌트(도시되지 않음)와 인터페이싱한다. 걸쇠(snap), 보스, 나사, 및 다른 패스너, 등등을 포함하는 적절한 인터페이스 엘리먼트(도시되지 않음)가 또한 바이저(2302)에 통합될 수도 있다.
바이저는, 광학적 디스플레이 및 주변 실세계 환경에 대한 방해가 없는 시각을 용이하게 하기 위해 투명 재료를 사용하여 몰딩될 수 있는 씨쓰루 프론트 및 리어 실드(2304 및 2306)를 각각 포함한다. 프론트 및 리어 실드에 틴팅, 미러링, 반사방지, 안티포그, 및 다른 코팅과 같은 처리가 적용될 수도 있고, 다양한 컬러 및 마감재가 또한 활용될 수도 있다. 프론트 및 리어 실드는, 실드 커버(2410)가 바이저(2302)로부터 분해된 것으로 도시되는 도 24의 부분 분해도에서 묘사되는 바와 같이 섀시(2405)에 고정된다.
밀봉 바이저(2302)는, 동작 중에 HMD 디바이스가 착용되어 사용될 때 그리고 클리닝 및 등등을 위한 일반적인 핸들링 동안, 광학장치 디스플레이 서브어셈블리(2502)(도 25의 분해도에서 도시됨)를 비롯한 민감한 내부 컴포넌트를 물리적으로 보호할 수 있다. HMD 디바이스가 낙하되거나 또는 부딪치거나, 충격을 받거나, 등등의 경우, 바이저(2302)는 또한, 광학장치 디스플레이 서브어셈블리(2502)를 환경적 요소 및 손상으로부터 보호할 수 있다. 광학장치 디스플레이 서브어셈블리(2502)는, 낙하 또는 충돌시 휘어질 때 실드가 서브어셈블리와 접촉하지 않도록 하는 방식으로 밀봉 바이저 내에 마운팅된다.
도 25 및 도 27에서 도시되는 바와 같이, 리어 실드(2306)는 유저의 코와 인터페이싱하도록 인체공학적으로 정확한 형태로 구성되고 코 패드(nose pad; 2704)(도 27) 및 다른 편안한 피쳐가 포함될 수 있다(예를 들면, 별개의 컴포넌트로서 매몰 성형(molded-in)될 수 있고/있거나 애드온(added-on)될 수 있다). 밀봉 바이저(2302)는 또한, 몇몇 경우에, 몰딩된 실드 내에 어떤 레벨의 광학적 디옵터 곡률(optical diopter curvature)(즉, 눈 처방)을 통합할 수 있다.
도 28은, 상기에서 설명되는 구성, 배치, 방법, 또는 프로세스 중 하나 이상을 구현할 때 사용될 수 있는 컴퓨팅 시스템(2800)의 비제한적인 실시형태를 개략적으로 도시한다. HMD 디바이스(104)는 컴퓨팅 시스템(2800)의 하나의 비제한적인 예일 수도 있다. 컴퓨팅 시스템(2800)은 단순화된 형태로 도시된다. 본 구성의 범위를 벗어나지 않고도, 사실상 임의의 컴퓨터 아키텍쳐가 사용될 수도 있다는 것이 이해될 수도 있다. 상이한 실시형태에서, 컴퓨팅 시스템(2800)은, 디스플레이 디바이스, 웨어러블 컴퓨팅 디바이스, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게이밍 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스(예를 들면, 스마트폰) 등등의 형태를 취할 수도 있다.
컴퓨팅 디바이스(2800)는 로직 서브시스템(2802) 및 스토리지 서브시스템(2804)을 포함한다. 컴퓨팅 시스템(2800)은, 옵션적으로, 디스플레이 서브시스템(2806), 입력 서브시스템(2808), 통신 서브시스템(2810), 및/또는 도 28에 도시되지 않은 다른 컴포넌트를 포함할 수도 있다.
로직 서브시스템(2802)은 명령어를 실행하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 예를 들면, 로직 서브시스템(2802)은, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 다른 논리적 구성물(other logical construct)의 일부인 명령어를 실행하도록 구성될 수도 있다. 이러한 명령어는, 태스크를 수행하도록, 데이터 타입을 구현하도록, 하나 이상의 컴포넌트의 상태를 변환하도록, 또는 다르게는 바람직한 결과에 도달하도록 구현될 수도 있다.
로직 서브시스템(2802)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수도 있다. 추가적으로 또는 대안적으로, 로직 서브시스템(2802)은, 하드웨어 또는 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수도 있다. 로직 서브시스템(2802)의 프로세서는 싱글 코어 또는 멀티 코어일 수도 있고, 그 상에서 실행되는 프로그램은 순차 프로세싱, 병렬 프로세싱 또는 분산형 프로세싱을 위해 구성될 수도 있다. 로직 서브시스템(2802)은, 옵션적으로, 원격으로 위치할 수 있고/있거나 통합 프로세싱(coordinated processing)을 위해 구성될 수 있는 두 개 이상의 디바이스 사이에서 분산되는 개개의 컴포넌트를 포함할 수도 있다. 로직 서브시스템(2802)의 양태는, 클라우드 컴퓨팅 구성에서 구성되는 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스에 의해 가상화되어 실행될 수도 있다.
스토리지 서브시스템(2804)은 본원에서 설명되는 방법 및 프로세스를 구현하기 위해 로직 서브시스템(2802)에 의해 실행가능한 데이터 및/또는 명령어를 유지하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법 및 프로세스가 구현되는 경우, 스토리지 서브시스템(2804)의 상태는, 예를 들면, 상이한 데이터를 유지하도록 변환될 수도 있다.
스토리지 서브시스템(2804)은 착탈식 매체 및/또는 내장형 디바이스를 포함할 수도 있다. 스토리지 서브시스템(2804)은, 다른 것들 중에서도, 광학적 메모리 디바이스(예를 들면, CD(compact disc; 컴팩트 디스크), DVD(digital versatile disc; 디지털 다기능 디스크), HD-DVD(high definition DVD; 고선명 DVD), 블루레이 디스크, 등등), 반도체 메모리 디바이스(예를 들면, RAM(random access memory; 랜덤 액세스 메모리), ROM(read only memory; 리드 온리 메모리), EPROM(erasable programmable ROM; 소거가능 프로그래머블 ROM), EEPROM(electrically erasable ROM; 전기적으로 소거가능한 ROM), 등등) 및/또는 자기 메모리 디바이스(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM(magneto-resistive RAM; 자기 저항 RAM), 등등)을 포함할 수도 있다. 스토리지 서브시스템(2804)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소지정가능(location-addressable), 파일 주소지정가능, 및/또는 컨텐츠 주소지정가능 디바이스를 포함할 수도 있다.
스토리지 서브시스템(2804)은 하나 이상의 물리적 디바이스를 포함하고 전파 신호 그 자체는 배제한다는 것이 이해될 수도 있다. 그러나, 몇몇 실시형태에서, 본원에서 설명되는 명령어의 양태는, 스토리지 디바이스 상에 저장되는 것과는 대조적으로, 통신 매체를 사용하여 순수 신호(예를 들면, 전자기 신호, 광학 신호 등등)에 의해 전파될 수도 있다. 또한, 본 구성에 관련이 있는 데이터 및/또는 다른 형태의 정보는 순수 신호에 의해 전파될 수도 있다.
몇몇 실시형태에서, 로직 서브시스템(2802)의 그리고 스토리지 서브시스템(2804)의 양태는 하나 이상의 하드웨어 로직 컴포넌트로 함께 통합될 수도 있는데, 본원에서 설명되는 기능성은 그 하나 이상의 하드웨어 로직 컴포넌트를 통해 이행될 수도 있다. 이러한 하드웨어 로직 컴포넌트는, 예를 들면, 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA), 프로그램 및 애플리케이션 고유의 집적 회로(program-and application-specific integrated circuit; PASIC/ASIC), 프로그램 및 애플리케이션 고유의 표준 제품(program-and application-specific standard product; PSSP/ASSP), 시스템 온 칩(system-on-a-chip; SOC) 시스템, 및 복합 프로그래머블 로직 디바이스(complex programmable logic device; CPLD)를 포함할 수도 있다.
디스플레이 서브시스템(2806)은, 포함되는 경우, 스토리지 서브시스템(2804)에 의해 유지되는 데이터의 시각적 표현을 제공하기 위해 사용될 수도 있다. 이 시각적 표현은 그래픽 유저 인터페이스(graphical user interface; GUI)의 형태를 취할 수도 있다. 본원에서 설명되는 방법 및 프로세스가 스토리지 서브시스템에 의해 유지되는 데이터를 변경하고, 따라서 스토리지 서브시스템의 상태를 변환할 때, 디스플레이 서브시스템(2806)의 상태는 기저의 데이터(underlying data)의 변경을 시각적으로 나타내도록 마찬가지로 변환될 수도 있다. 디스플레이 서브시스템(2806)은 사실상 임의의 타입의 기술을 활용하는 하나 이상의 디스플레이 디바이스를 포함할 수도 있다. 이러한 디스플레이 디바이스는 공유된 엔클로저에서 로직 서브시스템(2802) 및/또는 스토리지 서브시스템(2804)과 결합될 수도 있거나, 또는 이러한 디스플레이 디바이스는 다른 경우에서 주변장치 디스플레이 디바이스일 수도 있다.
입력 서브시스템(2808)은, 포함되는 경우, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 유저 입력 디바이스를 포함할 수도 있거나 또는 그 하나 이상의 유저 입력 디바이스와 인터페이싱할 수도 있다. 몇몇 실시형태에서, 입력 서브시스템은 선택된 내츄럴 유저 인터페이스(natural user input; NUI) 컴포넌트를 포함할 수도 있거나 또는 그 NUI 컴포넌트와 인터페이싱할 수도 있다. 이러한 컴포넌트는 통합되거나 또는 주변장치일 수도 있고, 입력 액션의 변환 및/또는 프로세싱은 온보드로 또는 오프보드(off-board)로 핸들링될 수도 있다. 예시적인 NUI 컴포넌트는, 스피치 및/또는 보이스 인식을 위한 마이크; 머신 비전(machine vision) 및/또는 제스쳐 인식을 위한 적외선, 컬러, 입체, 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커(head tracker), 아이 트래커(eye tracker), 가속도계, 및/또는 자이로스코프뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 컴포넌트를 포함할 수도 있다.
통신 시스템(2810)은, 포함되는 경우, 컴퓨팅 시스템(2800)을 하나 이상의 다른 컴퓨팅 디바이스와 통신 가능하게 커플링하도록 구성될 수도 있다. 통신 서브시스템(2810)은, 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수도 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 근거리 통신망 또는 광역 통신망을 통한 통신을 위해 구성될 수도 있다. 몇몇 실시형태에서, 통신 서브시스템은 컴퓨팅 시스템(2800)이 인터넷과 같은 네트워크를 사용하여 메시지를 다른 디바이스로 및/또는 다른 디바이스로부터 전송하는 것 및/또는 수신하는 것을 허용할 수도 있다.
이제, 가상 현실 환경 내에서의 본 시선 기반의 오브젝트 배치의 다양하고 예시적인 실시형태가, 모든 실시형태의 완전한 리스트로서가 아닌 예시를 통해 제시된다. 예는, 가상 현실 환경의 렌더링을 지원하는 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법을 포함하는데, 그 방법은, HMD 디바이스의 유저와 인접한 실세계 물리적 환경을 기술하는 센서 데이터를 획득하는 단계; 센서 데이터를 사용하여, 물리적 환경의 지오메트리를 재구성하는 단계; 시야 및 뷰 포지션을 결정하기 위해 재구성된 지오메트리를 사용하여 물리적 환경에서의 유저의 머리 및 시선을 추적하는 단계; 뷰 포지션으로부터 바깥쪽으로 주시선을 투영하는 단계; 투영된 주시선과 가상 현실 환경 사이의 교점을 식별하는 단계; 및 유저 입력에 응답하여 현재 시야 내의 교점에 가상 오브젝트를 배치하는 단계를 포함한다.
다른 예에서, 센서 데이터가 깊이 데이터를 포함하고, 방법은 깊이 센서를 사용하여 센서 데이터를 생성하는 단계 및 물리적 환경 지오메트리를 재구성하기 위해 표면 재구성 기술을 적용하는 단계를 더 포함한다. 다른 예에서, 방법은, 입체 이미징으로부터의 깊이 분석을 사용하여 깊이 데이터를 생성하는 단계를 더 포함한다. 다른 예에서, 방법은, 투영된 주시선과 HMD 디바이스에 가장 가까운 가상 현실 환경 사이의 교점을 식별하는 단계를 더 포함한다. 다른 예에서, 방법은 유저 입력을 수신하기 위한 유저 인터페이스(UI) - UI는 유저 제어부를 제공하거나 또는 제스쳐 인식 또는 음성 인식을 지원함 - 를 노출시키는 것을 단계를 포함한다. 다른 예에서, 방법은, 배치된 가상 오브젝트가 시야의 에지를 따라 클리핑되지 않도록, 투영된 주시선을 회전시키는 단계를 더 포함한다. 다른 예에서, 방법은, 주시선이 시야의 하부 부분을 통해 투영되도록, 회전을 수행하는 것을 더 포함한다. 다른 예에서, 방법은, 배치된 오브젝트가 시야 내에 완전히 맞게 렌더링될 수 없는 경우 회전을 수행하는 단계를 더 포함한다. 다른 예에서, 배치된 가상 오브젝트는 유저 인터페이스 또는 유저 경험을 지원하는 상호작용식 엘리먼트이며, 이 상호작용식 엘리먼트는, 메뉴, 위젯, 또는 통지 중 하나이다. 다른 예에서, 방법은, 시선 방향을 결정하기 위해 HMD 디바이스에 위치하는 하나 이상의 내향 센서를 사용하는 것 및 유저의 시선의 방향을 따라 뷰 포지션으로부터 주시선을 투영하는 단계를 더 포함한다.
다른 예는, 물리적 환경에서 유저에 의해 조작가능한 헤드 마운트형 디스플레이(HMD) 디바이스를 포함하는데, 헤드 마운트형 디스플레이(HMD) 디바이스는, 하나 이상의 프로세서; 유저에게 가상 현실 환경을 렌더링하기 위한 - 렌더링된 가상 현실 환경의 시야는 물리적 환경에서의 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 디스플레이; 센서 패키지; 및 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스를 포함하고, 컴퓨터 판독가능 명령어는, 하나 이상의 프로세서에 의한 실행시, 센서 패키지를 사용하여 물리적 환경의 적어도 일부에 대한 표면 재구성 데이터를 생성하는 단계, 표면 재구성 데이터를 사용하여 가상 현실 환경에 대한 유저의 뷰 포지션을 동적으로 추적하는 단계, 유저의 시선 방향을 따라 뷰 포지션으로부터 투영되는 주시선과 현재 시야 내에서의 가상 현실 환경의 한 지점 사이의 교점을 위치 결정하는 단계, 및 교차점에 커서를 렌더링하도록 HMD 디바이스를 동작시키는 단계를 포함하는 방법을 수행한다.
다른 예에서, 헤드 마운트형 디스플레이(HMD) 디바이스는, 시선 방향을 동적으로 추적하기 위해 센서 패키지를 사용하는 것을 더 포함한다. 다른 예에서, 헤드 마운트형 디스플레이(HMD) 디바이스는 유저 인터페이스 및 UI에 대한 유저 입력에 응답하여 교차점에 가상 오브젝트를 배치시키도록 HMD 디바이스를 동작시키는 것을 더 포함한다. 다른 예에서, 헤드 마운트형 디스플레이(HMD) 디바이스는, 시야 또는 시선 방향이 변함에 따라 커서를 동적으로 재배치하는(repositioning) 것을 더 포함한다. 다른 예에서, 헤드 마운트형 디스플레이(HMD) 디바이스는, 통합되는 다수의 중첩 표면을 생성하는 체적법(volumetric method)을 구현하는 표면 재구성 데이터 파이프라인을 사용하여 물리적 환경을 모델링하는 것을 더 포함한다. 다른 예에서, 헤드 마운트형 디스플레이(HMD) 디바이스는, 디스플레이 상에 렌더링될 때 배치된 가상 오브젝트가 현재 시야의 상부 에지에 의해 클리핑되지 않도록, 투영된 주시선을 하방으로 회전시키는 것을 더 포함한다.
다른 예는, 실세계 환경에 위치하는 헤드 마운트형 디스플레이(HMD) 디바이스의 가변 시야 내에 가상 현실 환경을 렌더링하기 위한 방법을 구현하는 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리를 포함하는데, 그 방법은, a) 실세계 환경의 표면 재구성 모델을 동적으로 생성하기 위해 그리고 b) HMD 디바이스의 유저의 뷰 포지션으로부터 투영되는 주시선을 생성하기 위해, HMD 디바이스에 통합되는 센서 패키지로부터의 데이터를 사용하는 단계; 모델을 사용하여 가상 현실 환경의 시야를 결정하는 단계; 유저로부터 HMD 디바이스에 대한 입력을 수신하는 단계; 및 수신된 유저 입력에 응답하여 주시선과 가상 현실 환경 사이의 교차점에서 시야 내에 가상 오브젝트를 배치하는 단계를 포함한다.
다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 유저의 시선 방향을 추적하는 것, 시선 방향을 따라 뷰 포지션으로부터 주시선을 투영하는 것, 및 주시선과 가상 현실 환경의 교차점에서 시야 내에 커서를 렌더링하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 배치된 가상 오브젝트가 시야 밖으로 연장하는 경우를 결정하는 것 및 결정에 응답하여 주시선을 회전시키는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 배치된 가상 오브젝트에 의해 방해 받지 않는 시야의 일부를 제공하기에 충분한 각도에서 주시선을 회전시키는 것을 더 포함한다.
비록 본 주제가 구조적 피쳐 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제가 상기에서 설명되는 특정 피쳐 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정 피쳐 및 액트는 청구범위를 구현하는 예시적인 형태로서 설명된다.
Claims (20)
- 유저가 착용한 헤드 마운트형 디스플레이(head mounted display; HMD) 디바이스에 의해 수행되는 방법에 있어서, 상기 HMD 디바이스는 가상 현실 환경을 지원하고 하나 이상의 센서를 구비하여 구성되며, 상기 방법은:
유저와 인접한 실세계 물리적 환경을 기술하는 상기 하나 이상의 센서로부터의 데이터를 사용하여 시야(FOV, field of view)에서 상기 가상 현실 환경의 유저의 뷰 포지션(view position)을 추적하는 단계;
상기 뷰 포지션으로부터 바깥쪽으로 상기 가상 현실 환경 내에 주시선(gaze ray)을 투영하는 단계;
상기 투영된 주시선과 상기 뷰 포지션에 가장 가까운 상기 가상 현실 환경 사이에서 교차점을 식별하는 단계;
상기 교차점에서의 가상 오브젝트의 의도된 배치를 표시하는 유저로부터의 입력을 수신하는 단계;
상기 의도된 배치로 말미암아 상기 FOV의 에지가 상기 가상 오브젝트를 클리핑(clip)하는지를 결정하는 단계;
상기 결정에 응답하여, 상기 FOV의 클리핑 에지와 반대편에 있는 상기 FOV의 일부를 통과해 상기 뷰 포지션으로부터 상기 가상 현실 환경 내로 상기 주시선을 캐스트(cast)하는 단계; 및
상기 가상 오브젝트가 상기 FOV의 에지를 따라 클리핑되지 않도록 상기 가상 현실 환경과의 가장 가까운 교차점에서 상기 캐스트된 주시선을 따라 상기 FOV에서 상기 배치된 가상 오브젝트를 렌더링하는 단계
를 포함하는, 방법. - 제1항에 있어서, 상기 클리핑 에지와 반대편에 있는 상기 FOV의 일부를 통과해 캐스트하는 것은 상기 유저의 액션과 무관하게 상기 HMD 디바이스에 의해 자동으로 수행되는, 방법.
- 제1항에 있어서, 상기 배치된 가상 오브젝트는 상기 유저가 상호작용하는 메뉴인, 방법.
- 제1항에 있어서, 상기 배치된 가상 오브젝트는 상기 유저가 상호작용하는 위젯인, 방법.
- 제1항에 있어서, 상기 배치된 가상 오브젝트는 상기 유저가 상호작용하는 통지인, 방법.
- 제1항에 있어서, 상기 하나 이상의 센서로부터의 데이터는 상기 물리적 환경의 지오메트리(geometry)를 구성하는 데 사용되는 깊이 데이터를 포함하는, 방법.
- 제6항에 있어서, 상기 물리적 환경의 구성된 지오메트리는 상기 유저의 뷰 포지션을 결정하는 데 사용되는, 방법.
- 물리적 환경에서 유저에 의해 조작가능한 헤드 마운트형 디스플레이(HMD) 디바이스에 있어서,
하나 이상의 프로세서;
유저의 머리 포즈를 결정하기 위해 상기 물리적 환경을 기술하는 데이터를 수집하도록 구성된 하나 이상의 센서;
결정된 머리 포즈에 기초하여 변할 수 있는 렌더링된 가상 현실 환경의 시야(FOV) 내에서 유저에게 가상 현실 환경을 렌더링하기 위한 디스플레이; 및
컴퓨터 판독가능 명령어를 저장한 하나 이상의 비일시적 메모리 디바이스
를 포함하고,
상기 컴퓨터 판독가능 명령어는, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 HMD 디바이스로 하여금:
상기 하나 이상의 센서로부터의 데이터를 사용하여 상기 가상 현실 환경의 유저의 뷰 포지션을 추적하고;
상기 추적된 뷰 포지션에 기초하여 상기 가상 현실 환경 내로의 상기 유저의 시선(gaze)의 투영을 식별하고;
상기 유저의 투영된 시선과 상기 가상 현실 환경 사이의 교차점을 결정하고;
가상 오브젝트가, 상기 교차점에서 상기 가상 현실 환경 내로 배치될 경우에, 상기 FOV의 주위의 하나 이상의 부분에 의해 클리핑되는지 결정하고;
상기 가상 오브젝트가 클리핑된다는 결정에 응답하여, 상기 클리핑을 최소화하도록 상기 FOV 내에서의 상기 가상 오브젝트의 배치를 조정하고;
상기 조정된 배치를 사용하여 상기 가상 현실 환경의 FOV에서 상기 가상 오브젝트를 렌더링하게 하는 것인, HMD 디바이스. - 제8항에 있어서, 상기 클리핑의 최소화는 상기 FOV의 주위의 하나 이상의 부분에 의해 클리핑되는 상기 가상 오브젝트의 피스(piece)를 변경하는 것을 더 포함하는, HMD 디바이스.
- 제9항에 있어서, 상기 가상 오브젝트의 배치를 조정하는 것은 상기 가상 오브젝트를 클리핑하는 상기 FOV의 주위의 부분을 변경하는 것을 더 포함하는, HMD 디바이스.
- 제10항에 있어서, 상기 조정된 배치는, 새로운 위치에서, 상기 가상 오브젝트가 상기 FOV의 주위의 하나 이상의 부분을 계속해서 클리핑하는지와 무관하게 수행되는, HMD 디바이스.
- 제8항에 있어서, 상기 가상 오브젝트의 배치를 조정하는 것은 상기 유저의 액션과 무관하게 상기 HMD 디바이스에 의해 수행되는, HMD 디바이스.
- 제8항에 있어서, 상기 투영된 시선과 상기 가상 현실 환경 사이의 교차점에 커서가 배치되는, HMD 디바이스.
- 제13항에 있어서, 상기 커서는 상기 가상 현실 환경 내에서 가장 가까운 교차점에 배치되는, HMD 디바이스.
- 실세계 환경에 위치한 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 동적으로 변할 수 있는 시야(FOV) 내에 가상 현실 환경을 렌더링하기 위한 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리에 있어서,
상기 명령어는 상기 HMD 디바이스 내의 하나 이상의 프로세서에 의해 실행될 때에, 상기 HMD 디바이스로 하여금,
상기 HMD 디바이스에 내장된 센서 패키지로부터의 데이터를 사용하여, 상기 HMD 디바이스의 유저의 머리 추적을 수행하고;
상기 머리 추적을 사용하여 상기 가상 현실 환경의 유저의 뷰 포지션을 결정하고;
상기 유저의 뷰 포지션으로부터 상기 가상 현실 환경 내로 투영되는 주시선을 생성하고;
관심점을 표시하기 위해 상기 주시선을 사용하여 상기 가상 현실 환경에서 가상 오브젝트를 위치결정하기 위한 유저 입력을 수신하고;
상기 관심점에 위치결정될 때에 상기 오브젝트가 상기 FOV 내에 꼭 맞지 않는 것에 응답하여, 상기 FOV 내에서 가상 오브젝트 사이즈를 키우기 위해 상기 관심점에 대한 상기 가상 오브젝트의 위치결정을 조정하게 하는, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리. - 제15항에 있어서, 상기 가상 오브젝트의 위치결정을 조정하는 것은 상기 유저의 액션과 무관하게 수행되는, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리.
- 제15항에 있어서, 실행되는 명령어는 또한, 상기 HMD 디바이스로 하여금, 상기 HMD 디바이스에 위치한 하나 이상의 내향 센서(inward facing sensor)를 사용하여 상기 유저의 시선 방향을 결정하게 하고 상기 유저의 뷰 포지션으로부터 투영된 주시선을 생성하게 하는, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리.
- 제15항에 있어서, 상기 수신되는 유저 입력은 상기 유저의 관심점의 시각적 표현을 나타내는 인디케이터의 위치에 상기 가상 오브젝트를 배치하는 것인, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리.
- 제15항에 있어서, 상기 HMD 디바이스는 상기 유저 입력을 수신하기 위한 유저 인터페이스(UI, user interface)를 노출시키고, 상기 UI는 유저 제어부(user controls)를 제공하거나 또는 제스쳐 인식 또는 음성 인식을 지원하는, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리.
- 제15항에 있어서, 상기 가상 오브젝트는 상기 유저가 상호작용하는 메뉴인, 컴퓨터 실행가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독가능 메모리.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462029351P | 2014-07-25 | 2014-07-25 | |
US62/029,351 | 2014-07-25 | ||
US14/697,109 US10416760B2 (en) | 2014-07-25 | 2015-04-27 | Gaze-based object placement within a virtual reality environment |
US14/697,109 | 2015-04-27 | ||
KR1020177004226A KR102389738B1 (ko) | 2014-07-25 | 2015-07-24 | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 |
PCT/US2015/041868 WO2016014878A1 (en) | 2014-07-25 | 2015-07-24 | Gaze-based object placement within a virtual reality environment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177004226A Division KR102389738B1 (ko) | 2014-07-25 | 2015-07-24 | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220051423A KR20220051423A (ko) | 2022-04-26 |
KR102435628B1 true KR102435628B1 (ko) | 2022-08-23 |
Family
ID=53777024
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177004226A KR102389738B1 (ko) | 2014-07-25 | 2015-07-24 | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 |
KR1020227012530A KR102435628B1 (ko) | 2014-07-25 | 2015-07-24 | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177004226A KR102389738B1 (ko) | 2014-07-25 | 2015-07-24 | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 |
Country Status (16)
Country | Link |
---|---|
US (2) | US10416760B2 (ko) |
EP (1) | EP3172643B1 (ko) |
JP (1) | JP2017530438A (ko) |
KR (2) | KR102389738B1 (ko) |
CN (1) | CN106575153B (ko) |
AU (1) | AU2015292491A1 (ko) |
BR (1) | BR112017000572A2 (ko) |
CA (1) | CA2954714A1 (ko) |
CO (1) | CO2017000546A2 (ko) |
ES (1) | ES2957832T3 (ko) |
IL (1) | IL249667A0 (ko) |
MX (1) | MX2017000893A (ko) |
PH (1) | PH12016502424A1 (ko) |
RU (1) | RU2017102195A (ko) |
SG (1) | SG11201700263UA (ko) |
WO (1) | WO2016014878A1 (ko) |
Families Citing this family (179)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10209771B2 (en) | 2016-09-30 | 2019-02-19 | Sony Interactive Entertainment Inc. | Predictive RF beamforming for head mounted display |
US10585472B2 (en) | 2011-08-12 | 2020-03-10 | Sony Interactive Entertainment Inc. | Wireless head mounted display with differential rendering and sound localization |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9734634B1 (en) * | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
EP3220373A4 (en) * | 2014-11-12 | 2018-07-18 | Fujitsu Limited | Wearable device, display control method, and display control program |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
FR3035520A1 (fr) * | 2015-04-27 | 2016-10-28 | Zodiac Aerotechnics | Dispositif de securite pour pilote d'avion, ensemble de protection comprenant le dispositf et systeme de protection |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
CN107852488B (zh) * | 2015-05-22 | 2021-03-30 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
US10607401B2 (en) | 2015-06-03 | 2020-03-31 | Tobii Ab | Multi line trace gaze to object mapping for determining gaze focus targets |
GB2539009A (en) | 2015-06-03 | 2016-12-07 | Tobii Ab | Gaze detection method and apparatus |
JP5961736B1 (ja) * | 2015-08-17 | 2016-08-02 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
EP3369091A4 (en) * | 2015-10-26 | 2019-04-24 | Pillantas Inc. | SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11099631B2 (en) * | 2015-11-13 | 2021-08-24 | Andrew R. Basile, JR. | Virtual reality system with posture control |
US10209785B2 (en) * | 2016-02-02 | 2019-02-19 | Microsoft Technology Licensing, Llc | Volatility based cursor tethering |
US10083539B2 (en) * | 2016-02-08 | 2018-09-25 | Google Llc | Control system for navigation in virtual reality environment |
US10169922B2 (en) * | 2016-02-16 | 2019-01-01 | Microsoft Technology Licensing, Llc | Reality mixer for mixed reality |
KR20180101496A (ko) | 2016-02-18 | 2018-09-12 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
US10422976B2 (en) | 2016-02-26 | 2019-09-24 | Samsung Electronics Co., Ltd. | Aberration corrected optical system for near-eye displays |
US10373381B2 (en) * | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
US10990169B2 (en) | 2016-06-28 | 2021-04-27 | Rec Room Inc. | Systems and methods for assisting virtual gestures based on viewing frustum |
US20180082482A1 (en) * | 2016-09-22 | 2018-03-22 | Apple Inc. | Display system having world and user sensors |
WO2018064627A1 (en) * | 2016-09-30 | 2018-04-05 | Sony Interactive Entertainment Inc. | Wireless head mounted display with differential rendering and sound localization |
US20180096506A1 (en) | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
US20180095635A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
WO2018106220A1 (en) * | 2016-12-06 | 2018-06-14 | Vuelosophy Inc. | Systems and methods for tracking motion and gesture of heads and eyes |
US20180190022A1 (en) * | 2016-12-30 | 2018-07-05 | Nadav Zamir | Dynamic depth-based content creation in virtual reality environments |
US10769679B2 (en) * | 2017-01-25 | 2020-09-08 | Crackle, Inc. | System and method for interactive units within virtual reality environments |
WO2018175335A1 (en) | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for discovering and positioning content into augmented reality space |
US10401957B2 (en) | 2017-04-06 | 2019-09-03 | Htc Corporation | System and method for providing simulated environment |
US10249095B2 (en) | 2017-04-07 | 2019-04-02 | Microsoft Technology Licensing, Llc | Context-based discovery of applications |
CN108694601B (zh) * | 2017-04-07 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 媒体文件的投放方法和装置 |
US10692287B2 (en) | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
US10453273B2 (en) * | 2017-04-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Method and system for providing an object in virtual or semi-virtual space based on a user characteristic |
KR101839726B1 (ko) * | 2017-04-28 | 2018-04-27 | 황철하 | 양방향 커뮤니케이션이 가능한 가상현실 시스템 |
CN116456097A (zh) * | 2017-04-28 | 2023-07-18 | 苹果公司 | 视频流水线 |
US10417827B2 (en) * | 2017-05-04 | 2019-09-17 | Microsoft Technology Licensing, Llc | Syndication of direct and indirect interactions in a computer-mediated reality environment |
US10264380B2 (en) * | 2017-05-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Spatial audio for three-dimensional data sets |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
EP3635512A1 (en) * | 2017-05-16 | 2020-04-15 | Koninklijke Philips N.V. | Virtual cover for user interaction in augmented reality |
CN110869980B (zh) * | 2017-05-18 | 2024-01-09 | 交互数字Vc控股公司 | 将内容分发和呈现为球形视频和3d资产组合 |
CA3061332A1 (en) * | 2017-05-19 | 2018-11-22 | Magic Leap, Inc. | Keyboards for virtual, augmented, and mixed reality display systems |
WO2018217470A1 (en) | 2017-05-23 | 2018-11-29 | Pcms Holdings, Inc. | System and method for prioritizing ar information based on persistence of real-life objects in the user's view |
SE541650C2 (en) * | 2017-05-30 | 2019-11-19 | Crunchfish Ab | Improved activation of a virtual object |
US10304251B2 (en) * | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
EP3616035B1 (en) * | 2017-06-19 | 2024-04-24 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
US10861142B2 (en) | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
US10521096B2 (en) * | 2017-07-24 | 2019-12-31 | Disney Enterprises, Inc. | Virtual reality experience control system |
US10521944B2 (en) | 2017-08-16 | 2019-12-31 | Microsoft Technology Licensing, Llc | Repositioning user perspectives in virtual reality environments |
US11054901B2 (en) | 2017-08-24 | 2021-07-06 | Dream Channel Pty. Ltd. | Virtual reality interaction monitoring |
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
US10386938B2 (en) * | 2017-09-18 | 2019-08-20 | Google Llc | Tracking of location and orientation of a virtual controller in a virtual reality system |
JP6340464B1 (ja) * | 2017-09-27 | 2018-06-06 | 株式会社Cygames | プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置 |
US10796487B2 (en) * | 2017-09-27 | 2020-10-06 | Fisher-Rosemount Systems, Inc. | 3D mapping of a process control environment |
US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
EP4235263A3 (en) * | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
US10565719B2 (en) | 2017-10-13 | 2020-02-18 | Microsoft Technology Licensing, Llc | Floor detection in virtual and augmented reality devices using stereo images |
CN109697002B (zh) * | 2017-10-23 | 2021-07-16 | 腾讯科技(深圳)有限公司 | 一种在虚拟现实中对象编辑的方法、相关设备及系统 |
KR101923322B1 (ko) * | 2017-11-15 | 2018-11-28 | 한국과학기술원 | 이동형 디바이스를 이용한 사용자 시선 유도 시스템 및 그 방법 |
FR3074332B1 (fr) * | 2017-11-28 | 2019-11-15 | Orange | Procede de positionnement d'au moins un objet virtuel dans au moins une zone virtuelle de reception d'objets virtuels, terminal et systeme associes |
US10546426B2 (en) * | 2018-01-05 | 2020-01-28 | Microsoft Technology Licensing, Llc | Real-world portals for virtual reality displays |
EP3508882A1 (en) * | 2018-01-09 | 2019-07-10 | Vivior AG | An apparatus and a method for passive scanning of an object or a scene |
CN108355352B (zh) * | 2018-01-31 | 2021-05-04 | 网易(杭州)网络有限公司 | 虚拟物体控制方法及装置、电子设备、存储介质 |
US20190253700A1 (en) * | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
US10585294B2 (en) * | 2018-02-19 | 2020-03-10 | Microsoft Technology Licensing, Llc | Curved display on content in mixed reality |
WO2019164514A1 (en) * | 2018-02-23 | 2019-08-29 | Google Llc | Transitioning between map view and augmented reality view |
CN108388347B (zh) * | 2018-03-15 | 2021-05-25 | 网易(杭州)网络有限公司 | 虚拟现实中的交互控制方法和装置及存储介质、终端 |
US10948983B2 (en) * | 2018-03-21 | 2021-03-16 | Samsung Electronics Co., Ltd. | System and method for utilizing gaze tracking and focal point tracking |
JP2021096490A (ja) * | 2018-03-28 | 2021-06-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11126257B2 (en) * | 2018-04-17 | 2021-09-21 | Toyota Research Institute, Inc. | System and method for detecting human gaze and gesture in unconstrained environments |
US11454783B2 (en) | 2018-04-25 | 2022-09-27 | Samsung Electronics Co., Ltd. | Tiled triplet lenses providing a wide field of view |
US10504290B2 (en) * | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
US20190339837A1 (en) * | 2018-05-04 | 2019-11-07 | Oculus Vr, Llc | Copy and Paste in a Virtual Reality Environment |
US20190340818A1 (en) * | 2018-05-04 | 2019-11-07 | Facebook Technologies, Llc | Display Reorientation in a Virtual Reality Environment |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10950031B2 (en) | 2018-05-14 | 2021-03-16 | Apple Inc. | Techniques for locating virtual objects relative to real physical objects |
US10491890B1 (en) * | 2018-05-14 | 2019-11-26 | Dell Products L.P. | Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays |
WO2019222113A1 (en) * | 2018-05-15 | 2019-11-21 | Thermo Fisher Scientific Inc. | Collaborative virtual reality environment for training |
WO2019225354A1 (ja) * | 2018-05-22 | 2019-11-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
WO2019237085A1 (en) | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Session-based information exchange |
US20190378334A1 (en) * | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Augmented reality portal-based applications |
US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
CN110737326A (zh) * | 2018-07-20 | 2020-01-31 | 广东虚拟现实科技有限公司 | 虚拟对象的显示方法、装置、终端设备及存储介质 |
US11087545B2 (en) * | 2018-06-19 | 2021-08-10 | Guangdong Virtual Reality Technology Co., Ltd. | Augmented reality method for displaying virtual object and terminal device therefor |
AU2019294617A1 (en) | 2018-06-27 | 2021-02-18 | SentiAR, Inc. | Gaze based interface for augmented reality environment |
US10445942B1 (en) * | 2018-06-29 | 2019-10-15 | Microsoft Technology Licensing, Llc | Ranking of hologram placement locations based on unexposed information |
US10996831B2 (en) | 2018-06-29 | 2021-05-04 | Vulcan Inc. | Augmented reality cursors |
CN113238651A (zh) | 2018-07-02 | 2021-08-10 | 苹果公司 | 用于显示系统的基于聚焦的调试和检查 |
CN109002167B (zh) * | 2018-08-07 | 2021-04-20 | 浙江冰峰科技有限公司 | 眼球追踪模拟方法、装置及头戴显示设备 |
US10616565B2 (en) * | 2018-08-21 | 2020-04-07 | The Boeing Company | System and method for foveated simulation |
CN110858134B (zh) * | 2018-08-22 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
US10930049B2 (en) * | 2018-08-27 | 2021-02-23 | Apple Inc. | Rendering virtual objects with realistic surface properties that match the environment |
US11366514B2 (en) * | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
WO2020124046A2 (en) * | 2018-12-14 | 2020-06-18 | Vulcan Inc. | Virtual and physical reality integration |
US10969937B2 (en) | 2019-01-11 | 2021-04-06 | Microsoft Technology Licensing, Llc | Context-aware system menu behavior for mixed reality |
KR20200091988A (ko) * | 2019-01-23 | 2020-08-03 | 삼성전자주식회사 | 장치를 제어하기 위한 방법 및 그 전자 장치 |
TWI725574B (zh) * | 2019-02-22 | 2021-04-21 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及眼球追蹤游標的顯示方法 |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US10996924B2 (en) * | 2019-03-28 | 2021-05-04 | Lenovo (Singapore) Pte. Ltd. | Drawing attention to a graphical element on a display |
KR102444924B1 (ko) * | 2019-04-04 | 2022-09-19 | 주식회사 빌리버 | 가상 현실 장치 및 그 제어 방법 |
WO2020217326A1 (ja) * | 2019-04-23 | 2020-10-29 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
JP7356827B2 (ja) | 2019-06-26 | 2023-10-05 | 株式会社コロプラ | プログラム、情報処理方法、及び情報処理装置 |
US10726630B1 (en) * | 2019-06-28 | 2020-07-28 | Capital One Services, Llc | Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality |
US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
US11372253B2 (en) | 2019-08-14 | 2022-06-28 | Apple Inc. | Small field of view display mitigation using transitional visuals |
US11262887B2 (en) * | 2019-09-13 | 2022-03-01 | Toyota Research Institute, Inc. | Methods and systems for assigning force vectors to robotic tasks |
US10802600B1 (en) * | 2019-09-20 | 2020-10-13 | Facebook Technologies, Llc | Virtual interactions at a distance |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
US11176745B2 (en) | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
CN113508354A (zh) * | 2019-09-25 | 2021-10-15 | 苹果公司 | 显示环境的表示 |
WO2021061351A1 (en) | 2019-09-26 | 2021-04-01 | Apple Inc. | Wearable electronic device presenting a computer-generated reality environment |
DE112020001415T5 (de) | 2019-09-27 | 2021-12-09 | Apple Inc. | Umgebung für Fernkommunikation |
US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
CN114556431A (zh) * | 2019-10-29 | 2022-05-27 | Oppo广东移动通信有限公司 | 增强现实的3d重建 |
CN114945947A (zh) * | 2019-11-18 | 2022-08-26 | 奇跃公司 | 可通行世界的映射和定位 |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
US11816757B1 (en) * | 2019-12-11 | 2023-11-14 | Meta Platforms Technologies, Llc | Device-side capture of data representative of an artificial reality environment |
CN113065572B (zh) * | 2019-12-31 | 2023-09-08 | 北京凌宇智控科技有限公司 | 多传感器融合的数据处理方法、定位装置及虚拟现实设备 |
US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
US11510750B2 (en) * | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
WO2021234733A1 (en) * | 2020-05-19 | 2021-11-25 | Chandrasekharan Ganadev Prajapathy | A head-mounting device with a compact augmented reality system |
US20210365104A1 (en) * | 2020-05-22 | 2021-11-25 | XRSpace CO., LTD. | Virtual object operating method and virtual object operating system |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
US11995774B2 (en) * | 2020-06-29 | 2024-05-28 | Snap Inc. | Augmented reality experiences using speech and text captions |
JP7435330B2 (ja) | 2020-07-14 | 2024-02-21 | 株式会社島津製作所 | ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置 |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
WO2022066395A1 (en) * | 2020-09-23 | 2022-03-31 | Sterling Labs Llc | Arranging virtual objects |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
US11971556B2 (en) | 2020-11-19 | 2024-04-30 | Google Llc | MEMS device with elliptical mirror |
US20230334788A1 (en) * | 2020-12-20 | 2023-10-19 | Wael Zohni | Mixed-Reality Visor For In-Situ Vehicular Operations Training |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
CN112684885B (zh) * | 2020-12-25 | 2023-05-02 | 联想(北京)有限公司 | 一种显示控制方法及装置 |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
JP2024509722A (ja) | 2021-02-08 | 2024-03-05 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるユーザ相互作用 |
JP2024506630A (ja) | 2021-02-08 | 2024-02-14 | サイトフル コンピューターズ リミテッド | 生産性のためのエクステンデッド・リアリティ |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
US20220313076A1 (en) * | 2021-03-31 | 2022-10-06 | Vr Eye Test, Llc | Eye vision test headset systems and methods |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
DE102022108773A1 (de) * | 2022-04-11 | 2023-10-12 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Anzeige einer virtuellen dreidimensionalen Navigationskarte |
WO2023205782A1 (en) * | 2022-04-22 | 2023-10-26 | SentiAR, Inc. | Two-way communication between head-mounted display and electroanatomic system |
WO2024123041A1 (ko) * | 2022-12-06 | 2024-06-13 | 삼성전자 주식회사 | 웨어러블 장치의 움직임에 따라 가상 객체의 표시 상태를 조정하는 웨어러블 장치 및 그 제어 방법 |
US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
US11900555B1 (en) * | 2023-04-25 | 2024-02-13 | VR-EDU, Inc. | Systems and methods for using artificial intelligence for improved creation of extended reality worlds, experiences, simulations and learning activities |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140184550A1 (en) | 2011-09-07 | 2014-07-03 | Tandemlaunch Technologies Inc. | System and Method for Using Eye Gaze Information to Enhance Interactions |
US20140240351A1 (en) | 2013-02-27 | 2014-08-28 | Michael Scavezze | Mixed reality augmentation |
US20150356788A1 (en) | 2013-02-01 | 2015-12-10 | Sony Corporation | Information processing device, client device, information processing method, and program |
Family Cites Families (164)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061064A (en) | 1993-08-31 | 2000-05-09 | Sun Microsystems, Inc. | System and method for providing and using a computer user interface with a view space having discrete portions |
US5615132A (en) | 1994-01-21 | 1997-03-25 | Crossbow Technology, Inc. | Method and apparatus for determining position and orientation of a moveable object using accelerometers |
US5748189A (en) | 1995-09-19 | 1998-05-05 | Sony Corp | Method and apparatus for sharing input devices amongst plural independent graphic display devices |
US5877748A (en) | 1995-11-20 | 1999-03-02 | Redlich; Sanford I. | Computer control input interface system |
US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
US6012926A (en) | 1996-03-27 | 2000-01-11 | Emory University | Virtual reality system for treating patients with anxiety disorders |
US5880733A (en) | 1996-04-30 | 1999-03-09 | Microsoft Corporation | Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system |
GB2334643A (en) | 1998-02-20 | 1999-08-25 | Discreet Logic Inc | Generating registration data for a virtual set |
US6329986B1 (en) | 1998-02-21 | 2001-12-11 | U.S. Philips Corporation | Priority-based virtual environment |
GB2336057B (en) | 1998-04-02 | 2002-05-08 | Discreet Logic Inc | Producing image data in a virtual set |
US6757068B2 (en) | 2000-01-28 | 2004-06-29 | Intersense, Inc. | Self-referenced tracking |
US6552698B1 (en) | 2000-05-02 | 2003-04-22 | Agilent Technologies, Inc. | Immersive display system |
US20020044152A1 (en) | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
US20020154214A1 (en) | 2000-11-02 | 2002-10-24 | Laurent Scallie | Virtual reality game system using pseudo 3D display driver |
US6898266B2 (en) | 2000-11-13 | 2005-05-24 | Digitome Corporation | 3D projection method |
US6804607B1 (en) | 2001-04-17 | 2004-10-12 | Derek Wood | Collision avoidance system and method utilizing variable surveillance envelope |
US6529331B2 (en) | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
US7274380B2 (en) | 2001-10-04 | 2007-09-25 | Siemens Corporate Research, Inc. | Augmented reality system |
US7010158B2 (en) | 2001-11-13 | 2006-03-07 | Eastman Kodak Company | Method and apparatus for three-dimensional scene modeling and reconstruction |
US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
EP1649423B1 (en) | 2003-07-24 | 2008-08-13 | Cognitens Ltd. | Method and sytem for the three-dimensional surface reconstruction of an object |
JP4262011B2 (ja) | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
JP4401727B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
JP4638143B2 (ja) | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
US7487463B2 (en) | 2004-02-17 | 2009-02-03 | Sun Microsystems, Inc. | Multiprocess input redirection in a 3D window system |
JP4125252B2 (ja) | 2004-03-02 | 2008-07-30 | 株式会社東芝 | 画像生成装置、画像生成方法、及び画像生成プログラム |
US7952594B2 (en) | 2004-05-27 | 2011-05-31 | Canon Kabushiki Kaisha | Information processing method, information processing apparatus, and image sensing apparatus |
US20090040233A1 (en) | 2004-06-10 | 2009-02-12 | Kakuya Yamamoto | Wearable Type Information Presentation Device |
US7400322B1 (en) | 2004-06-24 | 2008-07-15 | Julian Michael Urbach | Viewport-based desktop rendering engine |
US7557774B2 (en) | 2004-08-13 | 2009-07-07 | Microsoft Corporation | Displaying visually correct pointer movements on a multi-monitor display system |
US20060050070A1 (en) | 2004-09-07 | 2006-03-09 | Canon Kabushiki Kaisha | Information processing apparatus and method for presenting image combined with virtual image |
JP4696248B2 (ja) | 2004-09-28 | 2011-06-08 | 国立大学法人 熊本大学 | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 |
US20060092178A1 (en) | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
US7248968B2 (en) | 2004-10-29 | 2007-07-24 | Deere & Company | Obstacle detection using stereo vision |
JP2006239844A (ja) | 2005-03-04 | 2006-09-14 | Sony Corp | 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置 |
JP4660357B2 (ja) | 2005-11-18 | 2011-03-30 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
US7542210B2 (en) | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
JP4789745B2 (ja) | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
JP5154775B2 (ja) | 2006-08-18 | 2013-02-27 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
JP4999408B2 (ja) | 2006-09-11 | 2012-08-15 | スカラ株式会社 | ヘッドマウント型表示装置、及び画像表示装置 |
US20090325699A1 (en) | 2006-11-03 | 2009-12-31 | Leonidas Delgiannidis | Interfacing with virtual reality |
US20080174659A1 (en) | 2007-01-18 | 2008-07-24 | Mcdowall Ian | Wide field of view display device and method |
CN101715581B (zh) | 2007-04-20 | 2014-07-23 | 索夫特基奈蒂克软件公司 | 体积识别方法和系统 |
US8605008B1 (en) | 2007-05-04 | 2013-12-10 | Apple Inc. | Head-mounted display |
US8576247B2 (en) | 2007-08-03 | 2013-11-05 | Apple Inc. | Method and apparatus for adjusting pixel values |
US8049750B2 (en) | 2007-11-16 | 2011-11-01 | Sportvision, Inc. | Fading techniques for virtual viewpoint animations |
US20090160985A1 (en) | 2007-12-10 | 2009-06-25 | The University Of Connecticut | Method and system for recognition of a target in a three dimensional scene |
US9355493B2 (en) | 2007-12-31 | 2016-05-31 | Advanced Micro Devices, Inc. | Device and method for compositing video planes |
US8786675B2 (en) | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
US20090199275A1 (en) | 2008-02-06 | 2009-08-06 | David Brock | Web-browser based three-dimensional media aggregation social networking application |
NL1035303C2 (nl) | 2008-04-16 | 2009-10-19 | Virtual Proteins B V | Interactieve virtuele reality eenheid. |
WO2009128781A1 (en) | 2008-04-17 | 2009-10-22 | Lundgren & Nordstrand Ab | A method and a device for remote visualization |
JP5111312B2 (ja) | 2008-09-16 | 2013-01-09 | 任天堂株式会社 | 3次元画像処理プログラム、3次元画像処理装置、3次元画像処理システムおよび3次元画像処理方法 |
US8266536B2 (en) | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
US8970690B2 (en) | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
US8004769B2 (en) | 2009-03-05 | 2011-08-23 | Nabes, Llc | Binocular apparatus and system |
CN101540020B (zh) | 2009-04-01 | 2012-09-26 | 江西省交通设计院 | 一种公路三维选线方法 |
US20100315413A1 (en) | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Surface Computer User Interaction |
JP5263049B2 (ja) | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US9286720B2 (en) | 2009-08-20 | 2016-03-15 | Northrop Grumman Systems Corporation | Locative video for situation awareness |
KR101627214B1 (ko) | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
US8754931B2 (en) | 2010-01-08 | 2014-06-17 | Kopin Corporation | Video eyewear for smart phone games |
US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
CN101813976A (zh) | 2010-03-09 | 2010-08-25 | 华南理工大学 | 基于soc的视线跟踪人机交互方法及装置 |
US8570344B2 (en) | 2010-04-02 | 2013-10-29 | Qualcomm Incorporated | Augmented reality direction orientation mask |
US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
US9798436B2 (en) | 2010-07-08 | 2017-10-24 | Red Hat Israel, Ltd. | Remote computing with a low latency mouse mode |
CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
EP2418865A3 (en) | 2010-08-09 | 2014-08-06 | LG Electronics Inc. | 3D viewing device, image display apparatus, and method for operating the same |
US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
KR101674957B1 (ko) | 2010-08-31 | 2016-11-10 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US8625931B2 (en) | 2010-09-03 | 2014-01-07 | Adobe Systems Incorporated | Light space graphical model in shape from shading |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
WO2012054231A2 (en) | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8606010B2 (en) | 2011-03-18 | 2013-12-10 | Seiko Epson Corporation | Identifying text pixels in scanned images |
KR20130136566A (ko) | 2011-03-29 | 2013-12-12 | 퀄컴 인코포레이티드 | 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들 |
US9030425B2 (en) | 2011-04-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Detection of interaction with virtual object from finger color change |
US9022864B2 (en) | 2011-06-03 | 2015-05-05 | Nintendo Co., Ltd. | Apparatus and method for controlling objects on a stereoscopic display |
US8692738B2 (en) | 2011-06-10 | 2014-04-08 | Disney Enterprises, Inc. | Advanced Pepper's ghost projection system with a multiview and multiplanar display |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
JP5145444B2 (ja) | 2011-06-27 | 2013-02-20 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法、及びプログラム |
EP2738021B1 (en) | 2011-07-27 | 2016-07-20 | Bridgestone Corporation | Pneumatic tire and method for producing pneumatic tire |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
EP2751775B1 (en) | 2011-08-30 | 2016-07-06 | Monash University | System and method for processing sensor data for the visually impaired |
US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US20130083018A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
US20130083007A1 (en) | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Changing experience using personal a/v system |
US20130088413A1 (en) | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
ES2656868T3 (es) | 2011-10-05 | 2018-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dispositivo portátil, sistema y método de realidad virtual |
US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
IN2014CN03103A (ko) | 2011-10-20 | 2015-07-03 | Koninkl Philips Nv | |
US9454849B2 (en) | 2011-11-03 | 2016-09-27 | Microsoft Technology Licensing, Llc | Augmented reality playspaces with adaptive game rules |
US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US20130137076A1 (en) | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
WO2013085193A1 (ko) | 2011-12-06 | 2013-06-13 | 경북대학교 산학협력단 | 사용자 인지 향상 장치 및 그 인지 향상 방법 |
US20130147686A1 (en) | 2011-12-12 | 2013-06-13 | John Clavin | Connecting Head Mounted Displays To External Displays And Other Communication Networks |
US20160011724A1 (en) | 2012-01-06 | 2016-01-14 | Google Inc. | Hands-Free Selection Using a Ring-Based User-Interface |
US9734633B2 (en) | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
CN102646117B (zh) | 2012-02-20 | 2015-07-08 | 华为技术有限公司 | 文件数据传送的方法与装置 |
US10008002B2 (en) | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
JP6066037B2 (ja) | 2012-03-27 | 2017-01-25 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US8988465B2 (en) | 2012-03-30 | 2015-03-24 | Ford Global Technologies, Llc | Physical-virtual hybrid representation |
CN103472909B (zh) | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
US8855442B2 (en) | 2012-04-30 | 2014-10-07 | Yuri Owechko | Image registration of multimodal data using 3D-GeoArcs |
JP2013238693A (ja) | 2012-05-14 | 2013-11-28 | Sharp Corp | 画像表示装置、画像表示方法及びプログラム |
US20130307855A1 (en) | 2012-05-16 | 2013-11-21 | Mathew J. Lamb | Holographic story telling |
US20130326364A1 (en) | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
JP5953963B2 (ja) | 2012-06-13 | 2016-07-20 | ソニー株式会社 | 頭部装着型映像表示装置 |
US9389420B2 (en) | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
US9219901B2 (en) | 2012-06-19 | 2015-12-22 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
US9767720B2 (en) | 2012-06-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Object-centric mixed reality space |
US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
WO2014009561A2 (en) | 2012-07-13 | 2014-01-16 | Softkinetic Software | Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand |
US9429912B2 (en) | 2012-08-17 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mixed reality holographic object development |
US8994614B2 (en) | 2012-10-11 | 2015-03-31 | Sony Computer Entertainment Europe Limited | Head mountable display |
US10241638B2 (en) | 2012-11-02 | 2019-03-26 | Atheer, Inc. | Method and apparatus for a three dimensional interface |
US9135052B2 (en) | 2012-11-06 | 2015-09-15 | Red Hat Israel, Ltd. | Distributed multiple monitor display split using multiple client devices in a virtualization system |
GB2499694B8 (en) | 2012-11-09 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | System and method of image reconstruction |
US9448404B2 (en) | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
JP5818773B2 (ja) | 2012-11-22 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6271960B2 (ja) | 2012-11-26 | 2018-01-31 | キヤノン株式会社 | 情報処理システム |
US20140168264A1 (en) | 2012-12-19 | 2014-06-19 | Lockheed Martin Corporation | System, method and computer program product for real-time alignment of an augmented reality device |
US9443352B1 (en) | 2012-12-21 | 2016-09-13 | Motion Reality, Inc. | Navigating through a virtual environment having a real-world elevation characteristics using motion capture |
US9058693B2 (en) | 2012-12-21 | 2015-06-16 | Dassault Systemes Americas Corp. | Location correction of virtual objects |
JP6029453B2 (ja) | 2012-12-21 | 2016-11-24 | 京セラ株式会社 | 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法 |
US20140191927A1 (en) | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US9412201B2 (en) | 2013-01-22 | 2016-08-09 | Microsoft Technology Licensing, Llc | Mixed reality filtering |
US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
JP6260613B2 (ja) | 2013-02-22 | 2018-01-17 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置 |
US20140253605A1 (en) | 2013-03-05 | 2014-09-11 | John N. Border | Controlling brightness of a displayed image |
US9041741B2 (en) | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
KR102148809B1 (ko) | 2013-04-22 | 2020-08-27 | 삼성전자주식회사 | 단축 아이콘 윈도우 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
US20160292922A1 (en) | 2013-05-21 | 2016-10-06 | Sony Corporation | Display control device, display control method, and recording medium |
US20140363073A1 (en) | 2013-06-11 | 2014-12-11 | Microsoft Corporation | High-performance plane detection with depth camera data |
WO2014204330A1 (en) | 2013-06-17 | 2014-12-24 | 3Divi Company | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
US9679144B2 (en) | 2013-11-15 | 2017-06-13 | Microsoft Technology Licensing, Llc | Protecting privacy in web-based immersive augmented reality |
JP6119570B2 (ja) | 2013-11-19 | 2017-04-26 | ソニー株式会社 | 表示装置、表示方法およびプログラム |
US20150145887A1 (en) | 2013-11-25 | 2015-05-28 | Qualcomm Incorporated | Persistent head-mounted content display |
CN106104635B (zh) | 2013-12-06 | 2019-01-04 | 惠普发展公司,有限责任合伙企业 | 遮挡增强现实对象 |
CN103761085B (zh) | 2013-12-18 | 2018-01-19 | 微软技术许可有限责任公司 | 混合现实全息对象开发 |
US9626776B2 (en) | 2013-12-20 | 2017-04-18 | Cognex Corporation | Apparatus, systems, and methods for processing a height map |
CN104750440B (zh) | 2013-12-30 | 2017-09-29 | 纬创资通股份有限公司 | 多屏幕的窗口管理方法、电子装置与计算机程序产品 |
US10001645B2 (en) | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
US9691181B2 (en) | 2014-02-24 | 2017-06-27 | Sony Interactive Entertainment Inc. | Methods and systems for social sharing head mounted display (HMD) content with a second screen |
US20150261293A1 (en) | 2014-03-12 | 2015-09-17 | Weerapan Wilairat | Remote device control via gaze detection |
KR20150141461A (ko) | 2014-06-10 | 2015-12-18 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어 방법 |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US20160027218A1 (en) | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
US20160027214A1 (en) | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
-
2015
- 2015-04-27 US US14/697,109 patent/US10416760B2/en active Active
- 2015-07-24 RU RU2017102195A patent/RU2017102195A/ru not_active Application Discontinuation
- 2015-07-24 SG SG11201700263UA patent/SG11201700263UA/en unknown
- 2015-07-24 KR KR1020177004226A patent/KR102389738B1/ko active IP Right Grant
- 2015-07-24 EP EP15745719.3A patent/EP3172643B1/en active Active
- 2015-07-24 CN CN201580041345.4A patent/CN106575153B/zh active Active
- 2015-07-24 CA CA2954714A patent/CA2954714A1/en not_active Abandoned
- 2015-07-24 BR BR112017000572A patent/BR112017000572A2/pt not_active Application Discontinuation
- 2015-07-24 KR KR1020227012530A patent/KR102435628B1/ko active IP Right Grant
- 2015-07-24 AU AU2015292491A patent/AU2015292491A1/en not_active Abandoned
- 2015-07-24 WO PCT/US2015/041868 patent/WO2016014878A1/en active Application Filing
- 2015-07-24 JP JP2017503886A patent/JP2017530438A/ja active Pending
- 2015-07-24 MX MX2017000893A patent/MX2017000893A/es unknown
- 2015-07-24 ES ES15745719T patent/ES2957832T3/es active Active
-
2016
- 2016-12-05 PH PH12016502424A patent/PH12016502424A1/en unknown
- 2016-12-20 IL IL249667A patent/IL249667A0/en unknown
-
2017
- 2017-01-23 CO CONC2017/0000546A patent/CO2017000546A2/es unknown
-
2019
- 2019-06-06 US US16/433,563 patent/US10955914B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140184550A1 (en) | 2011-09-07 | 2014-07-03 | Tandemlaunch Technologies Inc. | System and Method for Using Eye Gaze Information to Enhance Interactions |
US20150356788A1 (en) | 2013-02-01 | 2015-12-10 | Sony Corporation | Information processing device, client device, information processing method, and program |
US20140240351A1 (en) | 2013-02-27 | 2014-08-28 | Michael Scavezze | Mixed reality augmentation |
Also Published As
Publication number | Publication date |
---|---|
CN106575153A (zh) | 2017-04-19 |
CA2954714A1 (en) | 2016-01-28 |
KR20220051423A (ko) | 2022-04-26 |
EP3172643A1 (en) | 2017-05-31 |
US20160026242A1 (en) | 2016-01-28 |
US10416760B2 (en) | 2019-09-17 |
AU2015292491A1 (en) | 2017-01-12 |
US20190286231A1 (en) | 2019-09-19 |
WO2016014878A1 (en) | 2016-01-28 |
KR20170035958A (ko) | 2017-03-31 |
EP3172643B1 (en) | 2023-08-30 |
IL249667A0 (en) | 2017-02-28 |
PH12016502424A1 (en) | 2017-03-06 |
MX2017000893A (es) | 2017-05-04 |
US10955914B2 (en) | 2021-03-23 |
BR112017000572A2 (pt) | 2017-11-07 |
KR102389738B1 (ko) | 2022-04-21 |
CN106575153B (zh) | 2020-03-27 |
CO2017000546A2 (es) | 2017-03-31 |
SG11201700263UA (en) | 2017-02-27 |
ES2957832T3 (es) | 2024-01-26 |
JP2017530438A (ja) | 2017-10-12 |
RU2017102195A (ru) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10955914B2 (en) | Gaze-based object placement within a virtual reality environment | |
KR102385756B1 (ko) | 가상 현실 환경에서 몰입된 때의 안티 트립 | |
KR102466576B1 (ko) | 실세계 오브젝트를 갖는 가상 현실 환경 | |
US9904055B2 (en) | Smart placement of virtual objects to stay in the field of view of a head mounted display | |
US9645397B2 (en) | Use of surface reconstruction data to identify real world floor | |
KR102308736B1 (ko) | 삼차원 혼합 현실 뷰포트 | |
KR102312899B1 (ko) | 홀로그래픽 오브젝트에 대한 스마트 투명도 | |
EP3172644B1 (en) | Multi-user gaze projection using head mounted display devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |