KR20170036704A - 헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영 - Google Patents

헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영 Download PDF

Info

Publication number
KR20170036704A
KR20170036704A KR1020177004092A KR20177004092A KR20170036704A KR 20170036704 A KR20170036704 A KR 20170036704A KR 1020177004092 A KR1020177004092 A KR 1020177004092A KR 20177004092 A KR20177004092 A KR 20177004092A KR 20170036704 A KR20170036704 A KR 20170036704A
Authority
KR
South Korea
Prior art keywords
user
hmd device
environment
sight
virtual reality
Prior art date
Application number
KR1020177004092A
Other languages
English (en)
Inventor
토마스 솔터
벤자민 서그덴
로라 매시
브라이언 킨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170036704A publication Critical patent/KR20170036704A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

혼합 또는 가상 현실 환경의 한 위치와의 디바이스 유저의 시선의 투영의 교점의 결정을 가능하게 하는 센서 패키지를 갖는, 실세계 물리적 환경에서 동작하는 헤드 마운트형 디스플레이(HMD) 디바이스가 구성된다. 투영된 주시선이 (모든 디바이스가 동작가능하게 커플링되는) 다른 HMD 디바이스 상에서 시각적으로 렌더링되는 경우, 이들 디바이스의 유저는, 유저가 환경에서 보고 있는 것을 볼 수 있다. 다중 유저 설정에서, 각각의 HMD 디바이스 유저는, 공통적으로 공유된 그리고 경험된 혼합 또는 가상 현실 환경에서 협력을 용이하게 할 수 있는 각각의 다른 투영된 주시선을 볼 수 있다. 시선 투영은 오브젝트를 가리키는, 또는 표면 상의 한 위치를 정밀하고 정확하게 나타내는 손가락처럼 거의 사용될 수 있다.

Description

헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영{MULTI-USER GAZE PROJECTION USING HEAD MOUNTED DISPLAY DEVICES}
가상 현실 컴퓨팅 디바이스, 예컨대 헤드 마운트형 디스플레이(head mounted display; HMD) 시스템 및 핸드헬드 모바일 디바이스(예를 들면, 스마트폰, 태블릿 컴퓨터, 등등)는, 유저의 시야(field of view)에서 그리고/또는 디바이스의 카메라의 시야에서 유저에게 가상 및/또는 혼합 현실 환경을 디스플레이하도록 구성될 수도 있다. 마찬가지로, 모바일 디바이스는 카메라 뷰파인더 윈도우를 사용하여 이러한 정보를 디스플레이할 수도 있다.
이 배경은 후속하는 개요 및 상세한 설명에 대한 간략한 상황(context)을 소개하기 위해 제공된다. 이 배경은, 청구되는 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도되지 않으며, 또한 청구되는 주제를, 상기에서 제시되는 단점 또는 문제점 중 임의의 것 또는 전체를 해결하는 구현예로 제한하는 것으로 보이도록 의도된 것도 아니다.
혼합 또는 가상 현실 환경의 한 위치와의 디바이스 유저의 시선(gaze)의 투영의 교점(intersection)의 결정을 가능하게 하는 센서 패키지를 갖는, 실세계 물리적 환경에서 동작하는 HMD 디바이스가 구성된다. 투영된 주시선(gaze ray)이 (모든 디바이스가 동작가능하게 커플링되는) 다른 HMD 디바이스들 상에서 시각적으로 렌더링되는 경우, 이들 디바이스의 유저들은, 상기 유저가 환경에서 보고 있는 것을 볼 수 있다. 다중 유저 설정(multi-user setting)에서, 각각의 HMD 디바이스 유저는, 공통적으로 공유된 그리고 경험된 혼합 또는 가상 현실 환경에서 협력을 용이하게 할 수 있는 각각의 다른 투영된 주시선을 볼 수 있다. 시선 투영은 오브젝트를 가리키는, 또는 표면 상의 한 위치를 정밀하고 정확하게 나타내는 손가락처럼 거의 사용될 수 있다.
설명에 도움이 되는 예에 있어서, 각각의 HMD 디바이스는, 공통적으로 공유되는 혼합 또는 가상 현실 환경의 다른 유저의 포지션 및 방위를 나타내는 아바타를 렌더링하도록 구성되는 애플리케이션을 지원한다. 주시선은 아바타의 얼굴의 중심에서 시작하며, 환경 안으로 투영되고 실제 또는 가상 표면과 충돌할 때 종단된다. 마커 및 효과 예컨대 조명 및 애니메이션은, 투영된 주시선과 환경 사이의 교차점(point of intersection)을 하일라이트하기 위해 활용될 수도 있다. 주시선의 외관은 또한, 예를 들면, 주시선이 컬러, 형상, 애니메이션, 또는 특성에 의해 유저와 고유하게 관련되는 것을 가능하게 하도록 제어될 수도 있다. 예를 들면, 주시선 가시성을 온오프 전환할 수 있도록 그리고/또는 주시선 생성 및/또는 렌더링의 다른 양태를 제어할 수 있도록, 유저 제어가 또한 지원될 수 있다.
서로 물리적으로 멀 수도 있는 HMD 디바이스들 사이에서 HMD 디바이스 상태(state) 및 다른 정보가 공유될 수도 있다. 예를 들면, 주시선 원점 및 인터셉트(intercept) 좌표는 주시선 발생 HMD 디바이스(ray-originating HMD device)로부터 다른 (비발생(non-originating)) HMD 디바이스로 송신될 수 있다. 비발생 HMD 디바이스는 발생 유저를 표현하기 위해 원점에 아바타를 배치할 수 있고, 발생 유저가 보고 있는 곳을 비발생 유저가 보는 것을 가능하게 하기 위해, 원점과 인터셉트 사이에 주시선을 시각적으로 렌더링할 수 있다.
이 개요는 하기의 상세한 설명에서 더 설명되는 엄선된 개념을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제의 주요한 피쳐 또는 본질적인 피쳐를 식별하도록 의도된 것도 아니고, 청구된 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다. 또한, 청구되는 주제는 본 개시의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현예로 한정되지는 않는다. 상기에서 설명되는 주제는 컴퓨터 제어 장치, 컴퓨터 프로세스, 컴퓨팅 시스템으로서, 또는 하나 이상의 컴퓨터 판독가능 매체와 같은 제조 물품으로서 구현될 수도 있다는 것이 이해될 수도 있다. 이들 및 다양한 다른 피쳐는 하기의 상세한 설명의 판독 및 관련 도면의 고찰로부터 명백해질 수도 있다.
도 1은 예시적인 가상 현실 환경을 도시하는데, 예시적인 가상 현실 환경의 일부는 HMD 디바이스의 유저의 시야 내에서 렌더링된다.
도 2는 HMD 디바이스의 유저가 위치하는 예시적인 실세계 물리적 환경을 도시한다.
도 3은 상이한 물리적 환경에 위치하는 HMD 디바이스의 유저를 도시한다.
도 4는 가상 세계에서의 HMD 디바이스 유저의 아바타로부터의 예시적인 시각적 시선 투영을 도시한다.
도 5는 가상 세계에서 오브젝트와 교차하는 예시적인 시선 투영을 도시한다.
도 6은 시선 투영과 가상 세계의 교차점을 하일라이트하는 예시적인 효과를 도시한다.
도 7은 시선 투영과 가상 세계의 교차점을 하일라이트하는 예시적인 마커를 도시한다.
도 8은 HMD 디바이스에 의해 캡쳐되고 있는 실세계 환경과 관련되는 깊이 데이터를 묘사한다.
도 9는 HMD 디바이스에 의해 지원되는 예시적인 유저 인터페이스 및 HMD 센서 패키지에 의해 제공되는 예시적인 데이터를 도시한다.
도 10은 예시적인 표면 재구성 파이프라인(surface reconstruction pipeline)의 블록도를 도시한다.
도 11, 도 12, 및 도 13은 HMD 디바이스를 사용하여 수행될 수도 있는 예시적인 방법의 플로우차트이다.
도 14는 HMD 디바이스의 설명에 도움이 되는 예의 도면이다.
도 15는 HMD 디바이스의 설명에 도움이 되는 예의 기능적 블록도를 도시한다.
도 16 및 도 17은 HMD 디바이스의 컴포넌트로서 사용될 수도 있는 예시적인 밀봉 바이저(sealed visor)의 정면도이다.
도 18은 부분적으로 분해된 경우의 밀봉 바이저의 뷰를 도시한다.
도 19는 밀봉 바이저의 가상 라인(phantom line) 정면도를 도시한다.
도 20은 밀봉 바이저의 배면도를 도시한다.
도 21은 예시적인 컴퓨팅 시스템을 도시한다.
도면에서, 동일한 도면 부호는 동일한 엘리먼트를 가리킨다. 엘리먼트는 다른 식으로 나타내어지지 않는 한, 일정 축척으로 묘사되지는 않는다.
유저는, 통상적으로, 실세계 물리적 환경 내에서 (예를 들면, 어떤 형태의 이동을 통해) 움직이는 것에 의해 HMD 디바이스에 의해 렌더링되는 대응하는 가상 현실 환경 내에서 탐색, 내비게이팅, 및 이동할 수 있다. 설명에 도움이 되는 예에 있어서, 도 1에서 도시되는 바와 같이, 삼차원(three dimensions; 3D)으로 시각적으로 렌더링되는 그리고 몇몇 구현예에서 오디오 및/또는 촉각/햅틱 감각을 포함할 수도 있는 가상 현실 환경(100)을 경험하기 위해, 유저(102)는 HMD 디바이스(104)를 활용할 수 있다. 이 특정한 비제한적인 예에서, HMD 디바이스(104) 상에서 실행되는 애플리케이션은, 바위가 뒤덮인 지형을 포함하는 야외 풍경을 포함하는 가상 현실 환경(100)을 지원한다. 예를 들면, 애플리케이션은, 실제 또는 가상 장소를 나타내는 가상 풍경을 지질학자가 탐험할 수 있는 측량 도구의 일부일 수 있다.
유저가 자신의 머리의 포지션 또는 방위를 변경함에 따라 그리고/또는 도 2에서 도시되는 물리적인 실세계 환경(200) 내에서 이동함에 따라, 가상 현실 환경(100)의 유저의 뷰는 변할 수 있다. 시야(도 1에서 점선 영역(110)에 의해 나타내어짐)는 사이즈 및 형상이 정해질 수 있고, 유저에게 가상 세계에 있다는 강한 존재감을 제공하도록 HMD 디바이스 경험을 시각적으로 몰입하게 만들기 위해, 디바이스의 다른 특성이 제어될 수 있다. 본원에서 가상 현실 환경이 도시되고 설명되지만, 본원의 시선 투영은, 실세계 및 가상 세계 엘리먼트 둘 다가 지원되는 혼합 현실 환경 및 시나리오에 또한 적용될 수 있다.
도 2에서 도시되는 바와 같이, 유저(102, 205, 및 210) 각각은 그들 자신의 HMD 디바이스를 갖추고 있으며 물리적 환경(200) 내에 위치한다. 시선 투영의 통상적인 구현예에서, 두 명 이상의 유저는 공통으로 공유되고 경험되는 가상 현실 환경에서 상호작용할 것이다. 상태 정보(215)는, 통상적으로, 피어 투 피어 단거리 무선 네트워크, 근거리 통신망, 또는 다른 적절한 네트워크 인프라(infrastructure)와 같은 네트워크(220)를 통해 HMD 디바이스 사이에서 공유된다. 이러한 상태 정보는 통상적으로, 예를 들면, HMD 디바이스의 동작 상태 및/또는 시간에 따라 발생하는 상태의 변화를 전달할 수 있다. HMD 디바이스 사이에서 추적되고 공유되는 특정 상태 파라미터는 구현예에 따라 변할 수 있고, 예를 들면, 물리적 환경에서의 유저 위치, 지면(ground) 위 머리 높이, 머리 포지션 및 방위(즉, 포즈), 유저 입력 및 다른 이벤트, 유저 및/또는 디바이스 ID, 디바이스 스테이터스(device status), 디바이스 메시지, 애플리케이션, 애플리케이션 메시지, 시스템 스테이터스, 시스템 메시지, 데이터, 에러, 커맨드, 요청, 및 등등 중 하나 이상을 포함할 수도 있고 그리고/또는 나타낼 수도 있다. 상태 정보(215)는 또한, 도 4를 수반하는 텍스트에서 후술되는 바와 같이, 시선 원점 및 인터셉트 좌표를 포함할 수도 있다.
상태 파라미터는 하나의 HMD 디바이스로부터 전달될 수도 있고, 몇몇 구현예에서, 시각 및 사운드를 실시간으로 사용하여 가상 세계에서 유저가 서로 상호작용하는 것을 가능하게 하는 방식으로 아바타가 가상 현실 환경 내에서 동적으로 렌더링되는 것을 가능하게 하도록 다른 HMD 디바이스에 의해 사용될 수도 있다. 예를 들면, HMD 디바이스 상에서 (완전히 또는 부분적으로) 실행되는 가상 현실 애플리케이션은, 다양한 그룹 유저 경험 중 임의의 것을 제공하기 위해, 공통으로 공유되고 경험되는 가상 세계를 유저에게 지원할 수 있다.
음성, 메시징, 데이터, 및 다른 포맷/타입을 포함하는 통신(225)은, 예를 들면, 디바이스 사이에서 또한 지원될 수도 있다. HMD 디바이스 유저들은 반드시 동일한 물리적 환경에 위치할 필요는 없다는 것이 강조된다. 도 3에서 묘사되는 바와 같이, 유저들은 다수의 상이한 물리적 환경(물리적 환경 1, 물리적 환경 2, ..., 물리적 환경 N)(예시적으로 물리적 환경(200), 물리적 환경(300), 및 물리적 환경(305)으로서 도시됨)에 위치할 수 있다. LAN 또는 광역 네트워크(wide-area network; WAN)와 같은 네트워크(310)는, 예를 들면, 물리적으로 분리된 유저와 HMD 디바이스 사이의 연결성을 지원하기 위해 활용될 수도 있다.
주어진 가상 현실 애플리케이션에서는, 실세계 유저를, HMD 디바이스의 각각의 디스플레이 상에 렌더링되는 가상 현실 환경에서 아바타로 표현하는 것이 일반적이다. 이 특정한 예에서, 유저에 의해 공통적으로 액세스되고 공유되는 가상 현실 환경에서 각각의 유저(102, 205, 및 210)에 대해 아바타가 렌더링된다. 아바타의 렌더링은, 하기에서 더 상세히 설명되는 바와 같이, 유저 각각의 HMD 디바이스에 의해 추적되는 물리적 환경에서의 유저의 대응하는 포지션 및 움직임의 관점에서 통상적으로 수행된다. 그에 의해, 주어진 유저는, 자신의 HMD 디바이스 상의 공유된 환경의 다른 유저의 동적으로 렌더링되는 아바타 및 투영된 주시선을 동시에 보면서, 신체 위치 및 움직임 및/또는 다른 유저 입력을 통해 가상 현실 환경에서 자기 자신의 아바타를 통상적으로 제어할 수 있다.
도 4는, 공통 환경(100)을 공유하고 있는 가상의 제4 유저 또는 관찰자의 HMD 디바이스 디스플레이 상에 렌더링될 각각의 유저(102, 205, 및 210)를 나타내는 가상 현실 환경(100)에서의 아바타(402, 405, 및 410)의 예시적인 스크린 캡쳐(즉, 스냅샷)를 도시한다(이러한 관찰자의 시야는 명확화를 위해 도 4에서 묘사되지 않는다는 것을 알아야 한다). 이 예에서의 아바타는, 도시되는 바와 같이, 반투명의 상체 모습으로서 렌더링될 수 있거나, 또는 임의의 적절한 형태를 사용하는 특정한 애플리케이션에 요구될 수도 있는 다른 타입의 그래픽 표현을 사용하여 렌더링될 수 있다. 아바타는, 그들의 대응하는 유저가 다른 유저에 의해 쉽게 식별되는 것을 가능하게 하기 위해, 통상적인 구현예에서 몇몇 차별적인 및/또는 고유의 특성을 가지고 렌더링될 수 있다.
주시선(425)은 아바타(410)(도 2의 유저(205)를 나타냄)의 뷰 포지션(view position)으로부터 투영된다. 뷰 포지션은, 통상적으로, 유저 및 대응하는 아바타의 눈 사이에서 시작하며 주시선(425)은 전방 방향을 가리킨다. 주시선(425)은 가상 현실 환경(100)으로 투사되고, 아바타(410)(주시선을 발생시키는 유저를 나타냄)의 뷰 포지션에 있는 원점으로부터 가상 현실 환경(100)과 주시선의 가장 가까운 교차점까지의 주시선의 경로를 나타내기 위한 어떤 형태로 다른 유저에게 시각적으로 렌더링된다. 이렇게 가시적으로 렌더링된 주시선은, 유저(205)가 보고 있는 곳을 다른 유저(102 및 205)(즉, 비발생 유저)에게 나타낼 수 있다. 몇몇 구현예에서, 주시선과 가상 세계 사이의 교차점에서 커서(도시되지 않음), 또는 다른 적절한 인디케이터가 발생 유저(210)의 HMD 디바이스 상에 디스플레이될 수도 있다. 커서는 발생 유저에게 교차점을 확인하는 피드백을 제공하도록 활용될 수도 있다. 커서는 또한 몇몇 경우에 다른 유저에게 보이도록 정렬될 수도 있다.
이 예에서, 주시선(425)은 오브젝트(430)(예를 들면, 바위가 뒤덮인 지대의 특정한 바위)와 교차한다. 커서 및/또는 주시선의 특정한 렌더링 형태는 주어진 구현예의 요구사항(needs)에 따라 상이한 컬러, 형상, 패턴, 애니메이션, 특수 효과, 및 등등을 활용할 수도 있고 여기에서 도시되고 설명되는 것과는 상이할 수도 있다. 발생 유저는, 유저 입력을 통해 커서 및/또는 주시선의 외관(appearance) 또는 거동(behavior)을 제어하기 위한 옵션, 예컨대 다른 유저에 대한 커서 및/또는 주시선의 가시성을 턴온 및 턴오프하는 것, 커서 및/또는 주시선의 컬러 또는 애니메이션을 변경하는 것, 및 등등을 제공받을 수도 있다. 유저 입력은 구현예에 따라 변할 수 있고, 예를 들면, 감지된 제스쳐, 음성 커맨드 또는 언어 입력, HMD 디바이스에 의해 지원되는 물리적 또는 가상 제어부의 조작, 또는 등등을 포함할 수도 있다. 몇몇 구현예에서, HMD 디바이스 및/또는 가상 현실 애플리케이션은, 예를 들면, 주시선의 렌더링된 외관을 특정 유저에 대해 고유하게 만들기 위해, 가시적으로 렌더링된 투영된 주시선에 대해 상이한 컬러, 형상, 패턴, 또는 다른 디바이스 및/또는 인디케이터를 활용할 수도 있다. 따라서, 블루 컬러의 주시선이 한 유저와 관련될 수 있을 것이고 한편 레드의 것은 다른 유저에 대해 활용된다.
따라서, 렌더링된 주시선(425)은, 아바타(410)(그러므로 유저(210))가 도 4에 의해 캡쳐되는 시간의 특정한 순간에 오브젝트(430)를 보고 있다는 것을 유저(102 및 205)(도 2)에게 나타낸다. 현재의 가시적인 주시선에 의해 제공되는 성능 및 피쳐는, 공통으로 공유되는 가상 세계를 갖는 다중 유저 설정에서 유저 사이의 협력을 향상시킬 것으로 예상될 수 있다. 가시적인 주시선은 주목하는 오브젝트를 가리키는 손가락처럼 작용할 수 있고, 통상적으로는, 정밀하고 정확하며 동시에 제어가 용이한 포인팅 성능을 제공한다. 또한, 주시선은 누가 오브젝트를 보고 있는지를 식별하기 위해 아바타로 역추적될 수도 있다. 따라서, 예를 들면, 상기에서 설명되는 HMD 디바이스 사이에서 공유되는 상태 정보는, 주시선의 원점 및 가상 현실 환경과의 주시선의 교차점(즉, 인터셉트)을 포함할 수도 있다. 몇몇 구현예에서, 원점 및 인터셉트 좌표를 수신하는 HMD 디바이스는, 발생 유저를 나타내는 아바타를 원점에 배치할 수도 있고 그 다음 원점(이것은 예를 들면, 눈 사이의 아바타의 얼굴에 위치할 수도 있다)으로부터 인터셉트까지 주시선을 시각적으로 렌더링할 수도 있다.
주시되는 오브젝트(430)와의 교차점에서의 주시선(425)의 종단은, 어떤 경우에서는, 아바타(410)(및 유저(210))가 그 오브젝트(430)를 보고 있다는 것을 나타내기에 그 자체로 충분할 수도 있다. 다른 경우에, 오브젝트(430)는 가상 현실 환경 내에서 하일라이트될 수 있거나 또는 다른 방식으로 명시적으로 나타내어질 수도 있다. 예를 들면, 오브젝트는, 컬러, 주변과 비교하여 대비적인 광, 또는 등등을 사용하여 렌더링될 수 있다. 따라서, 주시되는 오브젝트(530)는, 도 5에서 도시되는 바와 같이, 광이 주입된 장면에서 어두워질 수도 있거나 또는 어두운 장면에서 밝아질 수도 있다. 가상 환경에서 주시되는 오브젝트를 나타내기 위한 다른 기술은, 도 6에서 도시되는 동심원(620)과 같은 그래픽을 포함할 수 있다. 오브젝트에 대한 추가적인 하일라이팅 및 강조를 제공하기 위해 또는 몇몇 특정한 오브젝트 상태를 나타내기 위해, 예를 들면, 동심원이 연속해서 안쪽으로 붕괴하도록 그리고/또는 바깥쪽으로 확장하도록 애니메이션이 적용될 수도 있다. 도 7은 주시되는 오브젝트를 하일라이트하기 위한 플래그와 같은 마커(720)를 도시한다. 오브젝트에 대한 추가적인 하일라이팅 및 강조를 제공하기 위해 또는 몇몇 특정한 오브젝트 상태를 나타내기 위해, 예를 들면, 플래그가 펄럭이게 하도록 애니메이션이 적용될 수도 있다. 도 7은 또한, 예를 들면, 벽(730) 또는 다른 오브젝트 뒤에 있는 것에 의해, 아바타(410)가 어떻게 뷰로부터 가려질 수도 있는지를 도시하지만, 그러나 투영된 주시선(425)은 여전히 가시적이라서, 아바타 자체가 보이지 않는 경우에도 아바타(410)가 보고 있는 곳을 유저가 보는 것을 허용하게 된다.
몇몇 구현예에서, 주시선은, (하기에서 더 상세히 설명되는 바와 같이) 유저의 머리의 포지션 및 방위를 추적하는 것에 의해 통상적으로 결정되는 유저의 뷰 포지션으로부터 투영될 수도 있다. 대안적인 구현예에서, HMD 디바이스는 또한, 유저의 눈의 포지션을 따른 주시선을 유저의 시선의 방향을 따라 투영하도록 구성될 수도 있다. 눈 포지션은, 예를 들면, HMD 디바이스(104)에 통합될 수도 있는 내향 센서를 사용하여 검출될 수도 있다. 이러한 눈 포지션 검출은 시선 추적으로 칭해지고 하기에서 더 상세하게 설명된다. 따라서, 유저는, 주시선의 궤적을 변경하여 투영된 주시선과 가상 현실 환경 사이의 교차점을 제어하기 위해 머리 및 눈 움직임의 조합을 활용할 수도 있다. HMD 디바이스(104)는, 유저가 유저 입력에 따라 시선 추적을 선택적으로 결합하고 결합해제하는 것을 가능하게 하도록 구성될 수도 있다. 예를 들면, 시선 추적에 의존하는 투영과 비교하여 머리 포즈에 따른 주시선 투영이 더 최적화된 유저 경험을 제공하는 시나리오가 존재할 수도 있고 그 반대의 시나리오가 존재할 수도 있다.
HMD 디바이스(104)는, 도 8에서 도시되는 바와 같이, 주어진 물리적 환경(예를 들면, 도 2 및 도 3에서 도시되며 첨부의 본문에서 설명되는 환경(200 및/또는 300)) 내에서 유저의 포지션을 감지하기 위해 통합된 센서 패키지(805)를 사용함으로써, 깊이 데이터(800)를 획득하도록 구성된다. 센서 패키지는, 하기에서 더 상세히 설명되는 바와 같이, 깊이 센서 또는 깊이 감지 카메라 시스템을 포함할 수 있다. 대안적인 구현예에서, 깊이 데이터는 적절한 입체 이미지 분석 기술을 사용하여 도출될 수 있다.
도 9에서 도시되는 바와 같이, 센서 패키지(805)는 깊이 감지(910)를 포함하는 다양한 기능성을 지원할 수 있다. 깊이 감지는, 예를 들면, 가상 세계의 뷰 포지션이 결정될 수 있도록, 머리 포즈를 비롯한 물리적 실세계 환경(200) 내에서 유저의 머리의 3D(삼차원) 포지션 및 방위(915)를 결정하는 머리 추적을 위해 활용될 수도 있다. 센서 패키지는 또한, 머리 포지션 및 방위 데이터와 함께 사용될 수도 있는 유저의 시선(925)의 방향을 확인하기 위해, 시선 추적(920)을 지원할 수 있다. HMD 디바이스(104)는 또한, 시스템 메시지, 프롬프트, 및 등등을 디스플레이할 수 있을 뿐만 아니라 유저가 조작할 수도 있는 제어부를 노출시킬 수 있는 유저 인터페이스(user interface; UI)(930)를 노출시키도록 구성될 수도 있다. 예를 들면, 이러한 제어부는, 상기에서 설명되는 바와 같이, 가시적 광선 및/또는 커서가 다른 유저에게 어떻게 보이는지 및/또는 어떻게 거동하는지를 유저가 제어하는 것을 가능하게 하도록 구성될 수도 있다. 제어부는 몇몇 경우에 가상적일 수 있거나 또는 실제일 수 있다. UI(930)는 또한, 감지된 제스쳐 및, 예를 들면, 음성 커맨드 또는 자연 언어를 사용하는 음성에 의해 동작하도록 구성될 수도 있다.
도 10은, 실세계 환경(200)에 대한 표면 재구성 데이터를 획득하기 위한 예시적인 표면 재구성 데이터 파이프라인(1000)을 도시한다. 개시된 기술은 예시적인 것이다는 것 및 특정한 구현예의 요건에 따라 다른 기술 및 방법론이 활용될 수도 있다는 것이 강조된다. 원시(raw) 깊이 센서 데이터(1002)는 센서의 3D(삼차원) 포즈 추정에 입력된다(블록 1004). 센서 포즈 추적은, 예를 들면, 예상 표면과 현재 센서 측정치 사이의 ICP(iterative closest point; 반복 최근접 지점) 정렬을 사용하여 달성될 수 있다. 센서의 각각의 깊이 측정치는, 예를 들면, 부호가 있는 거리장(signed distance field; SDF)으로서 인코딩되는 표면을 사용하여 볼륨 표현(volumetric representation)으로 통합될 수 있다(블록 1006). 루프를 사용하여, SDF는, 깊이 맵이 정렬되는 조밀한 표면 예측을 제공하기 위해 추정된 프레임 안으로 광선투사된다(raycast)(블록 1008). 따라서, 유저(102)가 가상 세계를 둘러 보는 경우, 유저의 머리 포지션 및 방위를 결정하기 위해, 실세계 환경(200)과 관련되는 깊이 데이터가 수집 및 분석될 수 있다.
도 11, 도 12, 및 도 13은 예시적인 방법의 플로우차트이다. 명시적으로 언급되지 않는 한, 플로우차트에서 도시되는 그리고 첨부의 본문에서 설명되는 방법 또는 단계는 특정한 순서 또는 시퀀스로 한정되지 않는다. 또한, 방법 또는 그 단계의 일부는 동시에 발생할 수 있거나 또는 수행될 수 있고, 주어진 구현예에서 이러한 구현예의 요건에 따라 모든 방법 또는 단계가 수행되어야 하는 것은 아니며 몇몇 방법 또는 단계는 옵션 사항으로서 활용될 수도 있다.
도 11의 방법(1100)은, 실세계 환경에서 동작하는 그리고 가상 현실 환경을 렌더링하는 디스플레이를 구비하는 HMD 디바이스 상에 저장되는 명령어에 의해 수행될 수도 있다. 단계 1105에서, HMD 디바이스 유저의 머리 추적은 HMD 디바이스 온보드의 센서 패키지로부터의 데이터를 사용하여 동적으로 수행된다. 머리 추적은, 유저가 실세계 환경 내에서 이동함에 따라, 예를 들면, 프레임 단위 기반으로 또는 다른 적절한 기반으로 수행될 수도 있다. 단계 1110에서, 혼합 또는 가상 현실 환경의 유저의 현재 시야는 머리 추적에 응답하여 결정된다.
단계 1115에서, 데이터는 원격 HMD 디바이스로부터 수신된다. 예를 들면, 원격 HMD 디바이스는, 공통으로 공유된 가상 현실 환경(예를 들면, 도 1에서 도시되는 환경(100))에 로컬 유저와 함께 참여하고 있는 원격 유저에 의해 활용될 수 있다. 수신된 데이터는, 원격 유저에 의해 발생하는 주시선에 대한 원점 및 인터셉트 좌표를 포함할 수 있다. 단계 1120에서, 로컬 HMD 디바이스는, 수신된 좌표를 사용하여 주시선을 혼합 현실 또는 가상 현실 환경의 현재 시야 내에서 가시적으로 렌더링할 수도 있다. 단계 1125에서, 환경 내의 인터셉트 좌표에서 커서가 또한 렌더링될 수도 있다. 인접하는 영역 또는 인터셉트와 일치하는 오브젝트의 하일라이팅은 단계 1130에서 수행될 수 있다.
단계 1135에서, 원격 유저를 나타내는 아바타는 로컬 HMD 디바이스 상에 렌더링될 수 있는데, 이 경우 아바타의 일부, 예컨대 얼굴은 원점 좌표에 배치될 것이다. 단계 1140에서, 로컬 HMD 디바이스 상에서의 가시적으로 렌더링되는 주시선의 외관 또는 다양한 특성을 제어하기 위해 활용될 수 있는 제어 신호 또는 유저 입력이 수신될 수 있다.
도 12에서 도시되는 방법(1200)은, 하나 이상의 프로세서, 가변 시야를 사용하여 혼합 현실 또는 가상 현실 환경을 렌더링하기 위한 디스플레이, 센서 패키지, 및 방법을 구현하기 위해 활용될 수 있는 소프트웨어 코드와 같은 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스를 구비하는 로컬 HMD 디바이스에 의해 수행될 수도 있다. 단계 1205에서, HMD 디바이스 유저의 머리의 추적은, 깊이 센서 또는 카메라 시스템을 포함할 수도 있는 HMD 디바이스에 통합되는 센서 패키지를 사용하여 수행된다. 다수의 중첩하는 표면이 통합되는 도 10의 파이프라인에서 도시되는 것을 비롯한 다양하고 적절한 깊이 감지 기술이 활용될 수도 있다.
단계 1210에서, 머리 추적은 가상 현실 환경의 유저의 뷰 포지션에 있는 원점을 동적으로 추적하기 위해 사용된다. 센서 패키지는 또한, 예를 들면, 내향 센서를 사용하여, 유저의 시선 방향을 동적으로 추적하기 위해 사용될 수도 있다. 단계 1215에서, 혼합 현실 또는 가상 현실 환경과의 교차점에서의 투영된 주시선의 인터셉트는 현재 시야 내에 위치한다. 단계 1220에서, 원점 및 인터셉트에 대한 좌표는, 네트워크 또는 다른 통신 링크를 통해 원격 HMD 디바이스와 공유된다. 원격 HMD 디바이스는, 공유된 좌표를 사용하여 원격 유저에게 주시선을 가시적으로 렌더링하도록 구성된다. 주시선은, 원격 유저에게, 공통적으로 공유된 환경에서 로컬 유저가 보고 있는 곳을 나타낸다.
단계 1225에서, 로컬 HMD 디바이스는, 좌표 공유를 가능하게 하도록 또는 불가능하게 하도록 유저 입력에 응답하여 동작될 수도 있다. 단계 1230에서, 로컬 유저의 시선 방향의 뷰 포지션이 변함에 따라 원점 및 인터셉트에 대한 신규의 좌표가 공유될 수도 있다.
도 13에서 도시되는 방법(1300)은, 실세계 물리적 환경에서 유저에 의해 조작가능한 HMD 디바이스에 의해 수행될 수도 있다. 단계 1305에서, 물리적 환경의 일부를 기술하는 센서 데이터가 획득된다. 센서 데이터는, 예를 들면, HMD 디바이스에 통합되는 깊이 센서를 사용하는 깊이 데이터를 포함할 수 있거나 또는 외부 센서 또는 소스로부터 획득될 수 있다. 깊이 데이터를 생성하기 위해 입체 이미징으로부터의 깊이 분석(depth-from-stereo imaging analysis)이 또한 사용될 수도 있다. 단계 1310에서, 센서 데이터는, 혼합 현실 또는 가상 현실 환경의 뷰 포지션을 결정하기 위해 물리적 환경 내에서 HMD 디바이스 유저의 머리를 추적하도록 사용된다.
단계 1315에서, 주시선은 뷰 포지션에 있는 원점으로부터 바깥쪽으로 투영된다. 몇몇 구현예에서, 시선 검출은 또한, 주시선이 유저의 시선의 방향을 따라 투영되도록 활용될 수도 있다. 시선 검출은 또한, 예를 들면, 센서 패키지(805)(도 8)에 통합되는 내향 센서를 사용하여 구현될 수도 있다.
단계 1320에서, 투영된 주시선과 혼합 현실 또는 가상 현실 환경 사이에서 교점이 식별된다. 단계 1325에서, 투영된 주시선의 원점과 식별된 교점은, 유저가 보고 있는 곳을 나타내기 위한 주시선을 가시적으로 렌더링하기 위해 데이터가 다른 HMD 디바이스에 의해 사용될 수도 있도록, 원격 서비스 또는 원격 디바이스로 전송된다. 단계 1330에서, HMD 디바이스는 유저 인터페이스를 노출시키고 유저 입력이 수신된다. 유저 인터페이스는 주어진 구현예의 요구사항에 따라 구성될 수 있고, 유저에 의해 조작될 수도 있는 물리적 또는 가상 제어부를 포함할 수도 있고 몇몇 경우에 음성 및/또는 제스쳐를 지원할 수도 있다.
이제, 다양하고 예시적인 구현 상세를 주목하면, 본 구성에 따른 가상 현실 또는 혼합 현실 디스플레이 디바이스는, HMD 디바이스(104)와 같은 니어 아이 디바이스(near-eye device) 및/또는 다른 휴대형/모바일 디바이스를 포함하는 그러나 이들로 제한되지는 않는 임의의 적절한 형태를 취할 수도 있다. 도 14는 씨쓰루의 혼합 현실 디스플레이 시스템(1400)의 하나의 특정한 설명에 도움이 되는 예를 도시하고, 도 15는 시스템(1400)의 기능적 블록도를 도시한다. 그러나, 몇몇 구현예에서 씨쓰루 디스플레이가 사용될 수도 있지만, 다른 구현예에서는, 예를 들면, 카메라 기반의 패스쓰루(pass-through) 또는 외향 센서를 사용하는 불투명한(즉, 씨쓰루가 아닌) 디스플레이가 사용될 수도 있다는 것이 강조된다.
디스플레이 시스템(1400)은 씨쓰루 디스플레이 서브시스템(1404)의 일부를 형성하는 하나 이상의 렌즈(1402)를 포함하고, 그 결과 이미지는 렌즈(1402)를 사용하여(예를 들면, 렌즈(1402)로의 투영을 사용하여, 렌즈(1402)에 통합되는 하나 이상의 도파관 시스템을 사용하여, 그리고/또는 임의의 다른 적절한 방식으로) 디스플레이될 수도 있다. 디스플레이 시스템(1400)은, 유저가 보고 있는 백그라운드 장면 및/또는 물리적 환경의 이미지를 획득하도록 구성되는 하나 이상의 외향 이미지 센서(1406)를 더 포함하고, 사운드, 예컨대 유저로부터의 음성 커맨드를 검출하도록 구성되는 하나 이상의 마이크(1408)를 포함할 수도 있다. 외향 이미지 센서(1406)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수도 있다. 대안적인 구성에서, 상기에서 언급되는 바와 같이, 씨쓰루 디스플레이 서브시스템을 통합하는 대신, 가상 현실 또는 혼합 현실 디스플레이 시스템이 외향 이미지 센서에 대한 뷰파인더 모드를 통해 혼합 현실 이미지를 디스플레이할 수도 있다.
디스플레이 시스템(1400)은, 상기에서 설명되는 바와 같이, 유저의 각각의 눈의 시선의 방향 또는 초점의 위치 또는 방향을 검출하도록 구성되는 시선 검출 서브시스템(1410)을 더 포함할 수도 있다. 시선 검출 서브시스템(1410)은 유저의 눈의 각각의 시선 방향을 임의의 적절한 방식으로 결정하도록 구성될 수도 있다. 예를 들면, 도시되는 설명에 도움이 되는 예에 있어서, 시선 검출 서브시스템(1410)은, 광의 광채(glint)가 유저의 각각의 안구로부터 반사되게 하도록 구성되는 하나 이상의 광채 소스(1412), 예컨대 적외선 광원, 및 유저의 각각의 안구의 이미지를 캡쳐하도록 구성되는 하나 이상의 이미지 센서(1414), 예컨대 내향 센서를 포함한다. 이미지 센서(들)(1414)를 사용하여 수집되는 이미지 데이터로부터 결정되는 바와 같은, 유저의 안구 및/또는 유저의 동공의 위치로부터의 광채의 변화는 시선의 방향을 결정하기 위해 사용될 수도 있다.
또한, 유저의 눈으로부터 투영되는 시선 라인이 외부 디스플레이와 교차하는 위치는, 유저가 응시하고 있는 오브젝트(예를 들면, 디스플레이된 가상 오브젝트 및/또는 실제 백그라운드 오브젝트)를 결정하기 위해 사용될 수도 있다. 시선 검출 서브시스템(1410)은 임의의 적절한 수 및 배치의 광원 및 이미지 센서를 구비할 수도 있다. 몇몇 구현예에서, 시선 검출 서브시스템(1410)은 생략될 수도 있다.
디스플레이 시스템(1400)은 또한 추가적인 센서를 포함할 수도 있다. 예를 들면, 디스플레이 시스템(1400)은, 디스플레이 시스템(1400)의 위치가 결정되는 것을 허용하는 전지구 위치 결정 시스템(global positioning system; GPS) 서브시스템(1416)을 포함할 수도 있다. 이것은, 유저의 인접한 물리적 환경에 위치할 수도 있는 실세계 오브젝트, 예컨대 빌딩 등등을 식별하는 것을 도울 수도 있다.
디스플레이 시스템(1400)은, 유저가 증강 현실 HMD 디바이스의 일부로서 시스템을 착용하고 있을 때 유저의 머리의 움직임 및 포지션/방위/포즈를 검출하기 위한 하나 이상의 모션 센서(1418)(예를 들면, 관성, 다축 자이로스코프 또는 가속도 센서)를 더 포함할 수도 있다. 시선 검출을 위해서 뿐만 아니라 외향 이미지 센서(들)(1406)로부터의 이미지에서의 블러(blur)에 대한 보정을 돕는 이미지 안정화를 위해, 잠재적으로 눈 추적 광채 데이터 및 외향 이미지 데이터와 함께, 모션 데이터가 사용될 수도 있다. 모션 데이터의 사용은, 외향 이미지 센서(들)(1406)로부터의 이미지 데이터가 분석될 수 없더라도, 시선 위치의 변화가 추적되는 것을 허용할 수도 있다.
또한, 모션 센서(1418)뿐만 아니라 마이크(들)(1408) 및 시선 검출 서브시스템(1410)은 또한 유저 입력 디바이스로서 활용될 수도 있고, 그 결과 유저는 눈, 목 및/또는 머리의 제스쳐를 통해서 뿐만 아니라, 몇몇 경우에서는 구두의 커맨드(verbal command)를 통해 디스플레이 시스템(1400)과 상호작용할 수도 있다. 증강 현실 HMD 디바이스의 특정한 구현예의 요구사항을 충족하기 위해 임의의 다른 적절한 센서 및/또는 센서의 조합이 활용될 수도 있기 때문에, 도 14 및 도 15에서 예시되며 첨부의 본문에서 설명되는 센서는 예시를 위해 포함되며 어떤 방식으로든 제한하도록 의도되지 않는다는 것이 이해될 수도 있다. 예를 들면, 몇몇 구현예에서 (예를 들면, 심박수 및 호흡수, 혈압, 뇌 활동, 체온, 등등을 검출하기 위한) 생체 센서(biometric sensor) 또는 (예를 들면, 온도, 습도, 고도, UV(ultraviolet; 자외) 광 레벨, 등등을 검출하기 위한) 환경 센서가 활용될 수도 있다.
디스플레이 시스템(1400)은, 통신 서브시스템(1426)을 통해 센서, 시선 검출 서브시스템(1410), 디스플레이 서브시스템(1404), 및/또는 다른 컴포넌트와 통신하는 로직 서브시스템(1422) 및 스토리지 서브시스템(1424)을 구비하는 컨트롤러(1420)를 더 포함할 수 있다. 통신 서브시스템(1426)은 또한, 원격으로 위치한 리소스, 예컨대 프로세싱, 스토리지, 전력, 데이터, 및 서비스와 연계하여 디스플레이 시스템이 동작되는 것을 용이하게 할 수 있다. 즉, 몇몇 구현예에서, HMD 디바이스는, 상이한 컴포넌트 및 서브시스템 사이에서 리소스 및 성능을 분배할 수 있는 시스템의 일부로서 동작될 수 있다.
스토리지 서브시스템(1424)은, 예를 들면, 다른 태스크 중에서도, 센서로부터 입력을 수신하여 해석하기 위한, 유저의 위치 및 움직임을 식별하기 위한, 표면 재구성 및 다른 기술을 사용하여 실제 오브젝트를 식별하기 위한, 그리고 유저가 오브젝트를 보는 것을 가능하게 하도록 오브젝트까지의 거리에 기초하여 디스플레이를 디밍/페이딩하기 위한, 로직 서브시스템(1422)에 의해 실행가능한 저장된 명령어를 포함할 수도 있다.
디스플레이 시스템(1400)은, 오디오가 증강 현실 경험의 일부로서 활용될 수 있도록, 하나 이상의 오디오 트랜스듀서(1428)(예를 들면, 스피커, 이어폰, 등등)와 함께 구성된다. 전력 관리 서브시스템(1430)은 하나 이상의 배터리(1432) 및/또는 보호 회로 모듈(protection circuit module; PCM) 및 관련된 충전기 인터페이스(1434) 및/또는 디스플레이 시스템(1400)의 컴포넌트로 전력을 공급하기 위한 원격 전력 인터페이스를 포함할 수도 있다.
묘사된 디스플레이 디바이스(104 및 1400)는 예시 용도로 설명되며, 따라서 제한하도록 의도되지는 않는다는 것이 이해될 수도 있다. 디스플레이 디바이스는, 본 구성의 범위를 벗어나지 않으면서, 도시된 것 이외의 추가적인 및/또는 대안적인 센서, 카메라, 마이크, 입력 디바이스, 출력 디바이스 등등을 포함할 수도 있다는 것이 또한 이해될 것이다. 추가적으로, 디스플레이 디바이스 및 그 다양한 센서와 서브컴포넌트의 물리적 구성은, 본 구성의 범위를 벗어나지 않으면서 여러 상이한 형태를 취할 수도 있다.
도 16 내지 도 20은, HMD 디바이스의 컴포넌트로서 사용될 수도 있는 가상 또는 혼합 현실 디스플레이 시스템(1600)에 대한 예시적인 대안적 구현예를 도시한다. 이 예에서, 시스템(1600)은, 씨쓰루 디스플레이 서브시스템을 위해 활용되는 내부 광학장치(optics) 어셈블리를 보호하도록 구성되는 씨쓰루 밀봉 바이저(1602)를 사용한다. 바이저(1602)는, 도 14 및 도 15와 연계하여 예시적으로 설명되는 바와 같이, 통상적으로, 헤드 마운팅/유지 시스템 및 센서, 전력 관리, 컨트롤러, 등등을 포함하는 다른 서브시스템과 같은 HMD 디바이스의 다른 컴포넌트(도시되지 않음)와 인터페이싱한다. 걸쇠(snap), 보스, 나사, 및 다른 패스너, 등등을 포함하는 적절한 인터페이스 엘리먼트(도시되지 않음)가 또한 바이저(1602)에 통합될 수도 있다.
바이저는, 광학적 디스플레이 및 주변 실세계 환경에 대한 방해가 없는 시각을 용이하게 하기 위해 투명 재료를 사용하여 몰딩될 수 있는 씨쓰루 프론트 및 리어 실드(1604 및 1606)를 각각 포함한다. 프론트 및 리어 실드에 틴팅, 미러링, 반사방지, 안티포그, 및 다른 코팅과 같은 처리가 적용될 수도 있고, 다양한 컬러 및 마감재가 또한 활용될 수도 있다. 프론트 및 리어 실드는, 실드 커버(1710)가 바이저(1602)로부터 분해된 것으로 도시되는 도 17의 부분 분해도에서 묘사되는 바와 같이 섀시(1705)에 고정된다.
밀봉 바이저(1602)는, 동작 중에 HMD 디바이스가 착용되어 사용될 때 그리고 클리닝 및 등등을 위한 일반적인 핸들링 동안, 광학장치 디스플레이 서브어셈블리(1802)(도 18의 분해도에서 도시됨)를 비롯한 민감한 내부 컴포넌트를 물리적으로 보호할 수 있다. HMD 디바이스가 낙하되거나 또는 부딪치거나, 충격을 받거나, 등등의 경우, 바이저(1602)는 또한, 광학장치 디스플레이 서브어셈블리(1802)를 환경적 요소 및 손상으로부터 보호할 수 있다. 광학장치 디스플레이 서브어셈블리(1802)는, 낙하 또는 충돌시 휘어질 때 실드가 서브어셈블리와 접촉하지 않도록 하는 방식으로 밀봉 바이저 내에 마운팅된다.
도 18 및 도 20에서 도시되는 바와 같이, 리어 실드(1606)는 유저의 코와 인터페이싱하도록 인체공학적으로 정확한 형태로 구성되고 코 패드(nose pad; 2004)(도 20) 및 다른 편안한 피쳐가 포함될 수 있다(예를 들면, 별개의 컴포넌트로서 매몰 성형(molded-in)될 수 있고/있거나 애드온(added-on)될 수 있다). 밀봉 바이저(1602)는 또한, 몇몇 경우에, 몰딩된 실드 내에 어떤 레벨의 광학적 디옵터 곡률(optical diopter curvature)(즉, 눈 처방)을 통합할 수 있다.
도 21은, 상기에서 설명되는 구성, 배치, 방법, 또는 프로세스 중 하나 이상을 구현할 때 사용될 수 있는 컴퓨팅 시스템(2100)의 비제한적인 실시형태를 개략적으로 도시한다. HMD 디바이스(104)는 컴퓨팅 시스템(2100)의 하나의 비제한적인 예일 수도 있다. 컴퓨팅 시스템(2100)은 단순화된 형태로 도시된다. 본 구성의 범위를 벗어나지 않고도, 사실상 임의의 컴퓨터 아키텍쳐가 사용될 수도 있다는 것이 이해될 수도 있다. 상이한 실시형태에서, 컴퓨팅 시스템(2100)은, 디스플레이 디바이스, 웨어러블 컴퓨팅 디바이스, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게이밍 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스(예를 들면, 스마트폰) 등등의 형태를 취할 수도 있다.
컴퓨팅 디바이스(2100)는 로직 서브시스템(2102) 및 스토리지 서브시스템(2104)을 포함한다. 컴퓨팅 시스템(2100)은, 옵션적으로, 디스플레이 서브시스템(2106), 입력 서브시스템(2108), 통신 서브시스템(2110), 및/또는 도 21에 도시되지 않은 다른 컴포넌트를 포함할 수도 있다.
로직 서브시스템(2102)은 명령어를 실행하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 예를 들면, 로직 서브시스템(2102)은, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 다른 논리적 구성물(other logical construct)의 일부인 명령어를 실행하도록 구성될 수도 있다. 이러한 명령어는, 태스크를 수행하도록, 데이터 타입을 구현하도록, 하나 이상의 컴포넌트의 상태를 변환하도록, 또는 다르게는 바람직한 결과에 도달하도록 구현될 수도 있다.
로직 서브시스템(2102)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수도 있다. 추가적으로 또는 대안적으로, 로직 서브시스템(2102)은, 하드웨어 또는 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수도 있다. 로직 서브시스템(2102)의 프로세서는 싱글 코어 또는 멀티 코어일 수도 있고, 그 상에서 실행되는 프로그램은 순차 프로세싱, 병렬 프로세싱 또는 분산형 프로세싱을 위해 구성될 수도 있다. 로직 서브시스템(2102)은, 옵션적으로, 원격으로 위치할 수 있고/있거나 통합 프로세싱(coordinated processing)을 위해 구성될 수 있는 두 개 이상의 디바이스 사이에서 분산되는 개개의 컴포넌트를 포함할 수도 있다. 로직 서브시스템(2102)의 양태는, 클라우드 컴퓨팅 구성에서 구성되는 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스에 의해 가상화되어 실행될 수도 있다.
스토리지 서브시스템(2104)은 본원에서 설명되는 방법 및 프로세스를 구현하기 위해 로직 서브시스템(2102)에 의해 실행가능한 데이터 및/또는 명령어를 유지하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법 및 프로세스가 구현되는 경우, 스토리지 서브시스템(2104)의 상태는, 예를 들면, 상이한 데이터를 유지하도록 변환될 수도 있다.
스토리지 서브시스템(2104)은 착탈식 매체 및/또는 내장형 디바이스를 포함할 수도 있다. 스토리지 서브시스템(2104)은, 다른 것들 중에서도, 광학적 메모리 디바이스(예를 들면, CD(compact disc; 컴팩트 디스크), DVD(digital versatile disc; 디지털 다기능 디스크), HD-DVD(high definition DVD; 고선명 DVD), 블루레이 디스크, 등등), 반도체 메모리 디바이스(예를 들면, RAM(random access memory; 랜덤 액세스 메모리), ROM(read only memory; 리드 온리 메모리), EPROM(erasable programmable ROM; 소거가능 프로그래머블 ROM), EEPROM(electrically erasable ROM; 전기적으로 소거가능한 ROM), 등등) 및/또는 자기 메모리 디바이스(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM(magneto-resistive RAM; 자기 저항 RAM), 등등)을 포함할 수도 있다. 스토리지 서브시스템(2104)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소지정가능(location-addressable), 파일 주소지정가능, 및/또는 컨텐츠 주소지정가능 디바이스를 포함할 수도 있다.
스토리지 서브시스템(2104)은 하나 이상의 물리적 디바이스를 포함하고 전파 신호 그 자체는 배제한다는 것이 이해될 수도 있다. 그러나, 몇몇 실시형태에서, 본원에서 설명되는 명령어의 양태는, 스토리지 디바이스 상에 저장되는 것과는 대조적으로, 통신 매체를 사용하여 순수 신호(예를 들면, 전자기 신호, 광학 신호 등등)에 의해 전파될 수도 있다. 또한, 본 구성에 관련이 있는 데이터 및/또는 다른 형태의 정보는 순수 신호에 의해 전파될 수도 있다.
몇몇 실시형태에서, 로직 서브시스템(2102)의 그리고 스토리지 서브시스템(2104)의 양태는 하나 이상의 하드웨어 로직 컴포넌트로 함께 통합될 수도 있는데, 본원에서 설명되는 기능성은 그 하나 이상의 하드웨어 로직 컴포넌트를 통해 이행될 수도 있다. 이러한 하드웨어 로직 컴포넌트는, 예를 들면, 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA), 프로그램 및 애플리케이션 고유의 집적 회로(program-and application-specific integrated circuit; PASIC/ASIC), 프로그램 및 애플리케이션 고유의 표준 제품(program-and application-specific standard product; PSSP/ASSP), 시스템 온 칩(system-on-a-chip; SOC) 시스템, 및 복합 프로그래머블 로직 디바이스(complex programmable logic device; CPLD)를 포함할 수도 있다.
디스플레이 서브시스템(2106)은, 포함되는 경우, 스토리지 서브시스템(2104)에 의해 유지되는 데이터의 시각적 표현을 제공하기 위해 사용될 수도 있다. 이 시각적 표현은 그래픽 유저 인터페이스(graphical user interface; GUI)의 형태를 취할 수도 있다. 본원에서 설명되는 방법 및 프로세스가 스토리지 서브시스템에 의해 유지되는 데이터를 변경하고, 따라서 스토리지 서브시스템의 상태를 변환할 때, 디스플레이 서브시스템(2106)의 상태는 기저의 데이터(underlying data)의 변경을 시각적으로 나타내도록 마찬가지로 변환될 수도 있다. 디스플레이 서브시스템(2106)은 사실상 임의의 타입의 기술을 활용하는 하나 이상의 디스플레이 디바이스를 포함할 수도 있다. 이러한 디스플레이 디바이스는 공유된 엔클로저에서 로직 서브시스템(2102) 및/또는 스토리지 서브시스템(2104)과 결합될 수도 있거나, 또는 이러한 디스플레이 디바이스는 다른 경우에서 주변장치 디스플레이 디바이스일 수도 있다.
입력 서브시스템(2108)은, 포함되는 경우, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 유저 입력 디바이스를 포함할 수도 있거나 또는 그 하나 이상의 유저 입력 디바이스와 인터페이싱할 수도 있다. 몇몇 실시형태에서, 입력 서브시스템은 선택된 내츄럴 유저 인터페이스(natural user input; NUI) 컴포넌트를 포함할 수도 있거나 또는 그 NUI 컴포넌트와 인터페이싱할 수도 있다. 이러한 컴포넌트는 통합되거나 또는 주변장치일 수도 있고, 입력 액션의 변환 및/또는 프로세싱은 온보드로 또는 오프보드(off-board)로 핸들링될 수도 있다. 예시적인 NUI 컴포넌트는, 스피치 및/또는 보이스 인식을 위한 마이크; 머신 비전(machine vision) 및/또는 제스쳐 인식을 위한 적외선, 컬러, 입체, 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커(head tracker), 아이 트래커(eye tracker), 가속도계, 및/또는 자이로스코프뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 컴포넌트를 포함할 수도 있다.
통신 시스템(2110)은, 포함되는 경우, 컴퓨팅 시스템(2100)을 하나 이상의 다른 컴퓨팅 디바이스와 통신 가능하게 커플링하도록 구성될 수도 있다. 통신 서브시스템(2110)은, 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수도 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 근거리 통신망 또는 광역 통신망을 통한 통신을 위해 구성될 수도 있다. 몇몇 실시형태에서, 통신 서브시스템은 컴퓨팅 시스템(2100)이 인터넷과 같은 네트워크를 사용하여 메시지를 다른 디바이스로 및/또는 다른 디바이스로부터 전송하는 것 및/또는 수신하는 것을 허용할 수도 있다.
이제, 본 다중 유저 시선 투영의 다양하고 예시적인 실시형태가, 모든 실시형태의 완전한 리스트로서가 아닌 예시로서 제시된다. 예는 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리를 포함하는데, 컴퓨터 실행가능 명령어는, 물리적 환경에 위치하는 헤드 마운트형 디스플레이(HMD) 디바이스의 하나 이상의 프로세서에 의한 실행시, 물리적 환경 내에서 유저의 머리 추적을 동적으로 수행하기 위해 HMD 디바이스에 통합되는 센서 패키지로부터의 데이터를 사용하는 것; 머리 추적에 응답하여, 로컬 HMD 디바이스에 의해 렌더링가능한 혼합 현실 또는 가상 현실 환경의 시야 - 시야는 물리적 환경에서의 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 를 결정하는 것; 원격 HMD 디바이스의 뷰 포지션에 있는 원점으로부터 투영되며 투영된 주시선과 혼합 현실 또는 가상 현실 환경 사이의 교차점의 인터셉트에서 종단하는 주시선의 인터셉트 및 원점 좌표를 포함하는 데이터를 원격 HMD 디바이스로부터 수신하는 것; 및 시야 내에서 수신된 데이터를 사용하여 로컬 HMD 디바이스 상에 주시선을 가시적으로 렌더링하는 것을 수행한다.
다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는 시야 내에서 인터셉트 좌표에 커서를 렌더링하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 인터셉트 좌표와 일치하는 오브젝트 또는 인접한 영역을 하일라이팅하는 것 - 하일라이팅하는 것은 조명 효과, 애니메이션, 또는 마커 중 하나를 포함함 - 을 더 포함한다. 다른 예에서, 오브젝트는 실제 오브젝트 또는 가상 오브젝트 중 하나이다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는 원격 HMD 디바이스의 유저를 표현하기 위한 아바타 - 아바타의 적어도 일부는 원점 좌표와 일치함 - 를 렌더링하는 것을 더 포함한다. 다른 예에서, 인터셉트 좌표는, 로컬 HMD 디바이스에 가장 가까운 혼합 현실 또는 가상 현실 환경의 표면과 투영된 주시선 사이의 교점에 있다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 네트워크를 통해 로컬 HMD 디바이스 및 원격 HMD 디바이스를 동작가능하게 커플링하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 원격 HMD 디바이스로부터 상태 데이터 - 상태 데이터는 원격 HMD 디바이스의 동작을 기술함 - 를 수신하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 유저 입력에 기초하여 로컬 HMD 디바이스 상의 가시적으로 렌더링된 주시선의 외관을 제어하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 각각의 주시선이 복수의 원격 HMD 디바이스 중 각각의 원격 HMD 디바이스의 상이한 유저의 아바타와 관련되는 다수의 주시선을 가시적으로 렌더링하는 것을 더 포함한다. 다른 예에서, 하나 이상의 컴퓨터 판독가능 메모리는, 각각의 주시선이 자신의 관련된 유저를 고유하게 식별하는 방식으로 렌더링되는 다수의 주시선을 가시적으로 렌더링하는 것을 더 포함한다.
추가 예는 물리적 환경에서 로컬 유저에 의해 조작가능한 로컬 헤드 마운트형 디스플레이(HMD) 디바이스를 포함하는데, 로컬 헤드 마운트형 디스플레이(HMD) 디바이스는, 하나 이상의 프로세서; 유저에게 혼합 현실 또는 가상 현실 환경 - 혼합 현실 또는 가상 현실 환경의 시야는 물리적 환경에서의 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 을 렌더링하기 위한 디스플레이; 센서 패키지; 및 컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스를 포함하고, 컴퓨터 판독가능 명령어는, 센서 패키지를 사용하여 물리적 환경 내에서 유저의 머리 추적을 수행하는 단계, 머리 추적에 응답하여 혼합 현실 또는 가상 현실 환경의 로컬 유저의 뷰 포지션에 있는 원점을 동적으로 추적하는 단계, 뷰 포지션에 있는 원점으로부터 투영되는 주시선과 현재 시야 내의 혼합 현실 또는 가상 현실 환경에서의 한 지점(point) 사이의 교점에 인터셉트를 위치시키는 단계, 및 원점 및 인터셉트에 대한 좌표를, 네트워크를 통해 원격 HMD 디바이스 - 원격 HMD 디바이스는, 혼합 현실 또는 가상 현실 환경에서 로컬 유저가 보고 있는 곳을 원격 유저에게 나타내기 위해 좌표를 사용하여 주시선을 시각적으로 렌더링하도록 구성됨 - 와 공유하는 단계를 포함하는 방법을 수행한다.
다른 예에서, HMD 디바이스는 유저 인터페이스를 더 포함하고, UI에 대한 유저 입력에 응답하여 공유를 가능하게 하도록 또는 불가능하게 하도록 HMD 디바이스를 동작시키는 것을 더 포함한다. 다른 예에서, HMD 디바이스는, 뷰 포지션이 변함에 따라 원점 및 인터셉트에 대한 신규의 좌표를 공유하는 것을 더 포함한다. 다른 예에서 HMD 디바이스는 로컬 유저의 시선 방향을 추적하는 것 및 시선 방향에 변함에 따라 원점 및 인터셉트에 대한 신규의 좌표를 공유하는 것을 더 포함한다.
다른 예는, 혼합 현실 또는 가상 현실 환경의 렌더링을 지원하는 헤드 마운트형 디스플레이(HMD) 디바이스에 의해 수행되는 방법을 포함하는데, 그 방법은, HMD 디바이스의 유저와 인접하는 실세계 물리적 환경을 설명하는 센서 데이터를 획득하는 단계; 혼합 현실 또는 가상 현실 환경의 뷰 포지션을 결정하기 위해 센서 데이터를 사용하여 물리적 환경에서 유저의 머리를 추적하는 단계; 뷰 포지션에 있는 원점에서 바깥쪽으로 주시선을 투영하는 단계; 투영된 주시선과 혼합 현실 또는 가상 현실 환경 사이의 교점을 식별하는 단계; 및 투영된 주시선의 원점과 식별된 교차점을 원격 서비스 또는 원격 디바이스로 송신하는 단계를 포함한다.
다른 예에서, 센서 데이터가 깊이 데이터를 포함하고, 방법은 깊이 센서를 사용하여 센서 데이터를 생성하는 단계 및 물리적 환경 지오메트리를 재구성하기 위해 표면 재구성 기술을 적용하는 단계를 더 포함한다. 다른 예에서, 방법은, 입체 이미징으로부터의 깊이 분석을 사용하여 깊이 데이터를 생성하는 단계를 더 포함한다. 다른 예에서, 방법은 유저 입력을 수신하기 위한 유저 인터페이스(UI) - UI는 유저 제어부를 제공하거나 또는 제스쳐 인식 또는 음성 인식을 지원함 - 를 노출시키는 단계를 더 포함한다. 다른 예에서, 방법은 유저의 시선 방향을 따라 주시선을 투영하는 것 및 시선 방향을 결정하기 위해 HMD 디바이스에 위치하는 하나 이상의 내향 센서를 사용하는 단계를 더 포함한다.
비록 본 주제가 구조적 피쳐 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제가 상기에서 설명되는 특정 피쳐 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정 피쳐 및 액트는 청구범위를 구현하는 예시적인 형태로서 설명된다.

Claims (15)

  1. 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리에 있어서,
    상기 컴퓨터 실행가능 명령어는, 물리적 환경에 위치하는 헤드 마운트형 디스플레이(head mounted display; HMD) 디바이스의 하나 이상의 프로세서에 의한 실행시,
    상기 물리적 환경 내에서 상기 유저의 머리 추적을 동적으로 수행하기 위해 상기 HMD 디바이스에 통합되는 센서 패키지로부터의 데이터를 사용하는 것;
    상기 머리 추적에 응답하여, 상기 로컬 HMD 디바이스에 의해 렌더링가능한 혼합 현실 또는 가상 현실 환경의 시야(field of view) - 상기 시야는 상기 물리적 환경에서의 상기 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 를 결정하는 것;
    원격 HMD 디바이스의 뷰 포지션에 있는 원점으로부터 투영되며 투영된 주시선과 상기 혼합 현실 또는 가상 현실 환경 사이의 교차점(point of intersection)의 인터셉트에서 종단하는 상기 주시선(gaze ray)의 인터셉트 및 원점 좌표를 포함하는 데이터를 상기 원격 HMD 디바이스로부터 수신하는 것; 및
    상기 시야 내에서 상기 수신된 데이터를 사용하여 상기 로컬 HMD 디바이스 상에 주시선을 가시적으로 렌더링하는 것을 수행하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  2. 제1항에 있어서,
    상기 시야 내에서 상기 인터셉트 좌표에 커서를 렌더링하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  3. 제1항에 있어서,
    상기 인터셉트 좌표와 일치하는 오브젝트 또는 인접한 영역을 하일라이팅하는 것 - 상기 하일라이팅하는 것은 조명 효과, 애니메이션, 또는 마커 중 하나를 포함함 - 을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  4. 제3항에 있어서,
    상기 오브젝트는 실제 오브젝트 또는 가상 오브젝트 중 하나인, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  5. 제1항에 있어서,
    상기 원격 HMD 디바이스의 유저를 표현하기 위한 아바타 - 상기 아바타의 적어도 일부는 상기 원점 좌표와 일치함 - 를 렌더링하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  6. 제1항에 있어서,
    상기 인터셉트 좌표는, 상기 로컬 HMD 디바이스에 가장 가까운 상기 혼합 현실 또는 가상 현실 환경에서의 표면과 상기 투영된 주시선 사이의 교점에 있는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  7. 제1항에 있어서,
    네트워크를 통해 상기 로컬 HMD 디바이스와 상기 원격 HMD 디바이스를 동작가능하게 커플링하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  8. 제1항에 있어서,
    상기 원격 HMD 디바이스로부터 상태 데이터 - 상기 상태 데이터는 상기 원격 HMD 디바이스의 동작을 기술함 - 를 수신하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  9. 제1항에 있어서,
    유저 입력에 기초하여 상기 로컬 HMD 디바이스 상의 상기 가시적으로 렌더링된 주시선의 외관을 제어하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  10. 제1항에 있어서,
    각각의 주시선이 복수의 원격 HMD 디바이스 중 각각의 원격 HMD 디바이스의 상이한 유저의 아바타와 관련되는 다수의 주시선을 가시적으로 렌더링하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  11. 제10항에 있어서,
    각각의 주시선이 자신의 관련된 유저를 고유하게 식별하는 방식으로 렌더링되는 상기 다수의 주시선을 가시적으로 렌더링하는 것을 더 포함하는, 컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 판독가능 메모리.
  12. 물리적 환경에서 로컬 유저에 의해 동작 가능한 로컬 헤드 마운트형 디스플레이(local head mounted display, HMD) 디바이스에 있어서,
    하나 이상의 프로세서;
    상기 유저에게 혼합 현실 또는 가상 현실 환경 - 상기 혼합 현실 또는 가상 현실 환경의 시야는 상기 물리적 환경에서의 상기 유저의 머리의 포즈에 적어도 부분적으로 의존하여 변할 수 있음 - 을 렌더링하기 위한 디스플레이;
    센서 패키지; 및
    컴퓨터 판독가능 명령어를 저장하는 하나 이상의 메모리 디바이스
    를 포함하고,
    상기 컴퓨터 판독가능 명령어는, 상기 하나 이상의 프로세서에 의한 실행시,
    상기 센서 패키지를 사용하여 상기 물리적 환경 내에서 상기 유저의 머리 추적을 수행하는 단계,
    상기 머리 추적에 응답하여 상기 혼합 현실 또는 가상 현실 환경의 상기 로컬 유저의 뷰 포지션에 있는 원점을 동적으로 추적하는 단계,
    상기 뷰 포지션에 있는 원점으로부터 투영되는 주시선과 현재 시야 내의 상기 혼합 현실 또는 가상 현실 환경에서의 지점(point) 사이의 교점에 인터셉트를 위치시키는 단계, 및
    상기 원점 및 인터셉트에 대한 좌표를, 네트워크를 통해 원격 HMD 디바이스와 공유하는 단계
    를 포함하는 방법을 수행하고, 상기 원격 HMD 디바이스는, 상기 혼합 현실 또는 가상 현실 환경에서 상기 로컬 유저가 보고 있는 곳을 원격 유저에게 나타내기 위해 상기 좌표를 사용하여 주시선을 시각적으로 렌더링하도록 구성되는, HMD 디바이스.
  13. 제12항에 있어서,
    유저 인터페이스(UI)를 더 포함하고, 상기 UI에 대한 유저 입력에 응답하여 상기 공유를 가능하게 하도록 또는 불가능하게 하도록 상기 HMD 디바이스를 동작시키는 것을 더 포함하는, HMD 디바이스.
  14. 제12항에 있어서,
    상기 뷰 포지션이 변함에 따라 상기 원점 및 인터셉트에 대한 신규의 좌표를 공유하는 것을 더 포함하는, 로컬 헤드 마운트형 디스플레이(HMD) 디바이스.
  15. 제12항에 있어서,
    상기 로컬 유저의 시선(gaze) 방향을 추적하는 것 및 상기 시선 방향에 변함에 따라 상기 원점 및 인터셉트에 대한 신규의 좌표를 공유하는 것을 더 포함하는, 로컬 헤드 마운트형 디스플레이(HMD) 디바이스.
KR1020177004092A 2014-07-25 2015-07-24 헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영 KR20170036704A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462029351P 2014-07-25 2014-07-25
US62/029,351 2014-07-25
US14/723,065 2015-05-27
US14/723,065 US20160027218A1 (en) 2014-07-25 2015-05-27 Multi-user gaze projection using head mounted display devices
PCT/US2015/041861 WO2016014871A1 (en) 2014-07-25 2015-07-24 Multi-user gaze projection using head mounted display devices

Publications (1)

Publication Number Publication Date
KR20170036704A true KR20170036704A (ko) 2017-04-03

Family

ID=53783381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004092A KR20170036704A (ko) 2014-07-25 2015-07-24 헤드 마운트형 디스플레이 디바이스를 사용한 다중 유저 시선 투영

Country Status (5)

Country Link
US (1) US20160027218A1 (ko)
EP (1) EP3172644B1 (ko)
KR (1) KR20170036704A (ko)
CN (1) CN106662925B (ko)
WO (1) WO2016014871A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
WO2020231215A1 (ko) * 2019-05-16 2020-11-19 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20210032553A (ko) * 2016-06-16 2021-03-24 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6693507B2 (ja) * 2015-03-30 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
JP6693060B2 (ja) 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
DE102016104186A1 (de) * 2016-03-08 2017-09-14 Rheinmetall Defence Electronics Gmbh Simulator zum Training eines Teams einer Hubschrauberbesatzung
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
IL298181B1 (en) * 2016-04-21 2024-04-01 Magic Leap Inc A visual aura around the field of vision
SG11201810432YA (en) * 2016-04-27 2018-12-28 Immersion Device and method for sharing an immersion in a virtual environment
EP3465631B1 (en) * 2016-06-07 2020-07-08 Koninklijke KPN N.V. Capturing and rendering information involving a virtual environment
FR3052565B1 (fr) * 2016-06-10 2019-06-28 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US11341776B2 (en) * 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
KR102548199B1 (ko) 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10743004B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743003B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
KR101896982B1 (ko) * 2016-10-13 2018-09-10 에이케이엔코리아 주식회사 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
WO2018112820A1 (en) 2016-12-22 2018-06-28 Motorola Solutions, Inc. Method and system for tracking an object of interest in a talkgroup
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
JP6244593B1 (ja) * 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018175335A1 (en) * 2017-03-24 2018-09-27 Pcms Holdings, Inc. Method and system for discovering and positioning content into augmented reality space
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
US10880086B2 (en) 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
EP3413167A1 (en) * 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
CN107463262A (zh) * 2017-08-14 2017-12-12 中国电子科技集团公司第二十八研究所 一种基于HoloLens的多人协同交互方法
CN109426419B (zh) * 2017-09-05 2022-06-03 菜鸟智能物流控股有限公司 界面显示方法及相关设备
KR102633727B1 (ko) * 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
GB2568241B (en) * 2017-11-06 2022-01-05 Sony Interactive Entertainment Inc Content generation apparatus and method
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
DE102018201336A1 (de) * 2018-01-29 2019-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Virtual-Reality-Konferenzsystem
DE102018203865A1 (de) * 2018-03-14 2019-09-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät, Verfahren und Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, Verfahren und Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, computerlesbares Speichermedium mit Instruktionen zur Durchführung der Verfahren
EP3779644B1 (en) * 2018-03-26 2023-03-08 Sony Group Corporation Information processing device and information processing method
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images
US10809760B1 (en) * 2018-10-29 2020-10-20 Facebook, Inc. Headset clock synchronization
US11132841B2 (en) * 2018-11-30 2021-09-28 Facebook Technologies, Llc Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
US11022794B2 (en) * 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
US11397463B2 (en) 2019-01-12 2022-07-26 Microsoft Technology Licensing, Llc Discrete and continuous gestures for enabling hand rays
EP3938019A4 (en) * 2019-04-19 2022-10-12 Hewlett-Packard Development Company, L.P. NOISE ADJUSTMENTS TO COGNITIVE LOAD-BASED CONTENT
JP7356827B2 (ja) 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
US11256319B2 (en) * 2019-11-22 2022-02-22 Facebook Technologies, Llc Hierarchical power management in artificial reality systems
US11487968B2 (en) 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
WO2022005970A1 (en) * 2020-06-29 2022-01-06 Snap Inc. Eyewear with shared gaze-responsive viewing
US20210407203A1 (en) * 2020-06-29 2021-12-30 Ilteris Canberk Augmented reality experiences using speech and text captions
CN112115823A (zh) * 2020-09-07 2020-12-22 江苏瑞科科技有限公司 一种基于情感化身的混合现实协同系统
JP7453652B2 (ja) 2020-11-10 2024-03-21 日本電信電話株式会社 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
EP4256391A1 (en) * 2020-12-07 2023-10-11 Snap Inc. Augmented reality spatial audio experience
US11461067B2 (en) * 2020-12-17 2022-10-04 International Business Machines Corporation Shared information fields with head mounted displays
US20240127006A1 (en) * 2022-10-17 2024-04-18 Snap Inc. Sign language interpretation with collaborative agents
CN117492573B (zh) * 2024-01-03 2024-05-03 广东工业大学 基于眼动数据的自动冻屏方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092178A1 (en) * 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
WO2009128781A1 (en) * 2008-04-17 2009-10-22 Lundgren & Nordstrand Ab A method and a device for remote visualization
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
JP6281496B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210032553A (ko) * 2016-06-16 2021-03-24 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
WO2020231215A1 (ko) * 2019-05-16 2020-11-19 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20200132241A (ko) * 2019-05-16 2020-11-25 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US20160027218A1 (en) 2016-01-28
CN106662925A (zh) 2017-05-10
CN106662925B (zh) 2022-04-05
EP3172644B1 (en) 2019-10-23
EP3172644A1 (en) 2017-05-31
WO2016014871A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
US10955914B2 (en) Gaze-based object placement within a virtual reality environment
KR102312899B1 (ko) 홀로그래픽 오브젝트에 대한 스마트 투명도
KR102466576B1 (ko) 실세계 오브젝트를 갖는 가상 현실 환경
KR102385756B1 (ko) 가상 현실 환경에서 몰입된 때의 안티 트립
KR102352703B1 (ko) 삼차원 혼합 현실 뷰포트
US9645397B2 (en) Use of surface reconstruction data to identify real world floor
US9904055B2 (en) Smart placement of virtual objects to stay in the field of view of a head mounted display
JP2015515688A (ja) タッチ感応ユーザー・インターフェース

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application