KR20160113613A - 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용 - Google Patents

헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용 Download PDF

Info

Publication number
KR20160113613A
KR20160113613A KR1020167020345A KR20167020345A KR20160113613A KR 20160113613 A KR20160113613 A KR 20160113613A KR 1020167020345 A KR1020167020345 A KR 1020167020345A KR 20167020345 A KR20167020345 A KR 20167020345A KR 20160113613 A KR20160113613 A KR 20160113613A
Authority
KR
South Korea
Prior art keywords
head
mounted display
environment
function
change
Prior art date
Application number
KR1020167020345A
Other languages
English (en)
Other versions
KR102275589B1 (ko
Inventor
저스틴 모라베츠
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority to KR1020217020965A priority Critical patent/KR102374251B1/ko
Publication of KR20160113613A publication Critical patent/KR20160113613A/ko
Application granted granted Critical
Publication of KR102275589B1 publication Critical patent/KR102275589B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

착용 가능한 컴퓨팅 디바이스는 가상 현실 환경을 생성하는 헤드-마운티드 디스플레이(HMD)를 포함한다. 위치 데이터의 생성 및 추적을 통해, 가상 환경이 중단되거나 또는 일시 정지될 수 있다. 환경을 일시 정지할 때, 사용자는 가상 환경의 정상 동작 동안 달리 이용 가능하지 않은 다수의 보조 메뉴들 및 제어들에 액세스할 수 있다.

Description

헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용{ENVIRONMENTAL INTERRUPT IN A HEAD-MOUNTED DISPLAY AND UTILIZATION OF NON FIELD OF VIEW REAL ESTATE}
본 발명은 일반적으로 헤드-마운티드 디스플레이(HMD)를 가진 착용 가능한 가상 현실(VR) 컴퓨팅 디바이스들에 관한 것이다. 보다 구체적으로, 본 발명은 HMD에서의 시야에서 동작들을 중단시키며 HMD에서의 비 시야 리얼 에스테이트를 이용하는 것에 관한 것이다.
착용 가능한 VR 시스템들은, 입력 디바이스들, 센서들, 검출기들, 이미지 디스플레이들, 및 무선 통신 구성요소들, 뿐만 아니라 이미지 및 오디오 프로세서들과 같은, 다양한 요소들을 통합한다. 착용자의 눈들에 가깝게 이미지 디스플레이 요소를 둠으로써, 인공 이미지가 실세계의 뷰에 입혀지도록 또는 독립적인 현실을 그 자체로 생성하도록 만들어질 수 있다. 이러한 이미지 디스플레이 요소들은 또한 헤드-마운티드 디스플레이들(HMD들)로서 불리우는 시스템들로 통합된다. 디스플레이 요소의 크기 및 착용자의 눈까지의 거리에 따라, 디스플레이상에 제공된 인공 이미지들이 착용자의 시야를 채우거나 또는 거의 채울 수 있다.
HMD를 통합한 VR 시스템들은 이동식이며 경량이지만, 가상 환경과의 통신 및 상호 작용을 가능하게 한다. 그러나, 이러한 시스템들은 일반적으로, 그것들이 가상 환경의 내비게이션을 위해 독립적인 제어기의 사용을 여전히 요구한다는 점에서 부족하다. 이러한 의미에서, 대부분의 HMD들은 VR 환경으로의 진입을 가능하게 하는 고글들에 지나지 않는다. 특히 자연적 및 비-간섭적 방식으로 환경의 동작들을 중단시키는 것에 관해서, 독립적인 제어기 디바이스를 도입하지 않고 VR 환경을 내비게이션 및 제어하기 위한 이 기술분야에서의 요구가 있다. 상기 VR 환경에서 비-시야 "리얼 에스테이트"를 가장 잘 이용하기 위한 추가 요구가 있다.
본 발명의 실시예들은 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템들 및 방법들을 포함한다. 정보가 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관해 저장될 수 있다. 헤드-마운티드 디스플레이는 시작 위치를 식별하기 위해 교정될 수 있다. 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터가 생성될 수 있다. 헤드-마운티드 디스플레이의 현재 위치는 제어 설정의 위치의 변화를 초과하는 시작 위치로부터의 변화를 나타내는 것으로 결정될 수 있다. 그 후, 제어 설정과 연관된 기능이 실행될 수 있으며, 이것은 환경을 일시 정지시킴으로써 헤드-마운티드 디스플레이에서의 가상 환경을 중단시키는 것을 수반할 수 있다.
헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법이 청구된다. 이러한 방법들은 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관한 정보를 저장하는 단계, 시작 위치를 식별하기 위해 헤드-마운티드 디스플레이를 교정하는 단계, 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터를 생성하는 단계, 헤드-마운티드 디스플레이의 현재 위치가 제어 설정의 위치의 변화를 초과하는 시작 위치로부터의 변화를 나타낸다고 결정하는 단계, 및 제어 설정과 연관된 기능을 실행하는 단계를 포함할 수 있으며, 기능은 환경을 일시 정지시킴으로써 헤드-마운티드 디스플레이에서의 가상 환경을 중단시키는 것을 포함한다.
추가 실시예들은 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템을 포함한다. 이러한 시스템들은 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관한 정보를 저장하는 메모리, 헤드-마운티드 디스플레이를 교정하는 자이로스코프, 자력계, 및 가속도계 중 적어도 하나로서, 헤드-마운티드 디스플레이의 시작 위치가 식별되며, 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터를 생성하는, 상기 자이로스코프, 자력계, 및 가속도계 중 적어도 하나, 헤드-마운티드 디스플레이의 현재 위치가 제어 설정의 위치의 변화를 초과하는 시작 위치로부터의 변화를 나타낸다고 결정하기 위한 및 제어 설정과 연관된 기능을 실행하기 위한 메모리에 저장된 지시들을 실행하는 프로세서, 및 환경을 일시 정지시킴으로써 기능의 실행이 환경을 중단시키는 가상 환경을 디스플레이하기 위한 적어도 하나의 렌즈를 포함하는 헤드-마운티드 디스플레이를 포함할 수 있다.
본 발명의 실시예들은 여기에서 설명된 바와 같이 프로세서에 의해 헤드-마운티드 디스플레이에서 가상 환경을 중단시키는 방법들을 수행하도록 실행 가능한 프로그램을 구현한, 비-일시적 컴퓨터-판독 가능한 저장 매체들을 추가로 포함할 수 있다.
도 1은 대표적인 착용 가능한 컴퓨팅 디바이스의 블록도를 예시한다.
도 2a는 가상 현실 환경에서 착용자를 완전히 몰입하게 만드는 HMD를 예시한다.
도 2b는 실세계의 지각을 유지하면서 VR 정보의 생성을 가능하게 하는 HMD를 예시한다.
도 3은 VR 환경에서 인터럽트의 대표적인 구현을 예시한다.
도 4는 VR 환경에서 인터럽트를 구현하기 위한 방법을 예시한다.
도 5는 VR 환경에 부수적인 정보를 제공하기 위한 비-시야 리얼 에스테이트의 사용을 예시한다.
본 발명의 실시예들은 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템들 및 방법들을 포함한다. 정보가 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관해 저장될 수 있다. 헤드-마운티드 디스플레이는 시작 위치를 식별하기 위해 교정될 수 있다. 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터가 생성될 수 있다. 헤드-마운티드 디스플레이의 현재 위치는 제어 설정의 위치의 변화를 초과하는 시작 위치로부터의 변화를 나타내는 것으로 결정될 수 있다. 그 후, 제어 설정과 연관된 기능이 실행될 수 있으며, 이것은 환경을 일시 정지시킴으로써 헤드-마운티드 디스플레이에서의 가상 환경을 중단시키는 것을 수반할 수 있다.
도 1은 대표적인 착용 가능한 가상 현실 시스템(100)의 블록도를 예시한다. 외부 컴퓨팅 디바이스(110)와 통신하여, 착용 가능한 가상 현실 시스템(100)은 USB 인터페이스(120), 무선 통신 인터페이스(130), 자이로스코프(140), 가속도계(150), 자력계(160), 데이터 저장소(170), 프로세서(180), 및 헤드-마운티드 디스플레이(HMD)(200)를 포함할 수 있다.
헤드-마운티드 디스플레이(HMD)(200)는 이의 착용자가 실-세계 환경들, 디스플레이된 컴퓨터 생성 이미지, 또는 둘의 조합을 관찰하게 한다. HMD(200)는 몇몇 실시예들에서 시-스루(see-through) 디스플레이를 포함할 수 있다. 착용 가능한 공동 가상 현실 시스템(100)의 착용자는 이러한 실시예에서 HMD(200)를 통해 보며 착용 가능한 가상 현실 시스템(100)의 존재에도 불구하고 실-세계 환경의 일 부분을 관찰할 수 있을 것이다. 추가 실시예에서 HMD(200)는 "증강 현실" 경험을 제공하기 위해 시야에 중첩되는 이미지들을 디스플레이하도록 동작 가능할 수 있다. HMD(200)에 의해 디스플레이된 이미지들 중 일부는 시야에서 특정한 오브젝트들에 관하여 중첩되거나 또는 나타날 수 있다. 또한 추가 실시예에서, HMD(200)는 이에 의해 착용 가능한 가상 현실 시스템(100)의 착용자가 실세계와의 임의의 시각적 접촉으로부터 분리되는 완전한 가상 환경일 수 있다.
디스플레이된 이미지는 그래픽들, 텍스트, 및/또는 비디오를 포함할 수 있으며; 오디오는 대응하는 오디오 디바이스를 통해 제공될 수 있다. HMD에 의해 디스플레이된 이미지들은 대화식 사용자 인터페이스의 부분일 수 있으며, 착용자가 착용 가능한 컴퓨팅 디바이스의 기능들을 호출하거나 또는 그 외 착용 가능한 컴퓨팅 디바이스와 상호 작용할 수 있게 하는 메뉴들, 선택 박스들, 내비게이션 아이콘들, 또는 다른 사용자 인터페이스 피처들을 포함한다. HMD(200)의 형태 인자는 안경들, 고글들, 헬멧, 모자, 바이저(visor), 헤드밴드의 형태일 수 있거나, 또는 착용자의 머리 상에 또는 그로부터 지지될 수 있는 몇몇 다른 형태일 수 있다.
착용자에게 가상 이미지를 디스플레이하기 위해, HMD는 디스플레이 패널을 비추는 발광 다이오드(LED)와 같은 광원을 가진 광학 시스템을 포함할 수 있다. 디스플레이 패널은 액정 디스플레이 패널(LCD)을 포함할 수 있다. 디스플레이 패널은 광원으로부터의 광을 공간적으로 변조함으로써 광 패턴들을 발생시킬 수 있으며, 이미지 형성기는 광 패턴으로부터 가상 이미지를 형성한다. 대안적으로, 패널은 이에 의해 액정 층이 실리콘 후면의 최상부 상에 위치될 수 있는 실리콘 액정표시장치(liquid crystal on silicon; LCOS)일 수 있다.
대표적인 실시예에서 HMD는 이에 의해 좌측 눈이 좌측으로 추가 영역을 보며 우측 눈이 우측으로 추가 영역을 보는 비-중첩 입체 3D 이미지들을 가진 7 인치 스크린을 포함한다. HMD는 100% 중첩이 아닌, 정상적인 인간 시각을 모방하려고 시도한다. 대표적인 실시예에서 시야는 수평적 90도 이상(110도 대각선)이며 그에 의해 실세계가 강한 몰입감을 불러일으키기 위해 완전히 차단될 수 있도록 뷰의 대략 전체 시야를 채운다.
실시예는 1280×800 (16:10 종횡비)을 이용할 수 있으며 그에 의해 눈마다 유효 640×800, 4:5 종횡비를 가능하게 한다. 눈들 사이에서의 완전한 중첩을 가능하게 하지 않는 실시예에서, 조합된 수평 분해능은 사실상 640보다 크다. 각각의 눈에 대한 디스플레이된 이미지는 핀 쿠션(pin cushion)되며 그에 의해 각각의 눈에 대해 구형-매핑 이미지를 생성한다.
HMD(200)는 외부 컴퓨팅 디바이스(들)(110)와 통신할 수 있다. 외부 컴퓨팅 디바이스(들)(110)는 네트워크 및 미디어 인터페이스들과 같은 표준 하드웨어 컴퓨팅 구성요소들, 비-일시적 컴퓨터-판독 가능한 저장소(메모리), 및 지시들을 실행하거나 또는 메모리에 저장될 수 있는 정보에 액세스하기 위한 프로세스들을 포함하여, 애플리케이션 서버들, 데이터베이스들, 및 이 기술분야에 알려진 다른 외부 컴퓨팅 구성요소들을 포함한다.
착용 가능한 가상 현실 시스템(100)은 몇몇 인스턴스들에서 외부 컴퓨팅 디바이스(들)(110)에 물리적으로 연결될 수 있다. 이러한 연결은 USB 인터페이스(120)에 의해 구현될 수 있으며, 이는 USB-순응 케이블링에 의해 외부 컴퓨팅 디바이스(110)로 데이터를 전송하며 그로부터 데이터를 수신하기 위해 사용될 수 있다. USB 인터페이스(120)는 또한 착용 가능한 가상 현실 시스템(100)에 동력을 공급하기 위해 사용될 수 있으며 그에 의해 외부 전원 공급 장치 및 그것과 연관된 임의의 전력 케이블링에 대한 요구를 부인할 수 있다. 몇몇 인스턴스들에서, 추가 전력 어댑터(도시되지 않음)가 USB 인터페이스(120)에 의해 전력을 구현하기 위해 필요할 수 있다. USB에 대한 참조는 이에 제한되지 않지만, 파이어와이어(FireWire), 라이트닝(Lightning), 뿐만 아니라 HDMI 및 DVI와 같은 다른 케이블링된 연결 표준들을 포함한 다른 유형들의 인터페이스들이 사용될 수 있으므로 대표적이라는 것이 이해되어야 한다.
도 1의 착용 가능한 가상 현실 시스템(100)은 무선 통신 인터페이스(130)를 포함한다. 무선 통신 인터페이스(130)는 외부 컴퓨팅 디바이스(들)(110)와 무선으로 통신하기 위해 사용될 수 있다. 무선 통신 인터페이스(130)는 또한 다른 착용 가능한 컴퓨팅 디바이스들(100)과 통신하기 위해 사용될 수 있다. 무선 통신 인터페이스(130)는 인터넷과 같은 패킷-기반 네트워크를 통한 양-방향 데이터 교환을 지원하는 임의의 수의 무선 통신 표준들을 이용할 수 있다. 대표적인 통신 표준들은 CDMA, GSM/GPRS, 4G 셀룰러, WiMAX, LTE, 및 802.11(WiFi)을 포함한다.
착용 가능한 가상 현실 시스템(100)은 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160) 중 하나 이상을 포함할 수 있다. 자이로스코프(140)는 각 운동량의 원리들에 기초하여 배향을 측정하기 위해 이용될 수 있다. 가속도계(150)는 벡터 양으로서 가속의 크기 및 방향을 검출하기 위해 사용될 수 있다. 이 결과는 무게의 방향이 변화하기 때문에 배향, 관성력 또는 관성력의 변화와 상관된 적절한 가속, 및 적절한 가속의 변화에 의한 저항성 매체에서의 진동, 충격, 및 강하를 감지하기 위해 사용될 수 있다. 자력계들(160)은 착용 가능한 가상 현실 시스템(100)에 대한 자기장에서의 교란들을 식별하기 위해 사용될 수 있다. 자력계(160)는 GPS 및 나침반 애플리케이션들에 대한 진북의 식별을 도울 뿐만 아니라 무접촉 또는 카메라가 없는 제스처 입력을 도울 수 있다. 앞서 말한 것으로부터 생성된 데이터를 이용함으로써, 지면에 대한 이동 없이 절대적인 머리 배향 추적이 산출될 수 있다. 지연 시간 추적은 응답 시간을 감소시키며 지각된 사실성을 증가시키기 위해 대략 1000 Hz에서 동작할 수 있다. 착용 가능한 가상 현실 시스템(100)의 디스플레이들은 개개의 디스플레이들이 착용자의 눈들에 더 멀리 또는 더 가까이 이동되게 하도록 조정될 수 있다.
착용 가능한 가상 현실 시스템(100)은 데이터 저장소(170)에 저장된 비-일시적 컴퓨터 판독 가능한 지시들의 실행에 의해 동작할 수 있으며, 여기서 실행은 프로세서(180)의 동작을 통해 발생한다. 도 1은 데이터 저장소(170) 및 프로세서(180)를 착용 가능한 가상 현실 시스템(100)에 존재하는 것으로서 예시하지만, 이러한 요소들은 외부 컴퓨팅 디바이스(들)(110)에 또는 몇몇 인스턴스들에서, 둘 사이에 분배된 실행 가능한 동작들을 이용하여 위치될 수 있다. 프로세서(180) 및 데이터 저장소(170)에서의 실행 가능한 지시들은 또한 다양한 양상들의 USB 인터페이스(120), 무선 인터페이스(130), 자이로스코프들(140), 가속도계들(150), 및 자력계들(160)을 제어할 수 있다.
도 2a는 가상 현실 환경에서 착용자를 완전히 몰입하게 만드는 HMD(200)를 예시한다. 도 2a는 몰입감 있는 고글들로서 예시되지만, 다른 형태 인자들이 가능하며 구상된다. 도 2a에서의 요소들의 동작은 도 2b의 맥락에서 논의된 것들과 동일하다. 도 2a는 착용 가능한 가상 현실 시스템(100)(HDM(200)을 포함한)이 착용자의 머리 상에 위치되게 하는 헤드-마운티드 지지대(210)를 포함한다. HMD(200)는 위에서 설명된 바와 같이 LCD 또는 LCOS 구성일 수 있는 렌즈 디스플레이들(220A 및 220B)을 추가로 포함한다. 렌즈 디스플레이들(220A 및 220B)은 착용 가능한 가상 현실 시스템(100)의 통합된 부분일 수 있다.
착용 가능한 가상 현실 시스템(100)의 제조는 도 1에 예시된 것들과 같은 구성요소들 및 다양한 구성요소 상호 연결들의 통합이 내부적으로 통합되게 할 수 있다. 다른 구성요소들은 외부 컴퓨팅 디바이스(들)(110)로의 보다 준비된 액세스 또는 물리적 연결들을 가능하게 하기 위해 착용 가능한 가상 현실 시스템(100)의 외부에 위치될 수 있다. 착용 가능한 가상 현실 시스템(100)의 실시예는 착용 가능한 가상 현실 시스템(100)을 이용하는 다른 개인들과의 음성 통신을 가능하게 하기 위해 또는 시스템(100)의 특정한 핸즈프리 제어를 가능하게 하기 위해 마이크로폰을 포함할 수 있다.
도 2b는 실세계의 지각을 유지하면서 가상 현실 정보의 생성을 가능하게 하는 HMD(200)를 예시한다. 이러한 이중 지각은 가상 환경의 범위들 내에서 착용자를 완전히 몰입하게 하지 않음으로써 제공된다(즉, 실세계가 여전히 보여지며 지각될 수 있다). 도 2b의 HMD(200)가 간단한 밴드로서 예시되지만, 다른 형태 인자들이 가능하며 구상된다. 도 2b에 대한 요소들의 동작은 도 2a의 맥락에서 논의된 것들과 동일하다.
도 3은 VR 환경에서 인터럽트의 대표적인 구현을 예시한다. 예시된 대로, HMD(200)의 사용자(310)는 VR 환경(320)의 "라인 아래" 또는 "데드 센터"를 보고 있으며, 그 중심은 선(ray)(330)에 의해 반영된다. 선(330)은 배향의 표시들이 가상 환경(320)에 대하여 HMD(200)에 의해 디스플레이될 수 있다는 것이 가능하지만 단지 예시를 돕기 위해 제공되며 VR 환경(320)에서 문자 그대로 존재하지 않는다는 것이 주의되어야 한다. 선(330) 및 사용자(340)의 가시선에 의해 반영되는 바와 같이, 양자는 서로 비교적 평행할 수 있다.
선(330)은, VR 환경에서 필요한 예시된 요소는 아니지만, 사용자(310)가 그들의 머리에 HMD(200)를 먼저 장착할 때 이를 교정하는 것으로부터 결정될 수 있다. 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160) 중 하나 이상에 의해 생성된 정보를 이용함으로써, 착용 가능한 가상 현실 시스템(100)은 사용자의 "시작" 또는 "중립" 위치 및 사용자(310)의 머리 - 및 더 나아가 HMD(200) -의 추가 모션이 판단되는 VR 환경을 산출할 수 있다. 이러한 교정은 동작의 처음에, 수동 리셋 동안, 또는 재-교정이 요구되도록 위치 정보가 "이동되거나" 또는 더 이상 적절히 연관성을 보여주지 않는다는 착용 가능한 가상 현실 시스템(100)에 의한 자동 결정에 응답하여 발생할 수 있다. 이러한 결정은 프로세서(180)에 의해 메모리(170)에 저장된 소프트웨어의 실행을 통해 발생할 수 있다.
이제 도 3에서 사용자(350)를 참조하면, 이러한 사용자(사용자(310)와 동일한 사용자이지만 간단히 대략 45도로 그들의 머리를 돌리는)는 앞서 언급된 교정 프로세스 동안 수립된 바와 같이 그들의 가시선이 더 이상 선(330)을 따라 평행하지 않도록 그들의 머리를 돌린다. 새로운 가시선(3401)은 가시선이 이제 원래 수립된 선(330)의 우측으로 대략 45도(360)임을 반영한다. 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160) 중 하나 이상에 의해 생성된 정보를 이용함으로써, 착용 가능한 가상 현실 시스템(100)은 가시선(3401)이 사용자의 '시작' 또는 '중립' 위치로부터 얼마나 멀리 변화되었는지 및 선(330)을 수립하기 위해 사용되었는지를 산출할 수 있다.
선(330)처럼, 각도(360)는 이에 의해 환경에서의 활동들이, 이에 제한되지 않지만, 메뉴 내비게이션을 포함한, 몇몇 다른 기능을 가능하게 하기 위해 중단되거나 또는 보류되는 환경적 인터럽트 또는 "일시 정지" 피처의 구현에 대한 이해를 돕기 위해 예시된다. 그러나 또한 선(330)처럼, 각도(360)는 그래픽 오버레이의 일부로서 가상 환경(320)에서 사용자에게 시각적으로 예시될 수 있다. 이 정보는 중심 선(330)으로부터의 각도의 실제 변화를 보여주는 기하학적 예시로서 또는 단지 사용자가 그들의 머리를 돌리는 중심(330)의 각도(예로서, 12도)의 수치 표시자로서 디스플레이될 수 있다.
본 발명의 실시예는 사용자가 도 3에 예시된 바와 같이 특정한 각도를 초과하여 그들의 머리를 돌림으로써 "인터럽트" 또는 "일시 정지" 기능을 구체적으로 다루지만, 다른 기능들이 위치 변화와 연관될 수 있다(예로서, 저장 기능, 리셋 기능, 재-시작 기능)는 것이 주의되어야 한다. 이에 관하여, 인터럽트 또는 "일시 정지" 기능이 대표적이다. 더 나아가, 실시예는 상이한 기능들을 갖는 상이한 각도들을 구현할 수 있다. 예를 들면, "일시 정지"는 중심(330)에서 20도 벗어난 뒤에 구현될 수 있는 반면, 저장은 중심(330)으로부터 30도 뒤에, 재-시작은 중심(330)으로부터 45도 뒤에 구현될 수 있다. 이들 기능들에 대한 구현은 각도 변화가 도달되자마자 또는 사용자가 미리 결정된 시간 기간 동안 그들의 머리를 특정한 위치 변화에 있게 한 후 발생할 수 있다.
도 4는 VR 환경에서 인터럽트를 구현하기 위한 방법(400)을 예시한다. 도 4의 방법(400)은 이에 제한되지 않지만 CD, DVD, 또는 하드 드라이브와 같은 비-휘발성 메모리를 포함하여 비-일시적 컴퓨터 판독 가능한 저장 매체에서 실행 가능한 지시들로서 구현될 수 있다. 이러한 방법론은 메모리(170)에 구현되는 비-일시적 컴퓨터 판독 가능한 지시들을 실행하는 프로세서(180)에 의해 구현될 수 있다. 프로세서(180) 및 메모리(170)에 저장된 소프트웨어는 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160)을 포함하여 시스템(100)의 다양한 다른 구성요소들로부터 획득된 데이터를 이용할 수 있다. 도 4에서 식별된 단계들(및 그것의 순서)은 대표적이며 이에 제한되지 않지만 이것의 실행의 순서를 포함하여 그것의 다양한 대안들, 등가물들, 또는 파생들을 포함할 수 있다.
단계(410)에서, 교정 프로세스가 시작될 수 있다. 교정은 착용 가능한 가상 현실 시스템(100)의 스타트-업 시 또는 시스템(100)의 맥락에서 특정한 애플리케이션을 시작하는 것에 응답하여 발생할 수 있다. 사용자는 또한 수동 교정을 요청할 수 있거나, 또는 시스템(100)은 위치 이동들로 인해 이를 요구할 수 있다.
교정 프로세스에 응답하여, 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160)로부터의 정보가 단계(420)에서 수신된다. 이 정보는 모든 다른 각도 산출들이 문맥상으로 판단될 중립 또는 "움직이지 않는" 위치를 결정하기 위해 사용될 것이다. 이러한 결정은, 도 3의 맥락에서 논의된 바와 같이, 예를 들면, 선(330)에 대응할 수 있다. 측정들 및 산출들은 X 축뿐만 아니라 Y 축 상에서 일어날 수 있다. 이에 관하여, "일시 정지" 또는 다른 기능들은 X 축을 따르는 움직임 뿐만 아니라, 또한 Y-축 또는 심지어 둘의 조합(예로서, 사용자는 그들의 머리를 우측으로 및 특정한 위치 위로 올린다)을 따르는 움직임들에 의해 도입될 수 있다.
단계(430)에서, 다양한 제어들이 단계(420)에서 생성된 위치 데이터에 대하여 설정될 수 있다. 선(330)의 중립 위치는, HMD(200)의 위치 데이터가 사용자가 특정한 축 또는 축들을 따라 포함할 수 있는, 특정한 각도를 넘어 그들의 가시선을 돌렸다고 표시한다면 구현될 수 있는 다양한 기능들에 더하여 확인될 수 있다. 몇몇 인스턴스들에서, 다양한 기능들은 변화의 각도들을 증가시키기 위해 구현될 수 있다. 이에 의해 사용자는 주어진 시간 기간 동안 특정한 각도를 넘어 특정한 축을 따라 그들의 가시선을 변경해야 하는 시간 기간들이 또한 구현될 수 있다.
단계(440)에서, HMD(200)의 추적은 3-차원 축 자이로스코프들(140), 가속도계들(150), 및 자력계들(160) 중 동류에 의해 생성된 정보를 사용하여 시작된다. 추적 프로세스 전체에 걸쳐, HMD(200)의 위치 데이터가 그것이 단계(430)에서 설정된 제한들 또는 제어들 중 하나를 초과하였음을 표시하는지에 대해 계속된 검사가 이루어진다. 예를 들면, 그리고 도 3에 도시된 바와 같이, 결정은 사용자가 그들의 머리 및 그로 인해 그들의 가시선(340)을 중립 선(330)에 대한 특정한 제어 각도를 넘어 움직였는지에 대해 이루어진다. 각도가 초과되지 않았다면(또는 미리 정의된 시간 기간 동안 초과되지 않았다면), 추적은 단계(440)에서 계속되며, 단계(430)로부터의 설정들에 대한 검사들이 단계(450)에서 계속해서 이루어진다. 그러나, 사용자가 특정한 시간 기간 동안 특정한 축을 따르는 위치 설정(또는 단계(430)에서 제어된 임의의 다른 설정)을 초과하였다면, 대응하는 기능 -"일시 정지"와 같은 -이 단계(460)에서 구현될 수 있다.
도 5는 VR 환경에 부수적인 정보를 제공하기 위한 비-시야 리얼 에스테이트의 사용을 예시한다. 사용자는 도 3의 맥락으로 논의된 바와 같이, 중립 또는 중심 설정을 넘어 그들의 시야를 돌린 것으로 결정될 수 있다. 사용자가 HMD(200)에 의해 디스플레이되는 VR 환경을 일시 정지하였기 때문에, 사용자는 이제 VR 환경의 직접 부분이 아니며 통상적으로 사용자의 가시선의 "주변 시각" 영역들로 귀속될 리얼 에스테이트 영역들에서 다른 활동들을 처리할 수 있다.
예를 들면, 이 영역은 VR 환경 또는 VR 환경을 생성하기 위해 현재 실행하고 있는 애플리케이션에 관련된 다양한 메뉴들 및 제어들을 포함할 수 있다. 그것은 환경에서 일어나는 활동의 상태와 같은 VR 환경에 대한 데이터(예로서, 스코어들, 헬스, 인벤토리 등)를 추가로 포함할 수 있다. 주변 영역 리얼 에스테이트는 또한 시스템(100) 또는 시스템(100)의 HMD(200)에 관한 상태 정보를 포함할 수 있다. 광고들이 또한 이 영역에서 디스플레이될 수 있다. 비디오 호출들, 메시지들, 또는 다른 실시간 통신들과 같은, 다른 애플리케이션들이 또한 이 영역에서 실행할 수 있다. 이러한 데이터를 위해 이 공간을 사용하며 사용자가 일시 정지 상태 동안 이에 액세스하게 함으로써, VR 환경에서의 1차 가시선 영역이 보다 양호하게 이용될 수 있다.
본 발명은 다양한 디바이스들을 사용하여 동작 가능할 수 있는 애플리케이션에서 구현될 수 있다. 비-일시적 컴퓨터-판독 가능한 저장 매체들은 실행을 위해 중앙 프로세싱 유닛(CPU)에 지시들을 제공하는데 참여하는 임의의 매체 또는 매체들을 나타낸다. 이러한 미디어는, 이에 제한되지 않지만, 각각 광학 또는 자기 디스크들 및 동적 메모리와 같은, 비-휘발성 및 휘발성 매체들을 포함하여, 많은 형태들을 취할 수 있다. 비-일시적 컴퓨터-판독 가능한 매체들의 공통적인 형태들은, 예를 들면, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM 디스크, 디지털 비디오 디스크(DVD), 임의의 다른 광학 매체, RAM, PROM, EPROM, FLASHEPROM, 및 임의의 다른 메모리 칩 또는 카트리지를 포함한다.
다양한 형태들의 송신 매체들은 실행을 위해 하나 이상의 시퀀스들의 하나 이상의 지시들을 CPU에 운반할 때 수반될 수 있다. 버스는 CPU가 지시들을 검색하며 실행하는, 시스템 RAM으로 데이터를 운반한다. 시스템 RAM에 의해 수신된 지시들은 CPU에 의한 실행 전 또는 후에 고정 디스크 상에 선택적으로 저장될 수 있다. 다양한 형태들의 저장소가 마찬가지로 이를 구현하기 위해 필요한 네트워크 인터페이스들 및 네트워크 토폴로지들에 더하여 구현될 수 있다.
다양한 실시예들이 상기에 설명되었지만, 그것들은 제한이 아닌, 단지 예로서 제공되었다는 것이 이해되어야 한다. 설명들은 본 발명의 범위를 여기에 제시된 특정한 형태들에 제한하도록 의도되지 않는다. 따라서, 바람직한 실시예의 폭 및 범위는 상기 설명된 대표적인 실시예들 중 임의의 것에 의해 제한되지 않아야 한다. 상기 설명은 예시적이며 제한적이지 않다는 것이 이해되어야 한다. 그와는 반대로, 본 설명들은 첨부된 청구항들에 의해 정의되며 그 외 이 기술분야의 숙련자에 의해 이해되는 바와 같이 본 발명의 사상 및 범위 내에 포함될 수 있는 것으로서 이러한 대안들, 수정들 및 등가물들을 커버하도록 의도된다. 본 발명의 범위는 그러므로, 상기 설명을 참조하여 결정되어야 하는 것이 아니라, 대신에 등가물들의 그것들의 전체 범위와 함께 첨부된 청구항들을 참조하여 결정되어야 한다.

Claims (15)

  1. 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법으로서,
    상기 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관한 정보를 메모리에 저장하는 단계;
    시작 위치가 식별되는 상기 헤드-마운티드 디스플레이를 교정하는 단계;
    상기 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터를 생성하는 단계;
    상기 헤드-마운티드 디스플레이의 현재 위치가 상기 제어 설정의 상기 위치의 변화를 초과하는 상기 시작 위치로부터의 변화를 나타낸다고 결정하는 단계; 및
    상기 제어 설정과 연관된 상기 기능을 실행하는 단계를 포함하고,
    상기 기능은 상기 환경을 일시 정지시킴으로써 상기 헤드-마운티드 디스플레이에서의 상기 가상 환경을 중단시키는 것을 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법.
  2. 청구항 1에 있어서, 위치 데이터를 생성하는 단계가 자이로스코프로부터의 데이터를 프로세싱하는 단계를 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법.
  3. 청구항 1에 있어서, 위치 데이터를 생성하는 단계가 가속도계로부터의 데이터를 프로세싱하는 단계를 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법.
  4. 청구항 1에 있어서, 위치 데이터를 생성하는 단계가 자력계로부터의 데이터를 프로세싱하는 단계를 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법.
  5. 청구항 1에 있어서, 상기 환경이 일시 정지되면 주변 시각 영역에 메뉴 기능을 제공하는 단계를 더 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법.
  6. 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템으로서,
    상기 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관한 정보를 저장하는 메모리;
    자이로스코프, 자력계, 및 가속도계 중 적어도 하나로서:
    상기 헤드-마운티드 디스플레이를 교정하되, 상기 헤드-마운티드 디스플레이의 시작 위치가 식별되는, 상기 헤드-마운티드 디스플레이를 교정하며, 그리고
    상기 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터를 생성하는, 상기 자이로스코프, 자력계, 및 가속도계 중 적어도 하나;
    메모리에 저장된 지시들을 실행하는 프로세서로서, 상기 지시들은:
    상기 헤드-마운티드 디스플레이의 현재 위치가 상기 제어 설정의 상기 위치의 변화를 초과하는 상기 시작 위치로부터의 변화를 나타낸다고 결정하며; 그리고
    상기 제어 설정과 연관된 상기 기능을 실행하기 위한 것인, 상기 프로세서; 및
    상기 가상 환경을 디스플레이하기 위한 적어도 하나의 렌즈를 포함하는 헤드-마운티드 디스플레이를 포함하고,
    상기 기능의 실행은 상기 환경을 일시 정지시킴으로써 상기 환경을 중단시키는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템.
  7. 청구항 6에 있어서, 위치 데이터를 생성하는 것은 상기 자이로스코프로부터의 데이터를 프로세싱하는 것을 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템.
  8. 청구항 6에 있어서, 위치 데이터를 생성하는 것은 상기 가속도계로부터의 데이터를 프로세싱하는 것을 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템.
  9. 청구항 6에 있어서, 위치 데이터를 생성하는 것은 상기 자력계로부터의 데이터를 프로세싱하는 것을 포함하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템.
  10. 청구항 6에 있어서, 상기 헤드-마운티드 디스플레이는 상기 환경이 일시 정지되면 주변 시각 영역에 메뉴 기능을 추가로 제공하는, 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 시스템.
  11. 프로그램을 구현한 비-일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 프로그램은 프로세서에 의해 헤드-마운티드 디스플레이에서 가상 환경을 중단시키기 위한 방법을 수행하도록 실행 가능하고, 상기 방법은:
    상기 헤드-마운티드 디스플레이의 위치의 변화와 기능을 연관시키는 적어도 하나의 제어 설정에 관한 정보를 저장하는 단계;
    시작 위치가 식별되는 상기 헤드-마운티드 디스플레이를 교정하는 단계;
    상기 헤드-마운티드 디스플레이의 움직임을 추적하는 위치 데이터를 생성하는 단계;
    상기 헤드-마운티드 디스플레이의 현재 위치가 상기 제어 설정의 상기 위치의 변화를 초과하는 상기 시작 위치로부터의 변화를 나타낸다고 결정하는 단계; 및
    상기 제어 설정과 연관된 상기 기능을 실행하는 단계를 포함하고,
    상기 기능은 상기 환경을 일시 정지시킴으로써 상기 헤드-마운티드 디스플레이에서의 상기 가상 환경을 중단시키는 것을 포함하는, 비-일시적 컴퓨터 판독 가능한 저장 매체.
  12. 청구항 11에 있어서, 위치 데이터를 생성하는 단계가 자이로스코프로부터의 데이터를 프로세싱하는 단계를 포함하는, 비-일시적 컴퓨터 판독 가능한 저장 매체.
  13. 청구항 11에 있어서, 위치 데이터를 생성하는 단계가 가속도계로부터의 데이터를 프로세싱하는 단계를 포함하는, 비-일시적 컴퓨터 판독 가능한 저장 매체.
  14. 청구항 11에 있어서, 위치 데이터를 생성하는 단계가 자력계로부터의 데이터를 프로세싱하는 단계를 포함하는, 비-일시적 컴퓨터 판독 가능한 저장 매체.
  15. 청구항 11에 있어서, 상기 환경이 일시 정지되면 주변 시각 영역에 메뉴 기능을 제공하는 단계를 더 포함하는, 비-일시적 컴퓨터 판독 가능한 저장 매체.
KR1020167020345A 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용 KR102275589B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217020965A KR102374251B1 (ko) 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931583P 2014-01-25 2014-01-25
US61/931,583 2014-01-25
US14/283,083 2014-05-20
US14/283,083 US9437159B2 (en) 2014-01-25 2014-05-20 Environmental interrupt in a head-mounted display and utilization of non field of view real estate
PCT/US2015/010994 WO2015112361A1 (en) 2014-01-25 2015-01-12 Environmental interrupt in a head-mounted display and utilization of non field of view real estate

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020965A Division KR102374251B1 (ko) 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용

Publications (2)

Publication Number Publication Date
KR20160113613A true KR20160113613A (ko) 2016-09-30
KR102275589B1 KR102275589B1 (ko) 2021-07-09

Family

ID=53679582

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167020345A KR102275589B1 (ko) 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
KR1020217020965A KR102374251B1 (ko) 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217020965A KR102374251B1 (ko) 2014-01-25 2015-01-12 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용

Country Status (10)

Country Link
US (3) US9437159B2 (ko)
EP (1) EP3097552B1 (ko)
JP (1) JP6591990B2 (ko)
KR (2) KR102275589B1 (ko)
CN (2) CN106164993B (ko)
BR (1) BR112016017181B1 (ko)
CA (1) CA2937536C (ko)
MX (1) MX359047B (ko)
RU (1) RU2660063C2 (ko)
WO (1) WO2015112361A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US11992746B1 (en) * 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
JP2017187757A (ja) * 2016-03-30 2017-10-12 ＴｓＺ株式会社 画像表示装置
CN106125916A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及终端
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜
CN106095007A (zh) * 2016-07-29 2016-11-09 北京小鸟看看科技有限公司 一种头戴显示设备
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
AU2018289561B2 (en) 2017-06-22 2020-07-02 Centurion Vr, Inc. Virtual reality simulation
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
CN107463264B (zh) * 2017-08-16 2020-07-14 福建天晴在线互动科技有限公司 一种vr场景复位的方法和终端
CN107320957B (zh) * 2017-08-21 2021-01-26 网易（杭州）网络有限公司 游戏界面显示方法及装置
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228859A (ja) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc ３次元画像表示装置、および３次元画像表示方法
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258785A (en) 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH10222287A (ja) 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JPH1195971A (ja) 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
EP1116211A4 (en) 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US6315273B1 (en) 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
EP1751499B1 (en) 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
SE0401582L (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US7746343B1 (en) 2005-06-27 2010-06-29 Google Inc. Streaming and interactive visualization of filled polygon data in a geographic information system
US8818076B2 (en) 2005-09-01 2014-08-26 Victor Shenkar System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
US8725729B2 (en) 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP2011039438A (ja) * 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US20110153435A1 (en) 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
WO2011097762A1 (en) 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 ３次元地図描画システム
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
KR101818024B1 (ko) 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228859A (ja) * 2010-04-16 2011-11-10 Sony Computer Entertainment Inc ３次元画像表示装置、および３次元画像表示方法
JP2013168910A (ja) * 2012-02-17 2013-08-29 Sony Corp ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Also Published As

Publication number Publication date
RU2016134268A3 (ko) 2018-03-01
JP6591990B2 (ja) 2019-10-16
MX359047B (es) 2018-09-13
CN112218068A (zh) 2021-01-12
CN112218068B (zh) 2024-03-19
CN106164993A (zh) 2016-11-23
RU2016134268A (ru) 2018-03-01
CA2937536A1 (en) 2015-07-30
US20170004654A1 (en) 2017-01-05
BR112016017181B1 (pt) 2022-06-28
US20150213778A1 (en) 2015-07-30
US9818230B2 (en) 2017-11-14
US9437159B2 (en) 2016-09-06
CA2937536C (en) 2022-01-04
RU2660063C2 (ru) 2018-07-04
EP3097552A4 (en) 2018-01-24
KR102374251B1 (ko) 2022-03-15
CN106164993B (zh) 2020-10-20
WO2015112361A1 (en) 2015-07-30
MX2016009136A (es) 2017-04-13
KR102275589B1 (ko) 2021-07-09
JP2017506449A (ja) 2017-03-02
BR112016017181A2 (pt) 2017-12-26
KR20210087570A (ko) 2021-07-12
EP3097552B1 (en) 2020-03-04
EP3097552A1 (en) 2016-11-30
US20180082483A1 (en) 2018-03-22
US10096167B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
US10096167B2 (en) Method for executing functions in a VR environment
US11693476B2 (en) Menu navigation in a head-mounted display
WO2016014872A1 (en) Smart placement of virtual objects to stay in the field of view of a head mounted display
JP2019101330A (ja) 表示システム及び表示方法
CN116648683A (zh) 用于选择对象的方法和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant