RU2660063C2 - Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости - Google Patents

Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости Download PDF

Info

Publication number
RU2660063C2
RU2660063C2 RU2016134268A RU2016134268A RU2660063C2 RU 2660063 C2 RU2660063 C2 RU 2660063C2 RU 2016134268 A RU2016134268 A RU 2016134268A RU 2016134268 A RU2016134268 A RU 2016134268A RU 2660063 C2 RU2660063 C2 RU 2660063C2
Authority
RU
Russia
Prior art keywords
virtual reality
reality helmet
environment
helmet
change
Prior art date
Application number
RU2016134268A
Other languages
English (en)
Other versions
RU2016134268A3 (ru
RU2016134268A (ru
Inventor
Джастин МОРАВЕЦ
Original Assignee
СОНИ ИНТЕРЭКТИВ ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by СОНИ ИНТЕРЭКТИВ ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи filed Critical СОНИ ИНТЕРЭКТИВ ЭНТЕРТЕЙНМЕНТ АМЕРИКА ЭлЭлСи
Publication of RU2016134268A3 publication Critical patent/RU2016134268A3/ru
Publication of RU2016134268A publication Critical patent/RU2016134268A/ru
Application granted granted Critical
Publication of RU2660063C2 publication Critical patent/RU2660063C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Носимое вычислительное устройство содержит шлем виртуальной реальности (ШВР), который генерирует среду виртуальной реальности. Посредством генерирования и отслеживания данных позиционирования виртуальная среда может быть прервана или приостановлена. Во время остановки указанной среды пользователь может иметь доступ к множеству дополнительных меню и средств управления, в противном случае не доступных во время нормальной работы виртуальной среды. 3 н. и 9 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение, в общем, относится к носимым вычислительным устройствам виртуальной реальности (ВР), содержащим шлем виртуальной реальности (ШВР). Более конкретно, настоящее изобретение относится к прерыванию операций в поле зрения в ШВР и использованию недвижимости, находящейся вне поля зрения недвижимости в ШВР.
ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ
Носимые системы ВР содержат различные элементы, такие как устройства ввода, датчики, детекторы, дисплеи изображений и беспроводные средства связи, также как и видео, и аудиопроцессоры. Размещая элементы отображения изображения близко к глазам пользователя, искусственное изображение может накладываться на изображение реального мира или создавать свою собственную независимую реальность. Такие элементы отображения изображения объединены в системы, также упоминаемые как шлемы виртуальной реальности (ШВР). В зависимости от размера элемента отображения и расстояния к глазам пользователя искусственные изображения, отображаемые на дисплее, могут заполнять или почти заполнять поле зрения пользователя.
Системы ВР, содержащие ШВР, мобильны и обладают малым весом, в то же время позволяя коммуникацию и взаимодействие с виртуальной средой. Однако такие системы, в общем, обладают недостатками, поскольку они по-прежнему нуждаются в использовании независимого контроллера для навигации в виртуальной среде. В этом смысле, большинство ШВР немногим более, чем очки, предоставляющие вход в среду ВР. Существует необходимость в данной области техники в навигации и управлении средой ВР без внедрения независимого управляющего устройства, особенно по отношению к операциям прерывания окружающей среды естественным и ненавязчивым способом. Также существует дополнительная необходимость наилучшим образом использовать "недвижимость", находящуюся вне поля зрения в этой среде ВР.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Варианты реализации настоящего изобретения включают системы и способы прерывания виртуальной среды в шлеме виртуальной реальности. Информация о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности, может сохраняться. Шлем виртуальной реальности может быть откалиброван для определения начального положения. Могут генерироваться данные позиционирования, которые отслеживают движение шлема виртуальной реальности. Текущее положение шлема виртуальной реальности может определяться так, чтобы указывать на изменение начального положения настолько, что превышено изменение положения, установленного настройкой управления. Затем может быть выполнена функция, связанная с указанной настройкой управления, которая может включать прерывание виртуальной среды в шлеме виртуальной реальности при помощи приостанавливания указанной среды.
Способ для прерывания виртуальной среды в шлеме виртуальной реальности представлен в формуле изобретения. Такие способы могут включать сохранение информации о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности, калибровку шлема виртуальной реальности для определения начального положения, генерирование данных позиционирования, отслеживающих движение шлема виртуальной реальности, определение того, что текущее положение шлема виртуальной реальности свидетельствует об изменении начального положения настолько, что превышено изменение положения, установленное настройкой управления, и выполнение функции, связанной с настройкой управления, причем функция содержит прерывание виртуальной среды в шлеме виртуальной реальности приостанавливанием указанной среды.
Дополнительные варианты реализации включают системы прерывания виртуальной среды в шлеме виртуальной реальности. Такие системы могут содержать запоминающее устройство, хранящее информацию о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности, по меньшей мере один гироскоп, магнитометр и акселерометр, которые калибруют шлем виртуальной реальности, причем определяют начальное положение шлема виртуальной реальности и генерируют данные позиционирования, которые отслеживают движение шлема виртуальной реальности, процессор, который выполняет команды, хранящиеся в памяти для определения того, что текущее положение шлема виртуальной реальности свидетельствует об изменении начального положения настолько, что превышено изменение положения, установленное настройкой управления, и для выполнения функции, связанной с настройкой управления, и шлем виртуальной реальности, содержащий по меньшей мере один дисплей для отображения виртуальной среды, причем выполнение функции прерывает указанную среду, приостанавливая указанную среду.
Варианты реализации настоящего изобретения могут дополнительно включать энергонезависимый машиночитаемый носитель данных, содержащий встроенную в него программу, выполняемую процессором, для реализации способов прерывания виртуальной среды в шлеме виртуальной реальности, как описано в данном документе.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 иллюстрирует блок-схему примерного носимого вычислительного устройства.
Фиг. 2А иллюстрирует ШВР, который полностью погружает пользователя в среду виртуальной реальности.
Фиг. 2В иллюстрирует ШВР, который позволяет генерирование информации ВР, в то же время допуская восприятие реального мира.
Фиг. 3 иллюстрирует примерный вариант реализации прерывания среды ВР.
Фиг. 4 иллюстрирует способ реализации прерывания окружающей среды ВР.
Фиг. 5 иллюстрирует использование недвижимости, находящейся в не поля зрения, для предоставления информации дополнительно к среде ВР.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Варианты реализации настоящего изобретения включают системы и способы прерывания виртуальной среды в шлеме виртуальной реальности. Информация о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности, может сохраняться. Шлем виртуальной реальности может быть откалиброван для определения начального положения. Могут генерироваться данные позиционирования, которые отслеживают движение шлема виртуальной реальности. Текущее положение шлема виртуальной реальности может определяться так, чтобы указывать на изменение начального положения настолько, что превышено изменение положения, установленное настройкой управления. Затем может быть выполнена функция, связанная с указанной настройкой управления, которая может включать прерывание виртуальной среды в шлеме виртуальной реальности при помощи приостанавливания указанной среды.
Фиг. 1 иллюстрирует блок-схему примерной носимой системы виртуальной реальности 100. Будучи связанной с внешним вычислительным устройством 110, носимая система виртуальной реальности 100 может содержать USB интерфейс 120, беспроводный коммуникационный интерфейс 130, гироскоп 140, акселерометр 150, магнитометр 160, носитель данных 170, процессор 180 и шлем виртуальной реальности (ШВР) 200.
Шлем виртуальной реальности (ШВР) 200 позволяет его пользователю наблюдать окружающий реальный мир, демонстрируемое генерируемое компьютером изображение или комбинацию обоих. В некоторых вариантах реализации изобретения ШВР 200 может содержать прозрачный дисплей. Пользователь носимой системы виртуальной реальности 100 может иметь возможность смотреть сквозь ШВР 200 в таком варианте реализации изобретения и наблюдать часть среды реального мира, не смотря на присутствие носимой системы виртуальной реальности 100. В дополнительном варианте реализации изобретения ШВР 200 может использоваться для демонстрации изображений, налагаемых на поле зрения для обеспечения впечатления "искусственной реальности". Некоторые из изображений, демонстрируемые ШВР 200, могут накладываться или появляться в связке с конкретными объектами в поле зрения. В еще одном дополнительном варианте реализации изобретения, ШВР 200 может быть полностью виртуальной средой, в которой пользователь носимой системы виртуальной реальности 100 изолирован от любого визуального контакта с реальным миром.
Демонстрируемое изображение может содержать графику, текст и/или видео; звук может предоставляться посредством соответствующего аудиоустройства. Изображения, демонстрируемые ШВР, могут быть частью интерактивного пользовательского интерфейса и содержать меню, поля выбора, навигационные иконки или другие детали пользовательского интерфейса, которые предоставляют пользователю возможность запускать функции носимого вычислительного устройства или другого взаимодействия с носимым вычислительным устройством. Форм-фактор ШВР 200 может быть выполнен в виде очков, закрытых очков, шлема, шапки, маски, головных наушников или в некоторой другой форме, которая может держаться на или от головы пользователя.
Для демонстрации виртуального изображения пользователю ШВР может содержать оптическую систему с источником света, таким как светодиод (LED), освещающего демонстрационную панель. Демонстрационная панель может включать жидкокристаллическую дисплейную панель (LCD). Дисплейная панель может генерировать световые шаблоны, пространственно модулируя свет из источника света, и формирователь изображения формирует виртуальное изображение из светового шаблона. Альтернативно, панель может быть жидким кристаллом на кремнии (LCOS), в котором слой жидких кристаллов может располагаться на верху кремниевой объединительной пластины.
ШВР в примерном варианте реализации изобретения содержит 7-дюймовый экран с не перекрывающимися стереоскопическими 3D-изображениями, таким образом левый глаз видит дополнительную область слева, а правый глаз видит дополнительную область справа. ШВР пытается имитировать нормальное человеческое зрение, которое не является 100% перекрывающимся. Поле зрения в примерном варианте реализации изобретения является более 90 градусов по горизонтали (110 градусов по диагонали), заполняющее, таким образом, приблизительно все поле зрения так, что реальный мир может быть полностью перекрытым для создания сильного ощущения погружения.
В варианте реализации изобретения может быть использовано разрешение 1280×800 (соотношение сторон 16:10), таким образом обеспечивая эффективное разрешение 640×800 при соотношении сторон 4:5 для каждого глаза. В варианте реализации, который не обеспечивает полное перекрытие между глазами, объединенное горизонтальное разрешение эффективно выше, чем 640. Демонстрируемое изображение для каждого глаза является вогнутым, таким образом для каждого глаза генерируется сферически размеченное изображение.
ШВР 200 может связываться с внешним вычислительным устройством(и) 110. Внешнее вычислительное устройство(а) 110 включает серверы приложений, базы данных и другие внешние вычислительные компоненты, известные в данной области техники, включая стандартные аппаратные вычислительные компоненты, такие как сетевой и медийный интерфейсы, энергонезависимый машиночитаемый носитель данных, и процессоры для выполнения команд или получения доступа к информации, которая может храниться в запоминающем устройстве.
Носимая система виртуальной реальности 100 может, в некоторых случаях, быть физически соединенной с внешним вычислительным устройством(ами) 110. Такое соединение может быть реализовано посредством USB интерфейса 120, который может использоваться для отправления данных к и получения данных от внешнего вычислительного устройства 110 посредством USB-совместимого кабельного соединения. USB интерфейс 120 может также использоваться для обеспечения питания носимой системы виртуальной реальности 100, таким образом потенциально устраняя необходимость во внешнем источнике питания и любом силовом кабельном соединении в связи с тем же. В некоторых случаях, дополнительный адаптер питания (не показан) может быть необходим для обеспечения питания при помощи USB интерфейса 120. Следует понимать, что ссылка на USB выполнена в качестве примера и другие типы интерфейсов могут использоваться, включая, но не ограничиваясь, FireWire, Lightning, также как и другие стандарты кабельного соединения, такие как HDMI и DVI.
Носимая система виртуальной реальности 100 по Фиг.1 содержит беспроводный коммуникационный интерфейс 130. Беспроводный коммуникационный интерфейс 130 может быть использован для беспроводной коммуникации с внешним вычислительным устройством(ами) 110. Беспроводный коммуникационный интерфейс 130 может также использоваться для связи с другими носимыми вычислительными устройствами 100. Беспроводный коммуникационный интерфейс 130 может использовать любое количество беспроводных стандартов связи, которые поддерживают двунаправленный обмен данными по пакетной сети, такой как Интернет. Примерные стандарты связи включают CDMA, GSM/GPRS, сотовый 4G, WiMAX, LTE и стандарт 802.11 (WiFi).
Носимая система виртуальной реальности 100 может содержать один или более трехмерных гироскопов 140, акселерометров 150 и магнитометров 160. Гироскоп 140 может использоваться для измерения ориентации на основании принципов углового момента. Акселерометр 150 может использоваться для определения величины и направления ускорения как векторной величины. Этот результат может быть использован для определения ориентации, поскольку направление изменений веса, координатное ускорение, соотнесенное с силой притяжения, или изменение в силе притяжения и вибрация, удар и падение в резистивной среде определяются при помощи изменения в соответствующем ускорении. Магнитометры 160 могут использоваться для определения нарушений магнитного поля относительно носимой системы виртуальной реальности 100. Магнитометр 160 может помочь в определении настоящего Севера для GPS и компасных приложений, а также помочь с бесконтактным или бескамерным вводом посредством жестов. Используя данные, генерируемые из вышеупомянутого, может быть рассчитано отслеживание абсолютной ориентации головы без смещения относительно земли. Скрытое отслеживание может работать на примерно 1000 Гц для уменьшения времени отклика и увеличении воспринимаемого реализма. Дисплеи носимой системы виртуальной реальности 100 могут настраиваться, позволяя смещение отдельных дисплеев дальше или ближе к глазам пользователя.
Носимая система виртуальной реальности 100 может работать посредством выполнения инструкций, хранящихся в энергонезависимом машиночитаемом носителе данных 170, причем выполнение приводится через работу процессора 180. Хотя Фиг.1 иллюстрирует носитель данных 170 и процессор 180 как присутствующие на носимой системе виртуальной реальности 100, такие элементы могут располагаться во внешнем вычислительном устройстве(ах) 110 или, в некоторых случаях, с выполняющимися командами, распределенными между обоими. Процессор 180 и выполняемые команды в носителе данных 170 могут также управлять различными аспектами USB интерфейса 120, беспроводного интерфейса 130, гироскопов 140, акселерометров 150 и магнитометров 160.
Фиг. 2А иллюстрирует ШВР 200, который полностью погружает пользователя в среду виртуальной реальности. Хотя на Фиг. 2А проиллюстрированы иммерсионные очки, другие форм факторы возможны и представляются. Работа элементов в Фиг. 2А такая же, как и описанная в контексте Фиг. 2В. Фигура 2А содержит укрепляемую на голове поддерживающую структуру 210, которая позволяет носимой системе виртуальной реальности 100 (включая ШВР 200) располагаться на голове пользователя. ШВР 200 дополнительно содержит линзовые дисплеи 220А и 220В, которые могут иметь LCD или LCOS конструкцию, как описано выше. Линзовые дисплеи 220А и 220В могут быть интегрированы в носимую систему виртуальной реальности 100.
Производство носимой системы виртуальной реальности 100 может позволять интеграцию компонентов, подобных тем, что проиллюстрированы на Фиг.1, и различных соединений компонентов для внутренней интеграции. Другие компоненты могут быть расположены на наружной стороне носимой системы виртуальной реальности 100 для обеспечения более быстрого доступа или физических соединений с внешним вычислительным устройством(ами) 110. Вариант реализации носимой системы виртуальной реальности 100 может содержать микрофон для обеспечения голосовой связи с другими пользователями, использующими носимые системы виртуальной реальности 100, или для обеспечения определенного управления системой 100 без использования рук.
Фиг. 2В иллюстрирует ШВР 200, обеспечивающий генерирование информации виртуальной реальности, в то же время поддерживая восприятие реального мира. Такое двойное восприятие предоставляется для не полного погружения пользователя в пределы виртуальной среды (то есть реальный мир по-прежнему может быть виден и ощущаем). Хотя ШВР 200 по Фиг. 2В проиллюстрирован, как простая повязка, другие форм-факторы возможны и представляются. Работа элементов в Фиг. 2В такая же, как и описанных в контексте Фиг. 2А.
Фиг. 3 иллюстрирует примерный вариант реализации прерывания среды ВР. Как проиллюстрировано, пользователь 310 ШВР 200 смотрит "прямо по линии" или "неподвижно по центру" среды ВР 320, центр которой отражается лучом 330. Следует отметить, что луч 330 представлен отдельно в целях облегчения иллюстрации и не присутствует буквально в среде ВР 320, хотя существует возможность, что индикация ориентации может отображаться ШВР 200 по отношению к виртуальной среде 320. Как отражено лучом 330 и линией зрения пользователя (340), они оба могут быть относительно параллельны друг другу.
Луч 330, хотя не является необходимым иллюстрируемым элементом в среде ВР, может определяться при калибровке ШВР 200, когда пользователь 310 впервые надевает то же на свою голову. Используя информацию, генерируемую одним или более трехмерными гироскопами 140, акселерометрами 150 и магнитометрами 160, носимая система виртуальной реальности 100 может рассчитывать "начальное" или "нейтральное" положение пользователя и среды ВР, из которого дальнейшее движение головы пользователя 310, и по мере расширения в ШВР 200, настраиваются. Такая калибровка может производиться в начале работы, во время ручного перезапуска или в ответ на автоматическое определение носимой системой виртуальной реальности 100, что информация о позиционировании "поплыла" или более не совпадает соответствующим образом, так что калибровка необходима. Такое определение может происходить из-за выполнения программ, хранящихся в устройстве хранения 170, процессором 180.
Обратимся теперь к пользователю 350 по Фиг. 3, такой пользователь (который является таким же пользователем, как и пользователь 310, но просто повернул свою голову примерно на 45 градусов) повернул свою голову так, что его линия взгляда более не параллельна лучу 330, как установлено во время вышеупомянутого процесса калибровки. Новая линия зрения 3401 отображает то, что линия зрения сейчас является смещенной примерно на 45 градусов (360) вправо относительно от оригинального установленного луча 330. Используя информацию, генерируемую одним или более из трехмерных гироскопов 140, акселерометров 150 и магнитометров 160, носимая система виртуальной реальности 100 может рассчитывать, насколько далеко линия зрения 3401 изменилась от "начального" или "нейтрального" положения пользователя, и это было использовано для установления луча 330.
Подобно лучу 330, угол 360 проиллюстрирован для помощи в понимании реализации прерывания среды или функции "приостанавливания", при которой активность в среде приостанавливается или устанавливается на паузу, позволяя некоторые другие функции, включая, но не ограничиваясь, навигационное меню. Но так же, как луч 330, угол 360 может быть визуально проиллюстрирован пользователю в виртуальной среде 320 как часть графического окружения. Эта информация может отображаться как геометрическая иллюстрация, показывающая актуальное отклонение угла от центрального луча 330, или, скорее, как цифровой индикатор количества градусов (например, 12 градусов) от центра 330, на который пользователь повернул свою голову.
Следует отметить, что хотя вариант реализации настоящего изобретения отдельно вызывает функции "прерывание" или "приостанавливание" путем поворачивания пользователем своей головы на конкретный угол, как проиллюстрировано на Фиг.3, другие функции могут быть связаны с изменением положения (например, функция сохранения, функция переустановки, функция перезапуска). В этой связи, функции "прерывание" или "приостанавливание" являются примерными. Кроме того, вариант реализации может использовать различные углы с различными функциями. Например, "приостановить" может реализовываться после установления 20 градусов от центра 330, в то время как "сохранить" может реализовываться после установления 30 градусов от центра 330, а "перезапуск" - после установления 45 градусов от центра 330. Реализация этих функций может происходить, как только изменение градуса достигло, или после того, как пользователь оставил свою голову в определенном измененном положении на предварительно определенный период времени.
Фиг. 4 иллюстрирует способ 400 реализации прерывания среды ВР. Способ 400 по Фиг.4 может быть реализован как выполняемые команды в энергонезависимом машиночитаемом носителе данных включая, но не ограничиваясь, CD, DVD, или постоянном носителе данных, таком как жесткий диск. Такие способы могут быть реализованы процессором 180 при выполнении компьютерно-читаемых команд, содержащихся в энергонезависимом запоминающем устройстве 170. Процессор 180 и программы, сохраненные в запоминающем устройстве 170, могут использовать данные, полученные от различных других компонентов системы 100, включая трехмерные гироскопы 140, акселерометры 150 и магнетометры 160. Этапы, указанные в Фиг. 4 (и их порядок), являются примерными и могут включать различные альтернативы, эквиваленты или отступления от них, включая, но не ограничиваясь, порядок выполнения того же.
На этапе 410 может начинаться процесс калибровки. Калибровка может происходить в начале работы носимой системы виртуальной реальности 100 или в ответ на запуск конкретного приложения в рамках системы 100. Пользователь может также запросить ручную калибровку или система 100 может потребовать калибровку из-за смещения положения.
В ответ на процесс калибровки информация от трехмерных гироскопов 140, акселерометров 150 и магнетометров 160 получается на этапе 420. Информация будет использована для определения нейтрального или положения "в состоянии покоя", из которого будут оцениваться все остальные угловые расчеты. Это определение может соответствовать, например, лучу 330, как обсуждалось в контексте Фиг. 3. Измерения и расчеты могут иметь место по оси Х, так же как и по оси Y. Принимая это во внимание, "приостанавливание", или другие функции, могут быть представлены не только движением вдоль оси Х, но также вдоль оси Y или даже комбинацией обоих (например, пользователь поднимает свою голову направо и над определенным положением).
На этапе 430 различные элементы управления могут быть установлены по отношению к данным позиционирования, сгенерированным на этапе 420. Нейтральное положение луча 330 может быть подтверждено так же, как и различные функции, которые могут быть реализованы, если данные позиционирования ШВР 200 указывают на то, что пользователь повернул свою линию зрения за установленный угол, который может включать угол относительно конкретной оси или осей. В некоторых случаях, различные функции могут быть реализованы для увеличения углов изменения. Также могут использоваться интервалы времени, в течение которых пользователь должен изменить свою линию зрения вдоль определенной оси над определенным углом для данного интервала времени.
На этапе 440 отслеживание ШВР 200 начинает использовать информацию, сгенерированную подобными трехмерными гироскопами 140, акселерометрами 150 и магнитометрами 160. С помощью процесса отслеживания реализована постоянная проверка того, не указывают ли данные позиционирования ШВР 200 на то, что превышено одно из ограничений или настройка управления на этапе 430. Например, как показано на Фиг. 3, определение осуществляется таким образом, что определяется, повернул ли пользователь свою голову и соответственно угол своей линии зрения 340 за определенный угол управления относительно нейтрального луча 330. Если угол не превышен (или не превышен за определенный интервал времени), тогда отслеживание продолжается на этапе 440 и проверяется относительно настроек от этапа 430, продолжая выполняться на этапе 450. Если же, однако, пользователь превысил установленное настройкой положение относительно определенной оси для определенного интервала времени (или любой другой настройки, контролируемой на этапе 430), тогда соответствующая функция, такая как "приостановка", может быть реализована на этапе 460.
Фиг. 5 иллюстрирует использование недвижимости, находящейся вне поля зрения, для предоставления информации дополнительно к среде ВР. Может быть определено, что пользователь повернул свою голову за нейтральную или центральную настройку, так как это было оговорено в контексте Фиг. 3. Поскольку пользователь приостановил среду ВР, отображаемую ШВР 200, пользователь может теперь обращаться к другим выполняемым функциям в недвижимых областях, которые не являются прямой частью среды ВР и которые будут обычно относиться к областям "периферийного зрения" линии зрения пользователя.
Например, эта область может содержать различные меню и элементы управления, относящиеся к среде ВР или к приложению, конкретно выполняемому для генерирования среды ВР. Она также может содержать данные о среде ВР, такие как статус активности, принимающей участие в среде (например, счет, жизнь, снаряжение и т.д.). Недвижимые объекты периферийной области также могут содержать информацию относительно системы 100 или ШВР 200 системы 100. Реклама также может демонстрироваться в этой области. Другие приложения могут также выполняться в этой области, такие как видеозвонки, сообщения или другие виды связи в реальном времени. Используя это пространство для таких данных и разрешая пользователю доступ к нему во время состояния приостановки, основная линия зрения в среде ВР может быть использована лучше.
Настоящее изобретение может быть реализовано в приложении, которое может работать, используя различные устройства. Энергонезависимый машиночитаемый носитель данных относится к любому носителю, который принимает участие в предоставлении команд для выполнения центральным процессорным устройством (ЦПУ). Такой носитель может принимать любые формы, включая, но не ограничиваясь, энергонезависимые и энергозависимые носители, такие как оптические и магнитные диски и динамическая память, соответственно. Общие формы энергонезависимых машиночитаемых носителей включают, например, флоппи-диск, гибкий диск, жесткий диск, магнитную ленту, любые другие магнитные носители, CD-ROM диск, диск цифрового видео (DVD), любые оптические носители, ОЗУ, ППЗУ, СППЗУ, флеш-ППЗУ и любые другие кристаллы или картриджи запоминающих устройств.
Различные формы передающей среды могут использоваться для передачи одной или более последовательностей одной или более команд для выполнения на ЦПУ. Шина переносит данные на системное ОЗУ, из которого ЦПУ извлекает и выполняет команды. Команды, получаемые системным ОЗУ, могут не обязательно храниться на несъемном диске как до, так и после выполнения ЦПУ. Различные формы носителя могут подобным образом реализоваться так же, как и необходимые сетевые интерфейсы и сетевые топологии для реализации того же.
Хотя различные варианты реализации были описаны выше, следует понимать, что они были представлены исключительно в качестве примера, а не ограничения. Описания не предназначены для ограничения объема изобретения до конкретных изложенных здесь форм. Таким образом, сущность и объем предпочитаемого варианта реализации изобретения не должны ограничиваться любым из описанных выше вариантов изобретения. Следует понимать, что приведенные выше описания являются иллюстративными, а не ограничивающими. Напротив, настоящие описания предназначены для охвата таких альтернатив, модификаций и эквивалентов, которые могут быть включены в сущность и объем изобретения, как определено прилагающейся формулой изобретения и будет очевидно для специалиста в данной области техники. Объем изобретения должен, тем не менее, определяться не по отношению к приведенным выше описаниям, но, напротив, должен определяться по отношению к приложенной формуле изобретения наряду со всем объемом эквивалентов.

Claims (32)

1. Способ прерывания виртуальной среды в шлеме виртуальной реальности, содержащий этапы, на которых:
сохраняют в запоминающем устройстве информацию о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности;
калибруют шлем виртуальной реальности, при этом идентифицируется начальное положение шлема виртуальной реальности;
генерируют данные позиционирования, которые отслеживают движение шлема виртуальной реальности;
определяют, что текущее положение шлема виртуальной реальности свидетельствует об изменении от начального положения, превышающем упомянутое изменение положения, задаваемое упомянутой настройкой управления;
выполняют упомянутую функцию, связанную с настройкой управления, причем данная функция содержит прерывание виртуальной среды в шлеме виртуальной реальности посредством приостановления данной среды; и
предлагают меню функциональных возможностей в периферийной области зрения, после того как упомянутая среда была приостановлена.
2. Способ по п.1, в котором генерирование данных позиционирования включает в себя обработку данных от гироскопа.
3. Способ по п. 1, в котором генерирование данных позиционирования включает в себя обработку данных от акселерометра.
4. Способ по п. 1, в котором генерирование данных позиционирования включает в себя обработку данных от магнитометра.
5. Система для прерывания виртуальной среды в шлеме виртуальной реальности, содержащая:
запоминающее устройство, которое хранит информацию касаемо по меньшей мере одной настройки управления, которая связывает функцию с изменением положения шлема виртуальной реальности;
по меньшей мере одно из гироскопа, магнитометра и акселерометра, которое:
калибрует шлем виртуальной реальности, при этом идентифицируется начальное положение шлема виртуальной реальности, и
генерирует данные позиционирования, которые отслеживают движение шлема виртуальной реальности;
процессор, который исполняет команды, хранимые в запоминающем устройстве, для:
определения того, что текущее положение шлема виртуальной реальности свидетельствует об изменении от начального положения, превышающем упомянутое изменение положения, задаваемое упомянутой настройкой управления, и
выполнения упомянутой функции, связанной с настройкой управления; и
шлем виртуальной реальности, содержащий по меньшей мере одну линзу для отображения виртуальной среды, причем выполнение упомянутой функции прерывает данную среду посредством приостановки этой среды; и при этом шлем виртуальной реальности дополнительно предлагает меню функциональных возможностей в периферийной области зрения, после того как упомянутая среда была приостановлена.
6. Система по п.5, в которой генерирование данных позиционирования включает в себя обработку данных от гироскопа.
7. Система по п.5, в которой генерирование данных позиционирования включает в себя обработку данных от акселерометра.
8. Система по п.5, в которой генерирование данных позиционирования включает обработку данных от магнитометра.
9. Энергонезависимый машиночитаемый носитель данных, на котором воплощена компьютерная программа, исполняемая процессором для выполнения способа прерывания виртуальной среды в шлеме виртуальной реальности, содержащего:
хранение в запоминающем устройстве информации о по меньшей мере одной настройке управления, которая связывает функцию с изменением положения шлема виртуальной реальности;
калибровку шлема виртуальной реальности, при этом идентифицируется начальное положение шлема виртуальной реальности;
генерирование данных позиционирования, которые отслеживают движение шлема виртуальной реальности;
определение того, что текущее положение шлема виртуальной реальности свидетельствует об изменении от начального положения, превышающем упомянутое изменение положения, установленное упомянутой настройкой управления;
выполнение упомянутой функции, связанной с настройкой управления, причем данная функция включает прерывание виртуальной среды в шлеме виртуальной реальности посредством приостановления данной среды; и
предложение меню функциональных возможностей в периферийной области зрения, после того как упомянутая среда была приостановлена.
10. Энергонезависимый машиночитаемый носитель данных по п. 9, при этом генерирование данных позиционирования включает обработку данных от гироскопа.
11. Энергонезависимый машиночитаемый носитель данных по п. 9, при этом генерирование данных позиционирования включает в себя обработку данных от акселерометра.
12. Энергонезависимый машиночитаемый носитель данных по п. 9, при этом генерирование данных позиционирования включает в себя обработку данных от магнитометра.
RU2016134268A 2014-01-25 2015-01-12 Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости RU2660063C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931583P 2014-01-25 2014-01-25
US61/931,583 2014-01-25
US14/283,083 US9437159B2 (en) 2014-01-25 2014-05-20 Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US14/283,083 2014-05-20
PCT/US2015/010994 WO2015112361A1 (en) 2014-01-25 2015-01-12 Environmental interrupt in a head-mounted display and utilization of non field of view real estate

Publications (3)

Publication Number Publication Date
RU2016134268A3 RU2016134268A3 (ru) 2018-03-01
RU2016134268A RU2016134268A (ru) 2018-03-01
RU2660063C2 true RU2660063C2 (ru) 2018-07-04

Family

ID=53679582

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016134268A RU2660063C2 (ru) 2014-01-25 2015-01-12 Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости

Country Status (10)

Country Link
US (3) US9437159B2 (ru)
EP (1) EP3097552B1 (ru)
JP (1) JP6591990B2 (ru)
KR (2) KR102275589B1 (ru)
CN (2) CN106164993B (ru)
BR (1) BR112016017181B1 (ru)
CA (1) CA2937536C (ru)
MX (1) MX359047B (ru)
RU (1) RU2660063C2 (ru)
WO (1) WO2015112361A1 (ru)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US9665170B1 (en) 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US11992746B1 (en) * 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
JP2017187757A (ja) * 2016-03-30 2017-10-12 ＴｓＺ株式会社 画像表示装置
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜
CN106125916A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及终端
CN106095007A (zh) * 2016-07-29 2016-11-09 北京小鸟看看科技有限公司 一种头戴显示设备
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
EP3523000A1 (en) 2017-06-22 2019-08-14 Centurion VR, LLC Virtual reality simulation
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
CN107463264B (zh) * 2017-08-16 2020-07-14 福建天晴在线互动科技有限公司 一种vr场景复位的方法和终端
CN107320957B (zh) * 2017-08-21 2021-01-26 网易（杭州）网络有限公司 游戏界面显示方法及装置
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN113238651A (zh) 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
US20130007668A1 (en) * 2011-07-01 2013-01-03 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays
US20130069787A1 (en) * 2011-09-21 2013-03-21 Google Inc. Locking Mechanism Based on Unnatural Movement of Head-Mounted Display
US20130336629A1 (en) * 2012-06-19 2013-12-19 Qualcomm Incorporated Reactive user interface for head-mounted display

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258785A (en) 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH10222287A (ja) 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JPH1195971A (ja) 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
US6315273B1 (en) 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
EP1751499B1 (en) 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
SE0401582L (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US7933929B1 (en) 2005-06-27 2011-04-26 Google Inc. Network link for providing dynamic data layer in a geographic information system
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US8725729B2 (en) 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP2011039438A (ja) * 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US20110153435A1 (en) 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
WO2011097762A1 (en) 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 ３次元地図描画システム
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
US20130007668A1 (en) * 2011-07-01 2013-01-03 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays
US20130069787A1 (en) * 2011-09-21 2013-03-21 Google Inc. Locking Mechanism Based on Unnatural Movement of Head-Mounted Display
US20130336629A1 (en) * 2012-06-19 2013-12-19 Qualcomm Incorporated Reactive user interface for head-mounted display

Also Published As

Publication number Publication date
CN112218068A (zh) 2021-01-12
EP3097552A4 (en) 2018-01-24
BR112016017181B1 (pt) 2022-06-28
EP3097552A1 (en) 2016-11-30
KR20210087570A (ko) 2021-07-12
RU2016134268A3 (ru) 2018-03-01
MX359047B (es) 2018-09-13
US20170004654A1 (en) 2017-01-05
CA2937536C (en) 2022-01-04
US10096167B2 (en) 2018-10-09
MX2016009136A (es) 2017-04-13
EP3097552B1 (en) 2020-03-04
KR20160113613A (ko) 2016-09-30
KR102374251B1 (ko) 2022-03-15
JP2017506449A (ja) 2017-03-02
US20180082483A1 (en) 2018-03-22
CA2937536A1 (en) 2015-07-30
CN106164993B (zh) 2020-10-20
CN106164993A (zh) 2016-11-23
BR112016017181A2 (pt) 2017-12-26
RU2016134268A (ru) 2018-03-01
JP6591990B2 (ja) 2019-10-16
KR102275589B1 (ko) 2021-07-09
US9437159B2 (en) 2016-09-06
CN112218068B (zh) 2024-03-19
WO2015112361A1 (en) 2015-07-30
US9818230B2 (en) 2017-11-14
US20150213778A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
RU2660063C2 (ru) Прерывание в шлеме виртуальной реальности, обусловленное средой, и использование не находящегося в поле зрения объекта недвижимости
US11693476B2 (en) Menu navigation in a head-mounted display
US10565725B2 (en) Method and device for displaying virtual object