RU2621644C2 - Мир массового одновременного удаленного цифрового присутствия - Google Patents

Abstract

Изобретение относится к области обеспечения интерактивных виртуальных сред или сред дополненной реальности для многочисленных пользователей. Техническим результатом является обеспечение взаимодействия пользователей с виртуальными средами и объектами. Система для обеспечения одному или более пользователям возможности взаимодействовать с виртуальным миром, содержащим данные виртуального мира, содержит: компьютерную сеть, включающую в себя один или более компьютерных серверов, содержащих память, процессорную схему и программное обеспечение, хранимое в памяти и исполняемое процессорной схемой для обработки, по меньшей мере, части данных виртуального мира; при этом компьютерная сеть выполнена с возможностью передавать данные виртуального мира в пользовательское устройство для представления первому пользователю, при этом, по меньшей мере, часть виртуального мира изменяется в ответ на изменение в данных виртуального мира, при этом, по меньшей мере, часть данных виртуального мира изменяется в ответ на по меньшей мере один физический объект, обнаруженный пользовательским устройством, и причем этот по меньшей мере один физический объект содержит объекты в физической среде вблизи первого пользователя. 9 з.п. ф-лы, 12 ил.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

[0001] По настоящей заявке испрашивается приоритет американской предварительной патентной заявки №61/483505, поданной 6 мая 2011 г., и американской предварительной патентной заявки №61/483511, поданной 6 мая, 2011 г.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] Настоящее изобретение в целом относится к способам и устройствам для обеспечения интерактивных виртуальных сред или сред дополненной реальности для многочисленных пользователей.

УРОВЕНЬ ТЕХНИКИ

[0003] Виртуальные среды и среды дополненной реальности генерируются посредством компьютеров, использующих, в частности, данные, которые описывают среду. Эти данные могут описывать, например, различные объекты, которые пользователь может ощущать и с которыми он может взаимодействовать. Примеры этих объектов включают в себя объекты, которые отображены и выведены на экран для того, чтобы пользователь мог их видеть, звук, который проигрывается для того, чтобы пользователь мог его услышать, и тактильную (или осязательную) обратную связь для того, чтобы пользователь мог ее ощутить. Пользователи могут ощущать и взаимодействовать с виртуальными средами и средами дополненной реальности посредством множества визуальных, слуховых и тактильных средств.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Настоящее изобретение описывает различные системы и способы для того, чтобы позволить одному или более пользователям взаимодействовать с или участвовать в виртуальных средах или в средах дополненной реальности.

[0005] В одном примерном варианте осуществления система включает в себя вычислительную сеть, включающую в себя компьютерные серверы, соединенные посредством интерфейсов с высокой пропускной способностью со шлюзами для обработки данных и/или для обеспечения передачи данных между серверами и одним или более локальными устройствами пользовательского интерфейса. Серверы включают в себя память, процессорную схему и программное обеспечение для разработки и/или управления виртуальными мирами, а также для хранения и обработки пользовательских данных и данных, предоставленных другими компонентами системы. Один или более виртуальных миров могут быть представлены пользователю через пользовательское устройство с тем, чтобы пользователь мог их ощущать и взаимодействовать с ними. Большое количество пользователей могут каждый использовать устройство, чтобы одновременно взаимодействовать с одним или более цифровыми мирами путем использования устройства с тем, чтобы наблюдать и взаимодействовать друг с другом и с объектами, произведенными внутри цифровых миров.

[0006] Примеры пользовательских устройств включают в себя смартфон, планшетное устройство, дисплей на лобовом стекле (HUD), игровую консоль, или обычно любое другое устройство, способное передавать данные и генерировать или передавать интерфейс пользователю, чтобы тот мог видеть, слышать и/или ощущать. Обычно пользовательское устройство будет включать в себя процессор для исполнения программного кода, сохраненного в памяти устройства, соединенный с визуальным дисплеем и коммуникационным интерфейсом. Интерфейс обеспечивает визуальное, звуковое и/или физическое взаимодействие между пользователем и цифровым миром, включая других пользователей и объекты (реальные или виртуальные), представленные пользователю. В одном варианте осуществления пользовательское устройство включает в себя систему шлема-дисплея, имеющую интерфейс, пользовательскую сенсорную систему, систему измерения окружающей среды и процессор.

[0007] Предшествующие и другие функции и преимущества настоящего изобретения станут в дальнейшем очевидными из нижеследующего подробного описания примерных вариантов осуществления в совокупности с сопроводительными чертежами. Подробное описание и чертежи являются чисто иллюстративными, а не ограничивающими объем настоящего изобретения, который определяется приложенной формулой изобретения и ее эквивалентами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Варианты осуществления проиллюстрированы в качестве примера на сопроводительных чертежах, на которых не обязательно соблюден масштаб и на которых одинаковые ссылочные номера указывают на аналогичные части, и на которых:

[0009] Фиг. 1 иллюстрирует примерный вариант осуществления раскрытой системы для обеспечения интерактивной виртуальной среды или среды дополненной реальности для многочисленных пользователей;

[0010] Фиг. 2 иллюстрирует пример пользовательского устройства для взаимодействия с системой, проиллюстрированной на Фиг. 1;

[0011] Фиг. 3 иллюстрирует примерный вариант осуществления мобильного, носимого пользовательского устройства;

[0012] Фиг. 4 иллюстрирует пример объектов, просматриваемых пользователем, когда мобильное, носимое пользовательское устройство, изображенное на Фиг. 3, работает в режиме дополненной реальности;

[0013] Фиг. 5 иллюстрирует пример объектов, просматриваемых пользователем, когда мобильное, носимое пользовательское устройство, изображенное на Фиг. 3, работает в режиме виртуальной среды;

[0014] Фиг. 6 иллюстрирует пример объектов, просматриваемых пользователем, когда мобильное, носимое пользовательское устройство, изображенное на Фиг. 3, работает в смешанном режиме виртуального интерфейса;

[0015] Фиг. 7 иллюстрирует один вариант осуществления, в котором два пользователя, расположенные в различных географических положениях, взаимодействуют друг с другом и с общим виртуальным миром через их соответствующие пользовательские устройства;

[0016] Фиг. 8 иллюстрирует один вариант осуществления, в котором вариант осуществления, изображенный на Фиг. 7, расширен так, чтобы он включал в себя использование тактильного устройства;

[0017] Фиг. 9A иллюстрирует пример режима смешанного интерфейса, в котором первый пользователь взаимодействует с цифровым миром в смешанном режиме виртуального интерфейса, а второй пользователь взаимодействует с тем же самым цифровым миром в режиме виртуальной реальности;

[0018] Фиг. 9B иллюстрирует другой пример смешанного интерфейса, в котором первый пользователь взаимодействует с цифровым миром в смешанном режиме виртуального интерфейса, а второй пользователь взаимодействует с тем же самым цифровым миром в режиме дополненной реальности;

[0019] Фиг. 10 показывает примерную иллюстрацию представления для пользователя при взаимодействии с системой в режиме дополненной реальности; и

[0020] Фиг. 11 показывает примерную иллюстрацию представления для пользователя, показывающего виртуальный объект, инициированный физическим объектом, когда пользователь интерфейса, в котором первый пользователь взаимодействует системой в режиме дополненной реальности.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0021] На Фиг. 1 изображена система 100, которая представляет собой аппаратные средства для реализации процессов, описанных ниже. Эта иллюстративная система включает в себя вычислительную сеть 105, содержащую один или более компьютерных серверов 110, соединенных посредством одного или более интерфейсов с высокой пропускной способностью 115. Серверы в вычислительной сети не обязаны находиться в одном физическом месте. Каждый из одного или более серверов 110 включает в себя один или более процессоров для того, чтобы исполнять инструкции программы. Серверы также включают в себя память для хранения инструкций программы и данных, которые используются и/или генерируются процессами, выполняемыми серверами в соответствии с инструкциями программы.

[0022] Вычислительная сеть 105 передает данные между серверами 110 и между серверами и одним или более пользовательскими устройствами 120 через одно или более соединений сети передачи данных 130. Примеры таких сетей передачи данных включают в себя, без ограничения, любые и все типы общедоступных и частных сетей передачи данных, как мобильных, так и проводных, включая, например, соединение множества таких сетей, обычно называемое Интернетом. На чертеже не подразумеваются никакие определенные носители, топологии или протоколы.

[0023] Пользовательские устройства конфигурируются для обмена данными непосредственно с вычислительной сетью 105 или с любым из серверов 110. Альтернативно, пользовательские устройства 120 обмениваются данными с удаленными серверами 110, и, опционально, с другими пользовательскими устройствами локально, через специально запрограммированный локальный шлюз 140 для обработки данных и/или для передачи данных между сетью 105 и одним или более локальных пользовательских устройств 120.

[0024] Как показано на чертеже, шлюз 140 реализован как отдельный аппаратный компонент, который включает в себя процессор для исполнения инструкций программного обеспечения и память для хранения инструкций программного обеспечения и данных. Шлюз имеет свое собственное проводное и/или беспроводное соединение с сетями передачи данных для того, чтобы связываться с серверами 110, входящими в вычислительную сеть 105. Альтернативно, шлюз 140 может быть интегрирован с пользовательским устройством 120, которое является носимым или надето на пользователя. Например, шлюз 140 может быть реализован как загружаемое программное приложение, установленное и исполняемое на процессоре, включенном в пользовательское устройство 120. Шлюз 140 в одном варианте осуществления обеспечивает одному или более пользователям доступ к вычислительной сети 105 через сеть передачи данных 130.

[0025] Каждый из серверов 110 включает в себя, например, оперативную память и долговременную память для того, чтобы хранить данные и программы, микропроцессоры для того, чтобы исполнять инструкции программы, графические процессоры и другие специальные процессоры для рендеринга и генерирования графики, изображений, видео, аудио и мультимедийных файлов. Вычислительная сеть 105 может также включать в себя устройства для хранения данных, которые используются, создаются, или доступ к которым осуществляется посредством серверов 110.

[0026] Программы, исполняющиеся на серверах и опционально на пользовательских устройствах 120 и шлюзах 140, используются для того, чтобы генерировать цифровые миры (также упоминаемые в настоящем документе как виртуальные миры), с которыми пользователи взаимодействуют при помощи пользовательских устройств 120. Цифровой мир представлен данными и процессами, которые описывают и/или определяют виртуальные, несуществующие объекты, среды и состояния, которые могут быть представлены пользователю через пользовательское устройство 120 для того, чтобы пользователь мог их воспринимать и взаимодействовать с ними. Например, некоторый тип объекта, субъекта или элемента, который будет казаться физически присутствующим при создании его экземпляра в сцене, которая просматривается или воспринимается пользователем, может включать в себя описание его внешнего вида, его поведения, того, как пользователю разрешено взаимодействовать с ним, а также другие характеристики. Данные, используемые для создания среды виртуального мира (включая виртуальные объекты), могут включать в себя, например, атмосферные данные, данные ландшафта, погодные данные, температурные данные, данные расположения, и другие данные, используемые для определения и/или описания виртуальной среды. В дополнение к этому, данные, определяющие различные условия, которые управляют работой виртуального мира, могут включать в себя, например, законы физики, время, пространственные отношения и другие данные, которые могут использоваться для того, чтобы определить и/или создать различные условия, которые управляют работой виртуального мира (включая виртуальные объекты).

[0027] Субъект, объект, условие, характеристика, поведение или другая функция цифрового мира будут в общем упоминаться в настоящем документе, если контекст не будет указывать иного, как объект (например, цифровой объект, виртуальный объект, отображенный физический объект и т.д.). Объекты могут быть любым типом анимированного или неанимированного объекта, включая, но не ограничиваясь этим, здания, производственные предприятия, механизмы, людей, животных, существа, машины, данные, видео, текст, изображения и других пользователей. Объекты также могут быть определены в цифровом мире для хранения информации об элементах, способах поведения или условиях, фактически представленных в материальном мире. Данные, которые описывают или определяют субъект, объект или элемент, или которые хранят его текущее состояние, обычно упоминаются в настоящем документе как объектные данные. Эти данные обрабатываются серверами 110 или, в зависимости от реализации, шлюзом 140 или пользовательским устройством 120 с тем, чтобы создать экземпляр объекта и представить объект подходящим способом для пользователя, чтобы он воспринял его через пользовательское устройство.

[0028] Программисты, которые разрабатывают и/или курируют цифровой мир, создают или определяют объекты и условия, при которых создаются их экземпляры. Однако цифровой мир может позволять создавать или изменять объекты не только программистам. Как только экземпляр объекта создан, состояние объекта может быть изменено или может управляться одним или более пользователями, воспринимающими цифровой мир.

[0029] Например, в одном варианте осуществления разработка, производство и администрирование цифрового мира обычно обеспечивается одним или более программистами с правами системного администратора. В некоторых вариантах осуществления это может включать в себя разработку, проектирование и/или выполнение сюжетов, тем и событий в цифровых мирах, а также распространение комментариев через различные формы событий и носителей, таких как, например, пленочный, цифровой, сетевой, мобильный, дополненная реальность и живое развлечение. Программисты с правами системного администратора могут также выполнять техническое администрирование, модерирование и курирование цифровых миров и пользовательских сообществ, связанных с ними, а также другие задачи, обычно выполняемые сетевым административным персоналом.

[0030] Пользователи взаимодействуют с одним или более цифровыми мирами, используя некоторый тип локального вычислительного устройства, которое обычно определяется как пользовательское устройство 120. Примеры таких пользовательских устройств включают в себя, не ограничиваясь этим, смартфон, планшетное устройство, дисплей на лобовом стекле (HUD), игровую консоль или любое другое устройство, способное передавать данные и обеспечивать интерфейс или отображение для пользователя, а также комбинации таких устройств. В некоторых вариантах осуществления пользовательское устройство 120 может включать в себя, или обмениваться информацией с, локальные периферийные компоненты или компоненты ввода/вывода, такие как, например, клавиатура, мышь, джойстик, игровой контроллер, устройство тактильного интерфейса, контроллер ввода данных о движении, звуковое оборудование, речевое оборудование, проекционную систему, трехмерный дисплей и голографическая трехмерную контактную линзу.

[0031] Пример пользовательского устройства 120 для взаимодействия с системой 100 проиллюстрирован на Фиг. 2. В примерном варианте осуществления, показанном на Фиг. 2, пользователь 210 может взаимодействовать с одним или более цифровыми мирами с помощью смартфона 220. Шлюз реализован программным приложением 230, хранимым и исполняемым на смартфоне 220. В этом конкретном примере сеть передачи данных 130 включает в себя беспроводную мобильную сеть, соединяющую пользовательское устройство (то есть смартфон 220) с компьютерной сетью 105.

[0032] В одной реализации предпочтительного варианта осуществления система 100 способна поддерживать большое количество одновременных пользователей (например, миллионы пользователей), каждый из которых взаимодействует с тем же самым цифровым миром, или с множеством цифровых миров, используя некоторый тип пользовательского устройства 120.

[0033] Пользовательское устройство предоставляет пользователю интерфейс, обеспечивающий визуальное, звуковое и/или физическое взаимодействие между пользователем и цифровым миром, сгенерированным серверами 110, включая других пользователей и объекты (реальные или виртуальные), представленным пользователю. Интерфейс предоставляет пользователю отображенную сцену, которая может быть просмотрена, услышана или воспринята иным образом, и возможность взаимодействовать со сценой в режиме реального времени. Способ, которым пользователь взаимодействует с представленной сценой, может быть продиктован возможностями пользовательского устройства. Например, если пользовательское устройство представляет собой смартфон, пользовательское взаимодействие может быть реализовано с помощью сенсорного экрана. В другом примере, если пользовательское устройство представляет собой компьютер или игровую консоль, пользовательское взаимодействие может быть реализовано с использованием игрового контроллера или клавиатуры. Пользовательские устройства могут включать в себя дополнительные компоненты, которые обеспечивают пользователю взаимодействие, такие как датчики, где объекты и информация (включая жесты), обнаруженные датчиками, могут быть обеспечены как вход, представляющий пользовательское взаимодействие с виртуальным миром с использованием пользовательского устройства.

[0034] Отображенная сцена может быть представлена в различных форматах, таких как, например, двумерные или трехмерные визуальные представления (включая проекции), звук, а также осязательная или тактильная обратная связь. Пользователь может взаимодействовать с отображенной сценой в одном или более режимах, включая, например, дополненную реальность, виртуальную реальность и их комбинации. Формат отображенной сцены, так же как и режимы интерфейса, могут быть продиктованы одним или более из следующего: пользовательским устройством, возможностью обработки данных, связью с пользовательским устройством, пропускной способностью сети и рабочей нагрузкой системы. Возможность обслуживания большого количества пользователей, одновременно взаимодействующих с цифровыми мирами, и обмен данными в реальном времени обеспечиваются вычислительной сетью 105, серверами 110, компонентом шлюза 140 (опционально) и пользовательским устройством 120.

[0035] В одном примере вычислительная сеть 105 содержит крупномасштабную вычислительную систему, имеющую одноядерные и/или многоядерные серверы (то есть серверы 110), соединенные через высокоскоростные соединения (например, через интерфейсы 115 с высокой пропускной способностью). Вычислительная сеть 105 может образовывать облако или иметь решетчатую сетевую топологию. Каждый из серверов включает в себя память или связан с машиночитаемой памятью для хранения программного обеспечения для того, чтобы применять данные для создания, разработки, изменения или обработки объектов цифрового мира. Эти объекты и их экземпляры могут быть динамичными, появляться и исчезать, изменяться во времени и изменяться в ответ на другие условия. Примеры динамических возможностей объектов в целом обсуждаются в настоящем документе в связи с различными вариантами осуществления. В некоторых вариантах осуществления каждый пользователь, взаимодействующий с системой 100, также может быть представлен как объект и/или набор объектов в пределах одного или более цифровых миров.

[0036] Серверы 110 внутри вычислительной сети 105 также хранят данные вычислительного состояния для каждого из цифровых миров. Данные вычислительного состояния (также упоминаемые в настоящем документе как данные состояния) могут быть компонентом объектных данных, и обычно определяют состояние экземпляра объекта в данный момент времени. Таким образом, данные вычислительного состояния могут изменяться во времени и могут зависеть от действий одного или более пользователей и/или программистов, поддерживающих систему 100. Поскольку пользователь воздействует на данные вычислительного состояния (или на другие данные, представляющие цифровые миры), пользователь непосредственно изменяет или иным образом управляет цифровым миром. Если цифровой мир совместно используется, или соединяется, с другими пользователями, действия пользователя могут влиять на то, что испытывается другими пользователями, взаимодействующими с цифровым миром. Таким образом, в некоторых вариантах осуществления изменения в цифровом мире, сделанные пользователем, будут восприняты другими пользователями, взаимодействующими с системой 100.

[0037] Данные, хранящиеся в одном или более серверах 110 внутри вычислительной сети 105, в одном варианте осуществления передаются или разворачиваются с высокой скоростью и с малой задержкой на одно или более пользовательских устройств 120 и/или компонентов шлюза 140. В одном варианте осуществления объектные данные, совместно используемые серверами, могут быть полными или могут быть сжатыми, и содержат инструкции для воссоздания полных объектных данных на пользовательской стороне, отображаемых и визуализируемых локальным вычислительным устройством пользователя (например, шлюзом 140 и/или пользовательским устройством 120). Программное обеспечение, работающее на серверах 110 вычислительной сети 105, в некоторых вариантах осуществления может адаптировать данные, которые оно генерирует и отправляет устройству 120 определенного пользователя для объектов внутри цифрового мира (или любые другие данные, передаваемые по вычислительной сети 105), в зависимости от конкретного устройства пользователя и пропускной способности. Например, когда пользователь взаимодействует с цифровым миром через пользовательское устройство 120, сервер 110 может распознать определенный тип устройства, используемого пользователем, характеристики соединения устройства и/или доступную пропускную способность канала между пользовательским устройством и сервером, и соответственно этому масштабировать и сбалансировать данные, передаваемые устройству, так чтобы оптимизировать взаимодействие с пользователем. Пример этого может включать в себя сокращение размера переданных данных до качества низкого разрешения, так чтобы данные могли быть выведены на экран на определенном пользовательском устройстве, имеющем дисплей с низким разрешением. В предпочтительном варианте осуществления вычислительная сеть 105 и/или компонент шлюза 140 передает данные пользовательскому устройству 120 со скоростью, достаточной для того, чтобы представить интерфейс, работающий на частоте обновления 15 кадров в секунду или выше, и в разрешении, которое обеспечивает качество изображения высокой четкости или выше.

[0038] Шлюз 140 обеспечивает локальное соединение с вычислительной сетью 105 для одного или более пользователей. В некоторых вариантах осуществления он может быть реализован загружаемым программным приложением, которое исполняется на пользовательском устройстве 120 или на другом локальном устройстве, таком как показанное на Фиг. 2. В других вариантах осуществления он может быть реализован аппаратным компонентом (с подходящим программным обеспечением/встроенным микропрограммным обеспечением (firmware), хранимым на компоненте, имеющем процессор), который либо соединяется с пользовательским устройством 120, но не входит в него, либо входит в состав пользовательского устройства 120. Шлюз 140 связывается с вычислительной сетью 105 через сеть передачи данных 130 и обеспечивает обмен данными между вычислительной сетью 105 и одним или более локальными пользовательскими устройствами 120. Как более подробно обсуждено ниже, компонент шлюза 140 может включать в себя программное обеспечение, встроенное микропрограммное обеспечение, память и процессорную схему, и может обрабатывать данные, передаваемые между сетью 105 и одним или более локальными пользовательскими устройствами 120.

[0039] В некоторых вариантах осуществления компонент шлюза 140 отслеживает и регулирует скорость передачи данных, передаваемых между пользовательским устройством 120 и компьютерной сетью 105, с тем чтобы обеспечить оптимальные возможности обработки данных определенного пользовательского устройства 120. Например, в некоторых вариантах осуществления шлюз 140 буферизует и загружает как статические, так и динамические аспекты цифрового мира, даже те, которые находятся за пределами поля зрения, представляемого пользователю через интерфейс, соединенный с пользовательским устройством. В таком варианте осуществления экземпляры статических объектов (структурированные данные, программно реализованные способы или и то, и другое) могут быть сохранены в памяти (локальной для компонента шлюза 140, пользовательского устройства 120 или и того, и другого) и соотнесены с текущей позицией локального пользователя, как указано данными, предоставленными вычислительной сетью 105 и/или устройством пользователя 120. Экземпляры динамических объектов, которые могут включать в себя, например, интеллектуальные программные агенты и объекты, которыми управляют другие пользователи и/или локальный пользователь, хранятся в буфере быстродействующей памяти. Динамические объекты, представляющие двумерный или трехмерный объект в сцене, представленной пользователю, могут быть, например, разбиты на составляющие формы, такие как статическая форма, которая перемещается, но не изменяется, и динамическая форма, которая изменяется. Часть динамического объекта, которая изменяется, может быть обновлена приоритетным параллельным потоком данных в реальном времени от сервера 110 через вычислительную сеть 105 под управлением компонента шлюза 140. В качестве одного примера приоритетного параллельного потока данных, данные, которые находятся в 60-градусном поле зрения глаз пользователя, могут получить более высокий приоритет, чем данные, которые являются более периферийными. Другой пример включает в себя приоритизацию динамических персонажей и/или объектов, находящихся внутри поля зрения пользователя, над статическими объектами, находящимися на заднем плане.

[0040] В дополнение к управлению соединением для передачи данных между вычислительной сетью 105 и пользовательским устройством 120, компонент шлюза 140 может сохранять и/или обрабатывать данные, которые могут быть представлены пользовательскому устройству 120. Например, компонент шлюза 140 в некоторых вариантах осуществления может получать из вычислительной сети 105 сжатые данные, описывающие, например, графические объекты, которые должны быть отображены для просмотра пользователем, и выполнять усовершенствованные методы рендеринга для того, чтобы снижать объем данных, передаваемых к пользовательскому устройству 120 из вычислительной сети 105. В другом примере, в котором шлюз 140 является отдельным устройством, шлюз 140 может хранить и/или обрабатывать данные для локального экземпляра объекта вместо того, чтобы передавать данные в вычислительную сеть 105 для обработки.

[0041] Обращаясь теперь также к Фиг. 3, цифровые миры могут быть восприняты одним или более пользователями в различных форматах, которые могут зависеть от возможностей устройства пользователя. В некоторых вариантах осуществления пользовательское устройство 120 может включать в себя, например, смартфон, планшетное устройство, дисплей на лобовом стекле (HUD), игровую консоль или носимое устройство. Обычно пользовательское устройство будет включать в себя процессор для того, чтобы исполнять код программы, хранимый в памяти на устройстве, объединенный с дисплеем и коммуникационным интерфейсом. Примерный вариант осуществления пользовательского устройства проиллюстрирован на Фиг. 3, на котором пользовательское устройство включает в себя мобильное, носимое устройство, а именно систему шлема-дисплея 300. В соответствии с одним вариантом осуществления настоящего изобретения система шлема-дисплея 300 включает в себя пользовательский интерфейс 302, пользовательскую сенсорную систему 304, систему измерения окружающей среды 306 и процессор 308. Хотя процессор 308 показан на Фиг. 3 как изолированный компонент, отдельный от системы шлема-дисплея 300, в альтернативном варианте осуществления процессор 308 может быть интегрирован с одним или более компонентами системы шлема-дисплея 300 или может быть интегрирован в другую систему 100 компонентов, такую как, например, шлюз 140.

[0042] Пользовательское устройство представляет пользователю интерфейс 302 для восприятия и взаимодействия с цифровым миром. Такое взаимодействие может включать в себя пользователя и цифровой мир, одного или более других пользователей, соединенных с системой 100, и объекты внутри цифрового мира. Интерфейс 302 обычно обеспечивает видео и/или аудио сенсорный вход (а в некоторых вариантах осуществления еще и физический сенсорный вход) для пользователя. Таким образом, интерфейс 302 может включать в себя динамики (не показаны) и компонент дисплея 303, способный в некоторых вариантах осуществления обеспечивать стереоскопический трехмерный просмотр и/или трехмерный просмотр, который реализует более естественные характеристики системы человеческого зрения. В некоторых вариантах осуществления компонент дисплея 303 может включать в себя прозрачный интерфейс (такой как прозрачный OLED-экран), который в выключенном состоянии позволяет пользователю корректно видеть физическую среду вокруг себя с незначительными оптическими искажениями или компьютерными наложениями либо вообще без оптических искажений или компьютерных наложений. Как более подробно обсуждено ниже, интерфейс 302 может включать в себя дополнительные настройки, которые обеспечивают множество визуальных/интерфейсных режимов и различную функциональность.

[0043] Пользовательская сенсорная система 304 может включать в себя в некоторых вариантах осуществления один или более датчиков 310, действующих так, чтобы обнаруживать определенные функции, характеристики или информацию, относящиеся к отдельному пользователю, носящему систему 300. Например, в некоторых вариантах осуществления датчики 310 могут включать в себя камеру или оптическую схему обнаружения/сканирования, способную в реальном времени обнаруживать оптические характеристики/выполнять измерения пользователя, такие как, например, одно или больше из следующего: сжатие/расширение зрачка, угловое измерение/расположение каждого зрачка, сфероидальность, форма глаза (как форма глаза изменяется в течение времени), и другие анатомические данные. Эти данные могут обеспечить, или могут использоваться для вычисления информации (например, точки зрительного фокуса пользователя), которая может использоваться системой шлема-дисплея 300 и/или интерфейсной системой 100 для того, чтобы оптимизировать пользовательское восприятие. Например, в одном варианте осуществления каждый из датчиков 310 может измерять скорость сокращения зрачка для каждого из глаз пользователя. Эти данные могут быть переданы процессору 308 (или компоненту шлюза 140 или серверу 110), где данные используются для определения, например, реакции пользователя на настройку яркости интерфейса дисплея 303. Интерфейс 302 может быть настроен в соответствии с реакцией пользователя путем, например, уменьшения яркости дисплея 303, если реакция пользователя указывает на то, что уровень яркости дисплея 303 слишком высок. Пользовательская сенсорная система 304 может включать в себя другие компоненты, кроме обсужденных выше или проиллюстрированных на Фиг. 3. Например, в некоторых вариантах осуществления пользовательская сенсорная система 304 может включать в себя микрофон получения голосового ввода от пользователя. Пользовательская сенсорная система может также включать в себя один или более инфракрасных датчиков/камер, один или более датчиков/камер, работающих в видимой части спектра, излучатели и/или датчики структурированного света, излучатели инфракрасного света, излучатели и/или датчики когерентного света, гироскопы, акселерометры, магнитометры, датчики близости, датчики GPS, излучатели и детекторы ультразвука и тактильные интерфейсы.

[0044] Система измерения окружающей среды 306 включает в себя один или более датчиков 312 для того, чтобы получать данные из физической среды вокруг пользователя. Объекты или информация, обнаруженные датчиками, могут служить в качестве ввода для пользовательского устройства. В некоторых вариантах осуществления этот ввод может представлять пользовательское взаимодействие с виртуальным миром. Например, пользователь, смотрящий на виртуальную клавиатуру на столе, может жестикулировать своими пальцами так, как будто он набирает текст на виртуальной клавиатуре. Движение пальцев может быть получено датчиками 312 и передано пользовательскому устройству или системе в качестве ввода, где ввод может использоваться для того, чтобы изменять виртуальный мир или создавать новые виртуальные объекты. Например, движение пальцев может быть распознано (с использованием программы) как набор текста на клавиатуре, и распознанный жест набора может быть объединен с известным расположением виртуальных клавиш на виртуальной клавиатуре. Система может затем отобразить виртуальный монитор и вывести его на экран пользователю (или другим пользователям, подключенным к системе), где виртуальный монитор показывает текст, вводимый пользователем.

[0045] Датчики 312 могут включать в себя, например, обычно направленную наружу камеру или сканер для того, чтобы интерпретировать информацию о сцене, например, с помощью непрерывно и/или периодически проецируемого инфракрасного структурированного света. Система измерения окружающей среды 306 может использоваться для того, чтобы отобразить один или более элементов физической среды вокруг пользователя посредством обнаружения и регистрации локальной среды, включая статические объекты, динамические объекты, людей, жесты и различные условия освещения, атмосферные и акустические условия. Таким образом, в некоторых вариантах осуществления система измерения окружающей среды 306 может включать в себя программное обеспечение трехмерной реконструкции на основе изображения, встроенное в локальную вычислительную систему (например, в компонент шлюза 140 или в процессор 308) и выполненное с возможностью цифровой реконструкции одного или более объектов или информации, обнаруженных датчиками 312. В одном примерном варианте осуществления система измерения окружающей среды 306 обеспечивает одно или более из следующего: данные о движении (включая распознавание жеста), данные о глубине, распознавание лица, распознавание объекта, распознавание уникальных признаков объекта, распознавание и обработка голоса/звука, локализация источника звука, шумоподавление, инфракрасная или подобная лазерная проекция, а также монохромные и/или цветные CMOS-датчики (или другие подобные датчики), датчики поля зрения, и множество других усовершенствованных оптических датчиков. Следует принять во внимание, что система измерения окружающей среды 306 может включать в себя другие компоненты, кроме обсужденных выше или проиллюстрированных на Фиг. 3. Например, в некоторых вариантах осуществления система измерения окружающей среды 306 может включать в себя микрофон для того, чтобы принимать звук из локального окружения. Пользовательская сенсорная система может также включать в себя один или более инфракрасных датчиков/камер, один или более датчиков/камер, работающих в видимой части спектра, излучатели и/или датчики структурированного света, излучатели инфракрасного света, излучатели и/или датчики когерентного света, гироскопы, акселерометры, магнитометры, датчики близости, датчики GPS, излучатели и детекторы ультразвука и тактильные интерфейсы.

[0046] Как упомянуто выше, процессор 308 в некоторых вариантах осуществления может быть интегрирован с другими компонентами системы шлема-дисплея 300, с другими компонентами интерфейсной системы 100 или может быть изолированным устройством (носимым или отдельным от пользователя), как показано на Фиг. 3. Процессор 308 может быть соединен с различными компонентами системы шлема-дисплея 300 и/или компонентами интерфейсной системы 100 через физическое, проводное соединение, либо посредством беспроводного соединения, такого как, например, мобильные сетевые соединения (включая мобильные телефонные сети и сети передачи данных), Wi-Fi или Bluetooth. Процессор 308 может включать в себя модуль памяти, интегрированный и/или дополнительный графический процессор, беспроводное и/или проводное интернет-соединение, и кодек и/или встроенное микропрограммное обеспечение, способное преобразовывать данные из источника (например, из вычислительной сети 105, из пользовательской сенсорной системы 304, из системы измерения окружающей среды 306 или из компонента шлюза 140) в изображение и звуковые данные, которые могут быть представлены пользователю посредством интерфейса 302.

[0047] Процессор 308 производит обработку данных для различных компонентов системы шлема-дисплея 300, а также обмен данными между системой шлема-дисплея 300 и компонентом шлюза 140 и, в некоторых вариантах осуществления, вычислительной сетью 105. Например, процессор 308 может использоваться для того, чтобы буферизовать и обрабатывать поток данных между пользователем и вычислительной сетью 105, обеспечивая тем самым плавное, непрерывное и высококачественное восприятие. В некоторых вариантах осуществления процессор 308 может обрабатывать данные со скоростью, достаточной для достижения любого качества в диапазоне от 8 кадров в секунду при разрешении 320×240 пикселей до 24 кадров в секунду при разрешении высокой четкости (1280×720 пикселей) или больше, такого как 60-120 кадров в секунду и разрешения 4k и выше (разрешение 10k+ и 50000 кадров в секунду). Дополнительно к этому, процессор 308 может хранить и/или обрабатывать данные, которые могут быть представлены пользователю, вместо того, чтобы передавать их потоком в режиме реального времени из вычислительной сети 105. Например, процессор 308 в некоторых вариантах осуществления может получать сжатые данные из вычислительной сети 105 и выполнять усовершенствованные методы рендеринга (такие как освещение или обработка полутонов) для того, чтобы снижать объем данных, передаваемых к пользовательскому устройству 120 из вычислительной сети 105. В другом примере процессор 308 может хранить и/или обрабатывать локальные объектные данные вместо того, чтобы передавать данные компоненту шлюза 140 или вычислительной сети 105.

[0048] Система шлема-дисплея 300 в некоторых вариантах осуществления может включать в себя различные настройки, или режимы, которые обеспечивают множество визуальных/интерфейсных режимов и различную функциональность. Режимы могут выбираться вручную пользователем или автоматически компонентами системы шлема-дисплея 300 или компонентом шлюза 140. Как было упомянуто ранее, один пример системы шлема-дисплея 300 включает в себя режим выключения, в котором интерфейс 302 существенно не обеспечивает цифровой или виртуальный контент. В режиме выключения компонент дисплея 303 может быть прозрачным, позволяя таким образом пользователю корректно видеть физическую среду вокруг себя с незначительными оптическими искажениями или компьютерными наложениями либо вообще без оптических искажений или компьютерных наложений.

[0049] В одном примерном варианте осуществления система шлема-дисплея 300 включает в себя режим дополненной реальности, в котором интерфейс 302 обеспечивает интерфейс дополненной реальности. В режиме дополненной реальности дисплей интерфейса 303 может быть существенно прозрачным, позволяя таким образом пользователю видеть локальное физическое окружение. Одновременно с этим виртуальные объектные данные, предоставленные вычислительной сетью 105, процессором 308 и/или компонентом шлюза 140, представляются на дисплее 303 в комбинации с локальным физическим окружением.

[0050] Фиг. 4 иллюстрирует примерный вариант осуществления объектов, просматриваемых пользователем, когда интерфейс 302 работает в режиме дополненной реальности. Как показано на Фиг. 4, интерфейс 302 представляет физический объект 402 и виртуальный объект 404. В варианте осуществления, проиллюстрированном на Фиг. 4, физический объект 402 является реальным, физическим объектом, существующим в окружении пользователя, тогда как виртуальный объект 404 является объектом, создаваемым системой 100 и выводимым на экран посредством пользовательского интерфейса 302. В некоторых вариантах осуществления виртуальный объект 404 может быть выведен на экран в фиксированной позиции или расположении в пределах физической среды (например, виртуальная обезьяна, стоящая рядом с конкретным уличным знаком, расположенным в физической среде), или может быть выведен на экран пользователю в качестве объекта, расположенного в некоторой позиции относительно пользовательского интерфейса/дисплея 303 (например, виртуальные часы или термометр, видимые в верхнем левом углу дисплея 303).

[0051] В некоторых вариантах осуществления виртуальные объекты могут быть контролируемыми или инициируемыми объектами, физически существующими внутри или вне поля зрения пользователя. Виртуальный объект 404 контролируется или инициируется физическим объектом 402. Например, физический объект 402 может фактически быть табуретом, и виртуальный объект 404 может быть выведен на экран пользователю (и, в некоторых вариантах осуществления, другим пользователям, подключенным к системе 100) как виртуальное животное, стоящее на табурете. В таком варианте осуществления система измерения окружающей среды 306 может использовать программное обеспечение и/или сохраненное встроенное микропрограммное обеспечение, например, в процессоре 308, для того, чтобы распознать, что различные функции и/или шаблоны формы (полученные датчиками 312) идентифицируют физический объект 402 как табурет. Эти распознанные шаблоны формы, такие как, например, вершина табурета, могут использоваться для того, чтобы инициировать размещение виртуального объекта 404. Другие примеры включают в себя стены, столы, мебель, автомобили, здания, людей, этажи, растения, животных - любой объект, который может быть увиден, может использоваться для того, чтобы инициировать дополненную реальность в некотором отношении к объекту или объектам.

[0052] В некоторых вариантах осуществления конкретный виртуальный объект 404, который инициируется, может быть выбран пользователем или автоматически выбран другими компонентами системы шлема-дисплея 300 или системы интерфейса 100. Дополнительно к этому, в тех вариантах осуществления, в которых виртуальный объект 404 инициируется автоматически, конкретный виртуальный объект 404 может быть выбран на основе конкретного физического объекта 402 (или его особенности), которым виртуальный объект 404 контролируется или инициируется. Например, если физический объект идентифицирован как трамплин для прыжков в воду, находящийся над бассейном, инициированный виртуальный объект может быть существом в маске с трубкой, в водолазном костюме, с аквалангом или с другими относящимися к контексту элементами.

[0053] В другом примерном варианте осуществления система шлема-дисплея 300 может включать в себя "виртуальный" режим, в котором интерфейс 302 обеспечивает интерфейс виртуальной реальности. В виртуальном режиме окружающая физическая среда не видна через дисплей 303, и виртуальные объектные данные, предоставленные вычислительной сетью 105, процессором 308 и/или компонентом шлюза 140, представляются на дисплее 303. Удаление окружающей физической среды с экрана может быть выполнено путем физической блокировки дисплея 303 (например, посредством крышки) или посредством функции интерфейса 302, в которой дисплей 303 переходит в непрозрачное состояние. В виртуальном режиме живые и/или сохраненные визуальные и звуковые ощущения могут быть представлены пользователю через интерфейс 302, и пользователь воспринимает и взаимодействует с цифровым миром (с цифровыми объектами, с другими пользователями и т.д.) посредством виртуального режима интерфейса 302. Таким образом, интерфейс, предоставляемый пользователю в виртуальном режиме, состоит из виртуальных объектных данных, включающих в себя виртуальный цифровой мир.

[0054] Фиг. 5 иллюстрирует примерный вариант осуществления пользовательского интерфейса, когда интерфейс 302 шлема-дисплея работает в виртуальном режиме. Как показано на Фиг. 5, пользовательский интерфейс представляет виртуальный мир 500, составленный из цифровых объектов 510, в котором цифровые объекты 510 могут включать в себя атмосферу, погоду, ландшафт, здания и людей. Хотя это и не проиллюстрировано на Фиг. 5, цифровые объекты могут также включать в себя, например, растения, автомобили, животных, существа, машины, искусственный интеллект, информацию о расположении и любой другой объект или информацию, определяющую виртуальный мир 500.

[0055] В другом примерном варианте осуществления система шлема-дисплея 300 может включать в себя "смешанный" режим, в котором различные функции системы шлема-дисплея 300 (так же как и функции виртуального режима и режима дополненной реальности) могут сочетаться для того, чтобы создать один или более пользовательских режимов интерфейса. В одном примере пользовательского режима интерфейса физическая среда отсутствует на дисплее 303, и виртуальные объектные данные представляются на дисплее 303 способом, подобным виртуальному режиму. Однако, в этом примере пользовательского режима интерфейса виртуальные объекты могут быть полностью виртуальными (то есть они не существуют в локальной физической среде), или они могут быть реальными, локальными физическими объектами, представленными как виртуальный объект в интерфейсе 302 вместо физического объекта. Таким образом, в этом конкретном пользовательском режиме (упоминаемом в настоящем документе как смешанный виртуальный режим интерфейса), живые и/или сохраненные зрительные и звуковые ощущения могут быть представлены пользователю через интерфейс 302, и пользователь воспринимает и взаимодействует с цифровым миром, включающим в себя полностью виртуальные объекты и отображенные физические объекты.

[0056] Фиг. 6 иллюстрирует примерный вариант осуществления пользовательского интерфейса, работающего в соответствии со смешанным виртуальным режимом интерфейса. Как показано на Фиг. 6, пользовательский интерфейс представляет виртуальный мир 600, составленный из полностью виртуальных объектов 610 и отображенных физических объектов 620 (полученных с помощью рендеринга объектов, физически существующих в сцене). В соответствии с примером, иллюстрированным на Фиг. 6, отображенные физические объекты 620 включают в себя здание 620A, землю 620B и платформу 620C, и показаны с полужирной рамкой 630, чтобы показать пользователю, что эти объекты отображены. Дополнительно к этому, полностью виртуальные объекты 610 включают в себя дополнительного пользователя 610A, облака 610B, солнце 610C и пламя 610D сверху платформы 620C. Следует принять во внимание, что полностью виртуальные объекты 610 могут включать в себя, например, атмосферу, погоду, ландшафт, здания, людей, растения, автомобили, животных, существа, машины, искусственный интеллект, информацию о расположении и любой другой объект или информацию, определяющую виртуальный мир 600, а не отображенные на основе объектов, существующих в локальной физической среде. В противоположность этому, отображенные физические объекты 620 являются реальными локальными физическими объектами, отображенными как виртуальные объекты в интерфейсе 302. Полужирная рамка 630 представляет один пример указания отображенных физических объектов пользователю. Также отображенные физические объекты могут быть обозначены с использованием других способов, отличных от раскрытых в настоящем документе.

[0057] В некоторых вариантах осуществления отображаемые физические объекты 620 могут быть обнаружены с использованием датчиков 312 системы измерения окружающей среды 306 (или с использованием других устройств, таких как система ввода данных о движении или захвата изображения), и преобразованы в цифровые объектные данные программным обеспечением и/или сохраненным встроенным микропрограммным обеспечением, например, в процессорной схеме 308. Таким образом, поскольку пользователь взаимодействует с системой 100 в смешанном виртуальном режиме интерфейса, различные физические объекты могут быть выведены на экран пользователю как отображенные физические объекты. Это может быть особенно полезно для того, чтобы пользователь мог взаимодействовать с системой 100, и в то же время безопасно перемещаться в локальной физической среде. В некоторых вариантах осуществления пользователь может быть в состоянии выборочно удалять или добавлять физические объекты, отображаемые интерфейсным дисплеем 303.

[0058] В другом примерном пользовательском режиме интерфейса дисплей интерфейса 303 может быть, по существу, прозрачным, позволяя тем самым пользователю видеть локальное физическое окружение, в то время как различные локальные физические объекты показываются на экране пользователю в качестве отображенных физических объектов. Этот примерный пользовательский режим интерфейса подобен режиму дополненной реальности, за исключением того, что один или более виртуальных объектов могут быть отображенными физическими объектами, как обсуждалось выше в отношении предыдущего примера.

[0059] Предшествующие примерные пользовательские режимы интерфейса представляют несколько примерных вариантов осуществления различных пользовательских режимов интерфейса, которые могут обеспечиваться смешанным режимом системы шлема-дисплея 300. Соответственно, различные другие пользовательские режимы интерфейса могут быть созданы из различной комбинации особенностей и функциональности, обеспечиваемой компонентами системы шлема-дисплея 300 и различными режимами, обсужденными выше, без отступления от области охвата настоящего раскрытия.

[0060] Варианты осуществления, обсужденные в настоящем документе, просто описывают несколько примеров обеспечения интерфейса, работающего в выключенном режиме, режиме дополненной реальности, виртуальном режиме или смешанном режиме, и не предназначены для того, чтобы ограничивать объем или содержание соответствующих интерфейсных режимов или функциональности компонентов системы шлема-дисплея 300. Например, в некоторых вариантах осуществления виртуальные объекты могут включать в себя данные, выводимые на экран пользователю (время, температура, высота и т.д.), объекты, создаваемые и/или выбранные системой 100, объекты, создаваемые и/или выбранные пользователем, или даже объекты, представляющие других пользователей, подключенных к системе 100. Дополнительно к этому, виртуальные объекты могут включать в себя расширение физических объектов (например, виртуальная скульптура, стоящая на физической платформе) и могут быть визуально соединены или разъединены с физическим объектом.

[0061] Виртуальные объекты могут также быть динамическими и изменяться со временем, изменяться в соответствии с различными отношениями (например, в зависимости от положения, расстояния и т.д.) между пользователем или другими пользователями, физическими объектами и другими виртуальными объектами, и/или изменяться в соответствии с другими переменными, указанными в программном обеспечении и/или встроенном микропрограммном обеспечении системы шлема-дисплея 300, компонента шлюза 140 или сервера 110. Например, в некоторых вариантах осуществления виртуальный объект может реагировать на пользовательское устройство или его компонент (например, виртуальный шар перемещается, когда тактильное устройство помещается рядом с ним), на физическое или вербальное взаимодействие с пользователем (например, виртуальное существо убегает, когда пользователь приближается к нему, или говорит, когда пользователь заговаривает с ним), стул бросается в виртуальное существо, и существо уклоняется от стула, на другие виртуальные объекты (например, первое виртуальное существо реагирует, когда оно видит второе виртуальное существо), на физические переменные, такие как положение, расстояние, температура, время и т.д. или на другие физические объекты в окружении пользователя (например, виртуальное существо, показываемое стоящим на физической улице, становится расплющенным, когда через него переезжает физический автомобиль).

[0062] Различные режимы, обсужденные в настоящем документе, могут быть применены и к другим пользовательским устройствам, отличным от системы шлема-дисплея 300. Например, интерфейс дополненной реальности может быть обеспечен посредством планшетного устройства или мобильного телефона. В таком варианте осуществления телефон или планшет могут использовать камеру для получения физического окружения вокруг пользователя, и виртуальные объекты могут быть наложены на экране дисплея телефона/планшета. Дополнительно к этому, виртуальный режим может быть обеспечен путем отображения цифрового мира на экране дисплея телефона/планшета. Соответственно, эти режимы могут быть смешаны так, чтобы создать различные пользовательские режимы интерфейса, как описано выше, используя компоненты телефона/планшета, обсуждаемого в настоящем документе, а также другие компоненты, соединенные с, или используемые в комбинации с пользовательским устройством. Например, смешанный виртуальный режим интерфейса может быть обеспечен компьютерным монитором, телевизионным экраном или другим устройством, у которого отсутствует камера, работающая в комбинации с системой ввода данных о движении или системой захвата изображения. В этом примерном варианте осуществления виртуальный мир может быть просмотрен на мониторе/экране, а обнаружение объектов и рендеринг могут быть выполнены системой ввода данных о движении или системой захвата изображения.

[0063] Фиг. 7 иллюстрирует примерный вариант осуществления настоящего изобретения, в котором каждый из двух пользователей, расположенных в различных географических местоположениях, взаимодействует с другим пользователем и с общим для них виртуальным миром через свое соответствующее пользовательское устройство. В этом варианте осуществления два пользователя 701 и 702 бросают виртуальный мяч 703 (тип виртуального объекта) туда и обратно, причем каждый пользователь способен наблюдать воздействие другого пользователя на виртуальный мир (например, каждый пользователь наблюдает изменение направления движения виртуального мяча, как его ловит другой пользовательи т.д.). Так как перемещение и расположение виртуальных объектов (то есть виртуального мяча 703) отслеживается серверами 110 в вычислительной сети 105, система 100 в некоторых вариантах осуществления может сообщить пользователям 701 и 702 точное положение и время прибытия мяча 703 относительно каждого пользователя. Например, если первый пользователь 701 находится в Лондоне, пользователь 701 может бросить мяч 703 во второго пользователя 702, находящегося в Лос-Анджелесе, со скоростью, вычисленной системой 100. Соответственно, система 100 может сообщить второму пользователю 702 (например, по электронной почте, текстовым сообщением, мгновенным сообщениеми т.д.) точное время и место прибытия мяча. По существу, второй пользователь 702 может использовать свое устройство для того, чтобы увидеть, что мяч 703 прилетел в требуемое время и куда он прилетел. Один или более пользователей могут также использовать программное обеспечение геопозиционирования (или подобное) для того, чтобы отслеживать один или более виртуальных объектов по мере того, как они виртуально перемещаются по всему миру. Примером этого может быть пользователь, носящий трехмерный шлем-дисплей, смотрящий в небо и видящий летящий над ним виртуальный самолет, наложенный на реальный мир. Виртуальный самолет может управляться пользователем, интеллектуальными программными агентами (программным обеспечением, работающим на пользовательском устройстве или на шлюзе), другими пользователями, которые могут быть локальными и/или удаленными, и/или посредством любой комбинации вышеперечисленного.

[0064] Как было ранее упомянуто, пользовательское устройство может включать в себя устройство тактильного интерфейса, обеспечивающее обратную связь (например, сопротивление, вибрация, световые индикаторы, звук и т.д.) пользователю, когда система 100 определяет, что тактильное устройство должно быть расположено в некотором физическом пространственном расположении относительно виртуального объекта. Например, вариант осуществления, описанный выше со ссылкой на Фиг. 7, может быть расширен так, чтобы включать в себя использование тактильного устройства 802, как показано на Фиг. 8. В этом варианте осуществления в качестве примера тактильное устройство 802 может быть выведено на экран в виртуальном мире как бейсбольная бита. Когда мяч 703 прилетает, пользователь 702 может ударить тактильным устройством 802 по виртуальному мячу 703. Если система 100 решает, что виртуальная бита, обеспечиваемая тактильным устройством 802, вступила в "контакт" с мячом 703, то тактильное устройство 802 может завибрировать или обеспечить другую обратную связь пользователю 702, и виртуальный мяч 703 может срикошетить от виртуальной биты в направлении, вычисленном системой 100 в соответствии с обнаруженной скоростью, направлением, и временем контакта мяча и биты.

[0065] Раскрытая система 100 в некоторых вариантах осуществления может облегчить обеспечение интерфейса смешанного режима, в котором многочисленные пользователи могут взаимодействовать с общим виртуальным миром (и с виртуальными объектами, содержащимися в нем) с использованием различных режимов интерфейса (например, режима дополненной реальности, виртуального режима, смешанного режима и т.д.). Например, первый пользователь, взаимодействующий с конкретным виртуальным миром в виртуальном режиме интерфейса, может взаимодействовать со вторым пользователем, взаимодействующим с тем же самым виртуальным миром в режиме дополненной реальности.

[0066] Фиг. 9A иллюстрирует пример, в котором первый пользователь 901 (взаимодействующий с цифровым миром системы 100 в смешанном виртуальном режиме интерфейса) и первый объект 902 показываются как виртуальные объекты второму пользователю 922, взаимодействующему с тем же самым цифровым миром системы 100 в режиме полностью виртуальной реальности. Как описано выше, при взаимодействии с цифровым миром посредством смешанного виртуального режима интерфейса локальные физические объекты (например, первый пользователь 901 и первый объект 902) могут быть отсканированы и отображены как виртуальные объекты в виртуальном мире. Первый пользователь 901 может быть отсканирован, например, системой ввода данных о движении или подобным устройством и отображен в виртуальном мире (посредством программного обеспечения/встроенного микропрограммного обеспечения, хранимого в системе ввода данных о движении, в компоненте шлюза 140, в пользовательском устройстве 120, на системных серверах 110 или в других устройствах) в качестве первого отображенного физического объекта 931. Аналогичным образом первый объект 902 может быть отсканирован, например, системой измерения окружающей среды 306 интерфейса шлема-дисплея 300 и отображен в виртуальном мире (посредством программного обеспечения/встроенного микропрограммного обеспечения, хранимого в процессоре 308, в компоненте шлюза 140, на системных серверах 110 или в других устройствах) в качестве второго отображенного физического объекта 932. Первый пользователь 901 и первый объект 902 показаны в первой части 910 Фиг. 9A как физические объекты в материальном мире. На второй части 920 Фиг. 9A первый пользователь 901 и первый объект 902 показаны так, как они видятся второму пользователю 922, взаимодействующему с тем же самым цифровым миром системы 100 в режиме полностью виртуальной реальности: как первый отображенный физический объект 931 и второй отображенный физический объект 932.

[0067] Фиг. 9B иллюстрирует другой примерный вариант осуществления смешанного режима интерфейса, в котором первый пользователь 901 взаимодействует с цифровым миром в смешанном виртуальном режиме интерфейса, как обсуждено выше, а второй пользователь 922 взаимодействует с тем же самым цифровым миром (и с физическим локальным окружением 925 второго пользователя) в режиме дополненной реальности. В варианте осуществления, показанном на Фиг. 9B, первый пользователь 901 и первый объект 902 находятся в первом физическом местоположении 915, а второй пользователь 922 находится в другом, втором физическом местоположении 925, разделенном некоторым расстоянием от первого местоположения 915. В этом варианте осуществления виртуальные объекты 931 и 932 могут быть перемещены в реальном времени (или почти в реальном времени) в местоположение внутри виртуального мира, соответствующее второму местоположению 925. Таким образом, второй пользователь 922 может наблюдать и взаимодействовать с отображенными физическими объектами 931 и 932, представляющими собой первого пользователя 901 и первый объект 902, соответственно, в физическом локальном окружении 925 второго пользователя.

[0068] Фиг. 10 показывает примерную иллюстрацию представления пользователя при взаимодействии с системой 100 в режиме дополненной реальности. Как показано на Фиг. 10, пользователь видит локальную физическую среду (то есть город, имеющий множество зданий), а также виртуальный персонаж 1010 (то есть виртуальный объект). Положение виртуального персонажа 1010 может быть инициировано двухмерной визуальной целью (например, рекламным щитом, открыткой или журналом) и/или одним или более из трехмерных ссылочных фреймов, таких как здания, автомобили, люди, животные, самолеты, части здания, и/или любой трехмерный физический объект, виртуальный объект, и/или их комбинации. В примере, проиллюстрированном на Фиг. 10, известное положение зданий в городе может обеспечить регистрацию опорных точек и/или информацию и ключевые признаки для отображения виртуального персонажа 1010. Дополнительно, геопространственное положение пользователя (например, предоставленное системой спутникового позиционирования GPS, датчиками пространственного и углового положения и т.д.) или мобильное положение относительно зданий может включать в себя данные, используемые вычислительной сетью 105 для того, чтобы инициировать передачу данных, используемых для вывода на экран виртуального персонажа (персонажей) 1010. В некоторых вариантах осуществления данные, используемые для вывода на экран виртуального персонажа 1010, могут включать в себя отображенный персонаж 1010 и/или инструкции (для их исполнения компонентом шлюза 140 и/или пользовательским устройством 120) для отображения виртуального персонажа 1010 или его частей. В некоторых вариантах осуществления, если геопространственное положение пользователя недоступно или неизвестно, сервер 110, компонент шлюза 140 и/или пользовательское устройство 120 может вывести на экран виртуальный объект 1010, используя алгоритм оценки, который оценивает, где могут быть расположены конкретные виртуальные объекты и/или физические объекты, путем использования последнего известного положения пользователя в зависимости от времени и/или от других параметров. Это также может использоваться для определения положения любых виртуальных объектов, если датчики пользователя становятся закрытыми и/или функционируют некорректно.

[0069] В некоторых вариантах осуществления виртуальные персонажи или виртуальные объекты могут включать в себя виртуальную статую, причем рендеринг виртуальной статуи инициируется физическим объектом. Например, обращаясь теперь к Фиг. 11, виртуальная статуя 1110 может быть инициирована реальной физической платформой 1120. Инициирование статуи 1110 может происходить в ответ на визуальный объект или признак (например, опорные точки, конструктивные особенности, геометрия, узоры, физическое положение, высота и т.д.), обнаруженный пользовательским устройством или другими компонентами системы 100. Когда пользователь рассматривает платформу 1120 без пользовательского устройства, пользователь видит платформу 1120 без статуи 1110. Однако, когда пользователь рассматривает платформу 1120 через пользовательское устройство, пользователь видит статую 1110 на платформе 1120, как показано на Фиг. 11. Статуя 1110 является виртуальным объектом и поэтому может быть стационарной, анимированной, изменяющейся во времени или относительно точки зрения пользователя, или даже изменяться в зависимости от того, какой конкретно пользователь рассматривает статую 1110. Например, если пользователь является маленьким ребенком, статуя может быть собакой; в то же время, если пользователь является взрослым мужчиной, статуя может быть большим роботом, как показано на Фиг. 11. Эти примеры являются примерами восприятия, зависимого от пользователя и/или от состояния. Это позволит одному или более пользователям воспринимать один или более виртуальных объектов по одному и/или в комбинации с физическими объектами и настроенными в соответствии с опытом и персонализированными версиями виртуальных объектов. Статуя 1110 (или ее части) может быть отображена различными компонентами системы, включая, например, программное обеспечение/встроенное микропрограммное обеспечение, установленное на пользовательском устройстве. Используя данные, указывающие на пространственное и угловое положение пользовательского устройства в комбинации с регистрационными признаками виртуального объекта (то есть статуи 1110), виртуальный объект (то есть статуя 1110) формирует отношение с физическим объектом (то есть с платформой 1120). Например, отношение между одним или более виртуальными объектами и одним или более физическими объектами может быть функцией расстояния, положения, времени, георасположения, близости к одному или более другим виртуальным объектам, и/или любым другим функциональным отношением, которое включает в себя виртуальные и/или физические данные любого вида. В некоторых вариантах осуществления программное обеспечение распознавания изображения в пользовательском устройстве может дополнительно улучшить отношение между цифровыми и физическими объектами.

[0070] Интерактивный интерфейс, обеспечиваемый раскрытой системой и способом, может быть реализован для облегчения различных действий, таких как, например, взаимодействие с одной или более виртуальными средами и объектами, взаимодействие с другими пользователями, а также восприятие различных форм мультимедийного контента, включая рекламные объявления, музыкальные концерты и кинофильмы. Соответственно, раскрытая система облегчает пользовательское взаимодействие, так что пользователь не только просматривает или слушает мультимедийный контент, но и активно участвует в нем и воспринимает его. В некоторых вариантах осуществления пользовательское участие может включать в себя изменяющийся существующий контент или создание нового контента, который будет отображен в одном или более виртуальных мирах. В некоторых вариантах осуществления мультимедийный контент и/или пользователи, создающие контент, могут быть тематически объединены вокруг мифотворчества одного или более виртуальных миров.

[0071] В одном примере музыканты (или другие пользователи) могут создавать музыкальный контент, который будет отображен пользователям, взаимодействующим с конкретным виртуальным миром. Музыкальный контент может включать в себя, например, различные одиночные произведения, долгоиграющие пластинки, альбомы, видео, короткометражные фильмы и концертные исполнения. В одном примере большое количество пользователей может подключиться к системе 100, чтобы одновременно увидеть и услышать виртуальный концерт, исполняемый музыкантами.

[0072] В некоторых вариантах осуществления произведенные носители могут содержать уникальный идентификационный код, связанный с определенным объектом (например, музыкальная группа, исполнитель, пользовательи т.д.). Код может быть в форме набора алфавитно-цифровых символов, штрих-кодов UPC, QR-кодов, триггеров двухмерного изображения, триггеров особенностей трехмерных физических объектов или других цифровых меток, а также звука, изображения и/или того и другого. В некоторых вариантах осуществления код также может быть встроен в цифровые носители, которые могут использоваться системой 100. Пользователь может получить код (например, посредством оплаты или взноса) и тем самым выкупить код для того, чтобы получить доступ к мультимедийному контенту, произведенному лицом или компанией, связанной с идентификационным кодом. Мультимедийный контент может быть добавлен или удален из пользовательского интерфейса.

[0073] Варианты осуществления, раскрытые в настоящем документе, приведены для того, чтобы проиллюстрировать один или более примеров способов и устройства для обеспечения интерактивной виртуальной среды или среды дополненной реальности для многочисленных пользователей. По существу, изменения к способам и устройству, раскрытым в настоящем документе, могут быть сделаны без отступлений от объема настоящего изобретения, который определяется формулой изобретения, приведенной ниже. Например, хотя различные примеры и варианты осуществления обсуждаются в настоящем документе в отношении системы шлема-дисплея, различные примеры и варианты осуществления могут также применяться к другим пользовательским устройствам, способным обеспечить интерфейс или возможности, обсужденные относительно этих конкретных вариантов осуществления.

Claims (15)

1. Система для обеспечения одному или более пользователям возможности взаимодействовать с виртуальным миром, содержащим данные виртуального мира, содержащая:

компьютерную сеть, включающую в себя один или более компьютерных серверов, содержащих память, процессорную схему и программное обеспечение, хранимое в памяти и исполняемое процессорной схемой для обработки, по меньшей мере, части данных виртуального мира;

при этом компьютерная сеть выполнена с возможностью передавать данные виртуального мира в пользовательское устройство для представления первому пользователю,

при этом, по меньшей мере, часть виртуального мира изменяется в ответ на изменение в данных виртуального мира,

при этом, по меньшей мере, часть данных виртуального мира изменяется в ответ на по меньшей мере один физический объект, обнаруженный пользовательским устройством, и

причем этот по меньшей мере один физический объект содержит объекты в физической среде вблизи первого пользователя.

2. Система по п. 1, в которой упомянутое изменение в данных виртуального мира представляет виртуальный объект, имеющий заранее определенное отношение с упомянутым физическим объектом.

3. Система по п. 2, в которой упомянутое изменение в данных виртуального мира представляется второму пользовательскому устройству для представления второму пользователю в соответствии с упомянутым заранее определенным отношением.

4. Система по п. 1, в которой виртуальный мир приспособлен для воспроизведения по меньшей мере одним из компьютерных серверов и пользовательского устройства.

5. Система по п. 1, в которой виртуальный мир представляется в по меньшей мере одном из двумерного формата и трехмерного формата.

6. Система по п. 1, в которой пользовательское устройство выполнено с возможностью обеспечения интерфейса для взаимодействия между пользователем и виртуальным миром в по меньшей мере одном из режима дополненной реальности, режима виртуальной реальности и комбинации режима дополненной и виртуальной реальности.

7. Система по п. 1, в которой данные виртуального мира передаются по сети передачи данных.

8. Система по п. 1, в которой компьютерная сеть выполнена с возможностью получать, по меньшей мере, часть данных виртуального мира от пользовательского устройства.

9. Система по п. 1, в которой, по меньшей мере, часть данных виртуального мира, переданных в пользовательское устройство, включает в себя инструкции для генерирования по меньшей мере части виртуального мира.

10. Система по п. 1, в которой, по меньшей мере, часть данных виртуального мира передается в шлюз.

Images