RU2751444C2 - Реляционная визуализация голографических объектов - Google Patents

Реляционная визуализация голографических объектов Download PDF

Info

Publication number
RU2751444C2
RU2751444C2 RU2018145295A RU2018145295A RU2751444C2 RU 2751444 C2 RU2751444 C2 RU 2751444C2 RU 2018145295 A RU2018145295 A RU 2018145295A RU 2018145295 A RU2018145295 A RU 2018145295A RU 2751444 C2 RU2751444 C2 RU 2751444C2
Authority
RU
Russia
Prior art keywords
hologram
physical
relationship
chemical
thermal
Prior art date
Application number
RU2018145295A
Other languages
English (en)
Other versions
RU2018145295A (ru
RU2018145295A3 (ru
Inventor
Эрик Скотт РЕМЕЙЕР
Александер Джеймс ХОГАН
Питер В. КАРЛСОН
Джессика ЦАН
Джонатан ЭСТЕРЛИ
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2018145295A publication Critical patent/RU2018145295A/ru
Publication of RU2018145295A3 publication Critical patent/RU2018145295A3/ru
Application granted granted Critical
Publication of RU2751444C2 publication Critical patent/RU2751444C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении повышенной реальности взаимодействий между голографическими объектами и объектами реального мира. Предлагается способ генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, в котором идентифицируют объект голограммы; идентифицируют физический объект, ассоциированный с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы; обнаруживают изменение близости между объектом голограммы и физическим объектом; генерируют новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе заданного химического или термического отношения; и сохраняют привязку этого нового или модифицированного объекта голограммы. 3 н. и 14 з.п. ф-лы, 9 ил.

Description

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
[0001] Смешанная реальность (ʺMRʺ) включает в себя объединение физических объектов реального мира и виртуальных объектов, чтобы сформировать новые среды и визуализации, где сосуществуют цифровые виртуальные объекты и реальные физические объекты. MR-приложения включают в себя, например, гуманитарные отрасли и индустрию развлечений, образование, производство, проектирование, строительство и архитектуру. Однако преимуществам MR иногда препятствуют ограничения в интерактивной функциональности виртуальных или голографических объектов в MR-среде, особенно в связи с ограниченными интерактивными возможностями между виртуальными объектами и материальными объектами реального мира в MR-среды.
[0002] Заявленное здесь изобретение не ограничивается вариантами осуществления, которые преодолевают какие-либо недостатки или которые работают только в условиях, описанных выше. Скорее, этот предшествующий уровень техники предоставлен только для иллюстрации примерных областей технологии, где некоторые варианты осуществления, описанные здесь, могут быть осуществлены.
КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
[0003] Настоящее раскрытие относится к компьютерным системам, способам и компьютерным носителям данных, сконфигурированным для моделирования или визуализации (рендеринга) иным образом физических взаимодействий между голографическими объектами и физическими объектами в соответствии с соответственными физическими свойствами и отношениями между голографическими объектами и физическими объектами.
[0004] Некоторые варианты осуществления включают в себя идентификацию физического объекта и идентификацию голографического объекта, причем физический объект и голографический объект ассоциированы друг с другом в соответствии с физическим отношением между физическим объектом и голографическим объектом. Например, физическое отношение может быть определено одним или несколькими из относительной близости, относительной ориентации, относительного шаблона движения, быстроты относительного движения, логического контекста, продолжительности относительной близости, ориентации или движения или другого атрибута физического отношения. В некоторых вариантах осуществления, физические атрибуты или свойства физического объекта и назначенные физические свойства/атрибуты голографического объекта также помогают определить физические отношения между голографическим объектом и физическим объектом.
[0005] Некоторые варианты осуществления включают в себя обнаружение изменения в физическом отношении и модифицирование одного или нескольких свойств голографического объекта в соответствии с обнаруженным изменением. Например, в ответ на обнаружение изменения в физическом отношении, голографический объект может быть реконфигурирован с одной или несколькими различными аудиовизуальными характеристиками. Дополнительно или в качестве альтернативы, голографический объект реконфигурируется, чтобы показать модифицированное состояние или настройку, влияющую на взаимодействие пользователя с реконфигурированным голографическим объектом, независимо от того, является ли или нет аудиовизуальная индикация модификации немедленно видимой.
[0006] Некоторые варианты осуществления включают в себя назначение одного или нескольких свойств физическому объекту и/или голографическому объекту. В таких вариантах осуществления, одно или несколько назначенных свойств определяют, по меньшей мере частично, одну или несколько реакций голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом. В некоторых вариантах осуществления, свойства, назначенные физическому объекту, сконфигурированы как виртуальные свойства, которые не соответствуют свойствам реального мира физического объекта.
[0007] Некоторые варианты осуществления включают в себя обнаружение изменения в одном или нескольких аспектах физического отношения между идентифицированным физическим объектом и идентифицированным голографическим объектом и, в ответ, генерирование нового голографического объекта, чтобы моделировать активность (действия) и/или эффекты идентифицированного голографического объекта на физическом объекте. В некоторых вариантах осуществления, идентифицированный голографической объект остается немодифицированным, когда визуализируется новый голографический объект.
[0008] Некоторые варианты осуществления включают в себя модифицирование физического объекта или устройства в ответ на обнаружение изменения в одном или нескольких аспектах физического отношения между физическим объектом или устройством и ассоциированным голографическим объектом.
[0009] Настоящее краткое описание сущности изобретения предоставлено, чтобы ввести подборку концепций в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Это краткое описание сущности изобретения не предназначено для определения ключевых признаков или существенных признаков заявленного изобретения, а также не предназначено для использования в качестве помощи при определении объема заявленного изобретения.
[0010] Дополнительные признаки и преимущества будут изложены в описании, которое следует ниже, и частично будут очевидны из описания или могут быть изучены при практической реализации излагаемых здесь решений. Признаки и преимущества настоящего изобретения могут быть реализованы и получены посредством инструментов и комбинаций, конкретно указанных в прилагаемой формуле изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0011] Для того чтобы описать способ, которым могут быть получены вышеописанные и другие преимущества и признаки, более конкретное описание изобретения, кратко описанного выше, будет представлено со ссылкой на конкретные варианты осуществления, которые проиллюстрированы на прилагаемых чертежах. Понимая то, что эти чертежи изображают только типичные варианты осуществления и, следовательно, не должны рассматриваться как ограничивающие объем, варианты осуществления будут описаны и объяснены с дополнительной спецификой и детализацией посредством использования прилагаемых чертежей, на которых:
[0012] Фиг. 1 иллюстрирует компьютерную систему, сконфигурированную для визуализации голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;
[0013] Фиг. 2 иллюстрирует блок-схему последовательности операций примерного способа для модифицирования голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;
[0014] Фиг. 3 иллюстрирует блок-схему последовательности операций примерного способа для визуализации нового голографического объекта или модифицирования голографического объекта в соответствии с физическим отношением между голографическим объектом и физическим объектом;
[0015] Фиг. 4 иллюстрирует блок-схему последовательности операций примерного способа для модифицирования физического устройства в ответ на моделируемые действия голографического объекта;
[0016] Фиг. 5-8 иллюстрируют примерные варианты осуществления сред смешанной реальности, включающих в себя голографические объекты и физические объекты, показывающие визуализацию голографических объектов в соответствии с физическими отношениями между голографическими объектами и физическими объектами; и
[0017] Фиг. 9 иллюстрирует примерный вариант среды смешанной реальности, в которой голографический объект приводится в действие, чтобы модифицировать физический объект в соответствии с физическим отношением между голографическим объектом и физическим объектом.
ПОДРОБНОЕ ОПИСАНИЕ
[0018] Настоящее изобретение относится к компьютерным системам, способам и компьютерным носителям данных, сконфигурированным для визуализации одного или нескольких голографических объектов в соответствии с определенным отношением между одним или несколькими голографическими объектами и одним или несколькими физическими объектами в среде смешанной реальности. Различные технические эффекты и преимущества могут быть достигнуты за счет реализации аспектов раскрытых вариантов осуществления. Например, по меньшей мере некоторые раскрытые варианты осуществления приводятся в действие, чтобы расширить функциональность голографического объекта путем определения одного или нескольких отношений между голографическим объектом и одним или несколькими физическими объектами в пределах той же самой MR-среды голографического объекта. Это может быть особенно полезным для улучшения пользовательского опыта в процессе взаимодействия с голографическими объектами, для повышения восприятия реальности, изображаемой голографическим объектом, для увеличения объема доступной интерактивной функциональности голографического объекта и, в общем, для улучшения общей функциональности вычислительных систем MR, позволяя им обеспечивать повышенную реальность взаимодействий между голографическими объектами и объектами реального мира.
[0019] Как используется здесь, термины ʺголограммаʺ, ʺобъект голограммыʺ, ʺголографический объектʺ и т.п. относятся к виртуальным, визуализируемым изображениям и/или анимации, которые включают в себя один или несколько трехмерных визуальных сигналов, таких, как сигналы глубины, эффекты параллакса и/или перспективные визуализации, которые реалистично изменяются в зависимости от относительной точки зрения наблюдателя.
[0020] Как используется здесь, термины ʺфизический объектʺ, ʺматериальный объектʺ и т.п. относятся к реальным физическим объектам, которые существуют в реальном мире и которые наблюдаются в среде, в которой один или несколько голографических объектов могут накладываться и/или визуализироваться для формирования MR-среды.
[0021] Как используется здесь, термины ʺсмешанная реальность (MR)ʺ, ʺусиленная (расширенная) реальностьʺ и т.п. относятся к дисплеям, приложениям, сценам и/или средам, сочетающим один или несколько физических объектов с одним или несколькими голографическими объектами. В некоторых вариантах осуществления, один или несколько голографических объектов накладываются и/или визуализируются в пределах физической сцены, так что отображение, как воспринимается пользователем, включает в себя один или несколько голографических объектов в пределах физической сцены.
[0022] Термины ʺотношениеʺ, ʺфизическое отношениеʺ или ʺассоциацияʺ между голографическим объектом и физическим объектом могут быть определены и/или могут относиться, например, к близости от одного объекта относительно другого, ориентации одного объекта относительно другого, шаблону движения одного объекта относительно другого, быстроты движения одного объекта относительно другого, продолжительности одного или нескольких из указанных выше или их комбинации. В некоторых вариантах осуществления, отношение может также быть определено, по меньшей мере частично, в соответствии с контекстом в среде смешанной реальности, совместно используемой голографическим объектом и физическим объектом. Например, в игровом приложении, пара связанных голографических и физических объектов может взаимодействовать по-разному в зависимости от уровня игры, статуса пользователя, настройки сложности, игрового режима и тому подобного. В другом примере, в приложении 3D моделирования/визуализации, пара связанных голографических и физических объектов может взаимодействовать по-разному в зависимости от состояния приложения, такого как режим визуализации по сравнению с режимом редактирования.
[0023] Физическое отношение может также быть определено, по меньшей мере частично, на основе физических свойств объектов, включая фактические или назначенные свойства физического(их) объекта(ов) и голографического(их) объекта(ов). Например, в дополнение к отношению, определяемому физическими местоположениями и ориентациями объектов, физические отношения могут также быть определены или включать в себя химическое отношение, магнитное отношение, отношение температуры, отношение динамического напряжения или сжатия и/или любое другое интерактивное отношение, ассоциированное с интерактивными состояниями, существующими между объектами, на основе назначенных им физическим свойствам (независимо от того, являются ли свойства реальными или только виртуально назначенными).
[0024] Термин ʺфизическое свойствоʺ может относиться к любому физическому атрибуту или свойству, ассоциированному с физическим объектом, включая (но без ограничения) температуру, твердость, форму, состав материала, размер, вес, проводимость, цвет, отражательную способность, прочность, вязкость, объем, прозрачность, пластичность, хрупкость, упругость, давление, электрический заряд, скорость, блеск, силу и так далее. Эти физические свойства могут быть назначены голографическим объектам, а также физическим объектам. Соответственно, физическому объекту может быть назначено фактическое или виртуальное физическое свойство в пределах MR-среды. Эти физические свойства также могут соотноситься/сохраняться и изменяться в MR-среде, как описано здесь, на основе MR-взаимодействий.
[0025] Физические свойства иногда упоминаются здесь как свойства физических объектов или свойства голографических объектов, в зависимости от того, соответствуют ли они физическим объектам или голографическим объектам, соответственно.
[0026] Фиг. 1 иллюстрирует примерную компьютерную систему 100, сконфигурированную для визуализации одного или нескольких голографических объектов в соответствии с одним или несколькими отношениями между одним или несколькими голографическими объектами и одним или несколькими физическими объектами. Для простоты, варианты осуществления, описанные в настоящем документе, как правило, относятся к одному голографическому объекту, имеющему одно отношение с одним физическим объектом, хотя специалисту в данной области техники будет понятно, что объем этих описанных вариантов осуществления также распространяется на визуализацию одного или нескольких голографических объектов в соответствии с одним или несколькими отношениями с одним или несколькими физическими объектами.
[0027] Как показано, проиллюстрированная компьютерная система 100 включает в себя компьютерное устройство 110 с памятью 102 и по меньшей мере одним процессором 104. Альтернативные варианты осуществления могут включать в себя множество процессоров и/или устройств памяти. Память 102 может быть физической системной памятью, которая могут быть энергозависимой, энергонезависимой или некоторой комбинацией обеих. Термин ʺпамятьʺ может быть также использован в настоящем документе, чтобы ссылаться на энергонезависимое массовое хранилище, такое как физические носители хранения данных.
[0028] Компьютерное устройство 110 также включает в себя MR-компоненты 106, сконфигурированные, чтобы обеспечивать возможность генерации и отображения MR-среды, в том числе одни или несколько пользовательских головных наушников (гарнитур), камер, проекторов изображений, и/или других компонентов, которые могут быть использованы в генерации среды смешанной реальности. В некоторых вариантах осуществления, MR-компоненты 106 также включают в себя один или несколько дополнительных компонентов ввода/вывода, позволяющих пользователю взаимодействовать с компьютерным устройством 110, в том числе один или нескольких компонентов тактильной обратной связи (например, носимых компонентов), дисплейные экраны, клавиатуры, управление с помощью мыши, сенсорные экраны, микрофоны, динамики, дисплейные экраны, трекболы, колесики прокрутки, биометрические датчики (например, датчики электроэнцефалографии (EEG), мониторы сердечного ритма, устройства отслеживания глаз или отслеживания движения тела, датчики температуры тела) и тому подобное, чтобы обеспечить возможность получения информации от пользователя и для отображения или передачи иным способом информации пользователю.
[0029] Проиллюстрированное компьютерное устройство 110 включает в себя каналы 108 связи, которые позволяют компьютерному устройству 110 осуществлять связь с одним или несколькими отдельными компьютерными устройствами или системами. Например, компьютерное устройство 110 может быть частью сети 140, которая может быть сконфигурирована, например, как локальная сеть (ʺLANʺ), глобальная сеть (ʺWANʺ) или Интернет. В некоторых вариантах осуществления, компьютерное устройство 110 осуществляет связь с и/или является частью распределенной компьютерной среды 150, как показано посредством множества отдельных компьютерных систем 150а-150n, каждая из которых может содержать один или несколько из раскрытых компонентов, которые показаны в системе 100, полностью или частично, например, один или несколько компонентов памяти, компонентов приложений или любых других компонентов.
[0030] Компьютерное устройство 110 также включает в себя исполняемые модули или исполняемые компоненты 114-122, описанные ниже более подробно. Как использовано в данном описании, термин ʺисполняемый модульʺ или ʺисполняемый компонентʺ может относиться к программным объектам, маршрутизации или способам, которые могут исполняться в вычислительной системе. Различные компоненты, модули, механизмы и сервисы, описанные здесь, могут быть реализованы как объекты или процессы, которые исполняются в вычислительной системе.
[0031] Показанное компьютерное устройство 110 также включает в себя приложение 130, способное работать на компьютерном устройстве 110. Приложение 130 может представлять собой игровое приложение, аудиовизуальное приложение, приложение 3D-моделирования/визуализации, приложение графического проектирования, приложение инженерного моделирования, приложение архитектурного проектирование или любое другое приложение, которое использует MR-дисплей, приводимый в действие, чтобы визуализировать по меньшей мере один голографический объект в пределах или с наложением на сцену физической реальности.
[0032] Как показано, приложение 130 включает в себя один или несколько голографических объектов 132, имеющих одно или несколько назначенных свойств 134 голографического объекта. Например, конкретный голографический объект может иметь одно или несколько свойств, определяющих способ, которым отображается голографический объект (например, аудио и/или визуальные эффекты), способ, которым голографический объект реагирует на пользовательский ввод, и/или способ, которым голографический объект взаимодействует с другими элементами среды смешанной реальности, в которой он визуализируется. Например, голографический объект, сконфигурированный, чтобы визуализироваться как валун, может иметь набор назначенных голографических свойств объекта, включающий в себя ʺтяжелыйʺ, ʺжесткийʺ, ʺплотный и тому подобное, в то время как голографический объект, сконфигурированный, чтобы визуализироваться как стеклянная ваза, может иметь набор назначенных голографических свойств объекта, включающий в себя ʺхрупкийʺ, ʺломкийʺ, ʺнаполняемыйʺ, ʺнегибкийʺ и тому подобное.
[0033] В проиллюстрированном варианте осуществления, приложение 130 также включает в себя набор из одного или нескольких физических свойств 136 объекта, определяющих свойства, которые являются назначаемыми одному или нескольким физическим объектам, обнаруживаемым приложением 130. Например, стена, пол или потолок, обнаруживаемые в пределах MR-сцены, могут иметь набор назначенных свойств объекта, включающих в себя ʺнепроницаемыйʺ, ʺнепроходимыйʺ и тому подобное. В некоторых вариантах осуществления, одно или несколько свойств 136 физического объекта являются виртуальными свойствами, которые не обязательно соответствуют реальным физическим свойствам физического объекта, к которому они назначены. Например, в игровом приложении, игрушечный меч может быть сконфигурирован с набором свойств физического объекта, включающих в себя ʺострыйʺ и ʺжесткийʺ, даже если игрушечный меч на самом деле тупой и относительно гибкий.
[0034] Различные свойства 134 голографического объекта конкретного голографического объекта 132 могут быть статическими или могут быть динамическими и/или модифицируемыми. Например, некоторые свойства 134 голографического объекта или свойства 136 физического объекта могут быть сконфигурированы, чтобы изменяться с течением времени и/или изменяться в соответствии с настройками пользователя, состоянием приложения, уровнем игры и т.д.
[0035] Как показано, приложение 130 также включает в себя набор из одного или нескольких определений 138 отношений, определяющих обнаруживаемые отношения между одним или несколькими обнаруживаемыми физическими объектами и одним или несколькими голографическими объектами 132. Как объяснены более подробно ниже, в некоторых вариантах осуществления, обнаружение конкретного отношения между голографическим объектом и физическим объектом действует, чтобы вызвать одно или более из модификации в голографическом объекте, визуализации одного или нескольких новых голографических объектов или модификации физического объекта.
[0036] Показанное компьютерное устройство 110 также включает в себя механизм 114 распознавания объекта, сконфигурированный для обнаружения и/или идентификации одного или нескольких физических объектов в рамках сцены смешанной реальности. Механизм 114 распознавания объекта может приводиться в действие, чтобы обнаруживать и идентифицировать объекты с использованием обнаружения края, ребра и угла, градиентного сопоставления и других моделей и алгоритмов, известных в данной области техники.
[0037] Показанное компьютерное устройство 110 также включает в себя модуль 116 назначения свойств, сконфигурированный для назначения свойств 136 физического объекта соответствующим физическим объектам при обнаружении физических объектов. Например, в некоторых случаях, приложение 130 включает в себя свойство 136 физического объекта, определяющее окна как ʺбьющиесяʺ и ʺотражающиеʺ (например, независимо от того, является ли они на самом деле физически бьющимися или отражающими). При обнаружении окна в сцене смешанной реальности механизмом 114 распознавания объекта, модуль 116 назначения свойств назначает свойства ʺбьющеесяʺ и ʺотражающееʺ обнаруженному окну.
[0038] В некоторых вариантах осуществления, модуль 116 назначения свойств также сконфигурирован, чтобы назначать свойства 134 голографического объекта соответствующим голографическим объектам 132. В других вариантах осуществления, свойства 134 голографического объекта назначаются голографическим объектам 132 самим приложением 130.
[0039] Показанное компьютерное устройство 110 также включает в себя детектор 118 отношения, сконфигурированный для обнаружения и идентификации отношения между голографическим объектом 132 и обнаруженным физическим объектом. Продолжая рассматривать пример окна, детектор 118 отношения может обнаружить отношение между окном и голографическим бейсбольным мячом, определяемое близостью и траекторией голографического бейсбольного мяча относительно окна, или может обнаружить отношение между окном и голографическим лазерным лучом, определенным ориентацией/целью голографического лазерного луча относительно окна.
[0040] Показанное компьютерное устройство 110 также включает в себя модификатор 120 голограммы, сконфигурированный для управления визуализацией голографического объекта 132 в соответствии с обнаруженным отношением между голографическим объектом 132 и обнаруженным физическим объектом, удовлетворяющим определению 138 предопределенного отношения. Продолжая с примером окна, когда траектория голографического бейсбольного мяча выравнивается с окном, как обнаруживается детектором 118 отношения, в соответствии с определением 138 отношения, определяющим, что окна, имеющие свойства ʺбьющиесяʺ, будут разбиваться при таком отношении, модификатор 120 голограммы приводится в действие, чтобы визуализировать эффект разбивания, как только голографический бейсбольный мяч попадает в окно. Эффект разбивания может включать в себя генерацию, например, голографических осколков, анимированных как падающих из окна, голографических трещин, остающихся в окне, и/или звуковых эффектов разбивания. В другом примере, когда ориентация голографического лазерного луча направляется к окну, как обнаруживается детектором 118 отношения, в соответствии с определением 138 отношения, определяющим, что окна, имеющие свойство ʺотражающиеʺ, будут отражать лазерные лучи, модификатор 120 голограммы приводится в действие, чтобы модифицировать голографический лазерный луч, как отражающийся от окна (например, на основе угла лазерного луча относительно окна).
[0041] Показанное компьютерное устройство 110 также включает в себя контроллер 122 объекта. В некоторых вариантах осуществления, один или несколько модифицируемых физических объектов 160 в сцене смешанной реальности сконфигурированы как приводимые в действие или изменяемые в ответ на конкретные обнаруженные отношения между одним или несколькими модифицируемыми физическими объектами 160 и одним или несколькими голографическими объектами 132. Например, модифицируемым физическим объектом 160 может быть вентилятор, и вентилятор может быть включен и выключен в соответствии с близостью голографического кабеля питания к вентилятору (например, как определяется посредством определения 138 отношения и как обнаруживается посредством детектора 118 отношения).
[0042] Различные компоненты, показанные на фиг. 1, представляют собой лишь несколько примерных реализаций компьютерной системы, сконфигурированной для визуализации голографического объекта в соответствии с обнаруженным отношением между голографическим объектом и физическим объектом. Другие варианты осуществления могут разделять описанные память/хранилища, модули, компоненты и/или функции различным образом между приложением 130 и компьютерным устройством 110 (например, операционной системой компьютерного устройства 110) и/или среди дополнительных компьютерных систем. Например, в некоторых вариантах осуществления, модуль 116 назначения свойств, детектор 118 отношения и/или модификатор 120 голограммы управляются и контролируются приложением 130. В некоторых вариантах осуществления, структуры данных, связанные с голографическими объектами 132, свойствами 134 голографического объекта, свойствами 136 физического объекта и/или определениями 138 отношения, принимаются от одного или нескольких отдельных компьютерных устройств/систем, например, от одного или нескольких компьютерных устройств 150a-n.
[0043] В некоторых вариантах осуществления, компонентов памяти и/или программные модули распределены по множеству составляющих компьютерных систем (например, 150a-п) в распределенной среде. В других вариантах осуществления, компоненты памяти и программные модули включены в единую интегрированную компьютерную систему. Соответственно, системы и способы, описанные здесь, не предназначены для ограничения на основе конкретного местоположения, в котором расположены описанные компоненты и/или в котором выполняются их функции.
[0044] В последующем описании, варианты осуществления описываются со ссылкой на действия, которые выполняются одной или несколькими вычислительными системами. Если такие действия реализованы в программном обеспечении, один или несколько процессоров ассоциированной вычислительной системы, которая выполняет действие, управляет работой вычислительной системы в ответ на выполнение процессором(ами) вычислительной системы исполняемых компьютером инструкций, которые воплощены на одном или нескольких считываемых компьютером носителях (например, аппаратном запоминающем устройстве(ах)). Пример такой операции включает в себя манипулирование данными.
[0045] Исполняемые компьютером инструкции (и манипулируемые данные) могут быть сохранены в памяти 102 компьютерного устройства 110 и/или в одном или нескольких отдельных компонентах компьютерной системы. Исполняемые компьютером инструкции могут быть использованы для реализации и/или использования в качестве примера всей функциональности, раскрытой в данном документе, включая функциональность, которая раскрыта со ссылкой на одну или несколько схем, показанных на фиг. 2-4. Следующее описание реализуемых компьютером способов, показанных на фиг. 2-4, включает в себя примерные приложения и компьютерные системы. Специалисту в данной области техники будет понятно, что конкретные способы не ограничиваются конкретными используемыми примерами. Кроме того, специалисту в данной области техники будет понятно, что конкретный пример приложения или компьютерной системы не должен быть ограничен конкретным вариантом осуществления, в котором он описан, но может быть использован полностью или частично в одном или нескольких из других вариантов осуществления, описанных в данном описании.
[0046] На фиг. 2 представлена блок-схема 200 последовательности действий, ассоциированных с реализуемыми компьютером способами повторного конфигурирования голограммы в соответствии с физическим отношением между голограммой и одним или несколькими физическими объектами. Как показано, компьютерная система идентифицирует физический объект, причем физический объект ассоциирован с одним или несколькими объектами голограммы в соответствии с физическим отношением между физическим объектом и одним или несколькими объектами голограммы (действие 210). Это отношение может быть основано на сохраненных свойствах голографических объектов и свойствах физических объектов, ассоциированных с соответствующими объектами, как описано ранее выше.
[0047] Компьютерная система также идентифицирует объект голограммы, ассоциированный с физическим объектом, объект голограммы сконфигурирован для реагирования на физический объект в соответствии с одним или несколькими аспектами физического отношения между идентифицированным объектом голограммы и физическим объектом (действие 220). В качестве примера, идентифицированный физический объект может быть жезлом, а идентифицированным объектом голограммы может быть игровой персонаж, сконфигурированный для взаимодействия с жезлом в соответствии с близостью к жезлу, ориентацией жезла по отношению к персонажу и/или длительностью близости или ориентации.
[0048] Компьютерная система затем обнаруживает изменение в физическом отношении между физическим объектом и объектом голограммы (действие 230) и модифицирует одно или несколько свойств объекта голограммы в соответствии с обнаруженным изменением физического отношения (действие 240). Например, компьютерная система может обнаружить, что жезл был расположен ближе к персонажу и/или была направлен на персонажа в течение достаточного периода времени. В ответ, компьютерная система может модифицировать атрибут персонажа, например, путем повышения или понижения уровня здоровья, уровня силы или другой атрибут. Затем компьютерная система сохраняет модифицированный объект голограммы (действие 250) и обновленные свойства объекта.
[0049] В некоторых вариантах осуществления, модификация объекта голограммы вызывает изменение аудио или визуального представления объекта голограммы. Например, голографический персонаж может хлопнуть в ладоши или согнуться от боли. Дополнительно или в качестве альтернативы, модификация голографического объекта вызывает изменение настройки или атрибута голографического объекта, которое может не быть немедленно показано визуально или прослушиваемым образом. Например, голографический персонаж может ʺповысить уровеньʺ и получить дополнительную функциональность, или может произойти другое изменение в свойстве голографического объекта, но такая дополнительная функциональность или изменение физического свойства могут не проявляться визуально или проявляются в более позднее время, если или когда предписывается дальнейшим игровым процессом.
[0050] На фиг. 3 показана блок-схема 300 реализуемого компьютером способа для генерации новой голограммы или модификации голограммы в соответствии с физическим отношением между голограммой и одним или несколькими физическими объектами. Компьютерная система идентифицирует объект голограммы (действие 310) и идентифицирует физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с физическими отношениями между физическим объектом и объектом голограммы (действие 320). Например, идентифицированный объект голограммы может быть голографическим факелом, и идентифицированный физический объект может быть дровами для костра (например, реальными или синтезированными).
[0051] Компьютерная система также обнаруживает изменение одного или нескольких аспектов физического отношения между объектом голограммы и физическим объектом (действие 330) и генерирует новый объект голограммы или модифицирует объект голограммы в ответ на обнаруженное изменение в физическом отношении, причем новый или модифицированный объект голограммы моделирует реакцию между идентифицированным объектом голограммы и идентифицированным физическим объектом (действие 340). Затем компьютерная система сохраняет привязку нового или модифицированного объекта голограммы (действие 350). Например, как только голографический факел приводится в достаточную близость и соответствующую ориентацию к дровам для костра (например, так чтобы горящий конец факела ʺсоприкасалсяʺ с дровами для костра), компьютерная система генерирует новую голограмму, путем визуализации голографического пламени, окружающего дрова для костра. Затем, когда пользователь или другой объект просматривает дрова для костра с помощью визуальной системы MR, он будет просматривать голографическое пламя, окружающее дрова для костра, поскольку голографическое пламя было ассоциировано с и привязано к дровам для костра.
[0052] На фиг. 4 показана блок-схема 400 последовательности операций реализуемого компьютером способа для модифицирования физического устройства в ответ на моделируемые действия или ассоциированное физическое свойство голограммы. Как показано, компьютерная система идентифицирует объект голограммы (действие 410) и идентифицирует физический объект, физический объект, ассоциированный с объектом голограммы в соответствии с физическим отношением между физическим объектом и объектом голограммы (действие 420). Например, идентифицированным объектом голограммы может быть голографическая батарея, и идентифицированным физическим объектом может быть экран дисплея.
[0053] Компьютерная система также обнаруживает изменение одного или нескольких аспектов физического отношения между объектом голограммы и физическим объектом (действие 430) и физического объекта в ответ на обнаруженное изменение в физическом отношении (действие 440). Компьютерная система может затем сохранить состояние физического объекта в соответствии с модификацией (действие 450). Например, компьютерная система может обнаружить, что батарея была расположена рядом с экраном дисплея, и может включить экран дисплея в ответ.
[0054] На фиг. 5-9 проиллюстрирована работа и функциональность различных примерных вариантов осуществления. Объем концепций и признаков, описанных в настоящем документе и перечисленных в формуле изобретения, не ограничивается ни этими конкретными проиллюстрированными примерами, ни упомянутыми типами приложений.
[0055] На фиг. 5 показана MR-среда, включающая в себя голографический блок 502 льда и физический объект в форме фигурки 504. В этом примере фигурке 504 было назначено свойство ʺгорячийʺ, и голографическому блоку 502 льда был назначено свойство ʺплавкийʺ, так что когда фигурка 504 и блок 502 льда расположены в достаточной близости в течение достаточного количества времени, голографический блок льда отображается как голографический плавящийся блок 506 льда.
[0056] В некоторых вариантах осуществления, степень проявляемого эффекта модификации может прогрессировать в соответствии с относительной степенью физического отношения между физическим объектом и голографическим объектом. Например, голографический блок 502 льда может плавиться быстрее, если фигурка 504 располагается ближе к блоку 502 льда. Кроме того, по мере продолжения длительности физического отношения, голографический блок 502 льда может с течением времени становиться еще более расплавленным, пока не станет лужей или даже пока не испарится и полностью исчезнет.
[0057] На фиг. 6 показана среда смешанной реальности, включающая в себя голографический блок 602 льда и физический объект в виде ножа 604 (например, игрушечного ножа). В этом примере, ножу 604 было назначено свойство ʺострыйʺ, и голографическому блоку 602 льда было назначено свойство ʺкрошащийсяʺ, так что когда нож 604 и блок 602 льда приводятся в достаточную близость с соответствующей ориентацией (например, лезвие ножа обращено к блоку 602 льда), голографический блок 602 льда визуализируется как блок 606 льда со сколами. Скалывание может происходить динамически в реальное время, когда нож приводится в контакт (т.е. визуальное пересечение) с блоком 602 льда в MR-среде.
[0058] Примеры, показанные на фиг. 5 и 6, иллюстрируют, что конкретный голографической объект может иметь множество различных свойств и может демонстрировать множество соответствующих эффектов, основанных на различных взаимодействиях с различными физическими объектами. Например, в некоторых вариантах осуществления, блок 502 льда и блок 602 льда могут представлять один и тот же голографический объект, сконфигурированный реагировать по-разному в зависимости от физических отношений с различными физическими объектами (например, фигуркой 504 и ножом 604). Дополнительно или в качестве альтернативы, в некоторых вариантах осуществления, конкретный голографический объект может по-разному реагировать на тот же самый ассоциированный физический объект, в зависимости от конкретных параметров физического отношения между соответствующими объектами (см. фиг. 8).
[0059] Фиг. 7 иллюстрирует среду смешанной реальности, включающую в себя голографическую паяльную лампу 702 и физическую стенку 704. В этом примере, голографической паяльной лампе 702 было назначено свойство ʺобжигаемаяʺ, и стенке 704 было назначено свойство ʺвозгораемаяʺ. Как показано, когда голографическая паяльная лампа 702 изменяет свое положение по отношению к стенке 704, генерируется новая голограмма 706, имитируя обжигающий эффект на стене 704. В этом примере, функциональное отношение существует между голографической паяльной лампой 702 и физической стенкой 704, и результирующий эффект является одной или несколькими новыми голограммами (т.е. новой голограммой 706 обожженной части стенки, которая постоянно сохранена в файлах MR-данных с соответствующим местоположением стенки, а также голограммой дыма (в настоящее время не показан), которая может быть только временной, и т.д.), в то время как исходный голографический объект (то есть, паяльная лампа 702) остается неизменным.
[0060] На фиг. 8 показана среда смешанной реальности, включающая в себя голографическое яйцо 802 и физическую поверхность 804 (например, крышку стола). В этом примере, голографическому яйцу 802 было назначено свойство ʺхрупкоеʺ, а поверхности 804 было назначено свойство ʺжесткоеʺ, так что, если голографическое яйцо 802 приводится в контакт с поверхностью 804 с достаточной силой/быстротой в пределах MR-среды, голографические яйцо 802 разбивается. Например, если голографическое яйцо 802 контактирует с поверхностью 804 с относительно меньшей силой или скоростью, яйцо 802 отображается как треснувшее, но все еще целое голографическое яйцо 806. В противоположность этому, если голографическое яйцо 802 контактирует с поверхностью 804 с относительно большей силой или скоростью, яйцо 802 отображается как полностью разбитое голографическое яйцо 808.
[0061] На фиг. 9 показан вариант осуществления среды смешанной реальности, включающей в себя голографический шар 902 и физическую лампочку 904. В этом примере, свойства лампочки 904 (например, состояния включения и выключения, цвет и т.д.) зависят от физического отношения между голографическим шаром 902 и лампочкой 904. Например, когда голографический шар 902 ʺбросаетсяʺ в лампочку 904, обнаруживается изменение в физической близости между объектами, вызывая зажигание лампочки 904, вызывая то, что переключатель активируется для лампочки 904 через соединенные системы. Подобные варианты осуществления могут включать в себя взаимодействие между голографическим объектом и аудио управлением (например, управление громкостью), управление отображением, управление питанием, механизмы активации и/или другие взаимодействия между управляемым или регулируемым физическими объектами и голографическими объектами.
[0062] Раскрытые варианты осуществления могут содержать или использовать компьютерную систему специального назначения или общего назначения, которая включает в себя компьютерные аппаратные средства, такие как, например, один или несколько процессоров и системную память. Варианты осуществления в пределах объема настоящего изобретения также включают в себя физические и другие машиночитаемые носители для переноса или хранения машиноисполняемых инструкций и/или структур данных. Такие машиночитаемые носители могут быть любыми доступными носителями, к которым можно получить доступ с помощью компьютерной системы общего назначения или специального назначения. Машиночитаемые носители, которые хранят машиноисполняемые инструкции и/или структуры данных, являются компьютерными носителями данных. Машиночитаемые носители, которые переносят машиноисполняемые инструкции и/или структуры данных, являются средами передачи. Таким образом, в качестве примера, а не ограничения, варианты осуществления изобретения могут содержать по меньшей мере два совершенно разных вида считываемых компьютером носителей: компьютерные носители данных и среды передачи.
[0063] Компьютерными носителями данных являются физические носители данных, которые хранят машиноисполняемые инструкции и/или структуры данных. Физические носители данных включают в себя компьютерные аппаратные средства, например, RAM, ROM, EEPROM, твердотельные накопители (ʺSSDʺ), флэш-память, память с изменением фазы (ʺPCMʺ), устройства хранения на оптических дисках, на магнитных дисках или другие магнитные устройства хранения или любое другое аппаратное(ые) устройство(а) хранения, которые могут быть использованы для хранения программного кода в форме исполняемых компьютером инструкций или структур данных, к которым может обращаться компьютерная система и которые могут исполняться компьютерной системой общего назначения или специального назначения для реализации раскрытой функциональности изобретения.
[0064] Среды передачи могут включать в себя сеть и/или соединения данных, которые могут быть использованы для переноса программного кода в форме машиноисполняемых инструкций или структур данных, и к которым может осуществлять доступ компьютерная система общего назначения или специального назначения. ʺСетьʺ определяется как одно или несколько соединений данных, которые позволяют осуществить перенос электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. Когда информация переносится или предоставляется по сети или другому соединению связи (проводному, беспроводному или комбинации проводного или беспроводного) к компьютерной системе, компьютерная система может рассматривать соединение в качестве среды передачи. Комбинации вышеупомянутого также должны быть включены в объем считываемых компьютером носителей.
[0065] Кроме того, при достижении различных компонентов компьютерной системы, программный код в форме машиноисполняемых инструкций или структур данных может быть передан автоматически из среды передачи на компьютерные носители данных (или наоборот). Например, машиноисполняемые инструкции или структуры данных, принимаемые по сети или соединениям данных, могут быть буферизованы в RAM в модуле сетевого интерфейса (например, ʺNICʺ) и затем в конечном итоге переданы в RAM компьютерной системы и/или менее энергозависимые компьютерные носители в компьютерной системе. Таким образом, следует понимать, что компьютерные носители хранения могут быть включены в компоненты компьютерной системы, которые также (или даже в первую очередь) используют среды передачи.
[0066] Машиноисполняемые инструкции содержат, например, инструкции и данные, которые при их исполнении на одном или нескольких процессорах побуждают компьютерную систему общего назначения, специализированную компьютерную систему или специализированное устройство обработки выполнять определенную функцию или группу функций. Исполняемыми компьютером инструкциями могут быть, например, двоичные файлы, инструкции промежуточного формата, такие как язык ассемблера, или даже исходный код.
[0067] Специалистам в данной области техники будет понятно, что изобретение может быть практически реализовано в сетевых вычислительных средах со многими типами конфигураций компьютерных систем, включая персональные компьютеры, настольные компьютеры, портативные компьютеры, процессоры сообщений, портативные устройства, многопроцессорные системы, основанная на микропроцессорах или программируемая бытовая электроника, сетевые PC, миникомпьютеры, универсальные компьютеры, мобильные телефоны, PDA, планшеты, пейджеры, маршрутизаторы, коммутаторы, гарнитуры виртуальной или дополненной реальности и тому подобное. Изобретение также может быть практически реализовано в средах распределенных систем, в которых локальные и удаленные компьютерные системы, которые связаны (либо проводными линиями передачи данных, беспроводными линиями передачи данных, либо комбинацией проводных и беспроводных линий передачи данных) через сеть, совместно выполняют задачи. Таким образом, в среде распределенных систем, компьютерная система может включать в себя множество составляющих компьютерных систем. В среде распределенных систем, программные модули могут быть расположены как в локальных, так и в удаленных устройствах памяти.
[0068] Специалистам в данной области техники также будет понятно, что изобретение может быть практически реализовано в облачной вычислительной среде. Облачные вычислительные среды могут быть распределенными, хотя это не является обязательным. В распределенном случае, облачные вычислительные среды могут быть распределены на международном уровне в пределах организации и/или иметь компоненты во владении нескольких организаций. В этом описании и в пунктах формулы изобретения ʺоблачное вычислениеʺ определяется как модель для обеспечения возможности сетевого доступа по требованию к совместно используемому пулу конфигурируемых вычислительных ресурсов (например, сетей, серверов, хранилища, приложений и услуг). Определение ʺоблачные вычисленияʺ не ограничивается каким-либо из различных многочисленных преимуществ, которые можно получить от такой модели при правильном развертывании.
[0069] Модель облачных вычислений может состоять из различных характеристик, таких как самообслуживание ʺпо требованиюʺ, широкий сетевой доступ, пулы ресурсов, быстрая эластичность, измеряемые услуги и так далее. Модель облачных вычислений также может быть в форме различных моделей услуг, таких как, например, Программное обеспечение в качестве Услуги (Software as a Service) (ʺSaaSʺ), Платформа в качестве Услуги (Platform as a Service) (ʺPaaSʺ) и Инфраструктура в качестве Услуги (Infrastructure as a Service) (ʺIaaSʺ). Модель облачных вычислений также может быть развернута с использованием различных моделей развертывания, таких как частное облако, облако сообщества, публичное облако, гибридное облако и так далее.
[0070] Некоторые варианты осуществления, такие как облачная вычислительная среда, могут содержать систему, которая включает в себя один или несколько хостов, где каждый из которых способен запускать одну или несколько виртуальных машины. Во время работы, виртуальные машины эмулируют операционную вычислительную систему, поддерживая операционную систему, а также, возможно, одно или несколько других приложений. В некоторых вариантах осуществления, каждый хост включает в себя гипервизор, который эмулирует виртуальные ресурсы для виртуальных машин с помощью физических ресурсов, которые абстрагированы от представления виртуальных машин. Гипервизор также обеспечивает надлежащую изоляцию между виртуальными машинами. Таким образом, с точки зрения любой виртуальной машины, гипервизор создает иллюзию, что виртуальная машина взаимодействует с физическим ресурсом, даже если виртуальная машина взаимодействует только с появлением (например, виртуальный ресурс) физического ресурса. Примеры физических ресурсов включают в себя мощность обработки, память, дисковое пространство, пропускную способность сети, медиа-накопители и так далее.
[0071] Настоящее изобретение может быть реализовано в других конкретных формах без отхода от его сущности или существенных характеристик. Описанные варианты осуществления следует рассматривать во всех отношениях только как иллюстративные, а не ограничительные. Объем настоящего изобретения, таким образом, определяется прилагаемой формулой изобретения, а не предшествующим описанием. Все изменения, которые находятся в пределах значения и диапазона эквивалентности пунктов формулы изобретения, должны быть включены в их объем.

Claims (34)

1. Способ, осуществляемый компьютерной системой и предназначенный для генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, причем способ содержит этапы, на которых:
идентифицируют объект голограммы;
идентифицируют физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;
обнаруживают изменение близости между объектом голограммы и физическим объектом;
генерируют новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и
сохраняют привязку этого нового или модифицированного объекта голограммы.
2. Способ по п.1, дополнительно содержащий этап, на котором назначают одно или более виртуальных свойств физическому объекту, причем эти одно или более виртуальных свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.
3. Способ по п.2, в котором одно или более из виртуальных свойств не соответствуют фактическим физическим свойствам физического объекта.
4. Способ по п.2, дополнительно содержащий этап, на котором назначают одно или более свойств объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.
5. Способ по п.1, дополнительно содержащий этап, на котором назначают одно или более свойств объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.
6. Способ по п.1, дополнительно содержащий этап, на котором обнаруживают изменение в ориентации физического объекта относительно объекта голограммы.
7. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы варьируется в соответствии со степенью обнаруженного изменения близости.
8. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы включает в себя модификацию аудиовизуального отображения объекта голограммы.
9. Способ по п.1, дополнительно содержащий этап, на котором модифицируют объект голограммы в ответ на обнаруженное изменение близости, причем данное модифицирование объекта голограммы включает в себя модификацию настройки или состояния объекта голограммы, которая не проявляется прослушиваемым образом или визуально, пока не будут приняты по меньшей мере один или более дополнительных вводов.
10. Компьютерная система, выполненная с возможностью генерирования новой голограммы или модифицирования голограммы в соответствии как с физическим отношением, так и длительностью этого физического отношения между голограммой и одним или более физическими объектами, причем компьютерная система содержит:
один или более процессоров; и
одно или более аппаратных запоминающих устройств, на которых сохранены машиноисполняемые инструкции, которые являются исполняемыми одним или более процессорами, чтобы предписывать компьютерной системе выполнять, по меньшей мере, следующее:
идентифицировать объект голограммы;
идентифицировать физический объект, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;
обнаруживать изменение близости между объектом голограммы и физическим объектом;
генерировать новый объект голограммы или модифицированный объект голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и
сохранять привязку этого нового или модифицированного объекта голограммы.
11. Компьютерная система по п.10, в которой машиноисполняемые инструкции также являются исполняемыми, чтобы предписывать компьютерной системе назначать одно или более виртуальных свойств физическому объекту, причем эти одно или более виртуальных свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.
12. Компьютерная система по п.10, в которой машиноисполняемые инструкции также являются исполняемыми, чтобы предписывать компьютерной системе назначать одно или более свойств идентифицированному объекту голограммы, причем эти одно или более свойств определяют, по меньшей мере частично, одну или более реакций объекта голограммы в соответствии с упомянутым заданным химическим или термическим отношением между физическим объектом и объектом голограммы.
13. Компьютерная система по п.10, при этом упомянутый новый объект голограммы генерируется в ответ на обнаруженное изменение близости.
14. Компьютерная система по п.13, при этом объект голограммы остается немодифицированным.
15. Компьютерная система по п.13, в которой исполнение машиноисполняемых инструкций дополнительно предписывает компьютерной системе модифицировать объект голограммы, причем данное модифицирование объекта голограммы варьируется в соответствии со степенью обнаруженного изменения близости между физическим объектом и объектом голограммы.
16. Компьютерная система по п.10, при этом обнаруженное изменение близости между физическим объектом и объектом голограммы также включает в себя обнаружение изменения в ориентации физического объекта относительно объекта голограммы.
17. Аппаратное запоминающее устройство, на котором сохранены машиноисполняемые инструкции, которые являются исполняемыми одним или более процессорами, чтобы предписывать компьютерной системе выполнять, по меньшей мере, следующее:
идентификацию объекта голограммы;
идентификацию физического объекта, причем физический объект ассоциирован с объектом голограммы в соответствии с заданным химическим или термическим отношением, имеющимся между физическим объектом и объектом голограммы на основе одного или более химических или термических свойств, назначенных физическому объекту и объекту голограммы;
обнаружение изменения близости между объектом голограммы и физическим объектом;
генерирование нового объекта голограммы или модифицированного объекта голограммы в ответ на обнаруженное изменение близости между объектом голограммы и физическим объектом и на основе упомянутого заданного химического или термического отношения, причем новый или модифицированный объект голограммы моделирует химическую или термическую реакцию между объектом голограммы и физическим объектом на основе упомянутого заданного химического или термического отношения, при этом моделируемая химическая или термическая реакция основывается не только на близости между объектом голограммы и физическим объектом, но также основывается на длительности нахождения объекта голограммы в пределах близкого расстояния к физическому объекту, так что степень завершения или интенсивность моделируемой химической или термической реакции между объектом голограммы и физическим объектом зависит от этой длительности, при этом объект голограммы приспособлен реагировать по-разному в соответствии с физическими отношениями с разными физическими объектами, включая упомянутый физический объект; и
сохранение привязки этого нового или модифицированного объекта голограммы.
RU2018145295A 2016-06-24 2017-06-13 Реляционная визуализация голографических объектов RU2751444C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,543 2016-06-24
US15/192,543 US10169918B2 (en) 2016-06-24 2016-06-24 Relational rendering of holographic objects
PCT/US2017/037088 WO2017222859A1 (en) 2016-06-24 2017-06-13 Relational rendering of holographic objects

Publications (3)

Publication Number Publication Date
RU2018145295A RU2018145295A (ru) 2020-06-22
RU2018145295A3 RU2018145295A3 (ru) 2020-09-11
RU2751444C2 true RU2751444C2 (ru) 2021-07-13

Family

ID=59093631

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018145295A RU2751444C2 (ru) 2016-06-24 2017-06-13 Реляционная визуализация голографических объектов

Country Status (18)

Country Link
US (1) US10169918B2 (ru)
EP (1) EP3475841B1 (ru)
JP (2) JP2019527376A (ru)
KR (1) KR102338284B1 (ru)
CN (1) CN109313652B (ru)
AU (1) AU2017280917B2 (ru)
BR (1) BR112018074601B1 (ru)
CA (1) CA3023502C (ru)
CL (1) CL2018003614A1 (ru)
CO (1) CO2018013672A2 (ru)
IL (1) IL263753B (ru)
MX (1) MX2018015622A (ru)
NZ (1) NZ747871A (ru)
PH (1) PH12018550192A1 (ru)
RU (1) RU2751444C2 (ru)
SG (1) SG11201810175YA (ru)
WO (1) WO2017222859A1 (ru)
ZA (1) ZA201807406B (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895950B2 (en) * 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US20200082630A1 (en) * 2018-09-07 2020-03-12 Anuj Sharma Augmented reality platform and method for nautical applications
US20200125031A1 (en) * 2018-10-19 2020-04-23 Infinite Kingdoms Llc System for providing an immersive experience using multi-platform smart technology, content streaming, and special effects systems
US20200126302A1 (en) * 2018-10-20 2020-04-23 Anuj Sharma Augmented Reality Platform and Method
GB2578181A (en) * 2018-10-20 2020-04-22 Sharma Anuj Rudra smart city
GB2578337A (en) * 2018-10-22 2020-05-06 Sharma Anuj The infinity project
GB2579256A (en) * 2018-11-27 2020-06-17 Sharma Anuj The Krishi project
CN110060352A (zh) * 2019-04-17 2019-07-26 深圳天际云数字技术有限公司 三维模型全息交互方法和系统
WO2020219380A1 (en) * 2019-04-23 2020-10-29 Raitonsa Dynamics Llc Perceptual property vector for an object
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof
JP7264270B2 (ja) * 2019-10-18 2023-04-25 富士通株式会社 情報処理方法、情報処理プログラム、情報処理装置および情報処理システム
CN113075999B (zh) * 2021-02-22 2024-03-29 余军涛 一种线上火炬传递用移动终端、系统及方法
CN115167087B (zh) * 2022-05-27 2023-12-26 四川大学 基于随机梯度下降优化算法的球面全息再现质量提升方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2502950C1 (ru) * 2012-07-31 2013-12-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Казанский государственный энергетический университет" (ФГБОУ ВПО "КГЭУ") Способ голографической визуализации обтекания движущегося тела
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
US20140071506A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1136906A3 (en) 1990-11-30 2001-11-14 Sun Microsystems, Inc. Improved method and apparatus for creating virtual worlds
US6175954B1 (en) 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
US6771402B2 (en) * 2001-09-28 2004-08-03 Hewlett-Packard Development Company, L.P. Method and apparatus for generating a hologram
EP1712981A1 (en) * 2005-04-15 2006-10-18 Herman Bailey Interactive augmented reality system
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8212820B2 (en) * 2006-05-04 2012-07-03 Nintendo Co., Ltd. Virtual suction tool
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
EP2067837B1 (en) * 2007-12-04 2011-11-23 Sony Corporation A display system
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US20100245361A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Context-based management of markers
US8292733B2 (en) 2009-08-31 2012-10-23 Disney Enterprises, Inc. Entertainment system providing dynamically augmented game surfaces for interactive fun and learning
CN105843396B (zh) * 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
JP2014531644A (ja) 2011-09-08 2014-11-27 インテル・コーポレーション 撮像されるオブジェクトの特徴に基づく拡張現実
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US20130307855A1 (en) 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality
CN105190725A (zh) * 2013-03-11 2015-12-23 林肯环球股份有限公司 提供组合的虚拟现实弧焊和三维(3d)观看的系统和方法
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
CN103761085B (zh) * 2013-12-18 2018-01-19 微软技术许可有限责任公司 混合现实全息对象开发
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US9990078B2 (en) * 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
CN105549371B (zh) * 2016-03-04 2018-01-12 北京工业大学 一种多角度连续太赫兹波照明数字全息成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2502950C1 (ru) * 2012-07-31 2013-12-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Казанский государственный энергетический университет" (ФГБОУ ВПО "КГЭУ") Способ голографической визуализации обтекания движущегося тела
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
US20140071506A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YASUAKI MONNAI et al. "HaptoMime: Mid-Air Haptic Interaction with a Floating Virtual Screen", опубл. 31.10.2014 на 6 страницах [найдено 11.09.2020], размещено в Интернет по адресу URL:https://www.researchgate.net/publication/288492268_HaptoMime. *
YASUTOSHI MAKINO et al. "HaptoClone (Haptic-Optical Clone) for Mutual Tele-Environment by Real-time 3D Image Transfer with Midair Force Feedback", опубл. 31.05.2016 на 13 страницах [найдено 11.09.2020], размещено в Интернет по адресу URL:https://www.researchgate.net/publication/301959318_HaptoClone_Haptic-Optical_Clone_for_Mutual_Tele-Environment_by_Real-time_3D_Image_Transfer_with_Midair_Force_Feedback. *
YASUTOSHI MAKINO et al. "HaptoClone (Haptic-Optical Clone) for Mutual Tele-Environment by Real-time 3D Image Transfer with Midair Force Feedback", опубл. 31.05.2016 на 13 страницах [найдено 11.09.2020], размещено в Интернет по адресу URL:https://www.researchgate.net/publication/301959318_HaptoClone_Haptic-Optical_Clone_for_Mutual_Tele-Environment_by_Real-time_3D_Image_Transfer_with_Midair_Force_Feedback. YASUAKI MONNAI et al. "HaptoMime: Mid-Air Haptic Interaction with a Floating Virtual Screen", опубл. 31.10.2014 на 6 страницах [найдено 11.09.2020], размещено в Интернет по адресу URL:https://www.researchgate.net/publication/288492268_HaptoMime. *

Also Published As

Publication number Publication date
SG11201810175YA (en) 2019-01-30
KR20190022693A (ko) 2019-03-06
KR102338284B1 (ko) 2021-12-09
EP3475841A1 (en) 2019-05-01
PH12018550192A1 (en) 2019-09-30
CL2018003614A1 (es) 2019-03-22
NZ747871A (en) 2022-04-29
WO2017222859A1 (en) 2017-12-28
IL263753B (en) 2021-07-29
US20170372518A1 (en) 2017-12-28
BR112018074601A2 (pt) 2019-03-19
JP2022066297A (ja) 2022-04-28
BR112018074601B1 (pt) 2023-12-26
CA3023502C (en) 2024-01-02
BR112018074601A8 (pt) 2023-01-31
AU2017280917B2 (en) 2021-09-09
US10169918B2 (en) 2019-01-01
IL263753A (en) 2019-01-31
MX2018015622A (es) 2019-03-06
CN109313652A (zh) 2019-02-05
EP3475841B1 (en) 2021-05-26
ZA201807406B (en) 2020-01-29
RU2018145295A (ru) 2020-06-22
RU2018145295A3 (ru) 2020-09-11
JP2019527376A (ja) 2019-09-26
CN109313652B (zh) 2021-09-17
CA3023502A1 (en) 2017-12-28
AU2017280917A1 (en) 2018-11-22
CO2018013672A2 (es) 2018-12-28

Similar Documents

Publication Publication Date Title
RU2751444C2 (ru) Реляционная визуализация голографических объектов
US10217289B2 (en) Augmented reality device with predefined object data
US10444829B2 (en) Systems and methods for viewport-based augmented reality haptic effects
KR101574099B1 (ko) 다수의 장치에 걸친 증강 현실 표현
WO2017054453A1 (zh) 一种信息处理方法、终端及计算机存储介质
JP2017526030A (ja) 仮想環境内の相互作用を提供するための方法とシステム
KR101941315B1 (ko) 가상 세계에 대한 구역 기반 포지셔닝
KR20190122581A (ko) 다중 사용자 공유 가상 및 증강 현실 기반 햅틱스를 위한 시스템들 및 방법들
JP2023520765A (ja) 仮想および拡張現実のためのシステムおよび方法
CN112138385B (zh) 虚拟射击道具的瞄准方法、装置、电子设备及存储介质
US10534082B2 (en) Accessibility of virtual environments via echolocation
Mack et al. Unreal Engine 4 virtual reality projects: build immersive, real-world VR applications using UE4, C++, and unreal blueprints
Thorn Learn unity for 2d game development
CN117590935A (zh) 二维界面与人工现实界面之间的人工现实环境中视角共享
CN114743422A (zh) 一种答题方法及装置和电子设备
CN109697001B (zh) 交互界面的显示方法和装置、存储介质、电子装置
US11755115B2 (en) Simulated user interface in mixed reality for haptic effect management
US12026527B2 (en) World-controlled and application-controlled augments in an artificial-reality environment
US20230367611A1 (en) World-Controlled and Application-Controlled Augments in an Artificial-Reality Environment
Livatino et al. Designing a Virtual Reality Game for the CAVE.
WO2024085996A1 (en) Overlay on an artificial reality environment
Narayanan et al. Cinemacraft: Immersive Live Machinima as an Empathetic Musical Storytelling Platform
West Advanced 3-D Graphics: GNU Maverik--a VR Micro-Kernel
Gatzidis et al. A review of first-person shooter game engines and their use in researching scientific disciplines
Pancer The Study of Video Game Design and the Implementation of a Game Using 3DGAMESTUDIO.