RU164634U1 - Устройство для воздействия на виртуальные объекты дополненной реальности - Google Patents

Abstract

Полезная модель относится к устройствам для воздействия на виртуальные объекты дополненной реальности. Технический результат заключается обеспечении возможности воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами. Устройство содержит корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные. Устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам. 6 з.п. ф-лы, 2 ил.

Description

МПК: G06F 3/03

УСТРОЙСТВО ДЛЯ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Область техники, к которой относится полезная модель

Полезная модель относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные.

В данной работе используются следующие термины.

Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.

Дополненная реальность - воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).

Устройство для создания и просмотра объектов дополненной реальности - любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.

Смартфон (англ. smartphone - умный телефон) - сотовый телефон, дополненный функциональностью карманного персонального компьютера.

Марковская модель - статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов.

Фонетическое представление словаря голосовых команд - фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам.

Уровень техники

В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности - то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.

Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, что объект дополненной реальности реагирует на воздействие.

Известны устройства для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные. Этот уровень техники раскрыт в публикации описания патента на полезную модель РФ №138628 от 20.03.2014

Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемой полезной модели.

Недостатком этого прототипа является невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от звуковых команд.

Раскрытие полезной модели

Настоящая полезная модель, главным образом, имеет целью предложить устройство для воздействия на виртуальные объекты дополненной реальности, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить расширение возможности воздействия на виртуальные объекты дополненной реальности путем воздействия звуковыми командами, что и является поставленной технический задачей.

Для достижения этой цели устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

Благодаря данным выгодным характеристикам появляется возможность управлять объектами дополненной реальности путем звуковых команд, издаваемых пользователем. В зависимости от произнесенной или любым образом поданной звуковой команды объект будет выполнять действия, соответствующие указанной команде. Например, виртуальная собака в дополненной реальности по команде «Лежать» будет ложиться. Виртуальный человек в дополненной реальности по звуковой команде «Эй» будет оборачиваться. Виртуальный ребенок в дополненной реальности при исполнении колыбельной песни засыпает.

Существует вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль заранее подготовленных параметров скрытой марковской модели для языка. Благодаря данной выгодной характеристике появляется возможность распознавать слова среди общего звукового потока, получаемого микрофоном устройства.

Существует также вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль языковой модели языка. Благодаря данной выгодной характеристике появляется возможность более точно распознавать слова, согласовывая их с языковой моделью языка.

Существует и такой вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль фонетического представления словаря голосовых команд. Благодаря данной выгодной характеристике появляется возможность разделять команды на фонемы и учитывать фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам. То есть при этом команды «Стоя́ть» и «Стая́ть» воспринимаются одинаково, как команда «Стоп».

Существует также вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль определения интонации принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по-разному воздействовать на виртуальные объекты дополненной реальности в зависимости от интонации команд.

Существует еще вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль определения громкости принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по-разному воздействовать на виртуальные объекты дополненной реальности в зависимости от уровня громкости команд.

Кроме того, существует вариант полезной модели, в котором блок распознавания звуковых команд имеет модуль преобразования звука в текстовую информацию. Благодаря данной выгодной характеристике появляется возможность сравнивать распознанную команду, переведенную в письменную форму с командой в письменной форме, для которой есть запрограммированное действие объекта дополненной реальности.

Краткое описание чертежей

Другие отличительные признаки и преимущества данной полезной модели ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно полезной модели,

- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно полезной модели.

Согласно фигуре 1 устройство для воздействия на виртуальные объекты дополненной реальности содержит корпус 1, в котором размещены видеокамера 2, дисплей 3, микрофон 4, соединенные с вычислительным модулем 5, обрабатывающим данные.

Устройство имеет блок хранения 6 базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем 5, который имеет электронный блок 7 распознавания среди звуковых данных, поступивших через микрофон 4 устройства, звуковых команд из базы данных. Выход блока распознавания 7 соединен с входом расположенного в вычислительном модуле электронного блока 8 активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

Блок распознавания 7 звуковых команд может иметь модуль 9 заранее подготовленных параметров скрытой марковской модели для языка.

Блок распознавания 7 звуковых команд может иметь модуль 10 языковой модели языка.

Блок распознавания 7 звуковых команд может иметь модуль 11 фонетического представления словаря голосовых команд.

Блок распознавания 7 звуковых команд может иметь модуль 12 преобразования звука в текстовую информацию.

Блок распознавания 7 звуковых команд имеет модуль 13 определения интонации принимаемого звука

Блок распознавания 7 звуковых команд имеет модуль 14 определения громкости принимаемого звука.

На фигуре 1 также обозначено:

15 - реальный объект, который снимает видеокамера 2,

16 - изображение реального объекта на дисплее 3,

17 - изображение виртуального объекта дополненной реальности на дисплее 3,

18 - пользователь.

Осуществление полезной модели

Устройство для воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации полезной модели, имея в виду, что данный пример не ограничивает применения полезной модели.

Согласно фигуре 2:

Этап А1. До начала воздействия на виртуальные объекты дополненной реальности формируют базу действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами.

Этап А2. Заранее устанавливают соответствие между звуковой командой и вариантом действий объекта дополненной реальности.

Этап А3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности любое изображение, служащее маркером для создания виртуальных объектов дополненной реальности.

Этап А4. Создают объект дополненной реальности и выводят его на дисплей устройства.

Этап А5. Произносят звуковую команду, имеющуюся в базе данных звуковых команд.

Этап А6. Устройство принимает соответствующий звуковой команде аудиосигнал с микрофона.

Этап А7. Затем посредством электронного блока распознавания среди звуковых данных, поступивших через микрофон устройства, подвергают принятый сигнал цифровому преобразованию в реальном времени.

Этап А8. На основе преобразованного сигнала, а также заранее подготовленных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд, устройство распознаёт произнесённую команду. Результат распознавания передают в виде строкового массива.

Этап А9. С помощью электронного блока активации 8 активируют действия виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

Устройство способно распознавать любой язык, при условии корректных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд.

Для размещения объектов дополненной реальности на реальных объектах (например, на столе), также могут выполнять следующие операции:

1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы

2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,

3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.

4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.

Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействие с виртуальными объектами дополненной реальности.

Промышленная применимость

Предлагаемое устройство для воздействия на виртуальные объекты дополненной реальности может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенной полезной моделью изготовлен опытный образец устройства. Испытания опытного образца показали, что он обеспечивает возможность:

- определения в звуковой информации звуковых команд, соответствующим тем, что заранее занесены в базу данных звуковых команд,

- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенной звуковой команде,

- выполнения указанной последовательности действий, соответствующей определенной звуковой команде, объектом дополненной реальности.

Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный пес выполняет команды: «Фас!», «Апорт!» и прочие.

Пример реализации 2. Созданный в качестве объекта дополненной реальности виртуальный солдат марширует и выполняет все строевые команды.

Пример реализации 3. См. фиг. 1. Созданная в качестве объекта дополненной реальности виртуальная ракета взлетает по команде «Старт!» или «Поехали!»

Таким образом, в данной полезной модели достигнута поставленная задача - расширение возможности воздействия на виртуальные объекты дополненной реальности путем воздействия звуковыми командами.

Claims (7)

1. Устройство для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные, отличающееся тем, что устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

2. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль заранее подготовленных параметров скрытой марковской модели для языка.

3. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль языковой модели языка.

4. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль фонетического представления словаря голосовых команд.

5. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль преобразования звука в текстовую информацию.

6. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль определения интонации принимаемого звука.

7. Устройство по п. 1, отличающееся тем, что блок распознавания звуковых команд имеет модуль определения громкости принимаемого звука.

Images