RU168332U1 - Устройство для воздействия на виртуальные объекты дополненной реальности - Google Patents
Устройство для воздействия на виртуальные объекты дополненной реальности Download PDFInfo
- Publication number
- RU168332U1 RU168332U1 RU2016122239U RU2016122239U RU168332U1 RU 168332 U1 RU168332 U1 RU 168332U1 RU 2016122239 U RU2016122239 U RU 2016122239U RU 2016122239 U RU2016122239 U RU 2016122239U RU 168332 U1 RU168332 U1 RU 168332U1
- Authority
- RU
- Russia
- Prior art keywords
- augmented reality
- virtual objects
- user
- recognition unit
- computing module
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Полезная модель относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащим корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации, поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя. Согласно полезной модели блок распознавания команд имеет модуль определения частоты сердечного пульса пользователя. Достигаемый технический результат - расширение возможности воздействия на виртуальные объекты дополненной реальности.
Description
УСТРОЙСТВО ДЛЯ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Область техники, к которой относится полезная модель
Полезная модель относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащим корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации, поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя. В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами несуществующий объект, от которого передаваемые человеку ощущения (через зрение слух и т.п.) имитируются техническими средствами.
Дополненная реальность - воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).
Устройство для создания и просмотра объектов дополненной реальности - любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.
Смартфон (англ. smartphone - умный телефон) - сотовый телефон, дополненный функциональностью карманного персонального компьютера.
Биометрические параметры лица - набор определенных параметров, точек на лице человека, посредством анализа изображений которых возможно провести распознавания базовых эмоций, выражаемых мимикой лица человека, таких как - радость, грусть, страх, удивление, гнев, презрение и отвращение, а также сигналы, подаваемые лицом человека (подмигивание и прочее).
Биометрические параметры жестов - набор определенных параметров, точек тела человека, преимущественно рук, посредством анализа изображений которых возможно провести распознавания сигналов, подаваемых жестами человека (поглаживание, прощание, рукопожатие и прочее).
Уровень техники
В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности - то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.
Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, что объект дополненной реальности реагирует на воздействие.
Известны устройства для воздействия на виртуальные объекты дополненной реальности, содержащие корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации,
поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя. Этот уровень техники раскрыт в публикации описания патента на изобретение РФ №2560794 от 20.05.2015.
Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемой полезной модели. Также как и полезная модель, прототип может выводить на дисплей виртуальные объекты дополненной реальности.
Недостатком этого прототипа является недостаточные возможности воздействия на виртуальные объекты дополненной реальности.
В частности - невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от команд, соответствующих различной частоте сердечного пульса.
Раскрытие полезной модели
Настоящая полезная модель, главным образом, имеет целью предложить устройство для воздействия на виртуальные объекты дополненной реальности, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить расширение возможности воздействия на виртуальные объекты дополненной реальности, что и является поставленной технический задачей.
Для достижения этой цели блок распознавания команд имеет модуль определения частоты сердечного пульса пользователя.
Благодаря данным выгодным характеристикам появляется возможность дополнительно определять частоту сердечного пульса и использовать его для повышения точности распознавания базовых эмоций, выражаемых мимикой лица человека, таких как - радость, грусть, страх, удивление, гнев, и проч. Или управлять объектами в зависимости от частоты сердечного пульса.
Краткое описание чертежей
Другие отличительные признаки и преимущества данной полезной модели ясно вытекают из описания, приведенного ниже для иллюстрации и не
являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:
- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно полезной модели,
- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно полезной модели.
Согласно фигуре 1 устройство для воздействия на виртуальные объекты дополненной реальности содержит корпус 1, в котором размещены видеокамера 2, дисплей 3, соединенные с вычислительным модулем 4, обрабатывающим данные.
Устройство имеет блок 5 хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем 4, который имеет электронный блок 6 распознавания среди различных вариантов мимики лица и жестов пользователя, поступивших через видеокамеру 2 устройства, команд из базы данных, причем выход блока 6 распознавания соединен с входом расположенного в вычислительном модуле электронного блока 7 активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя
Блок 6 распознавания среди мимики лиц и жестов пользователя команд может иметь:
- модуль 61 распознавания биометрических параметров лица,
- модуль 62 распознавания биометрических параметров жестов,
- модуль 63 определения температуры пользователя, соединенный с инфракрасной камерой 64 (или тепловизором),
- модуль 65 определения частоты моргания глаз пользователя,
- модуль 66 определения частоты сердечного пульса пользователя,
- модуль 67 предсказания действий пользователя.
На фигуре 1 также обозначено:
8 - реальный объект, который снимает видеокамера 2,
9 - изображение реального объекта на дисплее 3,
10 - изображение виртуального объекта дополненной реальности на дисплее 3,
11 - пользователь.
Осуществление полезной модели
Устройство для воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации полезной модели, имея в виду, что данный пример не ограничивает применения полезной модели.
Согласно фигуре 2:
Этап А1. До начала воздействия на виртуальные объекты дополненной реальности формируют базу действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующих разным вариантам мимики и жестов пользователя.
Этап А2. Заранее устанавливают соответствие между вариантами мимики и жестов пользователя и вариантом действий объекта дополненной реальности.
Этап A3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности любое изображение, служащее маркером для создания виртуальных объектов дополненной реальности или физический объект.
Этап А4. Создают объект дополненной реальности и выводят его на дисплей устройства.
Этап А5. Пользователь изображает мимикой и жестами те варианты, которые имеются в базе данных.
Этап А6. Устройство принимает изображение лица пользователя или его жеста. То есть происходит захват видео с камеры 2.
Этап А7. Затем посредством блока распознавания среди различных вариантов мимики лица и жестов пользователя, поступивших через видеокамеру устройства, команд из базы данных производится распознавание, ориентированное на режим реального времени;
Процесс распознавания мимики может состоять из нескольких подэтапов.
Этап А71. Сначала цифровые изображения подвергают предварительной обработке для улучшения качества распознавания.
Этап А72. Затем производят детектирование лица человека на панорамном изображении и копировании найденного лица в отдельный кадр, который подают на вход классификатора. В качестве классификатора может быть использована нейронная сеть, обученная по алгоритму обратного
распространения ошибки. В обучающую выборку могут войти семь эталонов из классификатора Экмана, мимические картины на которых значительно отличаются по силе экспрессии.
Этап А8. С помощью электронного блока 7 активируют действия виртуальных объектов дополненной реальности, соответствующие распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя.
Устройство может быть обучаемо, т.е. предусмотрена возможность добавления новых жестов в базу данных.
Для размещения объектов дополненной реальности на реальных объектах (например, на столе), также могут выполнять следующие операции:
1. Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы
2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,
3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.
4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействие с виртуальными объектами дополненной реальности.
Промышленная применимость
Предлагаемое устройство для воздействия на виртуальные объекты дополненной реальности может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что
позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенной полезной моделью изготовлен опытный образец устройства. Испытания опытного образца показали, что он обеспечивает возможность:
- определения среди множества вариантов мимики и жестов пользователя, те варианты, которые соответствуют определенным заранее заданным вариантам мимики лица и жестов пользователя тем, что заранее занесены в базу данных,
- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенному жесту или мимике пользователя,
- выполнения указанной последовательности действий, соответствующей определенному жесту или мимике пользователя, объектом дополненной реальности.
Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный пес облизывает руки при попытке его погладить. См. фиг. 1.
Пример реализации 2. Созданный в качестве объекта дополненной реальности виртуальный цветок распускается при распознавании радости и увядает при распознавании грусти на лице пользователя.
Пример реализации 3. Созданный в качестве объекта дополненной реальности виртуальный человек машет в ответ рукой в знак приветствия или прощания при распознавании жестов приветствия или прощания пользователя.
Таким образом, в данной полезной модели достигнута поставленная задача - расширение возможности воздействия на виртуальные объекты дополненной реальности.
Claims (1)
- Устройство для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, соединенные с вычислительным модулем, обрабатывающим данные, причем устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными командами, соответствующими определенным заранее заданным вариантам мимики лица и жестов пользователя, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди информации, поступившей через видеокамеру устройства, команд из базы данных, причем выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным командам, соответствующим различным вариантам мимики лица и жестам пользователя отличающееся тем, что блок распознавания команд имеет модуль определения частоты сердечного пульса пользователя.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016122239U RU168332U1 (ru) | 2016-06-06 | 2016-06-06 | Устройство для воздействия на виртуальные объекты дополненной реальности |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016122239U RU168332U1 (ru) | 2016-06-06 | 2016-06-06 | Устройство для воздействия на виртуальные объекты дополненной реальности |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU168332U1 true RU168332U1 (ru) | 2017-01-30 |
Family
ID=58451108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016122239U RU168332U1 (ru) | 2016-06-06 | 2016-06-06 | Устройство для воздействия на виртуальные объекты дополненной реальности |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU168332U1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2672171C1 (ru) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
| US11138809B2 (en) | 2017-04-25 | 2021-10-05 | Microsoft Technology Licensing, Llc | Method and system for providing an object in virtual or semi-virtual space based on a user characteristic |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199228A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Gesture Keyboarding |
| RU138628U1 (ru) * | 2013-11-06 | 2014-03-20 | Станислав Александрович Власов | Очки дополненной реальности |
| RU2013103969A (ru) * | 2013-01-29 | 2014-09-20 | 3 | Способ комплексного определения эмоционального состояния пользователя мобильного устройства, его эмоционально чувствительный виртуальный представитель в информационно-коммуникационных сетях, мимическая система для управления мимикой виртуального представителя и система для осуществления эмоциональной обратной связи при общении пользователей |
| RU2555220C2 (ru) * | 2009-05-01 | 2015-07-10 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Управление виртуальными портами |
| RU2560794C2 (ru) * | 2009-07-09 | 2015-08-20 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Выражение визуального представления, основанное на выражении игрока |
| US9239626B1 (en) * | 2013-07-02 | 2016-01-19 | Google Inc. | Input system |
-
2016
- 2016-06-06 RU RU2016122239U patent/RU168332U1/ru active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199228A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Gesture Keyboarding |
| RU2555220C2 (ru) * | 2009-05-01 | 2015-07-10 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Управление виртуальными портами |
| RU2560794C2 (ru) * | 2009-07-09 | 2015-08-20 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Выражение визуального представления, основанное на выражении игрока |
| RU2013103969A (ru) * | 2013-01-29 | 2014-09-20 | 3 | Способ комплексного определения эмоционального состояния пользователя мобильного устройства, его эмоционально чувствительный виртуальный представитель в информационно-коммуникационных сетях, мимическая система для управления мимикой виртуального представителя и система для осуществления эмоциональной обратной связи при общении пользователей |
| US9239626B1 (en) * | 2013-07-02 | 2016-01-19 | Google Inc. | Input system |
| RU138628U1 (ru) * | 2013-11-06 | 2014-03-20 | Станислав Александрович Власов | Очки дополненной реальности |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11138809B2 (en) | 2017-04-25 | 2021-10-05 | Microsoft Technology Licensing, Llc | Method and system for providing an object in virtual or semi-virtual space based on a user characteristic |
| RU2765341C2 (ru) * | 2017-04-25 | 2022-01-28 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Основанный на контейнере поворот виртуальной камеры |
| US11436811B2 (en) | 2017-04-25 | 2022-09-06 | Microsoft Technology Licensing, Llc | Container-based virtual camera rotation |
| RU2672171C1 (ru) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
| WO2019083392A1 (ru) * | 2017-10-27 | 2019-05-02 | Вихаирэйай Инк. | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11736756B2 (en) | Producing realistic body movement using body images | |
| US11783524B2 (en) | Producing realistic talking face with expression using images text and voice | |
| CN104102412B (zh) | 一种基于增强现实技术的手持式阅览设备及其方法 | |
| WO2017213558A2 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| US9479736B1 (en) | Rendered audiovisual communication | |
| KR20200096617A (ko) | 가상 아바타들의 콘텍스추얼 기반 렌더링 | |
| US11137824B2 (en) | Physical input device in virtual reality | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| CN105320262A (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| US11151796B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| CN111580652B (zh) | 视频播放的控制方法、装置、增强现实设备及存储介质 | |
| US11423627B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
| WO2018139203A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US10955911B2 (en) | Gazed virtual object identification module, a system for implementing gaze translucency, and a related method | |
| RU168332U1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| CN105468249B (zh) | 智能互动系统及其控制方法 | |
| CN107783639A (zh) | 虚拟现实休闲学习系统 | |
| KR20230127734A (ko) | 가상협업 비대면 실시간 원격 실험 시스템 | |
| US11182976B2 (en) | Device for influencing virtual objects of augmented reality | |
| Haritaoglu et al. | Attentive Toys. | |
| CN113176827A (zh) | 基于表情的ar交互方法、系统、电子设备及存储介质 | |
| RU164634U1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| US20180178129A1 (en) | Recording medium storing game processing program and data processing apparatus | |
| WO2017188863A1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC91 | Official registration of the transfer of exclusive right (utility model) |
Effective date: 20180522 |