WO2017188863A1 - Устройство для воздействия на виртуальные объекты дополненной реальности - Google Patents
Устройство для воздействия на виртуальные объекты дополненной реальности Download PDFInfo
- Publication number
- WO2017188863A1 WO2017188863A1 PCT/RU2017/050031 RU2017050031W WO2017188863A1 WO 2017188863 A1 WO2017188863 A1 WO 2017188863A1 RU 2017050031 W RU2017050031 W RU 2017050031W WO 2017188863 A1 WO2017188863 A1 WO 2017188863A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- augmented reality
- sound
- reality system
- commands
- paragraph
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Definitions
- the invention relates to devices designed to act on virtual objects, namely, devices for acting on virtual objects of augmented reality, comprising a housing in which a video camera, a display, a microphone are connected, connected to a computing module that processes data.
- a virtual object is an object created by technical means that is transmitted to a person through his sensations: vision, hearing and others.
- Augmented reality - perceived mixed reality created using computer-augmented elements of perceived reality (when virtual objects are mounted in the field of perception).
- a device for creating and viewing augmented reality objects any computer device that has a display and a video camera that can transmit real-time image from the video camera to the display and display an additional virtual image.
- a typical representative of such a device a smartphone, a tablet computer, a computer with a headset in the form of augmented reality glasses such as Google Glass and the like.
- Smartphone eng. Smartphone - smart phone
- a cell phone complemented by the functionality of a personal digital assistant.
- the Markov model is a statistical model that simulates the operation of a process similar to a Markov process with unknown parameters, and the task is to solve unknown parameters based on observables.
- the obtained parameters can be used in further analysis, for example, for pattern recognition.
- the phonetic representation of the vocabulary of voice commands is the phonetic variety of different pronunciation variants of the same words corresponding to the commands.
- augmented reality looks like the most promising direction of development - that is, combining on the display of a computer device or smartphone and virtual or augmented reality glasses of virtual objects together with a real image received in real time from the video camera of the specified device.
- This device is the closest in technical essence and the achieved technical result and is selected as a prototype of the invention.
- the disadvantage of this prototype is the inability to control the actions or movements of the augmented reality object, depending on the sound commands.
- the present invention mainly aims to provide a device for acting on virtual objects of augmented reality, allowing at least to smooth out at least one of the above disadvantages, namely, to provide the possibility of exposure to virtual objects of augmented reality including sound teams and, which is a technical task.
- the device has a storage unit for the database of actions of virtual objects of augmented reality associated with various sound commands, connected to a computing module, which has an electronic recognition unit among the sound data received through the microphone of the device, sound commands from the database, the output of the recognition unit connected to the input located in the computing module of the electronic unit for activating the actions of virtual objects of augmented reality, corresponding to nannym voice instructions.
- augmented reality objects by means of sound commands issued by the user.
- the object will perform actions corresponding to the specified command. For example, a virtual dog in augmented reality on the command "Lie” will go to bed. A virtual person in augmented reality by the “Hey” sound command will turn around. A virtual child in augmented reality falls asleep while playing a lullaby.
- the sound command recognition unit has a module of pre-prepared parameters of the hidden Markov model for the language. Thanks to this advantageous characteristic, it is possible to recognize words among the total sound stream received by the microphone of the device.
- the sound command recognition unit has a language model module of the language. Thanks to this advantageous characteristic, it becomes possible to more accurately recognize words, matching them with the language model of the language.
- the sound command recognition unit has a phonetic representation module of the voice command dictionary. Thanks to this advantageous characteristic, it becomes possible to divide the commands into phonemes and take into account the phonetic variety of different pronunciation variants of the same words corresponding to the commands. That is, in this case, the “Stand” and “Stand” commands are perceived in the same way as the “Stop” command.
- the audio command recognition unit has a module for determining the intonation of the received sound. Thanks to these advantageous characteristics, it becomes possible to differently affect virtual objects of augmented reality, depending on the intonation of the teams.
- the sound command recognition unit has a module for determining the volume of the received sound. Thanks to these advantageous characteristics, it becomes possible to act on virtual objects of augmented reality in different ways, depending on the volume level of the commands.
- the sound command recognition unit has a module for converting sound into text information. Thanks to this advantageous feature, it becomes possible to compare the recognized command translated in writing with the written command for which there is a programmed action of the augmented reality object.
- FIG. 1 depicts a diagram of a device for influencing virtual objects of augmented reality according to the invention
- FIG. 2 schematically depicts the steps of a method of influencing virtual objects of augmented reality according to the invention.
- a device for influencing virtual objects of augmented reality comprises a housing 1, in which a video camera 2, a display 3, a microphone 4, connected to a computing module 5 processing data are placed.
- the device has a storage unit 6 of the database of actions of virtual objects of augmented reality correlated with various sound commands, connected to a computing module 5, which has an electronic recognition unit 7 among the sound data received through the microphone 4 of the device, sound commands from the database.
- the output of the recognition unit 7 is connected to the input of the activation unit for the actions of virtual objects of augmented reality located in the computing module of the electronic unit 8, corresponding to the recognized sound commands.
- the recognition unit 7 of sound commands may have a module 9 of pre-prepared parameters of the hidden Markov model for the language.
- the recognition unit 7 of sound commands may have a module 10 of the language model of the language.
- the recognition unit 7 of sound commands may have a module 1 1 phonetic representation of the dictionary of voice commands.
- the recognition unit 7 of sound commands may have a module 12 for converting sound into text information.
- the recognition unit 7 of sound commands has a module 13 for determining the intonation of the received sound
- the recognition unit 7 of sound commands has a module 14 for determining the volume of the received sound.
- a device for influencing virtual objects of augmented reality works as follows. Here is the most comprehensive example of the invention, bearing in mind that this example does not limit the application of the invention.
- Stage A1 Prior to the impact on augmented reality virtual objects, they form the basis of the action of augmented reality virtual objects correlated with various sound commands.
- Stage A2 In advance, establish a correspondence between the sound command and the option of the object of augmented reality.
- Stage A3 In the field of view of the video camera are located devices for creating and viewing virtual objects of augmented reality, any image that serves as a marker for creating virtual objects of augmented reality. Stage A4. Create an augmented reality object and display it on the device display.
- Stage A5. Speak a sound command in the sound command database.
- Stage A6 The device receives the appropriate audio signal from the microphone.
- Stage A8 Based on the converted signal, as well as the previously prepared parameters of the hidden Markov model for the language, the language model of the language and the phonetic representation of the dictionary of voice commands, the device recognizes the spoken command.
- the recognition result is transmitted as a string array.
- Stage A9 Using the electronic activation unit 8, they activate the actions of virtual objects of augmented reality corresponding to recognized sound commands.
- the device is capable of recognizing any language, provided that the correct parameters of the hidden Markov model for the language, the language model of the language and the phonetic representation of the dictionary of voice commands are correct.
- augmented reality objects on real objects (for example, on a table), they can also perform the following operations:
- Markers of real three-dimensional space are determined from the images received from the video camera of the device for creating and viewing augmented reality.
- a marker can be any shape or object. But in practice, we are limited by the resolution of the webcam (phone), the features of color rendering, lighting, and the processing power of the equipment, since everything happens in real time, and therefore needs to be processed quickly, and therefore a usually simple black and white marker is selected
- the sequence of steps is approximate and allows you to rearrange, reduce, add or perform some operations at the same time without losing the ability to interact with virtual objects of augmented reality.
- the proposed device for influencing virtual objects of augmented reality can be implemented by a specialist in practice and, when implemented, ensures the implementation of the declared purpose, which allows us to conclude that the criterion of "industrial applicability" for the invention is met.
- the task is achieved - providing the possibility of exposure to virtual objects of augmented reality, including sound commands.
Abstract
Изобретение относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные. Согласно изобретению устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам. Достигаемый технический результат – обеспечение возможности воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами.
Description
УСТРОЙСТВО ДЛЯ ВОЗДЕЙСТВИЯ НА ВИРТУАЛЬНЫЕ ОБЪЕКТЫ
ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Область техники, к которой относится изобретение
Изобретение относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные.
В данной работе используются следующие термины.
Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.
Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).
Устройство для создания и просмотра объектов дополненной реальности - любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.
Смартфон (англ. smartphone— умный телефон)— сотовый телефон, дополненный функциональностью карманного персонального компьютера.
Марковская модель - статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов.
Фонетическое представление словаря голосовых команд - фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам.
Уровень техники
В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности - то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.
Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, что объект дополненной реальности реагирует на воздействие.
Известны устройства для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные. Этот уровень техники раскрыт в публикации описания патента на полезную модель РФ N°138628 от 20.03.2014
Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемого изобретения.
Недостатком этого прототипа является невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от звуковых команд.
Раскрытие изобретения
Настоящая изобретение, главным образом, имеет целью предложить устройство для воздействия на виртуальные объекты дополненной реальности, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить возможность воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами и, что и является поставленной технический задачей.
Для достижения этой цели устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.
Благодаря данным выгодным характеристикам появляется возможность управлять объектами дополненной реальности путем звуковых команд, издаваемых пользователем. В зависимости от произнесенной или любым образом поданной звуковой команды объект будет выполнять действия, соответствующие указанной команде. Например, виртуальная собака в дополненной реальности по команде «Лежать» будет ложиться. Виртуальный человек в дополненной реальности по звуковой команде «Эй» будет оборачиваться. Виртуальный ребенок в дополненной реальности при исполнении колыбельной песни засыпает.
Существует вариант изобретения, в котором блок распознавания звуковых команд имеет модуль заранее подготовленных параметров скрытой марковской модели для языка. Благодаря данной выгодной характеристике появляется возможность распознавать слова среди общего звукового потока, получаемого микрофоном устройства.
Существует также вариант изобретения, в котором блок распознавания звуковых команд имеет модуль языковой модели языка. Благодаря данной выгодной характеристике появляется возможность более точно распознавать слова, согласовывая их с языковой моделью языка.
Существует и такой вариант изобретения, в котором блок распознавания звуковых команд имеет модуль фонетического представления словаря голосовых команд. Благодаря данной выгодной характеристике появляется возможность разделять команды на фонемы и учитывать фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам. То есть при этом команды «Стоять» и «Стаять» воспринимаются одинаково, как команда «Стоп».
Существует также вариант изобретения, в котором блок распознавания звуковых команд имеет модуль определения интонации принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по-
разному воздействовать на виртуальные объекты дополненной реальности в зависимости от интонации команд.
Существует еще вариант изобретения, в котором блок распознавания звуковых команд имеет модуль определения громкости принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по- разному воздействовать на виртуальные объекты дополненной реальности в зависимости от уровня громкости команд.
Кроме того, существует вариант изобретения, в котором блок распознавания звуковых команд имеет модуль преобразования звука в текстовую информацию. Благодаря данной выгодной характеристике появляется возможность сравнивать распознанную команду, переведенную в письменную форму с командой в письменной форме, для которой есть запрограммированное действие объекта дополненной реальности. Краткое описание чертежей
Другие отличительные признаки и преимущества данного изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:
- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно изобретению,
- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно изобретению.
Согласно фигуре 1 устройство для воздействия на виртуальные объекты дополненной реальности содержит корпус 1 , в котором размещены видеокамера 2, дисплей 3, микрофон 4, соединенные с вычислительным модулем 5, обрабатывающим данные.
Устройство имеет блок хранения 6 базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем 5, который имеет электронный блок 7 распознавания среди звуковых данных, поступивших через микрофон 4 устройства, звуковых команд из базы данных. Выход блока распознавания 7 соединен с входом расположенного в вычислительном модуле электронного блока 8 активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.
Блок распознавания 7 звуковых команд может иметь модуль 9 заранее подготовленных параметров скрытой марковской модели для языка.
Блок распознавания 7 звуковых команд может иметь модуль 10 языковой модели языка.
Блок распознавания 7 звуковых команд может иметь модуль 1 1 фонетического представления словаря голосовых команд.
Блок распознавания 7 звуковых команд может иметь модуль 12 преобразования звука в текстовую информацию.
Блок распознавания 7 звуковых команд имеет модуль 13 определения интонации принимаемого звука
Блок распознавания 7 звуковых команд имеет модуль 14 определения громкости принимаемого звука.
На фигуре 1 также обозначено:
15 - реальный объект, который снимает видеокамера 2,
16 - изображение реального объекта на дисплее 3,
17 - изображение виртуального объекта дополненной реальности на дисплее 3,
18 - пользователь.
Осуществление изобретения
Устройство для воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.
Согласно фигуре 2:
Этап А1. До начала воздействия на виртуальные объекты дополненной реальности формируют базу действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами.
Этап А2. Заранее устанавливают соответствие между звуковой командой и вариантом действий объекта дополненной реальности.
Этап A3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности любое изображение, служащее маркером для создания виртуальных объектов дополненной реальности.
Этап A4. Создают объект дополненной реальности и выводят его на дисплей устройства.
Этап А5. Произносят звуковую команду, имеющуюся в базе данных звуковых команд.
Этап А6. Устройство принимает соответствующий звуковой команде аудиосигнал с микрофона.
Этап А7. Затем посредством электронного блока распознавания среди звуковых данных, поступивших через микрофон устройства, подвергают принятый сигнал цифровому преобразованию в реальном времени.
Этап А8. На основе преобразованного сигнала, а также заранее подготовленных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд, устройство распознаёт произнесённую команду. Результат распознавания передают в виде строкового массива.
Этап А9. С помощью электронного блока активации 8 активируют действия виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.
Устройство способно распознавать любой язык, при условии корректных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд.
Для размещения объектов дополненной реальности на реальных объектах (например, на столе), также могут выполнять следующие операции:
1 . Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы
2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,
3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат.
4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.
Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействие с виртуальными объектами дополненной реальности.
Промышленная применимость
Предлагаемое устройство для воздействия на виртуальные объекты дополненной реальности может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.
В соответствии с предложенным изобретением изготовлен опытный образец устройства. Испытания опытного образца показали, что он обеспечивает возможность:
- определения в звуковой информации звуковых команд, соответствующим тем, что заранее занесены в базу данных звуковых команд,
- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенной звуковой команде,
- выполнения указанной последовательности действий, соответствующей определенной звуковой команде, объектом дополненной реальности.
Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный пес выполняет команды: «Фас!», «Апорт!» и прочие.
Пример реализации 2. Созданный в качестве объекта дополненной реальности виртуальный солдат марширует и выполняет все строевые команды.
Пример реализации 3. См. фиг. 1 . Созданная в качестве объекта дополненной реальности виртуальная ракета взлетает по команде «Старт!» или «Поехали!»
Таким образом, в данном изобретении достигнута поставленная задача - обеспечение возможности воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами.
Claims
1 . Система дополненной реальности включающая:
альбом, включающий в себя множество страниц с фрагментами изображений, где указанное множество страниц образовано двумя или более группами страниц, указанные группы расположены рядом друг с другом таким образом, что полное изображение формируется
комбинацией фрагментов изображения с одной страницы из каждой из указанных двух и более групп страниц;
устройство, включающее:
дисплей,
камеру,
процессор,
средства ввода,
средства вывода и
память,
указанное устройство адаптировано для:
захвата полного изображения из альбома посредством камеры,
распознавания сохраненных объектов соответствующих захваченному изображению и визуализации на дисплее
устройства пространственной модели, соответствующей распознанному сохраненному объекту.
2. Система дополненной реальности по пункту 1 , в которой страницы указанных двух или более групп страниц расположены вертикально друг над другом.
3. Система дополненной реальности по пункту 1 , в которой сохраненные объекты сохранены на удаленном устройстве и доступ к ним осуществляется через сеть.
4. Система дополненной реальности по пункту 1 , в которой сохраненные объекты сохранены в памяти устройства.
5. Система дополненной реальности по пункту 1 , в которой пространственная модель анимированная.
6. Система дополненной реальности по пункту 1 , в которой полные изображения и фрагменты изображений представляет собой контурные рисунки для раскрашивания
7. Система дополненной реальности по пункту 6, в которой пространственная модель визуализируется таким образом, что ее цвета соответствуют цветам в которые раскрашено полное изображение альбома.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016117144 | 2016-04-30 | ||
| RU2016117144 | 2016-04-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017188863A1 true WO2017188863A1 (ru) | 2017-11-02 |
Family
ID=60160907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2017/050031 WO2017188863A1 (ru) | 2016-04-30 | 2017-04-27 | Устройство для воздействия на виртуальные объекты дополненной реальности |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2017188863A1 (ru) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110214044A1 (en) * | 2010-01-15 | 2011-09-01 | Davis Bruce L | Methods and Arrangements Relating to Signal Rich Art |
| EP2410714A1 (en) * | 2010-07-22 | 2012-01-25 | Samsung Electronics Co., Ltd. | Apparatus and method for providing augmented reality service using sound |
| JP2012133591A (ja) * | 2010-12-21 | 2012-07-12 | Nec Corp | 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム |
| RU2012149087A (ru) * | 2012-11-20 | 2014-05-27 | Дмитрий Евгеньевич Глухов | Способ создания дополненной реальности с помощью искусственно созданных средств воздействия на органы чувств человека |
| US20140344762A1 (en) * | 2013-05-14 | 2014-11-20 | Qualcomm Incorporated | Augmented reality (ar) capture & play |
| US20150244850A1 (en) * | 2009-10-28 | 2015-08-27 | Digimarc Corporation | Intuitive computing methods and systems |
-
2017
- 2017-04-27 WO PCT/RU2017/050031 patent/WO2017188863A1/ru active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150244850A1 (en) * | 2009-10-28 | 2015-08-27 | Digimarc Corporation | Intuitive computing methods and systems |
| US20110214044A1 (en) * | 2010-01-15 | 2011-09-01 | Davis Bruce L | Methods and Arrangements Relating to Signal Rich Art |
| EP2410714A1 (en) * | 2010-07-22 | 2012-01-25 | Samsung Electronics Co., Ltd. | Apparatus and method for providing augmented reality service using sound |
| JP2012133591A (ja) * | 2010-12-21 | 2012-07-12 | Nec Corp | 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム |
| RU2012149087A (ru) * | 2012-11-20 | 2014-05-27 | Дмитрий Евгеньевич Глухов | Способ создания дополненной реальности с помощью искусственно созданных средств воздействия на органы чувств человека |
| US20140344762A1 (en) * | 2013-05-14 | 2014-11-20 | Qualcomm Incorporated | Augmented reality (ar) capture & play |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109065055B (zh) | 基于声音生成ar内容的方法、存储介质和装置 | |
| US11848000B2 (en) | Transcription revision interface for speech recognition system | |
| US8358320B2 (en) | Interactive transcription system and method | |
| CN106409030A (zh) | 一种个性化外语口语学习系统 | |
| CN109461437B (zh) | 唇语识别的验证内容生成方法及相关装置 | |
| CN102903362A (zh) | 集成的本地和基于云的语音识别 | |
| Arsan et al. | Sign language converter | |
| Tolba et al. | Recent developments in sign language recognition systems | |
| US20190302880A1 (en) | Device for influencing virtual objects of augmented reality | |
| CN114779922A (zh) | 教学设备的控制方法、控制设备、教学系统和存储介质 | |
| Abid et al. | Dynamic sign language and voice recognition for smart home interactive application | |
| CN104933278B (zh) | 一种用于言语障碍康复训练的多通道交互方法和系统 | |
| Putra et al. | Designing translation tool: Between sign language to spoken text on kinect time series data using dynamic time warping | |
| RU164634U1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| CN111638783A (zh) | 一种人机交互方法及电子设备 | |
| KR20200001902A (ko) | 수어 인식 인공신경망 학습데이터 생성방법과 시스템 및 변형 애니메이션 데이터 생성시스템 | |
| WO2017188863A1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Zhao et al. | Realizing speech to gesture conversion by keyword spotting | |
| Carmigniani | Augmented reality methods and algorithms for hearing augmentation | |
| Tang et al. | Multimodal emotion recognition (MER) system | |
| Mustafa et al. | Sign Language Recognition using Kinect | |
| Shunmugam et al. | Human Identification through Kinect’s Depth, RGB, and Sound Sensor | |
| JP3848076B2 (ja) | 仮想生物システム及び仮想生物システムにおけるパタン学習方法 | |
| JP2020135424A (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17790006 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17790006 Country of ref document: EP Kind code of ref document: A1 |