RU192148U1 - Устройство для аудиовизуальной навигации слепоглухих людей - Google Patents
Устройство для аудиовизуальной навигации слепоглухих людей Download PDFInfo
- Publication number
- RU192148U1 RU192148U1 RU2019122259U RU2019122259U RU192148U1 RU 192148 U1 RU192148 U1 RU 192148U1 RU 2019122259 U RU2019122259 U RU 2019122259U RU 2019122259 U RU2019122259 U RU 2019122259U RU 192148 U1 RU192148 U1 RU 192148U1
- Authority
- RU
- Russia
- Prior art keywords
- sound
- sound source
- computing module
- likelihood
- active
- Prior art date
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 16
- 230000004807 localization Effects 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 2
- 230000037152 sensory function Effects 0.000 abstract description 3
- 230000001771 impaired effect Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 4
- 241001166076 Diapheromera femorata Species 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000269400 Sirenidae Species 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
Заявленное техническое решение относится к приспособлениям для инвалидов по слуху и зрению, в частности к устройству для аудиовизуальной навигации слепоглухих людей, которое может быть использовано для самостоятельной навигации слепоглухих людей в помещении и на улице без использования дополнительных приспособлений или вместе с ними, например, с тактильной тростью в зависимости от степени нарушения сенсорных функций у пользователя. Техническим результатом является обеспечение безопасной навигации слепоглухого человека в заранее неизвестной обстановке за счет повышения точности локализации источников звука. Для достижения указанного технического результата разработано устройство для аудиовизуальной навигации слепоглухих людей, содержащее вычислительный модуль и соединенный с ним массив из по меньшей мере 3-х микрофонов, причем вычислительный модуль выполнен с возможностью: получения данных с массива микрофонов в виде звуковых кадров, считывающихся таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов; обработки данных звуковых кадров для локализации источников звука, включающей: определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях Θ; определение направления Θ, имеющего максимальное значение коэффициента правдоподобия, как направление на активный источник звука; формирование диаграммы направленности на основе данных азимутов и углов направления Θна активный источник звука для получения одноканального выделенного звука целевого направления на активный источник звука с подавленными звуками по остальным направлениям; классификацию выделенного звука целевого направления с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов; вывод информации об активном источнике звука пользователю в соответствии с классификатором.
Description
ОБЛАСТЬ ТЕХНИКИ
Заявленное техническое решение относится к приспособлениям для инвалидов по слуху и зрению, в частности, к устройству для аудиовизуальной навигации слепоглухих людей, которое может быть использовано для самостоятельной навигации слепоглухих людей в помещении и на улице без использования дополнительных приспособлений или вместе с ними, например, с тактильной тростью в зависимости от степени нарушения сенсорных функций у пользователя.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известны различные решения, предназначенные для навигации слепоглухих людей.
1. Заявка на патент №CN106420288A «Intelligent driving blind-guiding crutch» от 19.10.2016 (https://patents.google.com/patent/CN106420288A/en). В данном решении устройство не оснащено видеокамерой и массивом микрофонов, вследствие чего оно может обнаруживать только близкорасположенные препятствия с помощью ультразвукового дальномера и не может их классифицировать, что не позволяет пользователю выбрать адекватную стратегию взаимодействия с ними и повышает риск возникновения опасной ситуации.
2. Заявка на патент №CN1748662 «Intelligent blind person walking guide instrument and its walking guide method» от 10.10.2005 (https://patents.google.com/patent/CN1748662A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 1.
3. Патент №US5973618A «Intelligent walking stick» от 25.09.1996, США (https://patents.google.com/patent/US5973618A/en). В данном решении устройство не оснащено массивом микрофонов, что не позволяет ему обнаруживать опасные объекты вне поле зрения видеокамеры, но обладает характерным звуком (сирены, гудок…), что значительно увеличивает риск возникновения опасных ситуаций для пользователя. Данное решение является наиболее близким аналогом.
4. Заявка на патент №CN106667731A «Blind person walking stick» от 17.05.2017 (https://patents.google.com/patent/CN106667731A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
5. Заявка на патент №CN106618981A «Blind living assistant system based on Internet of things and blind crutch with the system» от 06.12.2016 (https://patents.google.com/patent/CN106618981A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
6. Патент №US8922759B2 “White cane with integrated electronic travel aid using 3D TOF sensor” от 24.09.2010, США (https://patents.google.com/patent/US8922759B2/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
7. Заявка на патент №CN103655129A «Novel blind guiding cane» от 08.09.2012 (https://patents.google.com/patent/CN103655129A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 1.
8. Заявка на патент №WO2011104589A1 “Virtual walking stick for assisting blind people” от 24.02.2010 (https://patents.google.com/patent/WO2011104589A1/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
9. Заявка на патент №US20110054773A1 «Electronic Blind-Navigation Device and Electronic Blind-Navigation Cane having the same» от 28.08.2009 (https://patents.google.com/patent/US20110054773A1/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
СУЩНОСТЬ ПОЛЕЗНОЙ МОДЕЛИ
Технической задачей, на решение которой направлена заявленная полезная модель, является обеспечение безопасной навигации слепоглухого человека в заранее неизвестной обстановке, как на улице, так и внутри помещения. Задача решается путем обработки данных с видеокамеры, дальномера, массива микрофонов и GPS-модуля и представления результатов обработки пользователю в тактильной, звуковой и зрительной формах в зависимости степени нарушения той или иной сенсорной функции у пользователя.
Техническим результатом, достигаемым при использовании технического решения, является обеспечение безопасной навигации слепоглухого человека в заранее неизвестной обстановке за счет повышения точности локализации источников звука.
Для достижения указанного технического результата разработано устройство для аудиовизуальной навигации слепоглухих людей, выполненное на единой печатной плате и содержащее электрически соединенные между собой вычислительный модуль и массив из по меньшей мере 3-х микрофонов, причем вычислительный модуль выполнен с возможностью: получения данных с массива микрофонов в виде звуковых кадров, считывающихся таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов; обработки данных звуковых кадров для локализации источников звука, включающей:
- определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях Θi;
- определение направления Θi, имеющего максимальное значение коэффициента правдоподобия, как направление на активный источник звука;
- формирование диаграммы направленности на основе данных азимутов и углов направления Θi на активный источник звука для получения одноканального выделенного звука целевого направления на активный источник звука с подавленными звуками по остальным направлениям;
- классификацию выделенного звука целевого направления с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов;
- вывод информации о активном источнике звука пользователю в соответствии с классификатором.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ.
Для лучшего понимания сущности полезной модели, и чтобы более ясно показать, каким образом она может быть осуществлена, далее будет сделана ссылка, лишь в качестве примера, на прилагаемые чертежи, на которых:
фиг. 1 - схема устройства для аудиовизуальной навигации слепоглухих людей.
ОСУЩЕСТВЛЕНИЕ ПОЛЕЗНОЙ МОДЕЛИ.
В соответствии со схемой, приведенной на фиг. 1, заявленное устройство для аудиовизуальной навигации слепоглухих людей содержит: видеокамеру 1, массив из по меньшей мере 3-х микрофонов 2, дальномер 3, GPS-модуль 4, MEMS-акселерометр 5, MEMS-гироскоп 6 и вычислительный модуль 7, а также вибромотор 8, динамик 9. Все вышеперечисленные элементы размещены на единой печатной плате и электрически соединены между собой. Дополнительно заявляемое устройство для аудиовизуальной навигации слепоглухих людей снабжено средством ввода или вывода 10, например, выполненное в виде дисплея смартфона или другого известного из уровня техники устройства.
Заявленное устройство может быть вмонтировано в корпус трости (walking stick), например, раскрытой в наиболее близком аналоге (патент № US5973618 A).
Вычислительный модуль 7 может быть реализован на базе по меньшей мере одного процессора или микроконтроллера, выполненного в программно-аппаратной части таким образом, чтобы обеспечить выполнение приписанных ему функций. Микрофоны массива микрофонов 2 располагаются на печатной плате не на одной прямой и могут быть выполнены, например, в виде MEMS-микрофонов, а вместо видеокамеры возможно использование стереокамеры, причем в таком случае возможен отказ от использования дальномера в конструкции устройства.
Дополнительно заявленное устройство может включать модуль подключения к Интернету 11, устанавливаемый на печатной плате и посредством которого устройство для аудиовизуальной навигации слепоглухих людей может осуществлять передачу информации на средства облачной обработки данных и/или на средства ввода или вывода.
В соответствии с поступившей командой на вычислительный модуль 7 от пользователя, введенной посредством широко известных средств ввода информации (например, раскрытых в ближайшем аналоге), или заложенным в вычислительный модуль 7 программным алгоритмом, вычислительный модуль 7 направляет управляющие сигналы на видеокамеру 1 и массив микрофонов 2 для их активации и получения информации, регистрируемой данными устройствами.
Данные с видеокамеры, поступающие в вычислительный модуль 7, обрабатываются с помощью глубоких нейронных сетей, которые могут включать свёрточные, полносвязные, остаточные, LSTM-слои или другие типы слоёв. В вычислительном модуле 7 может быть реализовано не менее двух нейронных сетей: сеть для поиска в кадре фиксированного количества заранее известных типов объектов и сеть для генерации текстового описания окружающей обстановки человеческим языком.
Массив микрофонов 2 используется для детектирования направлений на потенциально опасные источники звука. Данные с массива микрофонов 2, поступающие в вычислительный модуль 7, например, в виде звуковых кадров, содержащих информацию о звуковых колебаниях, считываются таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов, которая необходима для корректной работы алгоритмов локализации источников звука.
Далее многоканальный звук обрабатывается с помощью алгоритма локализации источников звука, например, методом локализация с помощью обобщённой функции взаимной корреляции с весовой функцией преобразования фазы (GCC-PHAT) и различные её модификации.
Для выполнения локализации источников звука вычислительный модуль 7 преобразует данные звуковых кадров методом дискретного преобразования Фурье, после чего на основе полученных после преобразования данных вычислительный модуль 7 определяет значение кросс-корреляция между двумя каналами для всех пар каналов. Например, если массив микрофонов 2 состоит из 3-х микрофонов, то значения кросс-корреляции определяются для 1 и 2 каналов, 2 и 3 каналов, 1 и 3 каналов.
Значение кросс-корреляции для каждой пары каналов может быть определено, например, по формуле:
где Yk(ω) и Yl(ω) - данные, полученные после дискретного преобразования Фурье данных звуковых кадров, полученных с пары k и l каналов массива микрофонов 2, j - комплексная единица, а ω - информация о частоте звука, заранее заданная для анализа в вычислительном модуле 7. Соответственно, если массив микрофонов 2 состоит из 3-х микрофонов, то вычислительный модуль 7 определит 3 значения кросс-корреляции для каждой пары каналов.
Далее вычислительный модуль 7 определяет коэффициенты правдоподобия наличия активного источника звука в направлении Θi для каждого полученного значения кросс-корреляции. Направления Θi, для которых вычислительный модуль 7 определяет коэффициенты правдоподобия, могут быть заранее заданы пользователем перед началом работы устройства. Например, упомянутые коэффициенты правдоподобия могут определены по формуле:
где M - число каналов массива микрофонов 2, Θ - данные о направлении (азимут - для линейного массива микрофонов, азимут и угол места - для плоских и трёхмерных конфигураций), τkl ⋇(Θi) - теоретическая задержка между парой каналов k и l для направления Θi, значение которой заранее задано пользователем в программно-аппаратной части вычислительного модуля 7.
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации на основе сканирования окружающего пространства различными вариантами лучеформирователя, например, лучеформирователем Бартлетта.
В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θi могут определены вычислительным модулем 7 по формуле:
где m - переменная, по которой ведётся суммирование, которая принимает значения от 0 до M-1.
Также вычислительный модуль 7 может быть с возможностью уточнения полученных коэффициентов правдоподобия, например, по формуле:
Полученные уточненные коэффициенты правдоподобия также могут быть уточнены вычислительным модулем 7, например, по формуле:
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации на базе различных вариантов алгоритма MUSIC (MUltiple SIgnal Classification). В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θi могут определены вычислительным модулем 7 по формуле:
где α(ω, Θi) - матрица захвата размера M на J (J - количество источников звука), Us - матрица собственных векторов, H - эрмитово-сопряжённая матрица. Полученные коэффициенты правдоподобия вычислительный модуль 7 также может уточнить описанным ранее методом с использованием уравнений (4) и (5).
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации с помощью алгоритма IDOA, оценивающего фазовые задержки на различных частотах между каналами захваченного многоканального звука.
В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θi могут определены вычислительным модулем 7 по формуле:
где Δ(ω,Θi) - вектор теоретических разностей фаз между нулевым и k-тым микрофонами при частоте ω для активного источника звука, расположенного по направлению Θi. δ(ω) - вектор измеренных разностей фаз между нулевым и k-ым микрофонами при частоте ω:
| (9) |
Полученные коэффициенты правдоподобия вычислительный модуль 7 также может уточнить описанным ранее методом с использованием уравнений (4) и (5).
Также в альтернативном варианте реализации заявленного решения вычислительный модуль 7 может обрабатывать многоканальный звук методом локализации на основе глубоких свёрточных нейронных сетей с остаточными слоями, рассматриваемым как задача классификации объектов. В данном варианте данные звуковых кадров подаются на вход упомянутых свёрточных нейронных сетей, входящих в состав вычислительного модуля 7, предназначенных для определения коэффициент правдоподобия для каждого заданного направления Θi посредством определения вектора вероятностей наличия источника звука. Вектор вероятностей наличия источника звука в возможных направлениях может быть определен по формуле:
где N - число проверяемых направлений. На основе данных векторов вероятностей наличия источника звука для каждого заданного направления Θi, в частности, значений элементов матрицы векторов, вычислительный модуль 7 определяет коэффициенты правдоподобия для каждого заданного направления Θi.
Таким образом, вычислительный модуль 7 для каждого заданного направления Θi определяет коэффициент правдоподобия на основе данных о частоте ω, информация о которой содержится в звуковом кадре. Далее вычислительный модуль 7 определяет максимальное значение коэффициента правдоподобия из всех полученных коэффициентов правдоподобия, после чего направление Θi, имеющее максимальное значение коэффициента правдоподобия, определяется вычислительным модулем 7 как направление на активный источник звука, а на основе данных азимутов и углов направления Θi на активный источник звука вычислительный модуль 7 осуществляет формирование диаграммы направленности в направлении обнаруженных источников звука. Формирование диаграммы направленности может состоять из двух этапов: лучеформирования и пост-фильтрации. В качестве лучеформирователя может использоваться лучеформирователь Бартлетта или Кэйпона, или любой другой. В качестве пост-фильтра используется пост-фильтр Зелинского. Возможно использование любого другого пост-фильтра, основанного на винеровской фильтрации.
Таким образом, результатом формирования диаграммы направленности является одноканальный выделенный звук целевого направления на активный источник звука и подавленными звуками по остальным направлениям. Выделенный звук вычислительный модуль 7 классифицирует с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов.
Результаты анализа данных, поступаемых на вычислительный модуль 7, с видеокамеры 1, массива микрофонов 2, в частности, информацию о активном источнике звука в соответствии с классификатором, и дальномера 3 представляются пользователю с помощью вибрации вибромотора 8, звука, выводимого через динамик 9 и/или изображения, выводимого на дисплей 10 известными из уровня техники методами, например, раскрытыми в наиболее близком аналоге (патент № US5973618 A).
Данные с GPS-модуля, акселерометра и гироскопа, которые также размещены на общей печатной плате, поступают на вычислительный модуль 7 и используются для определения глобального положения пользователя в работе устройства в режиме навигатора, когда оно ведёт пользователя по улице и текущей точки в пункт назначения. Комбинирование данных с GPS-модуля, акселерометра и гироскопа осуществляется в вычислительном модуле 7 с помощью Калмановской фильтрации.
Таким образом, за счет того, что в заявленном устройстве для аудиовизуальной навигации слепоглухих людей локализация источников звука осуществляется с учетом значений коэффициентов правдоподобия, определенный на основе данных о частоте ω, информация о которой содержится в данных звуковых кадров, синхронно поступающих с по меньшей мере трех микрофонов массива микрофонов, обеспечивается повышение точности локализации источников звука и потенциально опасных объектов, т.е. обеспечивается безопасная навигация слепоглухого человека в заранее неизвестной обстановке.
Claims (21)
1. Устройство для аудиовизуальной навигации слепоглухих людей, выполненное на единой печатной плате и содержащее электрически соединенные между собой вычислительный модуль и массив из по меньшей мере 3 микрофонов, причем вычислительный модуль выполнен с возможностью:
получения данных с массива микрофонов в виде звуковых кадров, считывающихся таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов;
обработки данных звуковых кадров для локализации источников звука, включающей:
- определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях θi;
- определение направления θi, имеющего максимальное значение коэффициента правдоподобия, как направление на активный источник звука;
- формирование диаграммы направленности на основе данных азимутов и углов направления θi на активный источник звука для получения одноканального выделенного звука целевого направления на активный источник звука с подавленными звуками по остальным направлений;
- классификацию выделенного звука целевого направления с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов;
- вывод информации об активном источнике звука пользователю в соответствии с классификатором.
2. Устройство по п. 1, отличающееся тем, что дополнительно содержит вибромотор, динамик для вывода звука, размещенные на общей печатной плате, электрически связанные с вычислительным модулем и предназначенные для вывода информации об активном источнике звука пользователя.
3. Устройство по п. 1, отличающееся тем, что вычислительный модуль выполнен с возможностью обработки данных звуковых кадров для локализации источников звука, которая дополнительно содержит этап, на котором вычислительный модуль преобразует данные звуковых кадров методом дискретного преобразования Фурье и определяет значение кросс-корреляция между двумя каналами для всех пар каналов, причем коэффициенты правдоподобия наличия активного источника звука в заданном направлении θi определяются для каждого полученного значения кросс-корреляции.
4. Устройство по п. 1, отличающееся тем, что определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях θi осуществляется методом локализации на основе сканирования окружающего пространства лучеформирователем, причем вычислительный модуль дополнительно выполнен с возможностью уточнения полученных коэффициентов правдоподобия по формуле:
где j – комплексная единица, 
– коэффициенты правдоподобия наличия активного источника звука.
5. Устройство по п. 4, отличающееся тем, что вычислительный модуль дополнительно выполнен с возможностью уточнения уточненных коэффициентов правдоподобия по формуле:
6. Устройство по п. 1, отличающееся тем, что определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях θi осуществляется методом локализации на базе алгоритма MUSIC (MUltiple SIgnal Classification).
7. Устройство по п. 6, отличающееся тем, что вычислительный модуль дополнительно выполнен с возможностью уточнения коэффициентов правдоподобия с использованием уравнений (4) и (5).
8. Устройство по п. 1, отличающееся тем, что определение коэффициентов правдоподобия наличия активного источника звука с частотой w в заданных направлениях θi осуществляется методом локализации с помощью алгоритма IDOA, оценивающего фазовые задержки на различных частотах между каналами захваченного многоканального звука.
9. Устройство по п. 8, отличающееся тем, что вычислительный модуль дополнительно выполнен с возможностью уточнения коэффициентов правдоподобия с использованием уравнений (4) и (5).
10. Устройство по п. 1, отличающееся тем, что определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях θi осуществляется методом локализации на основе глубоких свёрточных нейронных сетей с остаточными слоями, включающим:
подачу звуковых кадров на вход упомянутых свёрточных нейронных сетей, предназначенных для определения коэффициентов правдоподобия для каждого заданного направления θi посредством определения вектора вероятностей наличия источника звука, и определение коэффициентов правдоподобия для каждого заданного направления θi на основе данных векторов вероятностей наличия источника звука.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019122259U RU192148U1 (ru) | 2019-07-15 | 2019-07-15 | Устройство для аудиовизуальной навигации слепоглухих людей |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019122259U RU192148U1 (ru) | 2019-07-15 | 2019-07-15 | Устройство для аудиовизуальной навигации слепоглухих людей |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU192148U1 true RU192148U1 (ru) | 2019-09-05 |
Family
ID=67852024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019122259U RU192148U1 (ru) | 2019-07-15 | 2019-07-15 | Устройство для аудиовизуальной навигации слепоглухих людей |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU192148U1 (ru) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080027726A1 (en) * | 2006-07-28 | 2008-01-31 | Eric Louis Hansen | Text to audio mapping, and animation of the text |
| AU2011200857B2 (en) * | 2010-03-30 | 2012-05-10 | Polycom, Inc. | Method and system for adding translation in a videoconference |
| RU2479018C2 (ru) * | 2007-04-24 | 2013-04-10 | Конинклейке Филипс Электроникс Н.В. | Способ, система и пользовательский интерфейс для автоматического создания атмосферы, в частности освещенной атмосферы, на основании ввода ключевого слова |
| US8922759B2 (en) * | 2010-09-24 | 2014-12-30 | Mesa Imaging Ag | White cane with integrated electronic travel aid using 3D TOF sensor |
| US20150194166A1 (en) * | 2005-08-03 | 2015-07-09 | Somatek | Somatic, auditory and cochlear communication system and method |
-
2019
- 2019-07-15 RU RU2019122259U patent/RU192148U1/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150194166A1 (en) * | 2005-08-03 | 2015-07-09 | Somatek | Somatic, auditory and cochlear communication system and method |
| US20080027726A1 (en) * | 2006-07-28 | 2008-01-31 | Eric Louis Hansen | Text to audio mapping, and animation of the text |
| RU2479018C2 (ru) * | 2007-04-24 | 2013-04-10 | Конинклейке Филипс Электроникс Н.В. | Способ, система и пользовательский интерфейс для автоматического создания атмосферы, в частности освещенной атмосферы, на основании ввода ключевого слова |
| AU2011200857B2 (en) * | 2010-03-30 | 2012-05-10 | Polycom, Inc. | Method and system for adding translation in a videoconference |
| US8922759B2 (en) * | 2010-09-24 | 2014-12-30 | Mesa Imaging Ag | White cane with integrated electronic travel aid using 3D TOF sensor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tapu et al. | A survey on wearable devices used to assist the visual impaired user navigation in outdoor environments | |
| US20230392944A1 (en) | Navigation methods and apparatus for the visually impaired | |
| US10045120B2 (en) | Associating audio with three-dimensional objects in videos | |
| US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
| US10353198B2 (en) | Head-mounted display with sound source detection | |
| US9639084B2 (en) | Autonomous action robot, and control method for autonomous action robot | |
| Kumar et al. | An electronic travel aid for navigation of visually impaired persons | |
| US20130250078A1 (en) | Visual aid | |
| Bouhamed et al. | New electronic cane for visually impaired people for obstacle detection and recognition | |
| KR100962552B1 (ko) | 촬영된 영상에 음원 정보를 표시하는 카메라 시스템 | |
| JP7194897B2 (ja) | 信号処理装置及び信号処理方法 | |
| Gala et al. | Realtime active sound source localization for unmanned ground robots using a self-rotational bi-microphone array | |
| EP4287595A1 (en) | Sound recording method and related device | |
| CN113678141A (zh) | 用于盲人和视力受损人员的立体声装置 | |
| Hakim et al. | Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor | |
| KR20190111262A (ko) | 시각 장애인을 위한 장애물 거리 측정 단말기 | |
| Tyagi et al. | Assistive navigation system for visually impaired and blind people: a review | |
| Khanom et al. | A comparative study of walking assistance tools developed for the visually impaired people | |
| Davanthapuram et al. | Visually impaired indoor navigation using YOLO based object recognition, monocular depth estimation and binaural sounds | |
| KR102081193B1 (ko) | 시각장애인 보행 보조기구 및 이를 구비한 보행시스템 | |
| RU192148U1 (ru) | Устройство для аудиовизуальной навигации слепоглухих людей | |
| Bharati | LiDAR+ camera sensor data fusion on mobiles with ai-based virtual sensors to provide situational awareness for the visually impaired | |
| CN117323185A (zh) | 基于计算机视觉的盲人室内导航系统、方法及训练方法 | |
| Ni et al. | The design and implementation of a walking assistant system with vibrotactile indication and voice prompt for the visually impaired | |
| Archer-Boyd et al. | Biomimetic direction of arrival estimation for resolving front-back confusions in hearing aids |