RU198673U1 - Портативное устройство распознавания речи и звуковых сигналов - Google Patents

Портативное устройство распознавания речи и звуковых сигналов Download PDF

Info

Publication number
RU198673U1
RU198673U1 RU2020112603U RU2020112603U RU198673U1 RU 198673 U1 RU198673 U1 RU 198673U1 RU 2020112603 U RU2020112603 U RU 2020112603U RU 2020112603 U RU2020112603 U RU 2020112603U RU 198673 U1 RU198673 U1 RU 198673U1
Authority
RU
Russia
Prior art keywords
unit
module
display
speech
board
Prior art date
Application number
RU2020112603U
Other languages
English (en)
Inventor
Денис Сергеевич Кулешов
Андрей Павлович Бытейщиков
Александр Валерьевич Горюнов
Марк Викторович Золотарев
Николай Николаевич Кириченко
Евгений Константинович Попов
Александр Николаевич Семененко
Александр Викторович Попов
Original Assignee
Общество с ограниченной ответственностью "Сенсор-Тех"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Сенсор-Тех" filed Critical Общество с ограниченной ответственностью "Сенсор-Тех"
Priority to RU2020112603U priority Critical patent/RU198673U1/ru
Application granted granted Critical
Publication of RU198673U1 publication Critical patent/RU198673U1/ru

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Полезная модель относится к ассистивным устройствам, предназначенным для использования людьми с ограниченными возможностями по слуху, слуху и зрению. Расширение функционала устройства, позволяющего распознавать не только речь собеседника, но и другие звуки, демонстрировать пользователю направление источника звука, а также трансформировать полученную и исходящую информацию в виде рельефно-точечного шрифта Брайля и выводить ее на дисплей достигнуто благодаря тому, что устройство дополнительно к стандартным программно-аппаратным средствам содержит плату светодиодов, выполненных с возможностью их видимости через прорези в крышке корпуса, закрытых стеклом, одноплатный компьютер, на платформу которого установлены блок автозапуска процессов, находящийся во взаимосвязи с командно-телеметрическим модулем, модулем захвата звуков, модулем управления микрофонами, модулем вывода текстовой информации на дисплей Брайля, блок контроля над работоспособностью указанных модулей и блока запуска, а также блок распознания звуков и блок управления устройством, связанные через модули с блоком автозапуска процессов. Устройство с расширенными функциями позволяет значительно расширить круг пользователей и преимущественно адаптировать людей с ограниченными возможностями по слуху, а также слуху и зрению к социальной жизни в обществе. 6 з.п. ф-лы; 6 ил.

Description

Полезная модель относится к ассистивным устройствам, предназначенным для использования людьми с ограниченными возможностями по слуху, слуху и зрению. Устройство позволяет принимать речевые и звуковые сигналы и представлять их в текстовой и/или тактильной форме. Устройство может быть использовано как автономно, так и в составе комплекса других ассистивных устройств, выполняя командно-телеметрический обмен внутри сети. В рамках настоящей заявки рассмотрено устройство, используемое автономно.
Из уровня техники известен мобильный переговорный комплекс для глухонемых людей RU2455700, (опубл. 10.06.2009 г., G09B 21/00) включающий микрофоны, устройства для усиления и идентификации сигналов звука, устройства формирования изображения с целью визуального распознавания звуков речи. Мобильное переговорное устройство, размещаемое в ладони руки, включающее инфракрасный приемник, инфракрасный передатчик, синтезатор речи, очки, причем синхронно работающие инфракрасные приемники и передатчики очков по инфракрасным каналам связи взаимодействуют с мобильным переговорным устройством, и внешним акустическим устройством для воспроизведения синтезированной речи. Известное устройство позволяет глухому общаться со слышащими собеседниками. При этом он распознает речь визуально глядя на дисплей очков, идущих в комплекте, представленной в виде бегущей строки последовательных цветографических символов звуков речи, возникающих синхронно со звуками речи в строгом соответствии принятому цветографическому алфавиту. Устройство позволяет пользователю переходить между режимами «слушаю речь» и «ответ», синтезировать ответные реплики, что, несомненно, является преимуществом данного решения, поскольку позволяет глухому находиться в контакте со слышащими без дактилологии и сурдопереводчика. Однако устройством не могут воспользоваться пользователи, не знающие цветографический алфавит и слепоглухие, что свидетельствует об ограниченных возможностях переговорного комплекса. Кроме того, устройство не позволяет распознавать иные звуки, например, звуковой сигнал автомобиля.
Известна система для преобразования звука в визуальные представления, описанная в US 20020158816, (опубл. 31.10.2002 г., G09G 3/00; G10L 21/06).Система содержит множество микрофонов для приема звука, блок фильтрации для направленной фильтрации принятого звука, блок преобразования для преобразования отфильтрованного звука в сигналы управления отображением и блок отображения для отображения визуальных представлений отфильтрованного звука на основе сигналов управления отображением.
Звук, отфильтрованный с помощью блока фильтрации, передается в виде аудио сигнала на блок преобразования, где блок распознавания речи работает для извлечения речевой информации, если таковая имеется, из отфильтрованного звука. Затем речевая информация преобразуется посредством преобразования модуля в сигналы текстовых данных, либо изображений, которые в свою очередь передаются на дисплей в качестве визуальных представлений.
Система обеспечивает простой и удобный способ для понимания говорящего на любом языке за счет направленной фильтрации принятого звука, преобразовании отфильтрованного звука в предпочтительный формат человеческого языка и отображения связанных визуальных представлений в носимом кадре. Между тем, устройство не дает пользователю возможности воспринимать звуковые сигналы кроме речи, что значительно сужает область воспринимаемого окружения, а также не может указать на источник звука, чтобы пользователь мог быстро отреагировать на сигнал или обращение к нему других людей. Данное решение принято за ближайший аналог.
Задача, на решение которой направлена настоящая полезная модель, заключается создании портативного устройства с расширенными функциями, позволяющими распознавать не только речь собеседника, но и другие звуки, демонстрировать пользователю направление источника звука, а также трансформировать полученную и исходящую информацию в виде рельефно-точечного шрифта Брайля и выводить ее на дисплей. Таким образом, портативное устройство с расширенными функциональными возможностями позволяет значительно расширить круг пользователей и в большей степени адаптировать людей с ограниченными возможностями по слуху, а также слуху и зрению к социальной жизни в обществе.
Решение поставленных задач обеспечило достижение технического результата, заключающегося в расширении функций портативного устройства.
Достижение технического результата стало возможным благодаря тому, что портативное устройство дополнительно содержит плату массива микрофонов со светодиодами, выполненными с возможностью их видимости через прорези в крышке корпуса, закрытых стеклом; одноплатный компьютер, на платформу которого установлены блок автозапуска процессов, находящийся во взаимосвязи с командно-телеметрическим модулем, модулем захвата звуков, модулем управления микрофонами, модулем вывода текстовой информации на дисплей Брайля; блок контроля над работоспособностью указанных модулей и блоком запуска, а также блок распознания звуков и блок управления устройством, связанные через модули с блоком автозапуска процессов.
Указанные существенные признаки обеспечили реализацию устройством дополнительных функций. Портативное устройство распознает не только речь, но и иные звуки. Информация о распознанных звуках поступает в преобразованном виде - в виде печатного текста или рельефно-точечного шрифта Брайля на дисплей. Кроме печатного уведомления, устройство световым направлением от светодиодов сообщает пользователю об источнике звука.
Портативное устройство распознавания речи и звуковых сигналов раскрыто на следующих иллюстрирующих материалах.
Фиг. 1 - общий вид портативного устройства;
Фиг. 2 - вид устройства сверху;
Фиг. 3 - вид устройства спереди:
Фиг. 4 - функциональная схема предложенного портативного устройства;
Фиг. 5 - структурная схема устройства;
Фиг. 6 - схема взаимодействия плат и модулей устройства.
На фиг. 1 представлено заявленное портативное устройство, выполненное в конструктивном единстве, обладающее свойствами приема речевых и звуковых сигналов, их представления в текстовой или тактильной форме на сопрягаемых устройствах и показывающее пользователю направление источника звука. В состав устройства входят: корпус 1; аудиомодуль массива микрофонов 2 и микрофонная решетка со светодиодами для указания направления 3; одноплатный компьютер 4; аккумулятор 5.
Корпус 1 включает крышку 6 и дно 7. На крышке монтируется плата ПИ_МР 8. На дне 7 монтируются платы аудиомодуля массива микрофонов 2, микрофонной решетки со светодиодами 3, одноплатного компьютера 4, аккумулятора 5 и плату ПКиЗУ_МР 9, скрепленные между собой. Корпус снабжен платой светодиодов 3. В крышке 6 предусмотрены прорези, закрытые стеклом 10 для обеспечения видимости светодиодной подсветки. Акустическая ткань, прижимаемая прижимом 11 к прорезям под микрофоны в крышке препятствует попаданию посторонних предметов в устройство и на микрофоны.
В корпусе 1 имеется углубление 12, в котором расположены разъем HDMI 13 для подключения внешнего дисплея, USB разъем для подключения дисплея Брайля проводным способом 14 , LAN разъем для проводного подключения к сети интернет 15 и разъем для зарядки аккумулятора 16 , а также разъем для подключения внешнего микрофона 17 и разъем для подключения выносного пульта 18.
На структурной электрической схеме, фиг. 5 представлена схема электрических соединений плат аудиомодуля массива микрофонов 2, микрофонной решетки со светодиодами 3, одноплатного компьютера 4, аккумулятора 5 и зависимых плат ПИ_МР 8 и ПКиЗУ_МР 9 выполненного проводами.
На функциональной электрической схеме, фиг. 6 видна реализация входящих в состав зависимой платы ПКиЗУ_МР 9 функциональных блоков для контроля работы платы с помощью микроконтроллера измерения напряжения (Цифровой АЦП), контроля заряда аккумулятора, схема включения кнопок и аудиокодека для подключения внешнего микрофона с указанием интерфейсов подключения составных частей друг к другу.
Электропитание устройства осуществляется как от встроенного аккумулятора, так и от стандартного блока питания с выходным напряжением 5В, подключенного к бытовой сети электропитания с напряжением 220 В и частотой 50 Гц.
Расширение функциональных возможностей устройства достигается за счет того, что в портативном устройстве дополнительно к штатным программно-аппаратным средствам (блок преобразования, блок памяти, блок вывода текстовой информации, клавиатура, дисплей и др), реализующим стандартные функции передачи информации и ее обработки на платформу одноплатного компьютера 4 установлены с возможностью автоматического запуска при загрузке одноплатного компьютера командно-телеметрический модуль 19, модуль распознавания речи 20, специализированный модуль ядра 21 для управления микрофонами 3, модуль вывода текстовой информации на дисплей Брайля 22, блок контроля над работоспособностью всех основных процессов 23.
Автозапуск всех процессов осуществляется с помощью блока 24.
Обеспечивают функционал портативного устройства блоки захвата звука 25 и блок управления устройством 26.
Блок захвата звука 25 реализует захват звука с плат массива микрофонов 2 и 3 с помощью модуля ядра 21, детектирование начала и окончания голосовой активности, отправку звука на модуль распознавания речи 20, вывод результата распознавания речи на дисплей и дисплей Брайля с помощью модуля 22 или отправлять на внешние устройства с помощью блока управления 26, а также вводить текст ответа пользователя с помощью дисплея Брайля или клавиатуры.
Реализация детектора голосовой активности известна из уровня техники и выглядит следующим образом:
- преобразование звукового сигнала в частотную область;
- подавление высокочастотных шумов в сигнале;
- подавление шумов в захваченном сигнале в области низких частот;
- анализ очищенного звукового сигнала на предмет наличия речи.
Распознавание речи может быть реализовано с помощью любой облачной платформы распознавания речи.
Для отображения текстовой информации может быть использован любой экран с подключением по HDMI и/или дисплей Брайля.
Блок управления устройством 26 реализует возможность управления устройством через Bluetooth Low Energy по профилю GATT, позволяет подключать устройство к сети Wi-Fi, запускать на нем проигрывание сигнала режима поиска и публикует по Bluetooth Low Energy рассылку с результатами распознавания речи. Таким образом блок 26 настраивает и управляет модулями 19, 20 и 21, а также блоком 25.
В интерфейсе устройства может выводиться список всех распознанных фраз, уровень заряда аккумулятора, уровень чувствительности микрофона, статус наличия или отсутствия в данный момент активного источника звука, состояние активных подключений.
На фиг. 6 схематично показана функциональная схема работы программного обеспечения предложенного портативного устройства, включающего четыре модуля 19, 20, 21, 22 и четыре блока 23, 24, 25, 26. Блок автозапуска процессов 24, установленный на платформе одноплатного компьютера 4 инициализирует командно-телеметрический модуль 19, модуль распознавания речи 20, модуль управления микрофонами 21 и модуль вывода текстовой информации на дисплей Брайля 22 и блоки захвата звука 25 и управления устройством 26. Блок 23 проверяет работоспособность указанных модулей 19, 20, 21, 22 и блоков захвата звука 25 и управления устройством 26 и при необходимости дает команду на повторный запуск через блок запуска 24. Обеспечивающие функционал устройства блок захвата звука 25 и блок управления устройством 26 связаны напрямую, а также через модули 19, 20, 21, 22 с блоками автозапуска процессов 24 и проверки работоспособности 23.
Реализация полезной модели происходит следующим образом. Через массив микрофонов, блок захвата звука, модуль распознавания речи, одноплатного компьютера, блок памяти и модуля вывода текстовой информации на дисплей Брайля, результаты распознавания речи и звуковых сигналы моментально передаются на дисплей, подключенный через HDMI вход, в том числе на дисплей мобильных телефонов и/или дисплея Брайля, в виде текста, который осведомляет пользователя обо всем происходящем вокруг него. Данный текст можно пролистывать, а можно возвращаться к нужным моментам. Также имеется возможность ввода текста ответа пользователя с помощью дисплея Брайля или подключенной через USB клавиатуры. Более того, светодиодной подсветкой всегда указывается направление стороны, с которой расположен источник звука, что позволяет пользователю своевременно на него отреагировать. Дополнительно устройство оснащено светодиодами, для более быстрого и удобного понимания расположения источника звука - они подсвечивают данное направление. Для удобства пользования устройство включает четыре кнопки управления, которые отвечают за включение, изменение размера шрифта, пролистывание текста на экране и сброс подключения мобильного телефона.
Полезная модель может быть реализована использованием указанного устройства людьми, являющимися инвалидами по слуху или по слуху и зрению.
В первом случае, пользователь включает устройство, подключает дисплей, например, мобильный телефон беспроводным образом, через Bluetooth или экран монитора через HDMI-выход. Затем на отображенном интерфейсе экрана выбирает актуальные для себя настройки чувствительности микрофонной решетки. Во время работы пользователь в режиме реального времени будет получать информацию о том, что происходит вокруг - устройство автоматически будет преобразовывать речь и звуковые сигналы в текст на дисплее. Светодиоды визуально укажут направление источника звука, чтобы быстро отреагировать. И дополнительно направление на источник звука может быть указано словесно на дисплее или экране. Также имеется возможность набора ответа пользователем с дефектами речи с помощью клавиатуры, подключенной в порт USB устройства.
Во втором случае, специальном для людей с ограниченными возможностями и по слуху и по зрению, пользователь подключает к устройству дисплей Брайля беспроводным способом через Bluetooth или проводным способом через вход USB. Все распознанные звуковые сигналы и речь, а также направление источника звука будут моментально обработаны в текст и переданы на дисплей Брайля, тем самым позволяя пользователю свободно ориентироваться и воспринимать информацию от окружающих людей и предметов. Также имеется возможность набора ответа пользователем с дефектами речи с помощью дисплея Брайля.

Claims (7)

1. Портативное устройство распознавания речи и звуковых сигналов, выполненное в конструктивном единстве и включающее корпус, микрофонную решетку с модулем фильтрации шумов, блок памяти распознанной речи, аккумулятор с зарядным устройством, блок вывода информации на дисплей и блок преобразования речи, отличающееся тем, что дополнительно содержит плату светодиодов, выполненных с возможностью их видимости через прорези в крышке корпуса, закрытых стеклом; одноплатный компьютер, на платформу которого установлены блок автозапуска процессов, находящийся во взаимосвязи с командно-телеметрическим модулем, модулем захвата звуков, модулем управления микрофонами, модулем вывода текстовой информации на дисплей Брайля; блок контроля над работоспособностью указанных модулей и блоком запуска, а также блок распознания звуков и блок управления устройством, связанные через модули с блоком автозапуска процессов.
2. Устройство по п. 1, отличающееся тем, что корпус включает крышку и дно, на дне которого монтируются платы микрофонной решетки, одноплатного компьютера, аккумулятора, платы кнопок и зарядно-разрядного устройства, скрепленные между собой.
3. Устройство по п. 1, отличающееся тем, что электрическое соединение плат и аккумулятора выполнено проводами.
4. Устройство по п. 1, отличающееся тем, что содержит платы для измерения напряжения аккумулятора и индикации текущего состояния устройства.
5. Устройство по п. 1, отличающееся тем, содержит разъем HDMI для подключения внешнего дисплея, USB разъем для подключения дисплея Брайля проводным способом, LAN разъем для проводного подключения к сети интернет и разъем для зарядки аккумулятора.
6. Устройство по п.1, отличающееся тем, что для передачи распознанного текста или управления устройством используется дисплей мобильного телефона или экран монитора.
7. Устройство по п.1, отличающееся тем, что для передачи распознанного текста или управления устройством используется дисплей Брайля.
RU2020112603U 2020-03-27 2020-03-27 Портативное устройство распознавания речи и звуковых сигналов RU198673U1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020112603U RU198673U1 (ru) 2020-03-27 2020-03-27 Портативное устройство распознавания речи и звуковых сигналов

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020112603U RU198673U1 (ru) 2020-03-27 2020-03-27 Портативное устройство распознавания речи и звуковых сигналов

Publications (1)

Publication Number Publication Date
RU198673U1 true RU198673U1 (ru) 2020-07-21

Family

ID=71740993

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020112603U RU198673U1 (ru) 2020-03-27 2020-03-27 Портативное устройство распознавания речи и звуковых сигналов

Country Status (1)

Country Link
RU (1) RU198673U1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802493A (zh) * 2021-01-05 2021-05-14 钽创(上海)科技有限公司 一种聋哑人语音助手系统
RU218617U1 (ru) * 2022-12-20 2023-06-02 Общество с ограниченной ответственностью "Сенсор-Тех" Интеллектуальное высокопроизводительное устройство распознавания речи для глухих и слепоглухих, содержащее микрофоны

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4378466A (en) * 1978-10-04 1983-03-29 Robert Bosch Gmbh Conversion of acoustic signals into visual signals
US20020158816A1 (en) * 2001-04-30 2002-10-31 Snider Gregory S. Translating eyeglasses
RU2312646C2 (ru) * 2005-12-05 2007-12-20 Андрей Всеволодович Воробьев Устройство частичной замены функций речи и слуха
RU2345422C2 (ru) * 2006-11-20 2009-01-27 Эдуард Борисович Попов Способ и устройство формирования изображения для распознавания направления распространения звука речи
FR2899097B1 (fr) * 2006-03-28 2009-02-13 Panagiotis Pavlopoulos Systeme d'aide pour personne malentendante
US9956407B2 (en) * 2014-08-04 2018-05-01 Cochlear Limited Tonal deafness compensation in an auditory prosthesis system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4378466A (en) * 1978-10-04 1983-03-29 Robert Bosch Gmbh Conversion of acoustic signals into visual signals
US20020158816A1 (en) * 2001-04-30 2002-10-31 Snider Gregory S. Translating eyeglasses
RU2312646C2 (ru) * 2005-12-05 2007-12-20 Андрей Всеволодович Воробьев Устройство частичной замены функций речи и слуха
FR2899097B1 (fr) * 2006-03-28 2009-02-13 Panagiotis Pavlopoulos Systeme d'aide pour personne malentendante
RU2345422C2 (ru) * 2006-11-20 2009-01-27 Эдуард Борисович Попов Способ и устройство формирования изображения для распознавания направления распространения звука речи
US9956407B2 (en) * 2014-08-04 2018-05-01 Cochlear Limited Tonal deafness compensation in an auditory prosthesis system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802493A (zh) * 2021-01-05 2021-05-14 钽创(上海)科技有限公司 一种聋哑人语音助手系统
RU218617U1 (ru) * 2022-12-20 2023-06-02 Общество с ограниченной ответственностью "Сенсор-Тех" Интеллектуальное высокопроизводительное устройство распознавания речи для глухих и слепоглухих, содержащее микрофоны

Similar Documents

Publication Publication Date Title
CN104983511A (zh) 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN109040641B (zh) 一种视频数据合成方法及装置
WO2022193989A1 (zh) 电子设备的操作方法、装置和电子设备
JP4445178B2 (ja) 通信システムおよびそのための適切な制御ユニット
JP2021150946A (ja) ワイヤレスイヤホンデバイスとその使用方法
EP4199488A1 (en) Voice interaction method and electronic device
CN112860169A (zh) 交互方法及装置、计算机可读介质和电子设备
JP2004214895A (ja) 通信補助装置
CN112001189A (zh) 实时外语沟通系统
RU198673U1 (ru) Портативное устройство распознавания речи и звуковых сигналов
KR101354927B1 (ko) 청각장애인을 위한 머리 착용형 디스플레이장치
Mielke et al. AUDIS wear: A smartwatch based assistive device for ubiquitous awareness of environmental sounds
CN111128180A (zh) 一种听力障碍者的辅助对话系统
CN111258088A (zh) 一种脑电波控制的智能眼镜设备及使用方法
CN111554314A (zh) 噪声检测方法、装置、终端及存储介质
CN106031135B (zh) 可穿戴设备和通信控制方法
CN111081120A (zh) 一种协助听说障碍人士交流的智能穿戴设备
RU2303427C2 (ru) Система для оповещения и коммуникации лиц со специальными потребностями по здоровью
CN213877205U (zh) 基于手语识别的智能机器人
CN215730426U (zh) 一种智能交流辅助眼镜
CN106125922B (zh) 一种哑语与口语语音图像信息交流系统
KR20140006198A (ko) 무선캡션대화 서비스 시스템
CN211319717U (zh) 用于语言交互的配件、移动终端及交互系统
CN210294683U (zh) 一种具有报警功能的眼镜
WO2020117089A1 (ru) Система коммуникации для лиц с нарушениями слуха и зрения