RU2679866C1 - Визуально-звуковая система для слепых и слабовидящих людей - Google Patents
Визуально-звуковая система для слепых и слабовидящих людей Download PDFInfo
- Publication number
- RU2679866C1 RU2679866C1 RU2018130877A RU2018130877A RU2679866C1 RU 2679866 C1 RU2679866 C1 RU 2679866C1 RU 2018130877 A RU2018130877 A RU 2018130877A RU 2018130877 A RU2018130877 A RU 2018130877A RU 2679866 C1 RU2679866 C1 RU 2679866C1
- Authority
- RU
- Russia
- Prior art keywords
- visual
- blind
- information
- processor
- visually impaired
- Prior art date
Links
- 239000011521 glass Substances 0.000 claims abstract description 30
- 230000001771 impaired effect Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000007261 regionalization Effects 0.000 claims 1
- 230000005236 sound signal Effects 0.000 abstract description 7
- 230000001133 acceleration Effects 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Surgery (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение. Визуально-звуковая система для слепых и слабовидящих людей, содержащая очки, включающие камеру, GPS/Глонасс-приемник и головной подсказчик с по меньшей мере одним наушником, соединенные с процессором, отличающийся тем, что содержит датчик для измерения частоты сердечных сокращений, соединенный с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений. Изобретение обеспечивает повышение безопасности передвижения, облегчение ориентации слепого или слабовидящего пользователя в пространстве, ускорение и упрощение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировке скорости вывода звуковой информации. 9 з.п. ф-лы, 3 ил., 1 пр.
Description
Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение.
Так, из уровня техники известно мобильное устройство для ориентации в пространстве, включающее очки с видеокамерами, микронаушники, блок питания и вычислительный блок, при этом видеокамеры расположены в поле зрения пользователя и соединены со входом составного вычислительного блока, с помощью которого выполняют расчет карты глубины и определяют расстояние до всех точек на видеоизображении, и преобразователя, выводы которого соединены со входами микронаушников (патент РФ 132721, A61F 9/08, опубликованный 27.09.2013).
Наиболее близким аналогом патентуемого решения является навигационные очки для слепых, обеспечивающие зондирование изображения, навигацию, позиционирование и ведение по маршруту и включающие корпус, встроенную батарею, камеры встроенные в линзы очков, инфракрасный датчик, GPS-приемник, Bluetooth, наушники и голосовой подсказчик, соединенные с информационным процессором (патент Китая 103720576, А61Н 3/06, опубликованный 16.04.2014).
Недостатками известных решений являются длительное и сложное привыкание к механизму работы устройств, трудность ориентации при их использовании из-за ограниченности поступающей к пользователю информации, а также не достаточная безопасность передвижения пользователя.
Техническая проблема, решаемая изобретением, заключается в разработке визуально-звуковой системы для слепых и слабовидящих людей, которая преобразует поток визуальной информации в звуковую для облегчения ориентации пользователей в пространстве, ускорении процесса привыкания и обучения по использованию заявленной системы, а также повышению безопасности передвижения слепого и слабовидящего пользователя.
Техническим результатом патентуемого решения является повышение безопасности передвижения, облегчение ориентации слепого или слабовидящего пользователя в пространстве, ускорение и упрощение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировки скорости вывода звуковой информации.
Указанный технический результат достигается за счет использования визуально-звуковой системы для слепых и слабовидящих людей, содержащей очки, включающие камеру, GPS/Глонасс-приемник, наушник и датчик для измерения частоты сердечных сокращений, соединенные с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений.
Благодаря использованию визуально-звуковой системы для слепых и слабовидящих людей, содержащей очки, включающие по меньшей мере одну камеру, GPS/Глонасс-приемник, головной подсказчик с по меньшей мере одним наушником и по меньшей мере один датчик для измерения частоты сердечных сокращений, соединенные с процессором, соединенный с процессором, где процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камер в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений (данных, полученных от по меньшей мере с одного датчика измерения частоты сердечных сокращений), обеспечивается повышение безопасности передвижения, облегчение ориентации слепого и слабовидящего пользователя в пространстве и ускорение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировки скорости вывода звуковой информации на наушник в зависимости от скорости пользователя в тот или иной момент воспринимать информацию с наушника, которая определяется исходя из данных, полученных с датчика для измерения частоты сердечных сокращений.
Общеизвестно, что при стрессе у человека повышается частота сердечных сокращений, что негативно сказывается как на здоровье, так и на процессе обучения. Стресс (повышение частоты сердечных сокращений) при использовании заявленной визуально-звуковой системы может быть вызван дискомфортом при первичных использованиях визуально-звуковой системы в период адаптации и привыкания к ее работе, в результате чего пользовать не в полной мере может воспринимать поступающие на наушник звуковые сигналы и начинать сильнее волноваться. Для того чтобы пользователь успевал воспринимать всю полученную информацию в заявленной системе предусмотрена возможность измерения частоты сердечных сокращений и корректировки в зависимости от частоты сердечных сокращений скорости сканирования камерой и скорости передачи звуковых данных на наушник.
Применение камеры и наушников, связанных с процессором с программным обеспечением, работающим на основе нейросетей и машинного обучения, благодаря нейропластичности мозга пользователи обеспечивает пользователю с инвалидностью по зрению «звуковое» зрение, он может получать объемную картину окружающего мира, также применение нейросетей позволяет при помощи камеры распознавать широкий перечень окружающих объектов, лица знакомых людей, дорожные знаки, деревья, предметы мебели и другие препятствия.
Кроме того, благодаря GPS/Глонасс-приемнику и камеры, соединенных с процессором, заявленная система позволяет отслеживать местоположение пользователя, прокладывать маршрут и направлять движение пользователя, информируя его через наушник.
В частности, датчик измерения частоты сердечных сокращений выполнен в виде датчика фотоплетизмограммы и размещен в душке очков, что позволяет точнее измерять показания частоты сердечных сокращений, уровень ритма дыхания.
В частности, очки снабжены кнопкой изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник, что позволяет пользователю самостоятельно регулировать скорость поступления звуковой информации, например, в случаях, когда увеличение частоты сердечных сокращений не связано с дискомфортом пользователя, связанного с использованием заявленной системы.
В частности, очки дополнительно могут быть оборудованы датчиками измерения температуры тела, что позволит процессору точнее определять способность пользователя воспринимать информацию (уровень стресса и дискомфорта пользователя), датчик для измерения температуры окружающей среды, который позволяет повысить безопасность передвижения пользователя, поскольку, например, внешний вид дерева летом и зимой принципиально отличаются, а температура окружающей среды позволяет привязывать получаемые изображения к времени года, тем самым улучшая алгоритм распознавания посредством нейросетей, увеличивая обучаемость системы и более точное и быстрое распознавание объектов, а также ультразвуковые и лазерные датчики для определения местоположения и инфракрасные акселерометры для.
В частности, камеры выполнены широкоугольными и расположены симметричные относительно центра очков, что позволяет захватывать большую область для сканирования и принимать больше информации из окружающего мира.
В частности, в качестве наушника использован костный наушник, что позволяет пользователю одновременно слышать звуки из окружающего мира и из заявленной системы ничем не пренебрегая и ограничиваясь. Наушники могут быть размещены в обеих дужках очков.
В частности, процессор с библиотекой символов, выполнен с возможностью машинного обучения, что позволяет системе постоянно расширять библиотеку символов, совершенствовать алгоритм распознавания на протяжении всего срока работы системы.
В частности, процессор выполнен с возможностью распознавания текста с камер и передачи на наушники, а очки снабжены кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели и других препятствий в порядке их размещения перед пользователем слева направо, что дополнительно повышает безопасность перемещения пользователя в пространстве и ускоряет обучение, а также с «качающиеся» кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, что дополнительно повышает безопасность ориентации в пространстве пользователя.
В частности, очки снабжены инфракрасным датчиком, выполненным с возможностью работы в импульсный режим в условиях низкой освещенности и автоматической активации, что дополнительно повышает безопасность передвижения пользователя в пространстве.
В частности, система выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth, соединительного кабеля.
В частности, система содержит браслет с динамическими ячейками для передачи информации в виде букв и цифр, соединенный с процессором, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.
Далее решение в частном случае реализации поясняется ссылками на фигуры, на которых приведено следующее.
Фиг. 1 - общий вид визуально-звуковой системы для слабовидящих людей.
Фиг. 2 - блок схема визуально-звуковой системы для слабовидящих людей.
Фиг. 3 - зависимость изменения частоты сканирования от величины сердечных сокращений.
Согласно фигурам в частном случае реализации визуально-звуковая система для слепых и слабовидящих людей содержит очки с камерами 1 между линзами 9, в широких дужках 12 очков размещен процессор 2 (компьютерная плата, блок обработки) и блок питания 3 (далее аккумулятор), на конце одной или обеих дужек 12 - костные наушники или аудиовыходы для соединения с наушниками 4. Процессор 2 соединен с камерами 1, аккумулятором 3 и наушниками 4. На корпусе очков также расположены инфракрасный датчик 7, GPS- и/или Глонасс-приемник 8, wi-fi и Bluetooth 11, датчик для измерения частоты сердечных сокращений 5, соединенные с процессором 2 и датчик для измерения температуры тела 15.
В качестве датчика измерения частоты сердечных сокращений 5, который расположен в душке очков и входит в контакт с кожей при надевании очков, может быть использован датчик фотоплетизмограммы, который регистрирует кровяной поток с использованием источника инфракрасного или светового излучения.
Процессор 2 выполнен с программным обеспечением 13 на основе нейросетей и возможностью преобразования информации с камер 1 в звуковые сигналы с разными тонами - трансформации видео изображения в аудио ряд для передачи их в наушники 4, формирования объемной картины окружающего мира, определения местоположения, GPS-навигации, прокладывания маршрутов голосовыми сообщениями, определения предметов согласно данным библиотеки символов, хранимой в блоке памяти 6, распознавания текста с камер 1 и передачи на наушник 4, а также изменения скорости передачи преобразованной информации с камеры 1 в звуковую информацию на наушник 4 в зависимости от данных, полученных от датчика измерения частоты сердечных сокращений 5. Процессор 2 с библиотекой символов также выполнен с возможностью машинного обучения. Машинное обучение - это применение искусственного интеллекта (AI), который предоставляет системам возможность автоматически учиться и самоулучшаться из опыта, не будучи явно запрограммированным.
Библиотека символов представляет собой базу данных изображений с заранее известным названием. То есть, как пример, это 1000 фотографий различных деревьев с подписью, что это дерево. Искусственный интеллект по заранее описанному алгоритму самостоятельно находит общее среди всех фотографий и затем предсказывает появление, например, дерева, на основе библиотеки.
Линзы 9 могут представлять собой затемненные муляжи для того, чтобы слепой/слабовидящий пользователь не выделялся в общественных местах.
В частности, очки снабжены кнопкой изменения скорости сканирования/скорости передачи преобразованной информации с камеры 1 в звуковую информацию на наушник 4.
Камеры 1 выполнены широкоугольными и симметрично расположены относительно центра очков.
Очки снабжены кнопками 10: кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели и других препятствий в порядке их размещения перед пользователем слева направо, а также кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, что дополнительно повышает безопасность ориентации в пространстве пользователя.
Инфракрасный датчик 7 выполнен с возможностью работы в импульсном режиме в условиях низкой освещенности и автоматической активации.
Система выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth 11, соединительного кабеля.
Система может содержать браслет 14 для надевания на руку слабовидящему человеку с динамическими ячейками для передачи информации в виде букв и цифр, используя шрифт Брайля, соединенный с процессором посредством технологии Bluetooth или иных беспроводных протоколов. Шрифт Брайля является дублирующим источником помимо основного звукового канала (костных динамиков) расположенных в системе. Используя визуально-звуковую систему, пользователь имеет возможность конвертации текстовой информации (таблички, вывески, газеты и т.д.) не только в аудио-звуковой формат, но и в тактильный, более привычный слабовидящим людям на ранних этапах обучения, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.
Для хранения параметров используемого программного обеспечения, обновления прикладного программного обеспечения системы - допустимо использование облачного хранилища, выполненного на базе платформы Microsoft AZURE. Обновление и получение новых параметров производится в автоматическом режиме.
В частном случае визуально-звуковая система работает следующим образом: пользователь надевает очки включает систему, камеры 1 начинают с частотой один раз в секунду передавать изображение на процессор 2. Процессор 2 обрабатывает картинку и присваивает каждой точке картинки звук определенной громкости и тональности. Черный цвет имеет нулевую громкость. С повышением яркости увеличивается громкость и тональность звука. Самую высокую тональность имеет белый цвет.
Преобразования изображения в звук осуществляется согласно следующим принципам.
1. Лево и право.
Изображения сканируются и озвучиваются по направлению слева направо. По умолчанию скорость озвучивания одного изображения равна одному снимку в секунду. Стерео-звук, который вы слышите, соответственно, прокручивается слева направо, что облегчает отслеживание направления сканирования изображения. Таким образом, возникший слева или справа от вас звук свидетельствует о наличии зрительного образа, расположенного, соответственно, в левой или правой стороне.
2. Верх и низ.
Возникающий при каждом сканировании тон обозначает высоту: чем выше тон, тем выше положение объекта в поле зрения. Следовательно, в зависимости от того, повышается или понижается тон звукового ландшафта, можно судить о том, восходящий, или, соответственно, нисходящий зрительный образ располагается перед вами.
3. Тень и свет.
Громкость обозначает яркость: чем громче звук, тем ярче (светлее) изображаемый предмет. Следовательно, тишина соответствует черному цвету, громкий звук - белому, а все, что между ними - есть оттенки серого цвета.)
В результате обработки через наушники 4 пользователя, передается объемный звук, который мозг пользователя благодаря своей нейропластичности со временем начинает воспринимать не как звук, а как картинку окружающего мира (контрастная линия, которая идет вверх, передается нарастающим звуковым сигналом, а та, что идет вниз - с понижающим тоном). Заявленная система с помощью датчика измерения частоты сердечных сокращений 5 отслеживает уровень дискомфорта (стресса), который возникает у пользователей при обучении и на начальных этапах использования очков. Данный дискомфорт в основном связан с тем, что пользователь не успевает воспринимать новую для него информацию. Процессор 2, отслеживая показания датчика измерения частоты сердечных сокращений 5, пропорционально изменяет скорость сканирования камерой 1 картинки окружающего мира и передачи переработанной в звук информации на наушники 4, тем самым давая пользователю больше времени на усвоение информации. Как только процессор 2 фиксирует стабилизацию частоты сердечных сокращений, он постепенно увеличивает скорость передачи переработанной в звук информации с камер 1. На фигуре 3 приведена зависимость изменения частоты сканирования от величины сердечных сокращений. Нормой для человека является 60-80 сокращений в минуту, этим значениям соответствует максимальная скорость сканирования.
В случае если пользователь нервничает не по причине неспособности быстро воспринимать звуковую информацию он использует кнопку изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник 4.
Также в блок памяти 6, который хранит базу данных, процессора 2 записывается библиотека символов: деревья, скамейки, светофоры, знаки дорожного движения, лица знакомых людей и прочее. Если пользователю в ходе передвижения требуется дополнительная информация об окружающей обстановке, он нажимает кнопку на очках и получает перечисление окружающих его предметов в порядке их размещения перед пользователем слева направо. Данная возможность обеспечивается благодаря снабжению процессора 2 библиотекой символов и программным обеспечением на основе нейросетей.
Также на очках имеется навигационная кнопка, при нажатии на которую пользователь получает аудио информацию о месте своего положения и направлении движения. Данная возможность обеспечивается благодаря GPS-и/или Глонасс приемнику 8, связанному с процессором 2. Для чтения текстовой информации: вывесок, указателей, газет, названия улиц пользователь может конвертировать текст не только в аудио-звуковой формат, но и в тактильный, более привычный слабовидящим людям на ранних этапах обучения.
Пример
Пользователями заявленной системой являются слабовидящие и слепые люди. Пользователь надевает очки, датчики, расположенные на дужках плотно прилегают к коже пользователя, измеряют частоту сердечных сокращений и передают в процессор. Начальная скорость (частота) сканирования камерой 1 изображения кадр в секунду (на основе личных ощущений данная скорость является оптимальной). Если пользователь не успевает воспринимать информацию в виде звуковых сигналов, поступающую на наушники, он начинает нервничать, возрастает частота сердечных сокращений. Эти данные фиксируется датчиком и передаются на процессор. Процессор сравнивает поступившие показатели с нормальным значением частоты сердечных сокращений и пропорционально повышению частоты сердечных сокращений уменьшает скорость сканирования и соответственно скорость передачи звуковой информации на наушники. Как видно из фиг. 3 при частоте сердечных сокращений 100-120 ударов в минуту скорость сканирования составляет 0,4 кадра в секунду. Все пользователи отмечали улучшение и облегчение привыкания к работе визуально-звуковой системы. Период адаптации снизился на 50% по сравнению с визуально-звуковой системы, выполненной без возможности изменения скорости сканирования в зависимости от частоты сердечных сокращений.
Таким образом, заявленное изобретение повышает безопасность передвижения, облегчает ориентацию слепого или слабовидящего пользователя в пространстве и ускоряет процесс обучения, за счет увеличения объема воспринимаемой информации путем совместного и согласованного воздействия звуком и вибрацией на пользователя и для возможности чтения текста, например на указателях.
Claims (10)
1. Визуально-звуковая система для слепых и слабовидящих людей, содержащая очки, включающие камеру, GPS/Глонасс-приемник и головной подсказчик с по меньшей мере одним наушником, соединенные с процессором, отличающийся тем, что содержит датчик для измерения частоты сердечных сокращений, соединенный с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений.
2. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что датчик измерения частоты сердечных сокращений выполнен в виде датчика фотоплетизмограммы и размещен в душке очков.
3. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что содержит датчик измерения температуры тела, окружающей среды, ультразвуковые и лазерные датчики для определения местоположения и инфракрасные акселерометры.
4. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что сдержит две широкоугольные камеры, расположенные симметрично относительно центра очков.
5. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что в качестве наушника использован костный наушник, размещенный в дужке или в каждой дужке очков.
6. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что процессор с библиотекой символов выполнен с возможностью машинного обучения.
7. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что процессор выполнен с возможностью распознавания текста с камер и передачи на наушники, а очки снабжены кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели в порядке их размещения перед пользователем слева направо, кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, и кнопкой изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник.
8. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что очки снабжены инфракрасным датчиком, выполненным с возможностью работы в импульсный режим в условиях низкой освещенности и автоматической активации.
9. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth, соединительного кабеля.
10. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что содержит браслет с динамическими ячейками для передачи информации в виде букв и цифр, соединенный с процессором, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018130877A RU2679866C1 (ru) | 2018-08-27 | 2018-08-27 | Визуально-звуковая система для слепых и слабовидящих людей |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018130877A RU2679866C1 (ru) | 2018-08-27 | 2018-08-27 | Визуально-звуковая система для слепых и слабовидящих людей |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2679866C1 true RU2679866C1 (ru) | 2019-02-13 |
Family
ID=65442588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018130877A RU2679866C1 (ru) | 2018-08-27 | 2018-08-27 | Визуально-звуковая система для слепых и слабовидящих людей |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2679866C1 (ru) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070109491A1 (en) * | 2003-10-09 | 2007-05-17 | Howell Thomas A | Eyeglasses with a heart rate monitor |
| RU2490694C2 (ru) * | 2008-06-30 | 2013-08-20 | Универсидаде Ду Порту | Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями |
| RU2616540C2 (ru) * | 2013-02-25 | 2017-04-17 | Сони Корпорейшн | Способ и система для контроля биометрических данных |
| RU2640777C2 (ru) * | 2016-04-28 | 2018-01-11 | Самсунг Электроникс Ко., Лтд. | Автономное носимое оптическое устройство и способ для непрерывного неинвазивного измерения физиологических параметров человека |
-
2018
- 2018-08-27 RU RU2018130877A patent/RU2679866C1/ru active IP Right Revival
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070109491A1 (en) * | 2003-10-09 | 2007-05-17 | Howell Thomas A | Eyeglasses with a heart rate monitor |
| RU2490694C2 (ru) * | 2008-06-30 | 2013-08-20 | Универсидаде Ду Порту | Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями |
| RU2616540C2 (ru) * | 2013-02-25 | 2017-04-17 | Сони Корпорейшн | Способ и система для контроля биометрических данных |
| RU2640777C2 (ru) * | 2016-04-28 | 2018-01-11 | Самсунг Электроникс Ко., Лтд. | Автономное носимое оптическое устройство и способ для непрерывного неинвазивного измерения физиологических параметров человека |
Non-Patent Citations (3)
| Title |
|---|
| DUNAI L. et al., Sensory Navigation Device for Blind People, The journal of navigation (2013), 66, 349-362. * |
| ESRA ALI HASSAN et al. Smart Glasses for the Visually Impaired People, Springer International Publishing Switzerland, 2016, pp. 579-582. * |
| ЕРШОВ С.О. Системы технического зрения с невизуальным представлением пространственной информации, Электронные и электромагнитные Устройства, ИЗВ. ВУЗОВ. Приборостроение. 2008. Т. 51, N1, сс. 42-47. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11579837B2 (en) | Audio profile for personalized audio enhancement | |
| US9436887B2 (en) | Apparatus and method for automatic action selection based on image context | |
| US10571715B2 (en) | Adaptive visual assistive device | |
| KR20090105531A (ko) | 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치 | |
| KR101885473B1 (ko) | 시각 장애인 보조용 스마트 글래스 | |
| KR20090036183A (ko) | 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치 | |
| US10798515B2 (en) | Compensating for effects of headset on head related transfer functions | |
| KR101728707B1 (ko) | 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램 | |
| Hoang et al. | Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect | |
| US20240251121A1 (en) | Focus group apparatus and system | |
| JP6500139B1 (ja) | 視覚支援装置 | |
| Vítek et al. | New possibilities for blind people navigation | |
| RU2679866C1 (ru) | Визуально-звуковая система для слепых и слабовидящих людей | |
| US20180197564A1 (en) | Information processing apparatus, information processing method, and program | |
| KR101455830B1 (ko) | 안경 및 그 제어방법 | |
| Richardson et al. | Sensory substitution and the design of an artificial ear | |
| EP3882894B1 (en) | Seeing aid for a visually impaired individual | |
| KR20160025203A (ko) | 글라스형 웨어러블 디바이스를 이용한 당구코칭 시스템 및 방법 | |
| KR20160016149A (ko) | 글라스형 웨어러블 디바이스를 이용한 졸음방지시스템 및 졸음방지방법 | |
| EP4432053A1 (en) | Modifying a sound in a user environment in response to determining a shift in user attention | |
| Gebelein et al. | A Hearing Aid to Visualize the Direction of Sound | |
| Kubanek et al. | System of acoustic assistance in spatial orientation for the blind | |
| Brabyn et al. | Technology for sensory impairments (vision and hearing) | |
| US20240340603A1 (en) | Visualization and Customization of Sound Space | |
| CN118782029A (zh) | 使用音频空间化进行翻译 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200828 |
|
| NF4A | Reinstatement of patent |
Effective date: 20210803 |