RU198852U1 - PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE - Google Patents
PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE Download PDFInfo
- Publication number
- RU198852U1 RU198852U1 RU2020112614U RU2020112614U RU198852U1 RU 198852 U1 RU198852 U1 RU 198852U1 RU 2020112614 U RU2020112614 U RU 2020112614U RU 2020112614 U RU2020112614 U RU 2020112614U RU 198852 U1 RU198852 U1 RU 198852U1
- Authority
- RU
- Russia
- Prior art keywords
- ppu
- module
- board
- information
- portable device
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Rehabilitation Tools (AREA)
Abstract
Полезная модель относится к области тифлотехнических средств и может быть использована слабовидящими, слепыми и слепоглухими людьми в целях компенсации нарушения зрительных функций, способствуя активному приспособлению человека к окружающей среде. Технический результат заключается в повышении степени адаптации пользователей к окружающей среде. Устройство содержит компактный корпус с платой управления, одноплатным компьютером, видеокамерами и дальномером. 2 з.п. ф-лы, 5 ил.The utility model relates to the field of typhlotechnical means and can be used by visually impaired, blind and deaf-blind people in order to compensate for impaired visual functions, contributing to the active adaptation of a person to the environment. The technical result consists in increasing the degree of user adaptation to the environment. The device contains a compact case with a control board, a single-board computer, video cameras and a rangefinder. 2 wp f-ly, 5 dwg
Description
Область техникиTechnology area
Полезная модель относится к области тифлотехнических средств и может быть использована слабовидящими, слепыми и слепоглухими людьми в целях компенсации нарушения зрительных функций, способствуя активному приспособлению человека к окружающей среде.The utility model relates to the field of typhlotechnical means and can be used by visually impaired, blind and deaf-blind people in order to compensate for impaired visual functions, contributing to the active adaptation of a person to the environment.
Уровень техникиState of the art
Известна трость-сканер для людей с ограниченными возможностями по зрению, позволяющая информировать пользователя о наличии и расстоянии до препятствий по пути их следования, как на улице, так и внутри помещений (см. RU 141620 U1, опубл. 10.06.2014 г., A61F 9/08). Известное устройство представляет собой тактильную трость, в стержне и рукоятке которой смонтированы управляемый посредством клавиатуры электронный блок обработки информации, получающий энергию от встроенного в трость модуля питания и содержащий энергонезависимую память для хранения оцифрованных аудиосообщений, подключенную по цифровой шине к микропроцессору, к которому также подключены через модуль согласования три ультразвуковых приемоизлучателя, смонтированных на трости таким образом, что проекция телесных углов их зон эхолокации образует на вертикальной плоскости, перпендикулярной направлению движения пользователя, удерживающего в руке трость-сканер, суммарную рабочую зону, форма и размеры которой позволяют определять наличие находящихся перед тростью-сканером объектов по высоте и ширине ростовой фигуры человека и их удаление с возможностью оповещения о них через устройство вывода информации.Known cane-scanner for people with visual impairments, which allows you to inform the user about the presence and distance to obstacles along their path, both outdoors and indoors (see RU 141620 U1, publ. 06/10/2014, A61F 9/08). The known device is a tactile cane, in the rod and handle of which an electronic information processing unit controlled by the keyboard is mounted, which receives energy from the power module built into the cane and contains a non-volatile memory for storing digitized audio messages, connected via a digital bus to a microprocessor, to which they are also connected via the matching module three ultrasonic transceivers mounted on the cane in such a way that the projection of the solid angles of their echolocation zones forms on a vertical plane perpendicular to the direction of movement of the user holding the scanner cane in his hand, the total working area, the shape and dimensions of which make it possible to determine the presence of those in front of the cane - a scanner of objects by the height and width of a person's full-length figure and their removal with the ability to notify about them through the information output device.
Трость-сканер уведомляет пользователя о препятствиях, расположенных на различных по высоте уровнях в пределах человеческого роста в автоматическом режиме. К недостаткам указанного известного средства следует отнести функциональную ограниченность устройства.The scanner cane automatically notifies the user of obstacles located at different heights within the human height. The disadvantages of this known means include the functional limitations of the device.
Также известна электронная трость для слепых с обратной связью по движению (CN 108670741, опубл. 19.10.2018 г.), состоящая из модуля измерения расстояния, модуля интервального движения, блока управления устройством, аккумулятора. Дополнительно трость может быть снабжена чувствительным блоком для обеспечения лучшей тактильной обратной связи. Модуль интервального движения считывает линейное или вращательное движение при прохождении определенного расстояния и имеет сервопривод, определенный диапазон движения и снабжен устройством позиционирования. К недостаткам известного решения также можно отнести его функциональную ограниченность, поскольку оно не позволяет предоставить пользователю идентифицирующие сведения об обнаруженном объекте.Also known is an electronic cane for the blind with motion feedback (CN 108670741, published on October 19, 2018), consisting of a distance measurement module, an interval motion module, a device control unit, and a battery. Additionally, the reed can be equipped with a sensing unit to provide better tactile feedback. The interval motion module reads linear or rotary motion as it travels a certain distance and has a servo drive, a defined range of motion and is equipped with a positioning device. The disadvantages of the known solution can also be attributed to its functional limitations, since it does not allow providing the user with identifying information about the detected object.
Настоящая полезная модель направлена на преодоление указанных недостатков уровня техники и решение технической задачи, заключающейся в расширении функциональных возможностей портативного устройства для пользователей, имеющих проблемы со зрением.The present invention is aimed at overcoming the indicated drawbacks of the prior art and solving the technical problem of expanding the functionality of the portable device for users with vision problems.
Раскрытие полезной моделиDisclosure of a utility model
Как будет показано далее, предложенная полезная модель при ее использовании позволяет обеспечить достижение технического результата, заключающегося в повышении степени адаптации пользователей к окружающей среде. Данный технический результат является следствием реализации в устройстве новых функций, не представленных ранее в уровне техники, а также следствием усовершенствования реализованного в устройстве процесса информирования пользователя о результатах, полученных в процессе взаимодействия включенных в состав устройства технических средств.As will be shown below, the proposed utility model, when used, makes it possible to achieve a technical result, which consists in increasing the degree of user adaptation to the environment. This technical result is a consequence of the implementation in the device of new functions that were not previously presented in the prior art, as well as a consequence of the improvement of the process implemented in the device for informing the user about the results obtained during the interaction of the technical means included in the device.
Так, за счет существенных признаков формулы, посредством которых реализованы распознавание объектов, а также информирование пользователя о таких объектах (в частности, посредством звукового оповещения и/или текстом на дисплее с использованием рельефно-точечного шрифта Брайля), предложенное устройство может быть использовано не только слепыми, но и слепо-глухими пользователями, что способствует повышению их адаптации к социальной жизни в обществе, вследствие получения более детализированной и полной информации об окружающей среде.So, due to the essential features of the formula, through which the recognition of objects is realized, as well as informing the user about such objects (in particular, by means of sound notification and / or text on the display using a raised-point braille font), the proposed device can be used not only blind, but also blind-deaf users, which contributes to their adaptation to social life in society, due to the receipt of more detailed and complete information about the environment.
Соответственно, для достижения указанного технического результата предлагается Портативное устройство захвата и распознавания зрительных образов, представляющее собой заключенные и зафиксированные в оснащенном радиатором едином корпусе: плату питания и управления на основе микроконтроллера (ППУ), связанную с одноплатным компьютером (ОК), связанные с ППУ вибромотор и, по меньшей мере, один источник питания, а также размещенные во фронтальной части корпуса и связанные с ППУ: две видеокамеры, ультразвуковой или лазерный дальномер, микрофон и источник света; расположенные в верхней части корпуса и связанные с ППУ элементы управления и индикации, причем ППУ снабжена контроллером заряда, связанным с зарядным разъемом, расположенной на корпусе кнопкой включения/выключения устройства и, по меньшей мере, одним источником питания и выполнена с возможностью командно-телеметрического обмена данными с ОК, а ОК снабжен аудио-, WiFi- и Bluetooth-интерфейсами, предназначенными для вывода информации на внешние устройства, интерфейсом для подключения носителя информации и сконфигурирован для выполнения программных модулей: модуля обмена информацией с ППУ, модуля детектирования объектов и вычисления расстояния, модуля распознавания объектов и вывода результатов распознавания и модуля коммуникации с внешними устройствами, при этом, по меньшей мере, одна плата из ППУ и ОК снабжена разъемом USB.Accordingly, to achieve the specified technical result, a Portable device for capturing and recognizing visual images is proposed, which is enclosed and fixed in a single housing equipped with a radiator: a power and control board based on a microcontroller (PPU) connected to a single-board computer (OC), associated with a PPU vibration motor and at least one power source, as well as located in the front part of the housing and associated with the PPU: two video cameras, an ultrasonic or laser range finder, a microphone and a light source; control and indication elements located in the upper part of the body and connected with the PPU, and the PPU is equipped with a charge controller connected to the charging connector, an on / off button of the device located on the case and at least one power source and is made with the possibility of command-telemetric exchange data from OK, and OK is equipped with audio, WiFi and Bluetooth interfaces designed to output information to external devices, an interface for connecting an information carrier and is configured to execute program modules: a module for exchanging information with a PPU, a module for detecting objects and calculating a distance, a module for recognizing objects and outputting recognition results; and a module for communicating with external devices, while at least one board from the PPU and OK is equipped with a USB connector.
Данный вариант осуществления представлен в качестве предпочтительного варианта полезной модели. Далее в описании также представлены варианты, предназначенные для развития или уточнения сущности полезной модели, но при этом не преследующие целей замены или исключения существенных признаков. Некоторые из таких вариантов находят свое отражение в виде признаков зависимых пунктов формулы.This embodiment is presented as a preferred embodiment of the utility model. Further in the description, variants are also presented that are intended to develop or clarify the essence of the utility model, but at the same time do not pursue the goal of replacing or excluding essential features. Some of these options are reflected in the form of signs of dependent claims.
Осуществление полезной моделиImplementation of the utility model
В данном разделе описания представлены более подробные сведения, показывающие причинно-следственную связь между существенными признаками полезной модели и указанным выше техническим результатом, а также подтверждающие возможность ее осуществления на основании известных из уровня техники средств и методов.This section of the description provides more detailed information showing the causal relationship between the essential features of the utility model and the above technical result, as well as confirming the possibility of its implementation on the basis of means and methods known from the prior art.
Современное развитие электронной элементной базы позволяет реализовывать совместное осуществление множества функций в устройствах компактного форм-фактора. Так, в уровне техники нашли свое широкое применение так называемые одноплатные компьютеры, например, одноплатные компьютеры «Raspberry Pi» производителя Raspberry Pi Foundation. Данные устройства имеют сравнительно миниатюрные габариты и используются в различных областях, включающих как развлечения (например, отображение сетевого контента), так и области телеметрии, технологии «Умный дом», робототехники. Таким образом, одним из мотивов создания предложенной полезной модели явилась стремление к разработке компактного устройства, которое может быть использовано лицом с ограниченными возможностями.The modern development of the electronic element base makes it possible to implement the joint implementation of many functions in devices of a compact form factor. So, in the prior art, so-called single-board computers have found their widespread use, for example, single-board computers "Raspberry Pi" from the Raspberry Pi Foundation. These devices have relatively miniature dimensions and are used in various fields, including entertainment (for example, displaying network content), and telemetry, Smart Home technology, and robotics. Thus, one of the motives for creating the proposed utility model was the desire to develop a compact device that can be used by a person with disabilities.
По существу, одноплатный компьютер представляет собой базовый модуль, оснащенный необходимыми в современных условиях интерфейсами связи с внешними устройствами, а также возможностью программирования определенных функций. В рамках данной заявки не предполагается подробное раскрытие структурной и функциональной схем одноплатного компьютера, поскольку предполагается известность его выполнения из уровня техники для специалиста.In essence, a single-board computer is a basic module equipped with the necessary in modern conditions interfaces for communication with external devices, as well as the ability to program certain functions. Within the framework of this application, a detailed disclosure of the structural and functional diagrams of a single-board computer is not intended, since it is assumed that its execution from the prior art is known to a specialist.
В то же время следует отметить, что само по себе наличие одноплатного компьютера не позволяет обеспечить предполагаемые разработчиком функции. Для этого необходимо совместное применение одноплатного компьютера и выбранных специализированных в зависимости от поставленной задачи средств, загрузки программных модулей, предназначенных для взаимодействия таких средств, обработки информации, полученной в результате их функционирования, а также выдачи информации потребителю по результатам такой обработки.At the same time, it should be noted that the presence of a single-board computer in itself does not allow providing the functions intended by the developer. This requires the combined use of a single-board computer and selected specialized tools depending on the task at hand, loading software modules intended for the interaction of such tools, processing information obtained as a result of their operation, and also issuing information to the consumer based on the results of such processing.
В рамках данной заявки указанная задача решена благодаря совмещению в компактном корпусе одноплатного компьютера и указанных далее специализированных средств, а также обеспечению взаимодействия таких средств.Within the framework of this application, the specified problem is solved by combining a single-board computer and the following specialized tools in a compact case, as well as ensuring the interaction of such tools.
Для более полного понимания сущности полезной модели в состав материалов заявки включены поясняющие чертежи, краткое описание которых приводится ниже.For a more complete understanding of the essence of the utility model, the application materials include explanatory drawings, a brief description of which is given below.
Фиг. 1 - общий вид устройства в сборе.FIG. 1 is a general view of the assembled device.
Фиг. 2 - общий вид устройства сверху.FIG. 2 is a general view of the device from above.
Фиг. 3 - схема взаимодействия плат и модулей.FIG. 3 is a diagram of the interaction of boards and modules.
Фиг. 4 - взрыв-схема состава устройства.FIG. 4 is an explosion diagram of the composition of the device.
Фиг. 5 - вид размещения индикаторов и кнопок модуля захвата и распознавания зрительных образов.FIG. 5 is a view of the arrangement of indicators and buttons of the module for capturing and recognizing visual images.
Как показано на Фиг. 1-2 предложенное устройство внешне представляет собой компактный корпус, который может удерживаться одной рукой. Для дополнительного удобства корпус оснащается клипсами для крепления ремешка, как это обычно выполняется в портативных видеокамерах.As shown in FIG. 1-2, the proposed device looks like a compact body, which can be held with one hand. For added convenience, the body is equipped with strap clips, as is usually done in portable video cameras.
Согласно Фиг. 3 предложенное решение содержит плату питания и управления (ППУ) 1 на основе микроконтроллера (3), а также соединенный с ППУ 1 одноплатный компьютер (ОК) 2. В качестве одноплатного компьютера, по совокупности технической оснащенности, целесообразно использовать компьютеры Raspberry Pi, в частности, поскольку последние версии данных компьютеров оснащаются встроенными модулями WiFi и Bluetooth.Referring to FIG. 3, the proposed solution contains a power and control board (PPU) 1 based on a microcontroller (3), as well as a single-board computer (OC) connected to the
К ППУ 1 подсоединены ультразвуковой или лазерный дальномер 6, микрофон 7, также соединенный с ОК 2 через плату аудиозахвата 9. Органы управления 11.1 и индикации 11.2 (кнопки и светодиодные индикаторы соответственно) в варианте осуществления размещены на плате 11, соединенной с ППУ 1. Устройство также оснащено вибромотором 12 и источником света (предпочтительно на базе светодиодов), кнопкой включения/выключения 14 и источником питания 15. В качестве источника питания может быть использован один или несколько аккумуляторов. При использовании нескольких аккумулятором в ППУ может быть дополнительно включена плата балансировки, связанная с аккумуляторами. С фронтальной стороны корпуса в устройство установлены видеокамеры 4 и 5. Видеокамеры соединены через подсистему коммутации камер с ОК 2. Подсистема коммутации может быть выполнена в виде отдельной расположенной в корпусе платы или расположена на ППУ. Устройство содержит зарядный разъем контроллер заряда 16, связанный с кнопкой включения/выключения 14 и источником питания 15.An ultrasonic or
Конструктивные особенности предложенного устройства более наглядно представлены на Фиг. 4 (так называемая взрыв-схема), согласно которой под соответствующими позициями представлены: 1. Плата питания и управления. 2. Плата одноплатного компьютера 3. Плата кнопок и средств индикации 4. Внутренний радиатор. 5. Крышка для прокладки кнопок. 6. Прокладка для кнопок FLEX. 7. Кнопки. 8. Световоды для индикации состояния устройства. 9. Корпус. 10. Нижняя крышка. 11. Внешний радиатор (задняя крышка). 12. Ушко для крепления ремешка. 13. Защитное сапфировое стекло для камер. 14. Защитное сапфировое стекло для светодиода. 15. Плата источника света (фонарика). 16. Передняя крышка. 17. Дальномер. 18. Камеры. 19. Планка крепления камер. 20. Кнопка питания (вкл/выкл). 21. Ремешок. 22. Аккумулятор. 23. Прижим аккумулятора. 24. Карта MicroSD. 25. Вибромотор. 26. Прижим вибромотора. 27. Заглушка разъемов. 28. Микрофон.The design features of the proposed device are more clearly shown in FIG. 4 (the so-called explosion-diagram), according to which, under the corresponding positions are presented: 1. Power and control board. 2. Single-
Также предпочтительно, чтобы, по меньшей мере, одна из плат ППУ и ОК (или обе платы) была снабжена разъемом USB (USB, microUSB или Type-C) или сразу несколькими разъемами (например USB и microUSB или Type-C). Плата ППУ может быть также снабжена разъемом. Предназначенным для программирования мокроконтоллера. Разъемы USB могут использоваться, например, для подключения внутренних устройств, оснащенных USB интерфейсом или для зарядки устройства (например с помощью microUSB или Type-C). Для подключения устройств с беспроводным интерфейсом могут использоваться WiFi- и Bluetooth-интерфейсы, реализованные в составе предложенного устройства.It is also preferable that at least one of the PPU and OK boards (or both boards) be equipped with a USB connector (USB, microUSB or Type-C) or several connectors at once (for example, USB and microUSB or Type-C). The PPU board can also be equipped with a connector. Designed for programming the wet controller. USB connectors can be used, for example, to connect internal devices equipped with a USB interface or to charge the device (for example, using microUSB or Type-C). To connect devices with a wireless interface, WiFi and Bluetooth interfaces, implemented as part of the proposed device, can be used.
На Фиг. 5 представлен вариант размещения кнопок управления и средств индикации, а также их функциональное назначение под соответствующими позициями: кнопка распознавания объектов 4, кнопка увеличения громкости 6, кнопка уменьшения громкости 5, кнопка включения и выключения фонаря 7, кнопка добавления новых лиц 8, программируемая кнопка 9, кнопка дальномера 10, а также светодиоды индикации: индикация Wi-Fi подключения 1, состояние заряда аккумулятора 2, состояние подключения Bluetooth 3.FIG. 5 shows a variant of the placement of control buttons and indication means, as well as their functional purpose under the corresponding positions: object
Согласно варианту осуществления в устройстве обеспечивается двойной функционал кнопок управления, в частности:According to an embodiment, the device provides a dual functionality of the control buttons, in particular:
Кнопка распознавания объектов 4:Object recognition button 4:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку распознает найденные объекты, направление и расстояние до них;- short (less than 2 s) pressing the button recognizes found objects, direction and distance to them;
- длительное (продолжительностью более 2 с) нажатие и удерживание кнопки в нажатом положении - включение режима непрерывного распознавания объектов; отпускание кнопки - выход из режима непрерывного распознавания объектов.- long (more than 2 s) pressing and holding the button down - switching on the mode of continuous object recognition; releasing the button - exit the continuous object recognition mode.
Программируемая кнопка 9:Programmable Button 9:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку включает выбранный режим работы;- short (less than 2 s) pressing the button turns on the selected operating mode;
- длительное (продолжительностью более 2 с) нажатие на кнопку позволяет выключить выбранный режим работы.- long-term (more than 2 s) pressing the button allows you to turn off the selected operating mode.
Кнопка включения и выключения дальномера 10:Rangefinder on / off button 10:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку включает режим дальномера, в котором уровень вибрации корпуса обратно пропорционален расстоянию до препятствия;- short (less than 2 s) pressing the button turns on the rangefinder mode, in which the vibration level of the body is inversely proportional to the distance to the obstacle;
- длительное (продолжительностью более 2 с) нажатие на кнопку позволяет выключить режим поиска подключенного мобильного телефона, который позволяет найти телефон, подключенный к устройству.- long (more than 2 s) pressing the button allows you to turn off the search mode for the connected mobile phone, which allows you to find the phone connected to the device.
Устройство работает следующим образом.The device works as follows.
Плата питания и управления на основе микроконтроллера осуществляет постоянный командно-телеметрический обмен данными между присоединенными зависимыми средствами и коммутирует подключение одноплатного компьютера, тем самым регулируя их работу и осуществляя назначение устройства - автоматический захват и распознавание объектов, их идентификацию с последующим выводом данных: на дисплей мобильного телефона или на дисплей Брайля, или на аудиогарнитуру через соответствующий аудиовыход одноплатного компьютера. Устройство формирует данные так, что на дисплее Брайля данные отображаются в виде тактильного текста, который осведомляет пользователя обо всех окружающих его объектах. Кроме того, в устройстве предусмотрена функция управления самим устройством посредством подключенного дисплея Брайля. В общем случае между устройством и подключаемым устройством производится обмен данными и информацией управления.The power and control board based on the microcontroller carries out constant command-telemetric data exchange between the connected dependent means and switches the connection of the single-board computer, thereby regulating their operation and realizing the purpose of the device - automatic capture and recognition of objects, their identification with subsequent data output: to the display of the mobile phone or braille display, or an audio headset via the corresponding audio output on the single board computer. The device generates data in such a way that the data is displayed on the braille display in the form of tactile text, which informs the user about all the objects around him. In addition, the device has a function to control the device itself via a connected braille display. In general, data and control information are exchanged between the device and the connected device.
Среди зависимых плат, по порядку передачи и обработки данных можно выделить одноплатный компьютер с многоядерным процессором, плату фонарика и ультразвукового или лазерного дальномера.Among the dependent boards, according to the order of data transmission and processing, one can distinguish a single-board computer with a multi-core processor, a flashlight board and an ultrasonic or laser rangefinder.
Плата питания и управления предпочтительно подразделяется на подсистемы коммутации камер, подсистему получения и обработки данных с дальномера, подсистему захвата звука с микрофона, подсистему зарядно-разрядного устройства, поступающая информация от которых передается одноплатному компьютеру.The power and control board is preferably subdivided into switching subsystems for cameras, a subsystem for receiving and processing data from a rangefinder, a subsystem for capturing sound from a microphone, a subsystem of a charger-discharge device, the information from which is transmitted to a single-board computer.
Структурно программное обеспечение, выполняемое на одноплатном компьютере, имеет модульную конструкцию и состоит из нескольких программных модулей: головной управляющий модуль контроля обмена с платой питания и управления; модуль детектирования объектов и вычисления их удаленности; модуль распознавания лиц; модуль коммуникации с другими ассистивными устройствами с помощью протокола Bluetooth; модуль вывода звука.Structurally, the software running on a single-board computer has a modular design and consists of several software modules: the main control module for monitoring the exchange with the power and control board; a module for detecting objects and calculating their distance; face recognition module; module for communication with other assistive devices using the Bluetooth protocol; audio output module.
Каждый модуль предназначен для выполнения своей функции: модуль коммуникации ассистивных устройств через Bluetooth - выполняет командно-телеметрический обмен с другими устройствами, получает и выдает команды для них, а также передает телеметрию. Модуль распознавания лиц - позволяет добавлять пользователю новые лица, а также находить и сообщать о найденных совпадениях посредством сравнения информации с базой данных. Модуль детектирования объектов и вычисления их удаленности - решает задачу детектирования заранее определенного перечня объектов с помощью нейросети с последующим построением карты глубины с помощью стереопары изображения и определением расстояний до объектов в кадре.Each module is designed to perform its function: the module of communication of assistive devices via Bluetooth - performs command-telemetric exchange with other devices, receives and issues commands for them, and also transmits telemetry. Face recognition module - allows the user to add new faces, as well as find and report found matches by comparing information with the database. The module for detecting objects and calculating their distance - solves the problem of detecting a predetermined list of objects using a neural network, followed by building a depth map using a stereopair of the image and determining the distances to objects in the frame.
Для получения стереопары изображения в устройстве предусмотрено две видеокамеры, подсистема из коммутации и соответствующий программный модуль одноплатного компьютера. В варианте осуществления вместо двух видеокамер в устройство может быть установлена одна стереокамера.To obtain a stereo pair of images, the device provides two video cameras, a switching subsystem and a corresponding software module of a single-board computer. In an embodiment, instead of two video cameras, one stereo camera may be installed in the device.
Головной модуль управления, контроля и обмена отвечает за бесперебойное взаимодействие с платой питания и управления, запуск основных скриптов по командам пользователя и передачу команд на выполнения от других устройств.The head module for control, monitoring and exchange is responsible for uninterrupted interaction with the power and control board, launching basic scripts at user commands and transferring execution commands from other devices.
При работе устройства в режиме дальномера телеметрическая информация о расстоянии преобразуется в тактильную обратную связь посредством вибромотора. В данном режиме уровень вибрации корпуса может быть обратно пропорционален расстоянию до препятствия.When the device operates in rangefinder mode, telemetric information about the distance is converted into tactile feedback by means of a vibration motor. In this mode, the vibration level of the body can be inversely proportional to the distance to the obstacle.
Например, пользователь, имеющий ограничения по зрению, включает устройство, подключает наушники. С помощью кнопок, расположенных в верхней части корпуса, узнает о наличии, расположении и расстоянии окружающих предметов, добавляет и распознает лица, узнает о расстоянии до препятствий с помощью тактильной связи. Также устройство в автоматическом режиме оповещает пользователя о том, какие предметы и люди его окружают, сообщая это через аудиогарнитуру.For example, a visually impaired user turns on the device and plugs in headphones. With the help of buttons located in the upper part of the body, it learns about the presence, location and distance of surrounding objects, adds and recognizes faces, learns about the distance to obstacles using tactile communication. Also, the device automatically notifies the user about what objects and people surround him, reporting this through the audio headset.
Пользователь, имеющий ограниченные возможности и по слуху, и по зрению, подключает к устройству дисплей Брайля беспроводным способом посредством технологии Bluetooth. При перемещении все распознанные предметы и люди, а также дорожные знаки будут обработаны в текст и переданы на дисплей Брайля, тем самым позволяя пользователю свободно ориентироваться и воспринимать информацию от окружающих людей и предметов в радиусе 10 метров. Информация же о расстоянии до препятствий передается с помощью тактильной обратной связи.A user with both hearing and vision disabilities connects a braille display to the device wirelessly using Bluetooth technology. When moving, all recognized objects and people, as well as road signs will be processed into text and transferred to the Braille display, thereby allowing the user to freely navigate and perceive information from people and objects around him within a radius of 10 meters. Information about the distance to obstacles is transmitted using tactile feedback.
База данных, содержащая информацию об объектах, может быть загружена в устройство посредством размещения в него носителя информации - карты MicroSD или с помощью обновления через сеть интернет. На данный носитель также может быть загружена информация о распознанных объектах или соотнесение информации с объектами, вводимая пользователем (например, информация соответствия нового распознанного лица с личностью). База данных может периодически обновляться, при этом устройство обеспечивает простоту загрузки обновленной информации. Следовательно, в режиме распознавания объектов пользователю будет доступна информация об объектах на расстоянии, ему не нужно будет пользоваться услугами третьих лиц, приближаться к объектам для тактильного опознавания, что повысит уровень восприятия пространства, а также обеспечит его безопасное передвижение по окружающему пространству (например, при поиске или пересечении пешеходных переходов). Функция распознавания лиц позволит пользователю повысить вовлеченность в окружающую обстановку.A database containing information about objects can be loaded into the device by placing a storage medium in it - a MicroSD card or by updating via the Internet. This medium can also be loaded with information about the recognized objects or the correlation of information with objects entered by the user (for example, information about the correspondence of a new recognized person with a person). The database can be periodically updated, and the device makes it easy to download updated information. Therefore, in the object recognition mode, the user will have access to information about objects at a distance, he will not need to use the services of third parties, approach objects for tactile identification, which will increase the level of space perception, and will also ensure his safe movement around the surrounding space (for example, when looking for or crossing pedestrian crossings). The face recognition function will allow the user to increase their involvement in the environment.
Необходимо отметить, что достижение указанного выше в материалах описания технического результата является следствием именно совокупного взаимодействия предусмотренных в предложенном решении средств. Объединение указанных в формуле средств в составе компактного корпуса обеспечивает синергию технического эффекта, не проявляющуюся при использовании средств по-отдельности либо в ином сочетании.It should be noted that the achievement of the above in the description of the technical result is a consequence of the cumulative interaction of the means provided in the proposed solution. The combination of the means indicated in the formula in a compact body provides a synergy of the technical effect, which is not manifested when the means are used separately or in another combination.
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2020112614U RU198852U1 (en) | 2020-03-27 | 2020-03-27 | PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2020112614U RU198852U1 (en) | 2020-03-27 | 2020-03-27 | PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE |
Publications (1)
Publication Number | Publication Date |
---|---|
RU198852U1 true RU198852U1 (en) | 2020-07-30 |
Family
ID=71950239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2020112614U RU198852U1 (en) | 2020-03-27 | 2020-03-27 | PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU198852U1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2438174C1 (en) * | 2010-06-15 | 2011-12-27 | Общество с ограниченной ответственностью "Томсклаб" | Method of recognising objects |
RU2487408C2 (en) * | 2009-07-13 | 2013-07-10 | Гурулоджик Майкроусистемс Ой | Pattern recognition method, pattern recognition device and computer program |
RU141620U1 (en) * | 2013-10-04 | 2014-06-10 | Павел Игоревич Курбацкий | CANE SCANNER FOR DISABLED PERSONS |
CN108670741A (en) * | 2018-03-23 | 2018-10-19 | 赵山山 | A kind of invisible motion feedback electronics blind man's stick |
-
2020
- 2020-03-27 RU RU2020112614U patent/RU198852U1/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2487408C2 (en) * | 2009-07-13 | 2013-07-10 | Гурулоджик Майкроусистемс Ой | Pattern recognition method, pattern recognition device and computer program |
RU2438174C1 (en) * | 2010-06-15 | 2011-12-27 | Общество с ограниченной ответственностью "Томсклаб" | Method of recognising objects |
RU141620U1 (en) * | 2013-10-04 | 2014-06-10 | Павел Игоревич Курбацкий | CANE SCANNER FOR DISABLED PERSONS |
CN108670741A (en) * | 2018-03-23 | 2018-10-19 | 赵山山 | A kind of invisible motion feedback electronics blind man's stick |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3128293B1 (en) | Modular smart necklace | |
US20180130328A1 (en) | Smart Swimming Pool or Hot Tub Monitor | |
CN104735315B (en) | Image module for mobile device comprising a base and a decoder | |
CN105639818A (en) | Intelligent safety helmet based on augmented reality, space scanning and gesture recognition technologies | |
EP3294086B1 (en) | A bag for use with a mobile phone | |
CN204576007U (en) | A kind of intelligence dresses glasses | |
KR102025832B1 (en) | Smart cane | |
US20210384741A1 (en) | Tool-agnostic device | |
RU198852U1 (en) | PORTABLE VISUAL CAPTURE AND RECOGNITION DEVICE | |
KR101560389B1 (en) | Mobile terminal and controling method for mobile terminal | |
KR20090051555A (en) | Monitori ng apparatus and method for the position of plural terminal unit | |
JP6405878B2 (en) | Display device and control method of display device | |
CN105962568A (en) | Intelligent walking stick | |
US11942805B2 (en) | Tool-agnostic device | |
CN214179336U (en) | Intelligent safety helmet | |
CN205281019U (en) | Glasses are guideed in intelligence operation | |
CN204463143U (en) | A kind of card protecting sleeve with electronic functionalities | |
CN210169154U (en) | Intelligent shoes | |
CN208400311U (en) | A kind of hand-held urban traffic control facility acquisition device based on Beidou | |
CN208188478U (en) | Split type AR equipment and AR display system | |
CN209660539U (en) | A kind of safety cap visualizing operation | |
CN109164599A (en) | A kind of band blocks the intelligent glasses and control system of function | |
JP2007308855A (en) | Helmet equipped with multifunctional units | |
CN212694839U (en) | Wearable recording equipment | |
JP2023074251A (en) | Electronic device, control method for electronic device, and program |