RU2681346C2 - Способ и система точной локализации слабовидящего или слепого человека - Google Patents

Способ и система точной локализации слабовидящего или слепого человека Download PDF

Info

Publication number
RU2681346C2
RU2681346C2 RU2016120110A RU2016120110A RU2681346C2 RU 2681346 C2 RU2681346 C2 RU 2681346C2 RU 2016120110 A RU2016120110 A RU 2016120110A RU 2016120110 A RU2016120110 A RU 2016120110A RU 2681346 C2 RU2681346 C2 RU 2681346C2
Authority
RU
Russia
Prior art keywords
visually impaired
surrounding space
blind person
objects
map
Prior art date
Application number
RU2016120110A
Other languages
English (en)
Other versions
RU2016120110A3 (ru
RU2016120110A (ru
Inventor
Владимир Александрович Буняков
Константин Андреевич Жуков
Виталий Александрович Китаев
Original Assignee
Общество с ограниченной ответственностью "ПРОзрение"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ПРОзрение" filed Critical Общество с ограниченной ответственностью "ПРОзрение"
Priority to RU2016120110A priority Critical patent/RU2681346C2/ru
Publication of RU2016120110A publication Critical patent/RU2016120110A/ru
Publication of RU2016120110A3 publication Critical patent/RU2016120110A3/ru
Application granted granted Critical
Publication of RU2681346C2 publication Critical patent/RU2681346C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information

Abstract

Техническое решение относится к системам помощи слабовидящим и слепым. Технический результат заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов, и оповещении об этом пользователя. Способ характеризуется тем, что получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека. 2 н. и 12 з.п. ф-лы, 2 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Техническое решение относится к области медицинских технических систем помощи слабовидящим и слепым - тифлотехническим устройствам и предназначено для точной локализации слабовидящего или слепого пользователя и информирования о потенциальных препятствиях.
УРОВЕНЬ ТЕХНИКИ
Тифлотехнические средства реабилитации инвалидов по зрению предназначены для облегчения жизни людей с нарушенным зрением.
Современная электронная техника для незрячих позволяет им опосредованно получать информацию о явлениях окружающей среды, предметах и их свойствах. С помощью разнообразных технических средств незрячие могут ориентироваться в пространстве, читать плоскопечатную литературу, распознавать цвета и определять источник света.
Современная тифлотехническая промышленность выпускает разнообразные устройства, способные облегчить незрячим быт и процесс ориентирования в пространстве. К подобным устройствам относят:
Figure 00000001
разнообразные звуковые брелки, предназначенные для поиска ключей, мобильных телефонов, сумок и других мелких вещей;
Figure 00000001
зарядные устройства со встроенным речевым выходом;
Figure 00000001
ультразвуковой фонарь, который предназначен для дополнения тактильной трости с целью обнаружения препятствий на пути пешехода, в том числе предметов, находящиеся на уровне груди или головы человека;
Figure 00000001
электронная трость, маленькая ультразвуковая система, предназначенная для обнаружения препятствий при передвижении пешехода с тростью.
Известны два основных вида методов комплексирования локальной информации (локальной карты): от телевизионных камер (3D камеры) и приемника сигналов глобальных систем позиционирования.
Из уровня техники известен способ обновления картографических данных «Updating map data from camera images» (US 20120166074 A1, Research In Motion Limited, опубликовано 28.06.2012). Данное изобретение описывает метод обновления карты на предмет появления новых объектов с использованием мобильного устройства, оснащенного GPS приемником. Уточнение локальной карты предлагается посредством использования, лазерного дальномера, компаса, много-ракурсной съемки или стереокамеры. Из уровня техники известна стереокамера с возможностью определения местоположения «Stereoscopic camera with haptic feedback for object and location detection» (US 8526677 B1, Google Inc., опубликовано 03.09.2013), взятая за ближайший аналог.
Архитектура системы включает в себя следующие аппаратные части: телевизионную стереокамеру, GPS приемник, компас, коммуникационный модуль, вибратор, микрофон, процессор. Схема работы данной системы: стереокамера получает 3D данные, строит локальную карту окружающей сцены, GPS приемник выдает координаты глобального местоположения мобильного устройства, коммуникационный модуль скачивает карты местности с удаленного сервера. Процессор определяет локализацию, как минимум одного объекта, обозначенного на карте, посредством сопоставления данных GPS и данных с 3D камеры.
Оба, указанных изобретения могут быть использованы для создания устройства точной локализации (совмещенной как глобальной, так и локальной) слабовидящего и слепого, но обладают следующими недостатками:
1. В архитектуре устройств не используется акселерометр и гироскоп, что не позволяет точно определять скорость и точное направление движения пользователя.
2. Не используется модуль обнаружения свободного пространства для движения слабовидящего с учетом габаритов пользователя.
3. Отсутствует синтезатор речи для детального описания окружающей обстановки.
4. Тактильный отклик реализован на базе единственного вибратора, что не позволит использовать тактильный актуатор для навигации.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.
Технический результат от использования данного технического решения заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя.
Данный технический результат достигается за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.
Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
Точная локализация слабовидящего или слепого человека ведется циклично.
Глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.
Синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.
Возможна реализация функции голосового интерфейса.
Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.
Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.
Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
Точная локализация слабовидящего или слепого человека ведется циклично.
В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - описание диспаратности;
Фиг. 2 - блок-схема выполнения способа точной локализации слабовидящего или слепого человека в цикличном варианте.
ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
В данном устройстве под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.
Актуатор - представляет собой техническое устройство или спусковой механизм, передающий усилие от управляющего на управляемый объект. Само воздействие может быть разнообразным: от линейного до вращающего. При этом в зависимости от того, как прилагается усилие, определяется разнообразие приборов.
Гироскоп (от др. - греч.
Figure 00000002
- круг +
Figure 00000003
- смотрю) - устройство, способное реагировать на изменение углов ориентации тела, на котором оно установлено, относительно инерциальной системы отсчета.
Акселерометр (лат. accelero - ускоряю и др. - греч.
Figure 00000004
«измеряю») прибор, измеряющий проекцию кажущегося ускорения (разности между истинным ускорением объекта и гравитационным ускорением). Как правило, акселерометр представляет собой чувствительную массу, закрепленную в упругом подвесе. Отклонение массы от ее первоначального положения при наличии кажущегося ускорения несет информацию о величине этого ускорения.
Карта глубины (depth map) - это изображение, на котором для каждого пикселя, вместо цвета, храниться его расстояние до камеры. Карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а так же может быть построена по стереопаре изображений.
Данное техническое решение обеспечивает повышение точности локализации пользователя, получение информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.
Согласно предлагаемому техническому решению, способ точной локализации слабовидящего или слепого человека включает следующие шаги:
Получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства.
Глобальные координаты текущего местоположения и двумерная карта окружающего пространства могут быть получены при помощи мобильного устройства по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.), при этом, связь с мобильным устройством может осуществляться по технологии Wi-Fi, Bluetooth, Infrared Data Association (инфакрасный порт).
Мобильное устройство (например, смартфон) или непосредственно модуль определения координат может использовать технологии LBS (Location-based service), A-GPS (Assisted GPS) для повышения скорости процесса получения глобальных координат местонахождения слабовидящего или слепого человека и двумерной карты окружающего пространства.
Получают трехмерную карту окружающего пространства, при этом:
Figure 00000005
создают карту глубины окружающего пространства;
Figure 00000005
затем производят пространственную и временную фильтрацию;
Figure 00000005
полученную карту глубины делят на части;
Figure 00000005
после чего производят сегментацию объектов на базе карты глубины.
3D камера (например, сенсор Kinect) продуцирует 3D облако точек, на базе, которого строится карта глубины, сегментируются объекты 3D пространства, на базе которых на следующем шаге будет произведено распознавание объектов сцены.
После получения карты глубины происходит ее пространственная и временная фильтрация. Пространственная фильтрация реализуется поиском на карте глубины малых областей с одинаковой или близкой диспарантностью. Диспаратность характеризуется разностью горизонтальных и вертикальных угловых координат изображения точки на сетчатках двух глаз. На Фиг. 1 изображена поверхность, заданная точками A1, А2, A3, которые находятся на одинаковом расстоянии от наблюдателя. На точку А2 (точку фиксации) направлен взгляд наблюдателя, поэтому она проецируется в fovea (центральную ямку) сетчаток его глаз (точки Ol, Or). Поверхности левой и правой сетчаток связаны с системами координат OlXL, OrXR таким образом, что центр fovea находится в точке 0. Пусть слева от точек Ol и Or лежит область отрицательных значений координат. Проекции точки А1 имеют на левой и правой сетчатке координаты x1l и x1r соответственно, проекции точки A3 - координаты х31 и x3r. Координаты проекций точек, отстоящих от наблюдателя на то же расстояние, что и точка фиксации, на обеих сетчатках совпадают, то есть x1l=x1r, х3l=x3r. Говорят, что эти точки пространства проецируются на соответственные (корреспондирующие) точки сетчаток. Рассмотрим точку А4, расположенную ближе, чем точка фиксации. Координаты проекций такой точки связаны неравенством х4l<x4r (так как х4l<0, х4r<0). Для точки А5 (не показана на рисунке), расположенной дальше точки фиксации, справедливо неравенство х5l>х5r. Эти точки окружающего мира проецируются на некорреспондирующие или диспаратные точки сетчаток или, что то же самое, обнаруживают диспаратность. Выделяют конвергентную (у точек, расположенных ближе точки фиксации) и дивергентную (у точек, расположенных дальше точки фиксации) диспаратность. Распределение диспаратностей по изображению иногда называют картой диспаратностей.
Такие области считаются шумом и не учитываются в дальнейшем. Временная фильтрация позволяет получить более точную карту глубины, используя данные с соседних кадров.
Для поиска препятствий и определения свободного прохода карта глубины разделяется на крупные зоны, для которых определяется их занятость (зона считается занятой, если расстояние до ближайшего препятствия в ней меньше заданного пользователем порога). Для определения ближайшего препятствия в зоне находится медианное среднее значение всех расстояний в ней, при этом, если в зоне мало точек с данным расстоянием, оно не учитывается. Если зона состоит целиком из шума, то ее занятость определяется по соседним зонам. При наличии занятых зон на пути движения пользователя проверяется занятость зон справа и слева, при отсутствии препятствий с одной или с обеих сторон выдается соответствующее сообщение о наличии свободного прохода, в противном случае - сообщение о наличии препятствия с указанием расстояния до него (им считается расстояние до ближайшей зоны).
Для обнаружения неровностей рельефа (так называемые «низкие» препятствия, о которые можно споткнуться, ямы и ступеньки) производится сегментация карты глубины. Для этого определяется поверхность пола, а оставшиеся точки разделяются на находящиеся выше либо ниже этой поверхности. При наличии существенного количества точек выше поверхности пола считается обнаруженным препятствие, аналогично точки ниже поверхности пола считаются ямой. Ступеньки определяются как наличие одного или нескольких перепадов высоты поверхности.
Выделяют базовые признаки для распознавания объектов окружающего пространства.
Для распознавания объектов на сцене предлагается использовать распознавание значимых объектов типа: угол дома, светофор скамейка, одиноко стоящее дерево. Данный подход реализуется на базе использования метода выделения устойчивых признаков SURF (Speeded Up Robust Features) из базы объектов.
Кроме того, производится пространственное сопоставление распознанных объектов между собой и нанесение их на оперативную карту местности для сопоставления, в дальнейшем, например - с картой навигатора.
SURF решает две задачи - поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут (здесь и далее мы будем говорить только о вращении в плоскости изображения). Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью. Так, что бы повернутый объект сцены имел тот же набор ключевых точек, что и образец.
Метод выделения устойчивых признаков SURF ищет особые точки с помощью матрицы Гессе. Детерминант матрицы Гессе (т.н. гессиан) достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий.
Гессиан инвариантен относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.
Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе.
Градиент в точке вычисляется с помощью фильтров Хаара.
После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки (что понимается под флуктуацией - рассмотрим ниже). Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами.
Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек.
Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба.
Распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства.
Реализуется через поиск надписей и других графических символов на изображении (например: надпись на табличке адреса дома, вывеска на магазине и пр.) Распознавание производится на базе методов распознавания печатного текста. Далее объект наносится на текущую карту местности и сопоставляется, например, с картой навигатора.
Оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства.
Оценка расстояния происходит на базе триангуляционных вычислений по следующим данным:
1. Угол (вычисленный на основе вычисления диспарантности) по направлению на одну и ту же точку видную из каждой камеры
2. Расстояние между оптическими осями телевизионных матриц.
3. Данные коррекции оптических искажений оптики.
Выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека.
Выделение объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может производиться с помощью сравнения расстояний до объекта-препятствия с порогом обнаружения препятствия, который мультивариантнен и может быть задан заранее и меняться в процессе самим пользователем. Критерием выделения объектов является сегментация, может быть выделена на базе близости точек по расстоянию, цвету и яркости. После выделения объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может быть проведено обнаружение свободного пути.
Синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
По результатам действия специального программного обеспечения модулем голосового синтеза, генерируется голосовое сообщение о местоположении пользователя (например: город, улица, дом) и локальной обстановке (например: наличие/отсутствие препятствия на пути следования) и путях свободного движения. При этом голосовые сообщения возможно прослушать через внешние динамики, наушники, подключенные к устройству и\или через беспроводную гарнитуру. Также при помощи навигационных систем может быть построен маршрут движения из текущей или заданной точки местоположения в пространстве в требуемую.
Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
Точная локализация слабовидящего или слепого человека может производиться циклично. Способ точной локализации слабовидящего и слепого человека в данном случае описывается следующей последовательностью, изображен на Фиг. 2:
1. Получение глобальных координат по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.).
2. Получение 3D образа окружающей среды.
3. Распознавание объектов сцены и сопоставление с объектами, представленными на карте.
4. Обнаружение и дополнение карты, выделение объектов препятствий, нанесение их на карту устройства.
5. Привязка по компасу, включение акселерометра-гироскопа для вычисления скорости и направления движения субъекта.
6. Комплексирование данных всех датчиков.
7. Динамическое обнаружение свободного пути.
8. Синтез голосовых сообщений о возможности свободного движения.
9. Переход к п. 1.
Специалисту в данной области, очевидно, что конкретные варианты осуществления способа и системы точной локализации слабовидящего или слепого человека были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема изобретения.

Claims (32)

1. Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что:
- получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства;
- получают трехмерную карту окружающего пространства, при этом:
- создают карту глубины окружающего пространства,
- затем производят пространственную и временную фильтрацию,
- полученную карту глубины делят на части,
- после чего производят сегментацию объектов на базе карты глубины;
- выделяют базовые признаки для распознавания объектов окружающего пространства;
- распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства;
- оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства;
- выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека;
- синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
2. Способ по п. 1, характеризующийся тем, что точная локализация слабовидящего или слепого человека ведется циклично.
3. Способ по п. 1, характеризующийся тем, что глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.
4. Способ по п. 1, характеризующийся тем, что синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.
5. Способ по п. 1, характеризующийся тем, что реализована функция голосового интерфейса.
6. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.
7. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.
8. Система точной локализации слабовидящего или слепого человека, содержащая объединенные общей шиной:
- по крайней мере одно устройство обработки команд;
- по крайней мере одно устройство хранения данных;
- по крайней мере один синтезатор человеческой речи;
- по крайней мере один динамик;
- по крайней мере один приемник сигналов глобальных систем позиционирования;
по крайней мере одну стереокамеру или другую 3D камеру;
- одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-7.
9. Система по п. 8, характеризующаяся тем, что в состав включен электронный компас.
10. Система по п. 8, характеризующаяся тем, что в состав включен акселерометр.
11. Система по п. 8, характеризующаяся тем, что в состав включен гироскоп.
12. Система по п. 8, характеризующаяся тем, что в состав включен по крайней мере один вибромотор для обеспечения тактильного интерфейса с пользователем.
13. Система по п. 8, характеризующаяся тем, что в состав включен микрофон для обеспечения голосового интерфейса с пользователем.
14. Система по п. 8, характеризующаяся тем, что в состав включен коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
RU2016120110A 2017-03-10 2017-03-10 Способ и система точной локализации слабовидящего или слепого человека RU2681346C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2016120110A RU2681346C2 (ru) 2017-03-10 2017-03-10 Способ и система точной локализации слабовидящего или слепого человека

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016120110A RU2681346C2 (ru) 2017-03-10 2017-03-10 Способ и система точной локализации слабовидящего или слепого человека

Publications (3)

Publication Number Publication Date
RU2016120110A RU2016120110A (ru) 2018-09-10
RU2016120110A3 RU2016120110A3 (ru) 2018-12-14
RU2681346C2 true RU2681346C2 (ru) 2019-03-06

Family

ID=63478970

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016120110A RU2681346C2 (ru) 2017-03-10 2017-03-10 Способ и система точной локализации слабовидящего или слепого человека

Country Status (1)

Country Link
RU (1) RU2681346C2 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2723357C1 (ru) * 2019-04-29 2020-06-10 Федеральное государственное автономное образовательное учреждение высшего образования "Балтийский федеральный университет имени Иммануила Канта" (БФУ им. И. Канта) Устройство для незрячих на основе сенсорного замещения
WO2022086358A1 (ru) * 2020-10-21 2022-04-28 Публичное Акционерное Общество "Сбербанк России" Способ и система определения местоположения пользователя

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166074A1 (en) * 2010-12-23 2012-06-28 Research In Motion Limited Updating map data from camera images
RU2490694C2 (ru) * 2008-06-30 2013-08-20 Универсидаде Ду Порту Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
US8797386B2 (en) * 2011-04-22 2014-08-05 Microsoft Corporation Augmented auditory perception for the visually impaired
RU155039U1 (ru) * 2014-11-26 2015-09-20 Общество с ограниченной ответственностью "ПРОзрение" Устройство навигации для слабовидящих и слепых

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2490694C2 (ru) * 2008-06-30 2013-08-20 Универсидаде Ду Порту Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями
US20120166074A1 (en) * 2010-12-23 2012-06-28 Research In Motion Limited Updating map data from camera images
US8797386B2 (en) * 2011-04-22 2014-08-05 Microsoft Corporation Augmented auditory perception for the visually impaired
US8526677B1 (en) * 2012-07-16 2013-09-03 Google Inc. Stereoscopic camera with haptic feedback for object and location detection
RU155039U1 (ru) * 2014-11-26 2015-09-20 Общество с ограниченной ответственностью "ПРОзрение" Устройство навигации для слабовидящих и слепых

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2723357C1 (ru) * 2019-04-29 2020-06-10 Федеральное государственное автономное образовательное учреждение высшего образования "Балтийский федеральный университет имени Иммануила Канта" (БФУ им. И. Канта) Устройство для незрячих на основе сенсорного замещения
WO2022086358A1 (ru) * 2020-10-21 2022-04-28 Публичное Акционерное Общество "Сбербанк России" Способ и система определения местоположения пользователя

Also Published As

Publication number Publication date
RU2016120110A3 (ru) 2018-12-14
RU2016120110A (ru) 2018-09-10

Similar Documents

Publication Publication Date Title
WO2021128777A1 (en) Method, apparatus, device, and storage medium for detecting travelable region
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
CN111598974B (zh) 用于呈现与真实对象相关的数字信息的方法和系统
JP6484228B2 (ja) 視覚強化ナビゲーション
CN107771342B (zh) 一种增强现实显示方法及头戴式显示设备
US8526677B1 (en) Stereoscopic camera with haptic feedback for object and location detection
US20150324646A1 (en) Navigation methods and apparatus for the visually impaired
US9037407B2 (en) Method and system for determining position of an inertial computing device in a distributed network
JP2018084573A (ja) 頑健で効率的な車両測位用のアルゴリズム及びインフラ
KR20170137636A (ko) 탑승자 모니터링에 기초한 정보 획득 시스템
CN104771132A (zh) 基于眼睛会聚检测视觉疏忽
US9547412B1 (en) User interface configuration to avoid undesired movement effects
US10254123B2 (en) Navigation system with vision augmentation mechanism and method of operation thereof
JP2016157197A (ja) 自己位置推定装置、自己位置推定方法およびプログラム
US20200349727A1 (en) Obstacle detection method, mobile platform, and computer readable storage medium
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
KR20230043215A (ko) 융합 데이터를 사용한 객체 추적을 위한 시스템들 및 방법들
RU2681346C2 (ru) Способ и система точной локализации слабовидящего или слепого человека
KR102383499B1 (ko) 시각 특징 맵 생성 방법 및 시스템
JP6393000B2 (ja) ３ｄマップに関する仮説的ラインマッピングおよび検証
CN111664860B (zh) 定位方法、装置、智能设备及存储介质
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
US20190147654A1 (en) Apparatus and method for providing virtual reality content of moving means
US20220335638A1 (en) Depth estimation using a neural network

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200311