RU2719025C2 - Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания - Google Patents

Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания Download PDF

Info

Publication number
RU2719025C2
RU2719025C2 RU2017144052A RU2017144052A RU2719025C2 RU 2719025 C2 RU2719025 C2 RU 2719025C2 RU 2017144052 A RU2017144052 A RU 2017144052A RU 2017144052 A RU2017144052 A RU 2017144052A RU 2719025 C2 RU2719025 C2 RU 2719025C2
Authority
RU
Russia
Prior art keywords
sound
tactile
processing means
depth
audio
Prior art date
Application number
RU2017144052A
Other languages
English (en)
Other versions
RU2017144052A3 (ru
RU2017144052A (ru
Inventor
ЭРВАС Антонио КЕСАДА
Original Assignee
Айсинт, С.Л.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Айсинт, С.Л. filed Critical Айсинт, С.Л.
Publication of RU2017144052A publication Critical patent/RU2017144052A/ru
Publication of RU2017144052A3 publication Critical patent/RU2017144052A3/ru
Application granted granted Critical
Publication of RU2719025C2 publication Critical patent/RU2719025C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Rehabilitation Tools (AREA)
  • Stereophonic System (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

Изобретение относится к медицинской технике, а именно к средствам, обеспечивающим возможность восприятия слепыми или слабовидящими людьми окружающего пространства. Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания содержит две камеры, отделенные друг от друга и выполненные с возможностью одновременного получения изображения окружающего пространства, средства генерации звуковых и/или тактильных выходных сигналов, средства обработки, соединенные с камерами и средствами генерации звуковых и/или тактильных сигналов, при этом средства обработки выполнены с возможностью объединения изображений, полученных в реальном времени, и обработки информации о глубине элементов, содержащихся в по меньшей мере одной вертикальной полосе комбинированного изображения, где вертикальная полоса по существу охватывает всю высоту комбинированного изображения, причем средства обработки также выполнены с возможностью: разделения вертикальной полосы на один или более участков, определения звукового или тактильного сигнала на каждом участке согласно глубине участка и высоте участка, и определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы. Использования изобретения позволяет ускорить обработку информации для получения в реальном времени точного значения глубины и вертикальных координат для трансформации их в звуковой или тактильный сигнал. 14 з.п. ф-лы, 5 ил.

Description

Область техники, к которой относится изобретение
Изобретение относится к вспомогательным устройствам для людей с ограниченными возможностями или инвалидностью. В частности, изобретение относится к вспомогательной системе, предназначенной прежде всего для слепых или слабовидящих.
Уровень техники
Пользователи с нарушением зрения обычно полагаются на простые вспомогательные средства такие, как трости и собаки-поводыри, для передвижения или распознавания окружающего их пространства. Хотя для этих целей и разработаны высокотехнологичные системы, зачастую они являются инвазивными и сложными в использовании. Кроме того, обычно они слишком дороги для массового использования.
Современные системы обычно измеряют расстояния из одной точки, например, посредством лазера, обеспечивая звуковое уведомление, если на пути находится какой-либо предмет. Такие системы не выполняют объемный анализ местности, а также не учитывают нюансы, связанные с изменением положения, размером или геометрией (кривые линии, границы, положение относительно линии горизонта). Помимо этого, анализ местности путем измерения расстояний с множеством точек требует большой вычислительной мощности, в результате чего, как правило, его невозможно применять в реальном времени и/или в портативном устройстве.
При этом из уровня техники также известны устройства для анализа изображений окружающего пространства, причем указанные устройства выполнены с возможностью обработки указанных изображений и преобразования их для своих пользователей в виде звуков, так чтобы обеспечить звуковые представления расстояний до предметов, составляющих указанные изображения, и, таким образом, сформировать трехмерную проекцию, которая помогает ориентироваться и уведомляет пользователей о возможных препятствиях на их пути. Несмотря на это, указанные устройства также являются неэффективными относительно требований к обработке данных, что на практике выражено в низкой скорости реакции и вычислительных недочетах, приводящих к погрешностям и некорректному использованию. Примеры устройств такого типа, основанных на полном преобразовании изображений, раскрыты в патентных документах ES 2133078 А1 и US 2009/122161 А1.
В качестве альтернативы таким устройствам известно устройство, раскрытое в патентном документе ES 2517765 А1, выполненное с возможностью создания звуковой библиотеки и сопоставления каждой точки полученных изображений по меньшей мере с одним звуком из указанной звуковой библиотеки, создавая при этом карту закодированных звуков и представляя плоскость в запечатленном трехмерном пространстве. Упомянутое устройство также выполнено с возможностью последовательного воспроизведения звука от каждой из точек, заданных на карте, причем указанный звук связан с пространством, представленным горизонтальными линиями, с целью упростить компенсацию ошибок, обусловленных некорректным размещением устройства пользователями, например для вариантов осуществления, в которых используются очки, когда некорректное горизонтальное положение может привести к ошибочному вычислению расстояний до пользователя.
Хотя упомянутое альтернативное решение позволяет исправить некоторые из недостатков, присущих более ранним вариантам известных из уровня техники устройств, оно все же имеет значительное ограничение, обусловленное необходимостью наличия вычислительных ресурсов, поскольку, хотя оно и выполнено с возможностью представления горизонтальной звуковой модели, полученной из изображений, обработка их глубины осуществляется посредством анализа указанных изображений целиком, тем же способом, что используется в аналогичных упомянутых выше системах. Аналогичным образом, все известные устройства требуют значительных вычислительных ресурсов, что существенно ограничивает результат их работы и производительность. Помимо этого, такие устройства обычно требуют использования инклинометров/гравиметров, что существенно их усложняет, при этом это полностью не решает проблему точности вычислений глубины.
Следовательно, существует потребность в создании эффективных вспомогательных систем для людей с нарушением зрения, обеспечивающих возможность предоставления доступного для восприятия отображения окружающего пространства посредством легко понятных звуковых или тактильных сигналов и, в то же время, демонстрирующих более низкое потребление вычислительных и компьютерных ресурсов.
Раскрытие сущности изобретения
Настоящее изобретение предназначено прежде всего для людей, имеющих проблемы со зрением. Тем не менее, оно может быть использовано в ситуациях и при обстоятельствах другого типа, в которых не может быть использовано зрительное восприятие или требуется альтернативная навигационная система.
Сопровождение людей становится легче благодаря описанию окружающего пространства посредством интерпретации имеющихся вокруг них предметов и препятствий, которое сообщается пользователю через сигнал, предпочтительно звуковой или тактильный сигнала (например, вибрации, передаваемой посредством касания). Указанный сигнал генерируется на основе обработки стереоизображения, чтобы обеспечить отображение областей с наибольшей интенсивностью окраски, соответствующих удаленным участкам, в то время как другие области с меньшей интенсивностью окраски связаны с близлежащими участками.
Следовательно, одним из объектов изобретения является портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания, содержащая:
- две камеры, отделенные друг от друга, выполненные с возможностью одновременного получения изображения окружающего пространства,
- средства обработки, объединяющие два изображения в реальном времени и формирующие по меньшей мере одну вертикальную полосу с информацией о глубине элементов комбинированного изображения, причем указанные средства обработки также выполнены с возможностью разделения указанной вертикальной полосы на множество участков; определения звукового или тактильного сигнала на каждом участке согласно их глубине и высоте на изображении; определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы;
- средства воспроизведения для воспроизведения звукового или тактильного выходного сигнала.
В предпочтительном варианте осуществления изобретения вертикальная полоса находится в центральной части комбинированного изображения, и пользователь при передвижении сканирует окружающее пространство. Указанный режим работы изобретения будет далее называться "режимом сканирования".
Обработка только одной вертикальной полосы изображения, полученного камерами, позволяет, с одной стороны, ограничить анализ глубины интересующим участком, что оптимально для пользователей (поскольку он соответствует центральной точке фокуса), исключая периферийные участки, информация с которых представляет меньший интерес. Благодаря такой оптимизации могут быть существенно сокращены требования к вычислительным ресурсам системы без негативного влияния на получаемую информацию. Это возможно благодаря тому, что на вертикальной линии сконцентрирована информация, относящаяся к глубине на горизонте, так как она более существенна для пользователя для определения местоположения препятствий. Информация, соответствующая периферийному боковому зрению, генерируется при этом при естественном движении головы в сторону во время движения пользователя, что сдвигает вертикальную линию анализа и позволяет получить остальную информацию без необходимости непрерывной обработки получаемого камерами полного изображения. Движение головы в горизонтальном направлении на несколько градусов позволяет естественным образом охватить участок, расположенный перед пользователем, для оценки глубины всего горизонта (осуществляемой посредством анализа вертикальной линии). Посредством такой технической оптимизации, согласно оценкам, экономия в отношении требований к вычислительным ресурсам составляет около 90% по сравнению с известными из уровня техники альтернативными решениями. Кроме того, обработка вертикальной линии по сравнению с целым изображением, полученным камерами, позволяет предотвратить возникновение звуковых шумов, обусловленных близлежащими периферийными предметами, находящимися вблизи от пользователя, но не загораживающими непосредственно его проход. В этом смысле, использование такой системы во многих отношениях сходно с рабочим режимом сканирования или зондирования посредством трости для слепых, что позволяет легко обучиться работе с ней.
В другом предпочтительном варианте осуществления изобретения на комбинированном изображении с каждой стороны от центральной вертикальной полосы сформировано множество боковых вертикальных полос, и левосторонний или правосторонний звуковой или тактильный сигнал определяется из участков каждой из левосторонних полос и каждой из правосторонних полос, соответственно; причем пользователь может сканировать окружающее пространство без перемещения. Указанный режим работы изобретения будет далее называться "полным ландшафтным режимом". В указанном режиме средства обработки выполнены с возможностью осуществления одновременного анализа множества боковых вертикальных полос, так что сегментарный участок полученного камерами полного изображения обрабатывается горизонтально. По сравнению с режимом сканирования, полный ландшафтный режим предъявляет более высокие требования к вычислительным ресурсам, но он обеспечивает пользователю системы больше информации относительно периферийных боковых участков. Несмотря на это, сокращение обрабатываемого пространства до множества вертикальных линий обеспечивает, также как и в режиме сканирования, значительное сокращение времени обработки и потребления ресурсов по сравнению с известными из уровня техники решениями.
В другом предпочтительном варианте осуществления изобретения режимы работы средств обработки могут быть приведены в действие и отключены пользователем, так что одновременный анализ множества боковых вертикальных полос может чередоваться с анализом одной вертикальной полосы. В результате, в зависимости от положения пользователя, пользователь может использовать рабочий режим сканирования (т.е. реализуемый посредством обработки глубины на центральной вертикальной линии), который будет эффективным в большинстве ситуаций ежедневного использования, а также полный ландшафтный режим (использующий множество вертикальных полос) в случае необходимости получения дополнительной информации о периферийных боковых участках.
В предпочтительном варианте осуществления изобретения, средства воспроизведения воспроизводят в стереофоническом режиме, объединяя левосторонний звуковой или тактильный сигнал и правосторонний звуковой или тактильный сигнал.
В предпочтительном варианте осуществления изобретения средства обработки определяют звуковую или тактильную интенсивность звукового или тактильного сигнала согласно высоте участка на вертикальной полосе.
В предпочтительном варианте осуществления изобретения средства обработки определяют частоту звукового или тактильного сигнала согласно глубине участка.
В предпочтительном варианте осуществления изобретения глубина участка определяется согласно уровню серого на карте глубины изображения окружающего пространства.
В предпочтительном варианте осуществления изобретения участок содержит по меньшей мере один пиксель.
В предпочтительном варианте осуществления изобретения система содержит несущую конструкцию, выполненную с возможностью ношения пользователем, на которой могут быть размещены средства воспроизведения и две камеры.
В предпочтительном варианте осуществления изобретения на основе тактильного сигнала генерация указанного сигнала осуществляется на основе электроактивного полимера (ЭАП) или мембраны, выполненной из эластомера, форма которых изменяется в зависимости от напряжения. В альтернативном варианте сигнал может генерироваться механически посредством небольшого генерирующего вибрацию мотора.
В предпочтительном варианте осуществления изобретения на основе звукового сигнала частота указанного звукового сигнала находится в диапазоне от 100 Гц до 18000 Гц.
В предпочтительном варианте осуществления изобретения средства воспроизведения представляют собой кохлеарные наушники. Предпочтительно ухо остается свободным и сигнал принимается по кости. Это означает, что пользователь может разговаривать, не искажая при этом генерируемый звуковой сигнал, или наоборот.
В предпочтительном варианте осуществления изобретения несущая конструкция выбрана по меньшей мере из группы, включающей в себя: очки, головную повязку, шейную повязку, нагрудную повязку, плечевую повязку или переносное устройство.
В предпочтительном варианте осуществления изобретения генерируемый звуковой сигнал является невербальным, что позволяет защитить пользователя от постоянного наплыва голосовых сообщений, которые после длительного использования могут стать утомительными и раздражающими. Кроме того, невербальное сообщение легче распознается, и оно может воспроизводиться в то же время, когда выполняются другие действия. Изобретение, таким образом, может быть использовано без появления лингвистических барьеров, связанных с языком.
Краткое описание чертежей
На фиг. 1 проиллюстрирована упрощенная структурная схема варианта осуществления изобретения.
На фиг. 2 проиллюстрировано пиксельное изображение тороида, проанализированное посредством изобретения.
На фиг.3 проиллюстрировано пиксельное и обработанное изображение тороида с фиг. 2.
На фиг. 4 проиллюстрирована упрощенная блок-схема способа, реализуемого системой согласно изобретению.
На фиг. 5 проиллюстрирован вариант осуществления изобретения на основе очков.
Осуществление изобретения
Для большей ясности вариант осуществления изобретения без ограничения описан со ссылками на чертежи, при этом особое внимание уделено звуковым или тактильным сигналам.
На фиг. 1 проиллюстрирована структурная схема с основными элементами системы согласно изобретению. Указанная схема иллюстрирует то, как получаются изображения посредством пары стереокамер (3i, 3d). Они предпочтительно размещены с обеих сторон лица и на высоте глаз пользователя для упрощения фокусировки на интересующем участке посредством движений головы. Камеры (3i, 3d) предпочтительно расположены параллельно на одном уровне.
Специальные элементы электрической цепи камер (3i, 3d) осуществляют предварительную обработку полученного изображения, чтобы обеспечить равномерный поток изображений, предотвращая геометрические или хроматические искажения и абберации. Электрическая цепь датчиков позволяет получить пару синхронизированных по времени изображений.
В результате указанный видео поток передается на модуль (2) обработки. Модуль (2) обработки предпочтительно представляет собой специализированные аппаратные средства, выполняющие алгоритм преобразования изображений в звук/вибрацию. Для обеспечения связи камеры (3i, 3d) с модулем (2) обработки предусмотрен кабель (6). Тем не менее, в других более сложных вариантах осуществления может быть предусмотрена беспроводная связь.
Модуль (2) обработки преобразовывает стереоскопические изображения в карту глубины в оттенках серого. Предварительно формируется карта диспаратности (без информации о шкале).
Под картой глубины следует понимать изображение в оттенках серого, в котором полученный в результате обработки черный цвет означает максимальную удаленность (в зависимости от используемой шкалы), а чистый белый - максимальную близость (в зависимости от используемой шкалы). Остальные серые цвета обозначают промежуточные расстояния. Тем не менее, в других вариантах осуществления изобретения возможен обратный контраст, когда более темные цвета соответствуют более коротким расстояниям, или применяется предустановленная цветовая шкала, аналогичная термографическому представлению.
Под картой диспаратности следует понимать конечное изображение, т.е. полученное путем наложения пары стереоизображений, подвергнутых математической обработке. Бинокулярная карта диспаратности отображает на одном изображении различия на пиксельном уровне между двумя стереоизображениями. Разность между пикселями может быть приведена в соответствие с реальными расстояниями путем применения математического алгоритма диспарантности с учетом расстояния между камерами и калибровочных файлов камер. Результатом этой обработки является расстояние камеры от каждого фрагмента (пиксельного размера) полученного изображения. Для отображения этого расстояния используются оттенки серого.
Затем это преобразуется в карту глубины. После математической обработки, в ходе которой используются расстояния/уровни в оттенках серого, получается карта глубины.
На основе сформированной карты глубины применяется разработанный для этой цели алгоритм преобразования, представляющий собой высоко оптимизированный алгоритм, и, следовательно, требующий меньшего объема вычислительных ресурсов, что позволяет преобразовать специализированные данные, относящиеся к глубине, в звук более эффективно, чем в известных системах.
В результате, из первоначальной пары стереоизображений получают невербальный стереофонический звуковой сигнал, передаваемый пользователю посредством кохлеарных наушников или посредством средств (4i, 4d) костной проводимости. Так устанавливается аудиовизуальный язык, позволяющий надежно преобразовать визуальную информацию в слуховую информацию интуитивно-понятно для пользователя.
На фиг. 2 проиллюстрирован пример карты глубины тороида с низким разрешением. Каждый пиксель карты глубины имеет связанную с ним координату (X, Y), соответствующую полученному камерами положению пикселя. Кроме того, с каждым пикселем связан уровень серого (G), предоставляющий информацию, относящуюся к глубине, т.е. расстояние, на котором расположен участок, связанный с указанным пикселем.
На фиг. 3 упрощенным образом проиллюстрировано разделение центральной вертикальной полосы или столбца на три области согласно их уровням серого. Область "А" является черной, область "В" - белой, а область "С" - серой. Следовательно, с каждой из областей связаны три различных по силе громкости (тишина для области "А", максимальная громкость для области "В" и промежуточная интенсивность звука для области "С"). Следует понимать, что обычно задано намного больше промежутков уровней серого и, следовательно, связанных с ними интенсивностей звука. Звуковой сигнал формируется путем объединения отдельных сигналов, соответствующих пикселям каждой области.
С использованием информации из карты глубины, строится матрица или таблица с информацией, относящейся к окружающему в тот момент времени пространству.
Указанная информация должна быть преобразована в звук согласно следующим принципам:
- карта диспаратности строится для каждой пары стереокадров. С учетом разности пикселей изображений и с использованием данных камер (поле зрения, межокулярное расстояние, определенную калибровку), может быть реализована триангуляция, следовательно, пиксели могут быть связаны с расстояниями в реальном пространстве. С помощью этой информации выполняется обработка изображения для получения карты глубины. Она представляет собой схематическое изображение предметов в оттенках серого, отображающее их объемы и реальные расстояния до них. Следовательно, это обеспечивает единое составное изображение, содержащее пространственную информацию, относящуюся к местности;
- пример рабочего режима сканирования приведен со ссылками на фиг. 3. Для анализа изображения необходимо двигать головой слева направо, как бы качая головой в знак отрицания. Центральной курсор (выделен красным), следовательно, сможет полностью просканировать тороид. Сгенерированный звук будет слышен в центре стереопанорамы (поскольку он всегда будет центром линии наблюдения). Посредством такого сканирования будет получено представление о горизонтальном размере предмета (движение шеи будет служить в качестве точки отсчета), а вертикальный размер будет отображен с помощью диапазона частот;
- в полном ландшафтном режиме для анализа используется фиг. 2. В этом случае, пользователю нет необходимости двигать шеей, чтобы воспринимать, что находится впереди указанного пользователя. Правая часть тороида будет звучать справа в виде стереопанорамы. Центральная и левая части будут звучать аналогичным образом. Уровень апертуры стереопанорамы даст представление о горизонтальном размере тороида. Вертикальный размер будет отображен диапазоном частот, как и в режиме сканирования;
- сопоставление изображения стереозвуку осуществляется следующим образом. Звуковой сигнал на основе изображения ландшафта соответствует анализируемой области. Левая область изображения будет звучать в левой части стереопанорамы. Правая область будет звучать в правой части стереопанорамы. Центральная область, следовательно, будет звучать в центре стереопанорамы (т.е. 50% слева + 50% справа);
- диапазон частот, в котором частоты обозначают параметр высоты, составляет от 100 Гц до 18000 Гц и разделен на равные промежутки. Указанный диапазон был выбран, поскольку он является достаточно широким для детального отображения звука, но при этом достаточно узким, чтобы среднестатистический человек воспринимал его без каких-либо проблем (диапазон человеческого восприятия звука составляет от 20 Гц до 20000 Гц). Базовая частота (100 Гц) соответствует первому нижнему ряду пикселей на дисплее. Самая высокая частота (18000 Гц) соответствует верхнему ряду пикселей. Остальные частотные промежутки лежат между ними. Если изображение имеет высоту 128 пикселей, каждый ряд будет соответствовать одному промежутку. Если разрешение изменяется, промежутки будут выделены так, чтобы пропорционально соответствовать высоте. Этот способ работает для систем с низкой вычислительной мощностью. При наличии мощности, позволяющей генерировать синтезированный звук в реальном времени, диапазон частот будет разделен на множество пикселей по высоте, и каждый частотный промежуток будет соответствовать каждому пикселю без интерполяции или усреднения;
- параметр пространственного расстояния относительно пользователя (ось Z) связан с параметром громкости, генерируемой алгоритмом, так что черный пиксель не будет иметь ощутимой громкости (т.е. точка в бесконечности), а белый пиксель будет иметь максимальную громкость (0 дБ). Эта шкала может быть гибкой и применяться к различным используемым диапазонам измерений (40 см, 2 м, 6 м);
- длительность звука на пиксель непосредственно пропорциональна его "присутствию" на дисплее. Если пиксель постоянно белый, звук будет повторяться постоянно;
- анализ центрального столбца используется только в режиме сканирования. Теоретически, может использоваться центральный столбец шириной в 1 пиксель. Тем не менее, для ослабления звука и предотвращения искажения, громкость пикселя трех или даже пяти центральных столбцов, в зависимости от разрешения карты глубины (что зависит от вычислительной мощности), может быть усреднена.
Интенсивность громкости связана с глубиной оттенка серого пикселя (I). Следовательно, пиксель со значением 0.0.0 (в модели RGB) соответствует удаленному участку и связан с интенсивностью, соответствующей тишине (1=0). Пиксель со значением 255.255.255 соответствует очень близкому участку и максимальной громкости сигнала (1=0 дБ). Таким образом, каждый пиксель может рассматриваться в виде "звуковой единицы", используемой для создания звуковой композиции. Частота звука предпочтительно лежит в диапазоне от 100 Гц до 18000 Гц.
В зависимости от режима работы, положение X пикселя может быть преобразовано двумя способами.
Режим сканирования. Будут звучать только те сигналы, которые соответствуют пикселям в центральном столбце. Сканирование местности осуществляется, когда пользователь двигает головой как будто в знак отрицания. Это аналогично сканированию с помощью трости.
Полный ландшафтный режим. Будут звучать одновременно несколько столбцов пикселей, связанных с местностью. В указанном режиме в сканировании нет необходимости. Изображение отображается (или "звучит") целиком. Например, чем дальше в правую сторону находятся пиксели, тем громче они будут звучать справа в стереопанораме. То же справедливо для центрального и левого участков.
Полный ландшафтный режим требует большой вычислительной мощности, так что, в зависимости от эффективности модуля (2) обработки, вместо того, чтобы звучали все столбцы изображения, может быть осуществлена оптимизация с использованием пяти столбцов, т.е. центрального и лежащих на 45°, -45°, 80°, -80°. В зависимости от вычислительной мощности может быть использовано большее количество столбцов.
Положение Y пикселя (высота предмета) задается частотой звука: для этого используется полосовой фильтр (альтернативные решения в зависимости от вычислительной мощности устройства включают в себя или генерируемую синусоидальную частоту, или предварительно вычисленный шаблон в определенном диапазоне частот), так что пиксели в верхней области будут звучать высоким тоном, а пиксели в нижней области будут звучать низким тоном. Звуковой спектр, которым отображается каждый пиксель, определяется количеством пикселей Y.
Пример. Этот пример представлен для пояснения того, как звук генерируется из изображения глубины. Предполагается, что выбран режим сканирования, и что получено изображение глубины аналогично проиллюстрированному на фиг. 3, на котором в приближении различаются только три уровня серого. Следовательно, в центральном столбце находятся (снизу вверх): 10 черных пикселей, 12 белый пикселей, 2 черных пикселя, 8 серых пикселей и 15 черных пикселей. Предполагается, что сформирована цветовая шкала, в которой 0 дБ соответствует белому, -30 дБ соответствует серому и -∞ дБ соответствует черному.
Интенсивность сигнала в конкретный момент времени будет представлять собой аналоговую смесь всех сигналов.
Пользователь будет воспринимать различные частоты в зависимости от положения пикселя по высоте. Пиксели, расположенные на меньшей высоте, будут более низкого тона, а пиксели, расположенные на большей высоте, будут более высокого тона. Звук, генерируемый таким столбцом, может быть разделен на компонент низкого тона с высокой интенсивностью звука (область В) и компонент с промежуточной интенсивностью звука частоты более высокого тона (область С). Этот сигнал будет сгенерирован для двух каналов, левого и правого (и будет соответственно воспроизведен в наушниках (4i, 4d)).
Когда пользователь изменяет положение камер посредством поворота головы, изображение глубины и, следовательно, связанный с ним звуковой сигнал, будут меняться.
На фиг. 4 проиллюстрирована блок-схема, на которой представлены некоторые из основных этапов, выполняемых в режиме сканирования. Первый этап (Р1) получения изображения с помощью камер (3i, 3d), этап (Р2) обработки для генерации карты глубины, этап (Р3) сопоставления для определения соответствия частоты и интенсивности звука для каждого пикселя или группы пикселей на центральном столбце карты глубины, этап (Р4) генерации для генерации конечного звукового сигнала, соответствующего центральному столбцу.
На фиг. 5 проиллюстрирован вариант осуществления изобретения, реализованный в очках 1. Тем не менее, изобретение может быть реализовано в изделии другого типа, служащего в качестве несущей конструкции. Например, оно может быть реализовано на шляпе, головной повязке, шейной повязке, нагрудной повязке, плечевой повязке или в переносном устройстве. Очки обладают тем преимуществом, что они удобны в ношении, и, с одной стороны, позволяют разместить наушники (4i, 4d) в необходимом положении, и, с другой стороны, они обеспечивают точную фокусировку камер (3i, 3d) на интересующем участке. Модуль (2) обработки выполнен с возможностью ношения пользователем в кармане или на ремне. В будущем возможно сокращение его размера для интеграции с очками (1). Поскольку они разделены, информация, полученная камерами (3i, 3d), передается на модуль (2) обработки посредством кабеля (6). Помимо этого, поскольку указанная информация обрабатывается, модуль (2) обработки передает соответствующие звуковые сигналы на наушники (4i, 4d).
Количество информации и детализация, с которой звук позволяет отображать формы и пространство, характеризуется недоступной до настоящего времени точностью. При проведенном со слепыми тестировании подтвердилось, что после короткого тренировочного периода настоящее изобретение позволяет распознавать определенные формы посредством связанного с ними звука. Например, бутылки, очки и тарелки на столе имеют характерные звуки, позволяющие отличить их друг от друга.
Для передачи звука предпочтительно используются кохлеарные наушники, которые оставляют ушной проход свободным. Это повышает комфорт пользователя, значительно сокращают слуховое утомление и является значительно более гигиеничным при длительных сеансах использования.
В одном варианте осуществления предусмотрен интерфейс, связанный с модулем (2) обработки и имеющий кнопку выбора диапазона для определения анализируемого расстояния, например, близкого, нормального и дальнего, соответствующих расстояниям 40 см, 2 м и 6 м, соответственно, или определяемого пользователем посредством подходящего для этих целей интерфейса. Расстояния при нажатии кнопки могут выбираться циклически. Выбор диапазона обычно служит для обеспечения соответствия диапазона различным видам местности или ситуациям, например, 40 см - для определения положения предметов на столе, 2 м - при перемещении по дому, а 6 м - при переходе дороги.
В другом предпочтительном варианте осуществления изобретения система содержит средства беспроводной передачи данных (например, посредством Wi-Fi, Bluetooth или других аналогичных технологий), соединенные с модулем (2) обработки, причем указанные средства передачи соединены с внешним устройством, выполненным с возможностью беспроводного соединения, и/или с устройством переносного типа.
В одном варианте осуществления интерфейс, связанный с модулем (2) обработки, имеет кнопку режима анализа. Выбор между режимами может осуществляться циклически.
Режим сканирования. Анализ только в центральной области изображения. Пользователь будет циклически поворачивать голову слева направо, сканируя местность аналогично тому, как это осуществляется посредством трости. Звук является монофоническим.
Полный ландшафтный режим. Анализ осуществляется над целым изображением. Звук является стереофоническим. Пользователь, таким образом, может различать формы и пространства во всем поле зрения одновременно. Например, слева различает столб (левая часть стереопанорамы), в центре различает низкий стол (центральная часть стереопанорамы), а справа проход свободен (правая часть стереопанорамы). Указанный режим обработки является более сложным относительно звука, поскольку он предоставляет больше информации, чем режим сканирования. Он легко может стать преобладающим, хотя и требует большей тренировки.

Claims (25)

1. Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания, содержащая:
две камеры (3i, 3d), отделенные друг от друга и выполненные с возможностью одновременного получения изображения окружающего пространства,
средства (4i, 4d) генерации для генерации звуковых и/или тактильных выходных сигналов;
средства (2) обработки, соединенные с камерами (3i, 3d) и средствами (4i, 4d) генерации для генерации звуковых и/или тактильных сигналов,
отличающаяся тем, что указанные средства (2) обработки выполнены с возможностью объединения изображений, полученных в реальном времени, и обработки информации о глубине элементов, содержащихся в по меньшей мере одной вертикальной полосе комбинированного изображения, при этом указанная вертикальная полоса по существу охватывает всю высоту комбинированного изображения, причем указанные средства (2) обработки также выполнены с возможностью: разделения указанной вертикальной полосы на один или более участков; определения звукового или тактильного сигнала на каждом участке согласно глубине участка и высоте участка; и определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы.
2. Система по п. 1, в которой указанная вертикальная полоса представляет собой центральную полосу комбинированного изображения.
3. Система по п. 2, в которой средства (2) обработки выполнены с возможностью обработки множества боковых вертикальных полос на комбинированном изображении с каждой стороны от центральной вертикальной полосы, отличающаяся тем, что левосторонний сигнал и правосторонний сигнал определяются из участков каждой левосторонней полосы и каждой правосторонней полосы, соответственно.
4. Система по п. 3, в которой средства (2) обработки выполнены с возможностью осуществления одновременного анализа множества боковых вертикальных полос, так что сегментарный участок на полном изображении, полученном камерами (3i, 3d), обрабатывается горизонтально.
5. Система по п. 4, в которой режим работы средств (2) обработки может быть задан пользователем, так что режим одновременного анализа множества боковых вертикальных полос и режим анализа одной вертикальной полосы могут быть приведены в действие и отключены пользователем.
6. Система по любому из пп. 1-5, в которой средства (4i, 4d) генерации работают в стереофоническом режиме, объединяя левосторонний звуковой или тактильный сигнал и правосторонний звуковой или тактильный сигнал, и/или в которой звук генерируется в монофоническом режиме, причем оба режима могут быть выбраны пользователем.
7. Система по любому из пп. 1-6, в которой средства (2) обработки определяют интенсивность звукового или тактильного сигнала согласно глубине участка.
8. Система по п. 7, в которой средства (2) обработки определяют частоту звукового или тактильного сигнала согласно высоте участка на вертикальной полосе.
9. Система по п. 8, в которой средства (2) обработки выполнены с возможностью определения глубины участка на карте глубины изображения окружающего пространства согласно цветовой кодировке в оттенках серого или посредством цветового градиента.
10. Система по любому из пп. 1-9, содержащая несущую конструкцию (1), выполненную с возможностью ношения пользователем и размещения средств (4i, 4d) воспроизведения и двух камер (3i, 3d).
11. Система по любому из пп. 1-10, в которой тактильный сигнал представляет собой сигнал, генерируемый посредством вибрации.
12. Система по любому из пп. 1-11, в которой частота звукового сигнала находится в диапазоне от 100 Гц до 18000 Гц.
13. Система по любому из пп. 1-12, в которой средства (4i, 4d) генерации содержат наушники с костной проводимостью звука.
14. Система по любому из пп. 1-13, в которой несущая конструкция (1) выбрана по меньшей мере из группы, включающей в себя:
- очки,
- головную повязку,
- шейную повязку,
- нагрудную повязку,
- плечевую повязку,
- наручную повязку.
15. Система по любому из пп. 1-14, содержащая средства беспроводной передачи данных, соединенные с модулем (2) обработки, причем указанные средства передачи соединены с внешним устройством, выполненным с возможностью беспроводного соединения, и/или с устройством нательного типа.
RU2017144052A 2015-06-12 2016-06-10 Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания RU2719025C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ESP201530825 2015-06-12
ES201530825A ES2597155B1 (es) 2015-06-12 2015-06-12 Sistema portátil de interpretación sonora o táctil del entorno para un invidente
PCT/ES2016/070441 WO2016198721A1 (es) 2015-06-12 2016-06-10 Sistema portátil de interpretación sonora o táctil del entorno para personas invidentes o con deficiencia visual

Publications (3)

Publication Number Publication Date
RU2017144052A RU2017144052A (ru) 2019-07-12
RU2017144052A3 RU2017144052A3 (ru) 2019-10-29
RU2719025C2 true RU2719025C2 (ru) 2020-04-16

Family

ID=57504615

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017144052A RU2719025C2 (ru) 2015-06-12 2016-06-10 Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания

Country Status (18)

Country Link
US (1) US11185445B2 (ru)
EP (1) EP3308759B1 (ru)
JP (1) JP6771548B2 (ru)
KR (1) KR102615844B1 (ru)
CN (1) CN107708624B (ru)
AR (1) AR104959A1 (ru)
AU (1) AU2016275789B2 (ru)
BR (1) BR112017026545B1 (ru)
CA (1) CA2986652A1 (ru)
CO (1) CO2017012744A2 (ru)
DK (1) DK3308759T3 (ru)
ES (2) ES2597155B1 (ru)
HK (1) HK1248093A1 (ru)
IL (1) IL255624B (ru)
MX (1) MX2017015146A (ru)
PT (1) PT3308759T (ru)
RU (1) RU2719025C2 (ru)
WO (1) WO2016198721A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2798898C1 (ru) * 2020-04-30 2023-06-28 Шэньчжэнь Шокз Ко., Лтд. Наушники с костной проводимостью

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3551279B8 (en) * 2016-12-07 2023-10-11 Cortigent, Inc. Depth filter for visual prostheses
CN107320296A (zh) * 2017-06-23 2017-11-07 重庆锦上医疗器械有限公司 视觉信号的空间三维声音表达系统及方法
US10299982B2 (en) * 2017-07-21 2019-05-28 David M Frankel Systems and methods for blind and visually impaired person environment navigation assistance
CN108245385B (zh) * 2018-01-16 2019-10-29 曹醒龙 一种帮助视障人士出行的装置
JP7415139B2 (ja) * 2019-01-11 2024-01-17 ダイキン工業株式会社 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
EP3924873A4 (en) * 2019-02-12 2023-10-11 Can-U-C Ltd. STEREOPHONE DEVICE FOR THE BLIND AND VISUALLY IMPAIRED PERSONS
CA3165920A1 (en) 2020-04-30 2021-11-04 Shenzhen Shokz Co., Ltd. Bone conduction earphones
CN111862932B (zh) * 2020-07-02 2022-07-19 北京科技大学 一种将图像转化为声音的可穿戴助盲系统及方法
CN111862024A (zh) * 2020-07-14 2020-10-30 四川深瑞视科技有限公司 基于深度信息增强投影的工件检测系统及方法
KR20220008659A (ko) 2020-07-14 2022-01-21 김재현 시각 장애인 전용 목걸이

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3172075A (en) * 1959-11-27 1965-03-02 Nat Res Dev Apparatus for furnishing information as to positioning of objects
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
US20090122648A1 (en) * 2007-11-12 2009-05-14 Trustees Of Boston University Acoustic mobility aid for the visually impaired
WO2013018090A1 (en) * 2011-08-01 2013-02-07 Abir Eliahu System and method for non-visual sensory enhancement
RU2490694C2 (ru) * 2008-06-30 2013-08-20 Универсидаде Ду Порту Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2966661D1 (en) * 1978-08-14 1984-03-22 Leslie Kay Method of and apparatus for providing information as to the existence and/or position of objects
EP0410045A1 (en) * 1989-07-27 1991-01-30 Koninklijke Philips Electronics N.V. Image audio transformation system, particularly as a visual aid for the blind
KR100586893B1 (ko) * 2004-06-28 2006-06-08 삼성전자주식회사 시변 잡음 환경에서의 화자 위치 추정 시스템 및 방법
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3172075A (en) * 1959-11-27 1965-03-02 Nat Res Dev Apparatus for furnishing information as to positioning of objects
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
US20090122648A1 (en) * 2007-11-12 2009-05-14 Trustees Of Boston University Acoustic mobility aid for the visually impaired
RU2490694C2 (ru) * 2008-06-30 2013-08-20 Универсидаде Ду Порту Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями
WO2013018090A1 (en) * 2011-08-01 2013-02-07 Abir Eliahu System and method for non-visual sensory enhancement

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Banks, J., et al. Non-parametric techniques for fast and robust stereo matching. TENCON ’97 Brisbane - Australia. Proceedings of IEEE TENCON ’97. IEEE Region 10 Annual Conference. Speech and Image Technologies for Computing and Telecommunications (Cat. No.97CH36162), pp.1-4. *
Meijer, P. B. L. An experimental system for auditory image representations. IEEE Transactions on Biomedical Engineering, 39(2), 1992, 112-121. *
Meijer, P. B. L. An experimental system for auditory image representations. IEEE Transactions on Biomedical Engineering, 39(2), 1992, 112-121. Banks, J., et al. Non-parametric techniques for fast and robust stereo matching. TENCON ’97 Brisbane - Australia. Proceedings of IEEE TENCON ’97. IEEE Region 10 Annual Conference. Speech and Image Technologies for Computing and Telecommunications (Cat. No.97CH36162), pp.1-4. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2798898C1 (ru) * 2020-04-30 2023-06-28 Шэньчжэнь Шокз Ко., Лтд. Наушники с костной проводимостью

Also Published As

Publication number Publication date
HK1248093A1 (zh) 2018-10-12
ES2780725T3 (es) 2020-08-26
CO2017012744A2 (es) 2018-02-20
AU2016275789A1 (en) 2018-01-25
AU2016275789B2 (en) 2021-03-11
CA2986652A1 (en) 2016-12-15
IL255624A (en) 2018-01-31
DK3308759T3 (da) 2020-03-02
JP6771548B2 (ja) 2020-10-21
BR112017026545B1 (pt) 2022-07-12
MX2017015146A (es) 2018-03-28
EP3308759A1 (en) 2018-04-18
AR104959A1 (es) 2017-08-30
ES2597155A1 (es) 2017-01-16
CN107708624B (zh) 2021-12-14
WO2016198721A1 (es) 2016-12-15
KR102615844B1 (ko) 2023-12-21
ES2597155B1 (es) 2017-09-18
EP3308759B1 (en) 2019-11-27
EP3308759A4 (en) 2019-02-27
PT3308759T (pt) 2020-04-01
CN107708624A (zh) 2018-02-16
RU2017144052A3 (ru) 2019-10-29
KR20180018587A (ko) 2018-02-21
BR112017026545A2 (pt) 2018-08-14
IL255624B (en) 2021-04-29
US11185445B2 (en) 2021-11-30
JP2018524135A (ja) 2018-08-30
US20180177640A1 (en) 2018-06-28
RU2017144052A (ru) 2019-07-12

Similar Documents

Publication Publication Date Title
RU2719025C2 (ru) Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания
CN204744865U (zh) 基于听觉的为视觉障碍人士传达周围环境信息的装置
US20200322747A1 (en) Distance determination using camera images
US10111013B2 (en) Devices and methods for the visualization and localization of sound
US20070211947A1 (en) System for seeing using auditory feedback
JP2022534833A (ja) 個人化されたオーディオ拡張のためのオーディオプロファイル
KR101885473B1 (ko) 시각 장애인 보조용 스마트 글래스
CN113366863B (zh) 补偿头戴式装置对头部相关传递函数的影响
JPWO2015111263A1 (ja) 立体内視鏡画像処理装置
Strumillo et al. Different approaches to aiding blind persons in mobility and navigation in the “Naviton” and “Sound of Vision” projects
Ghaderi et al. A wearable mobility device for the blind using retina-inspired dynamic vision sensors
WO2016131793A1 (en) Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
Hoang et al. Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect
Vítek et al. New possibilities for blind people navigation
Dunai et al. Virtual sound localization by blind people
KR102185519B1 (ko) 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이를 위한 실세계 영상 왜곡 방법 및 실세계 영상 왜곡 기능을 가지는 다이렉트 인코딩 방식의 씨스루 헤드 마운트 디스플레이
Bălan et al. Assistive IT for Visually Imapired People
KR20160090781A (ko) 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
US20230103788A1 (en) Apparatus and method for sensory substitution and multi-path transmission of visual information
Matta et al. Auditory eyes: Representing visual information in sound and tactile cues
Silva et al. Acoustic-tactile rendering of visual information
KR20230047889A (ko) 시각정보의 감각 치환 및 다중경로 전달 장치 및 방법
TR2022008128T2 (tr) Görme engelli̇ler i̇çi̇n i̇şi̇tsel artirilmiş gerçekli̇k özelli̇kli̇ bi̇r navi̇gasyon yardim si̇stemi̇
KR20150092811A (ko) 영상의 음향 변환 장치 및 그에 의한 시각 장애인용 음향 변환 방법
JP2011067479A (ja) 画像聴覚化装置