RU217663U1 - Головное устройство зрительного кортикального протеза с возможностью распознавания текста - Google Patents

Abstract

Полезная модель относится к ассистивным устройствам, предназначенным для использования людьми с ограниченными возможностями по зрению, и может быть использована в системах зрительно-кортикального протезирования с целью восстановления зрительных функций у людей, полностью их потерявших. Технический результат, достигаемый при реализации полезной модели, заключается в расширении функциональности устройства. Головное устройство зрительного кортикального протеза выполнено в виде регулируемого обруча и оснащено встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки видеосигнала. Новым является то, что блок обработки видеосигнала выполнен с возможностью распознавания речи.

Description

Полезная модель относится к ассистивным устройствам, предназначенным для использования людьми с ограниченными возможностями по зрению, и может быть использована в системах зрительно-кортикального протезирования с целью восстановления зрительных функций у людей, полностью их потерявших.

Первые ретинальные зрительные протезы известны по крайней мере с 1956 года, когда австралийский ученый Дж. И. Тассикер запатентовал первый ретинальный имплант, который не давал какого-то полезного зрения, но показал, что можно искусственно вызывать зрительные сигналы.

Принцип действия ретинального импланта (импланта сетчатки) сводился к тому, что «вводили» визуальную информацию в сетчатку, электрически стимулируя выжившие нейроны сетчатки. Вызванные зрительные восприятия имели довольно низкое разрешение, но достаточное для распознавания простых объектов. Из уровня техники известно три ретинальных импланта, которые прошли клинические испытания и были сертифицированы - Second Sight Medical Products (США), Pixium Vision, (Франция) и Retina Implant AG (Германия). Устройства имели внешние устройства (очки с видеокамерой и блок обработки видеосигнала). Невидящий человек смотрел при помощи камеры, с нее картинка направлялась в процессор, где изображение обрабатывалось и распадалось на пиксели. Затем сигнал направлялся через трансмиттер на электродную решетку, вживленную на сетчатке, и электрическим током стимулируются оставшиеся живые клетки.

Устройства были громоздкими, а результат малоэффективным. Данные импланты известны также как фосфенное зрение, бионический глаз. Данные протезы описаны, например, в US 9566191 B2, US 9265945 B2, EP 3089784 B1, EP 2600933 B1, AU 2004235627 A1 и др.

На смену ретинальным имплантам пришли кортикальные протезы. В отличие от ретинальных имплантов, вводимых в сетчатку, кортикальные протезы имплантируют в зрительную кору головного мозга, вследствие чего они способны вызывать зрительные восприятия у слепых людей посредством прямой электрической стимуляции затылочной коры мозга, которая отвечает за распознавание изображений. Этот подход может быть единственным доступным лечением слепоты, вызванной глаукомой, терминальной стадией пигментного ретинита, атрофией зрительного нерва, травмой сетчатки, зрительных нервов и т.п. (см. AU 2008282451 A1, CN 105496642 A).

Недостатком известных кортикальных протезов является то, что камера посылает в мозг вспышки света, которые «обтекают» предметы вокруг, и передают их контуры в мозг. Благодаря этому человек сможет видеть силуэты и контуры объектов перед собой, но детальную прорисовку, узнавание текста - нет.

Ближайшим аналогом заявленной полезной модели является система зрительно-кортикального протезирования (RU 2759125, A61F 9/08, A61N 1/00, 09.11.2021), состоящая из внешней и имплантируемой частей.

Имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего полимера, погруженных в инертную гибкую основу.

Внешняя часть состоит из первого устройства, предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала, причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и блок функционального управления.

Основными критериями функциональной полезности зрительно-кортикального протеза являются способность читать и распознавать лица людей с его помощью.

Задача, на решение которой направлена настоящая полезная модель, заключается в совершенствовании ближайшего аналога за счет использования средства распознавания текста, что позволяет расширить функциональные возможности устройства. В отличие от фосфенного зрения, которое не способно анализировать мелкие детали, в том числе текст, предлагаемое устройство позволяет распознавать текст, а также детализировать объекты и предметы.

Технический результат, достигаемый при реализации полезной модели, заключается в расширении функциональности устройства.

Поскольку имплантируемая часть кортикального протеза не изменяется, настоящая полезная модель относится только к головному устройству.

Технический результат достигается благодаря тому, что головное устройство, содержащее блок обработки видеосигнала дополнительно снабжен программным модулем распознавания текста, обеспечивающим обработку полученной с камер визуальной информации о внешних объектах, содержащих текстовые элементы и их перевод в аудиоформат в виде голосовых сообщений, синтезируемых программно и выводящихся на динамики проводным и/или беспроводным путем. При этом пользователю системы доступно управление чтением (диктовкой) текста, которое может происходить с помощью голосовых команд и/или внешнего контроллера, подключаемого по Bluetooth или WiFi (смартфон, отдельное устройство и т.п.).

Полезная модель поясняется следующими иллюстрирующими материалами, где

на фиг. 1 - общий вид заявленного устройства;

на фиг. 2 представлена последовательность этапов формирования фосфенного зрения, реализованная в ближайшем аналоге;

на фиг. 3 показан пример распознавания текста заявленным устройством.

Головное устройство зрительного кортикального протеза является единым конструктивным устройством, включающим блок обработки видео сигнала (1), на котором происходит обработка изображений с текстом, и обруч с камерами (2).

Головное устройство так же, как и ближайший аналог, включает:

- средство преобразования изображений в видеосигнал, выполненное в виде двух встроенных во фронтальную часть обруча 2 видеокамер. Видеокамеры являются устройствами видеофиксации, и необходимы для получения изображения и карты глубины окружающего пространства, их расположение во фронтальной части обруча определяется назначением.

- встроенный микроконтроллер, являющийся частью аппаратного обеспечения устройства, предназначенный для преобразования видеосигнала в линейно перекодированный в команды стимуляции электродов, причем указанные команды передаются с помощью антенны, а также предназначенный для передачи видеосигнала с помощью кабеля на блок обработки видеосигнала, где преобразуется в персонализированные паттерны стимуляции, которые после возвращения на обруч для головы с помощью вышеуказанной антенны перенаправляются на кортикальный имплант,

- антенну, которая является внешней передающей радиокатушкой, необходимой для передачи сигналов и питания,

- блок питания в виде двух аккумуляторов, служащий для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени;

- интерфейс связи - порт USB-С подключения к блоку обработки видеосигнала и зарядки устройства, расположенный с обратной стороны обруча.

Блок обработки видеосигнала 2 кортикального зрительного протеза, в котором сигнал, преобразованный микроконтроллером, преобразуется в интеллектуальный вариант набора стимулов, а также выполняется прочая интеллектуальная обработка сигнала. Указанный блок включает:

- процессор, являющийся частью аппаратного обеспечения устройства, обеспечивает выполнение команд и функционала связанных блоков (блок управления параметрами стимуляции и переключения режимов, блок активации режима интеллектуального поиска, блок включения с индикацией заряда) на программном уровне,

- блок оперативной памяти, являющийся частью аппаратного обеспечения устройства, необходимый для временного хранения информации, получаемой и передаваемой внутри кортикального зрительного протеза, тесно связанный с процессором 6 при реализации работы компонентов программного уровня,

- кнопки управления, предназначенные для активирования блока управления параметрами стимуляции и переключения режимов, блока активации режима интеллектуального поиска и блока включения с индикацией заряда,

- блок управления параметрами стимуляции и переключения режимов 9, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для изменения режимов контурного выделения объектов и выбора параметров стимуляции электродов. Для выполнения этого функционала задействованы два правила: одно для выделения силуэтов и масок существенных объектов, а второе для выделения очерчивающих границы помещения базовых структурных линий. Для реализации указанного функционала не требуется подключение к сети Интернет, он выполняется автономно,

- блок активации режима интеллектуального поиска, выполненный смысловым разделом программного уровня на базе процессора, предназначенный для нахождения положения объекта в информационных данных, полученных с камер, и его классификации. При реализации функционала задействует алгоритм машинного зрения на основе предобученного нейросетевого алгоритма, для лучшего восприятия протезом, и соответственно пользователем объектов и пространства в различных ситуациях. Блок 10 наделен функцией озвучивания найденного предмета пользователю через любую совместимую гарнитуру для ускоренной адаптации мозга к получаемым с помощью сигнала электродов изображений,

- блок включения с индикацией заряда, выполненный смысловым разделом программного уровня на базе процессора, предназначенный для включения и выключения устройства и оповещения пользователя об уровне заряда аккумуляторов,

- радиатор, выполненный в приоритетном варианте осуществления из алюминия, предназначенный для охлаждения аппаратного обеспечения,

- аккумулятор, предназначенный для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени.

Новым является то, что блок обработки видеосигнала снабжен модулем распознавания речи.

На фиг. 2 и 3 показан в сравнении результат работы устройства.

Так, на фиг. 2 представлен принцип работы алгоритма машинного зрения, с помощью которого происходит распознавание текста, в частности нейросетевой алгоритм craft. Алгоритм использует изображение, взятое с одной из камер носимой части зрительной протезной системы, затем обрабатывает его в блоке обработки видео сигнала, входящего в состав системы и на выходе выдает результат в виде аудио сообщения через любой вид подключаемых динамиков проводным или беспроводным путем, на поз.3 на фиг 2 - то, как видит предмет незрячий человек при использовании аналога.

На фиг. 3 представлена иллюстрация, демонстрирующая механизм запуска режима распознавания текста пользователем кортикальной зрительной протезной системы, а именно запрограммированная на данную функцию кнопка, предусмотренная на блоке обработки видео сигнала, входящего в состав носимой части зрительной протезной системы. Технически на запуск алгоритма может быть запрограммирована любая кнопка или механизм, обеспечивающий запуск программных решений.

Машинное зрение известно в уровне техники и не является новым, но не известно его использование в кортикальных протезах. Управление чтением (диктовкой) текста может происходить с помощью голосовых команд и/или внешнего контроллера, подключаемого по Bluetooth или WiFi (смартфон, отдельное устройство и т.п.). Блок обработки видео сигнала получает сигнал с камеры посредством проводного подключения к обручу, располагающемуся на голове пользователя.

Функция распознавания речи осуществляется путем интеграции в блок обработки видео сигнала любых программных решений, обеспечивающих данную функцию. Функция синтеза речи также осуществляется путем интеграции в блок обработки видео сигнала любых программных решений, обеспечивающих данную функцию.

К предлагаемому устройству, относящемуся к медицинским изделиям, предъявляются обязательные требования по тестированию. В настоящее время проходят испытания, которые показывают положительную динамику в распознавании текста.

Claims (1)

1. Головное устройство зрительного кортикального протеза для получения информации о внешних объектах, характеризующееся тем, что выполнено в виде регулируемого обруча и оснащено встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки видеосигнала, при этом блок обработки видеосигнала выполнен с возможностью распознавания речи.

Images