RU2759125C1 - Система и способ зрительно-кортикального протезирования - Google Patents
Система и способ зрительно-кортикального протезирования Download PDFInfo
- Publication number
- RU2759125C1 RU2759125C1 RU2021103724A RU2021103724A RU2759125C1 RU 2759125 C1 RU2759125 C1 RU 2759125C1 RU 2021103724 A RU2021103724 A RU 2021103724A RU 2021103724 A RU2021103724 A RU 2021103724A RU 2759125 C1 RU2759125 C1 RU 2759125C1
- Authority
- RU
- Russia
- Prior art keywords
- video signal
- hoop
- objects
- signal processing
- electrodes
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0529—Electrodes for brain stimulation
- A61N1/0531—Brain cortex electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
- A61N1/37211—Means for communicating with stimulators
- A61N1/37235—Aspects of the external programmer
- A61N1/37247—User interfaces, e.g. input or presentation means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
- A61N1/37211—Means for communicating with stimulators
- A61N1/37217—Means for communicating with stimulators characterised by the communication link, e.g. acoustic or tactile
- A61N1/37223—Circuits for electromagnetic coupling
- A61N1/37229—Shape or location of the implanted or external antenna
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
- A61N1/378—Electrical supply
- A61N1/3787—Electrical supply from an external energy source
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Prostheses (AREA)
Abstract
Группа изобретений относится к биоинженерным технологиям и может быть использована в медицинской практике с целью восстановления зрительных функций у людей, полностью потерявших их. Система содержит внешнюю и внутреннюю части. Внешняя часть эффективно обрабатывает видеосигнал и направляет команды на электроды, имплантированные пользователю. Предложена система для реализации способа, причем система состоит из внешней и имплантируемой частей, где имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего полимера, погруженных в инертную гибкую основу, а внешняя часть состоит из первого устройства, предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала, причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и блок функционального управления. Группа изобретений обеспечивает уменьшение времени адаптации пользователя к новому зрительному опыту, расширение функциональных возможностей системы, а также повышение безопасности использования. 2 н. и 1 з.п. ф-лы., 5 ил.
Description
Область техники
Предложенная группа изобретений относится к биоинженерным технологиям и может быть использована в медицинской практике с целью восстановления зрительных функций у людей, полностью их потерявших.
Уровень техники
Из уровня техники известны решения, направленные на восстановление зрительных функций пациентов путем стимуляции нейронов головного мозга.
Данная возможность обусловлена тем, что со зрительной зоной V1 коры головного мозга непосредственно соединены нейроны, посылающие зрительные сигналы от глаза человека. Зона коры V1 состоит из нейронов, которые отвечают за контраст, цвет, глубину, ориентацию, движение зрительного стимула. Прямое стимулирование указанных нейронов слабыми электрическими импульсами вызывает появление фосфенов, возникающих в поле зрения, что дает возможность так называемого фосфенного зрения, способного в некоторой степени заменить обычное зрение человеку, потерявшему такую способность.
Для стимуляции используют протезы, которые перманентно имплантируются в тело человека и стимулируют клетки зрительной коры головного мозга.
Например, известен кортикальный зрительный протез (US 2014222103 A1, 07.08.2014), представляющий собой размещенные на гибкой подложке внешнюю и внутреннюю части, внутренняя имплантируемая часть содержит стимулирующие электроды, а внешняя содержит катушку, предназначенную для приема и подачи сигнала на электроды.
Также известны устройство и способ зрительного протезирования (US 5159927 A, 03.11.1992). В данном решении сигнал с видеокамеры обрабатывается, преобразуется и поступает по проводному каналу в зрительный нерв. Данное решение обладает повышенной сложностью осуществления и доставляет большое неудобство пользователю при эксплуатации.
В качестве аналога изобретения можно принять решение, известное из (US 10052478 B2, 21.08.2018). В данном решении сигнал с внешней видеокамеры преобразуется процессором и передается на приемную катушку кортикального импланта посредством другой передающей катушки, причем катушки расположены в проекции друг друга в непосредственной близости.
Данное решение обладает низкой полезной функциональностью, поскольку не позволяет, в частности, осуществлять распознавание объектов, определять расстояние до распознанных объектов и снабжать пользователя информацией об окружающих объектах, что может быть, однако, необходимым в случае использования зрительных имплантов с низким разрешением.
Таким образом, общим недостатком уровня техники является низкая функциональность и эффективность воспроизведения объектов окружающей среды, приводящая к длительному времени адаптации пользователя к возможности малоэффективного распознавания зрительных образов фосфенного зрения.
Предложенная группа изобретений направлена на преодоление недостатков уровня техники и достижение технических результатов, заключающихся в уменьшении времени адаптации пользователя к новому зрительному опыту, в расширении функциональных возможностей системы, а также повышение безопасности использования.
Раскрытие изобретения
Для достижения указанных технических результатов предлагается группа изобретений, в обобщенном виде включающая систему и способ зрительно-кортикального протезирования.
Согласно первому аспекту изобретения предложена система зрительного кортикального протеза, состоящая из внешней и имплантируемой частей, где имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего материала на биосовместимой подложке, а внешняя часть состоит из первого устройства - предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала, причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и органы управления.
Согласно второму аспекту изобретения предложен способ функционирования системы зрительного кортикального протеза, включающий получение видеосигнала от видеокамер в первом устройстве, его линейную перекодировку в команды стимуляции электродов и выдачу сигнала стимуляции электродов, а при поступлении соответствующей команды активирование дополнительной обработки видеосигнала во втором устройстве, связанным с первым устройством, которая включает: регистрацию потока видеокадров, преобразование видеокадров в паттерн усредненных сигналов с разрешением, соответствующим размеру матрицы электродов, обнаружение границ целевых объектов, распознавание объектов, создание карты глубины, определение расстояния до объектов, по результатам обработки формирование и выдачу сигнала стимуляции электродов с одновременным озвучиванием информации, полученной в результате распознавания объектов и/или определения расстояния до объектов.
Далее представлено более подробное описание предложенной группы изобретений в его предпочтительных вариантах осуществления.
Осуществление изобретения
Кортикальный зрительный протез (КЗП) приставляет собой систему, состоящую из комплекса внешних и внутренних (имплантируемых) устройств, предназначенных для искусственной активации полезных зрительных ощущений у тотально слепых людей, то есть для протезирования зрения.
Для более полного понимания сущности ниже сделаны отсылки на соответствующие поясняющие чертежи, на которых представлены компоненты предложенной системы.
Согласно чертежам, предложенная система содержит:
фиг. 1 - головное устройство в виде обруча;
фиг. 2 - блок обработки видеосигнала (дополнительной обработки);
Фиг. 3 - блок-схема элементов блока обработки видеосигнала;
фиг. 4 - имплантируемая часть, именуемая далее, как имплант или протез.
Фиг. 5 - схема использования импланта.
Система зрительного кортикального протеза состоит из внешней и имплантируемой частей.
Внешняя часть включает первое устройство, предназначенное для размещения на голове пользователя - регулируемого обруча (фиг. 1), и второе устройство - блок обработки видеосигнала (фиг. 2, 3).
Как показано на фиг. 1 обруч для головы или головное устройство включает:
- средство преобразования изображений в видеосигнал, выполненное в виде двух встроенных во фронтальную часть обруча 1 видеокамер 2. Видеокамеры 2 являются устройствами видеофиксации, и необходимы для получения изображения и карты глубины окружающего пространства, их расположение во фронтальной части обруча определяется назначением.
- встроенный микроконтроллер 3, являющийся частью аппаратного обеспечения устройства, предназначенный для преобразования видеосигнала в линейно перекодированный в команды стимуляции электродов, причем указанные команды передаются с помощью антенны 4, а также предназначенный для передачи видеосигнала с помощью кабеля (на фиг. условно не показан) на блок обработки видеосигнала 5, где преобразуется в персонализированные паттерны стимуляции, которые после возвращения на обруч для головы 1 с помощью вышеуказанной антенны 4 перенаправляются на кортикальный имплант 11,
- антенну 4, которая является внешней передающей радио катушкой, необходимой для передачи сигналов и питания,
- радиаторы охлаждения 16, расположенные во фронтальной части обруча 1, выполненные в приоритетном варианте осуществления из алюминия и предназначенные для охлаждения;
- блок питания (на фиг. условно не показан) в виде двух аккумуляторов, служащий для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени;
- интерфейс связи 17 - порт USB-С подключения к блоку обработки видеосигнала 5 и зарядки устройства, расположенный с обратной стороны обруча 1 (на фиг. 1 местоположение показано условно).
На фиг. 2, фиг. 3 показано второе устройство внешней части - блок обработки видеосигнала 5 кортикального зрительного протеза 11, в котором сигнал, преобразованный микроконтроллером, преобразуется в интеллектуальный вариант набора стимулов, а также выполняется прочая интеллектуальная обработка сигнала. Указанный блок включает:
- процессор 6, являющийся частью аппаратного обеспечения устройства, обеспечивает выполнение команд и функционала связанных блоков (блок управления параметрами стимуляции и переключения режимов 9, блок активации режима интеллектуального поиска 10, блок включения с индикацией заряда 19) на программном уровне,
- блок оперативной памяти 7, являющийся частью аппаратного обеспечения устройства, необходимый для временного хранения информации, получаемой и передаваемой внутри кортикального зрительного протеза, тесно связанный с процессором 6 при реализации работы компонентов программного уровня,
- кнопки управления 8, предназначенные для активирования блока управления параметрами стимуляции и переключения режимов 9, блока активации режима интеллектуального поиска 10 и блока включения с индикацией заряда 19,
- блок управления параметрами стимуляции и переключения режимов 9, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для изменения режимов контурного выделения объектов и выбора параметров стимуляции электродов. Для выполнения этого функционала задействованы два правила: одно для выделения силуэтов и масок существенных объектов, а второе для выделения очерчивающих границы помещения базовых структурных линий. Для реализации указанного функционала не требуется подключение к сети Интернет, он выполняется автономно,
- блок активации режима интеллектуального поиска 10, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для нахождения положения объекта в информационных данных, полученных с камер, и его классификации. При реализации функционала задействует алгоритм машинного зрения на основе предобученного нейросетевого алгоритма, для лучшего восприятия протезом, и соответственно пользователем объектов и пространства в различных ситуациях. Дополнительно блок 10 наделен функцией озвучивания найденного предмета пользователю через любую совместимую гарнитуру для ускоренной адаптации мозга к получаемым с помощью сигнала электродов изображений,
- блок включения с индикацией заряда 19, выполненный смысловым разделом программного уровня на базе процессора 6, предназначенный для включения и выключения устройства и оповещения пользователя об уровне заряда аккумуляторов 18,
- радиатор 16, выполненный в приоритетном варианте осуществления из алюминия, предназначенный для охлаждения аппаратного обеспечения,
- аккумулятор 18, предназначенный для автономного режима работы устройства в течение определенного емкостью аккумулятора периода времени.
Таким образом, блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и органы управления.
Имплантируемая часть - кортикальный имплант 11 кортикального зрительного протеза, перманентно имплантируемый в тело человека и предназначенный для непосредственной стимуляции клеток зрительной коры головного мозга показана на фиг. 4.
Кортикальный имплант 11 включает:
- антенну 12, которая является приемной радио катушкой, необходимой для получения питания и функциональных команд стимуляции для электродов в виде сигналов,
- чип для управления электродами 13, являющийся заранее прошиваемым компонентом до имплантации, платой-приемником для получения данных и команд, расположенной в корпусе, преимущественно из титана.
- матрица электродов 14, погруженная в инертную гибкую основу 15, непосредственно исполняющая полученные команды, воздействуя малыми токами на нейроны зрительной коры головного мозга.
Таким образом, имплантируемая часть представляет соединенные между собой приемную антенну 12 в биосовместимом силиконовом корпусе, чип 13 управления электродами, заключенный в титановый корпус и матрицу электродов 14 из проводящего полимера погруженных в инертную гибкую основу 15.
Как показано выше, система имеет две самостоятельные структурные единицы - съемная внешняя, состоящая из обруча с двумя камерами и передающей радиочастотной катушки, а также подключаемого блока обработки видео сигнала и для распознавания изображений на основе алгоритмов искусственного интеллекта; и хроническая внутренняя, состоящая из электродной решетки с электродными окончаниями, чипа для преобразования сигнала и принимающей антенны.
Внешняя часть системы используется для получения визуальной информации об окружающем пространстве, ее обработки и трансляции на имплантируемую часть. Элементы внешней части предпочтительно соединяются посредством интерфейса USB/USB-C.
В обруч вмонтированы две камеры 2 для получения изображения и карты глубины окружающего пространства. Также в него вмонтирована антенна 4, посредством которой на имплант 11 передается питание и функциональные команды стимуляции для электродов в виде персонализированных паттернов стимуляции. В программном плане обруч 1 имеет заранее сохраненные в памяти алгоритмы для обработки сигнала с камеры и передачи на электроды без дополнительной интеллектуальной обработки с помощью блока обработки видеосигнала 5. Данная обработка может быть осуществлена посредством содержащегося в обруче микроконтроллера 3. Для более комфортного использования обруч 1 может быть оснащен радиаторами охлаждения 16, размещенными во фронтальной части, в которые монтируются видеокамеры 2, как это показано на фиг. 1.
В блоке обработки видео сигнала 5 сигнал с видеокамер 2 преобразуется в понятный протезу набор стимулов, а также осуществляется дополнительная обработка и выдача сигналов, как это показано далее. Блок имеет кнопки для функционального управления: питание, интеллектуальный поиск объектов и режим обработки видео сигнала для протеза для лучшего восприятия пространства в различных ситуациях.
Внутренняя часть (кортикальный имплант) 11 перманентно имплантируется в тело человека и предназначается для непосредственной стимуляции клеток зрительной коры головного мозга. Данная часть состоит из: антенны 12, принимающей питание и функциональные команды стимуляции для электродов; чипа 13 для управления сигналами из внешней части системы; поверхностного импланта, который представляет собой решетку из электродов 14, погруженных в инертную гибкую основу 15.
Система функционирует следующим образом.
Функционирование системы возможно только при расположении обруча 1 на голове пользователя, когда внешняя передающая и внутренняя принимающая катушки находятся в проекции друг друга и непосредственной близости, достаточной для передачи управляющего сигнала и питания.
В предпочтительном варианте имплант представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов 10×10 (100 электродов) из проводящего материала на биосовместимой подложке.
Все элементы импланта выполнены из безопасных для организма материалов, что обеспечивает возможность хронического его использования.
Антенна 12 и чип 13 устанавливаются на поверхности черепа под скальпом, тогда как электродная решетка 14 погружается в полость черепной коробки и размещается на поверхности мозга в проекции зрительной коры - зон V1-V2-V3 на медиальной поверхности одной доли мозга, отвечающих преимущественно за активацию центрального поля зрения. Кортикальный имплант имеет отдельное программное обеспечение, которое выполняет функции получения и интерпретации полученного через катушку цифрового сигнала, а также управления аналоговой системой подачи и контроля питания на массив электродов.
В общем случае, изображение с одной из камер обруча проходит линейное кодирование микроконтроллером и преобразуется в сигналы (команды) стимуляции электродов, передаваемые передающей антенной, что вызывает появление фосфенов, возникающих в поле зрения пользователя. Данной функции может быть достаточно в случае идентификации крупных объектов. Однако если пользователю требуется идентификация средних и мелких объектов, то необходимо использование дополнительных интеллектуальных функций.
В связи с этим в изобретении предложено дополнительное направление видеосигнала в блок обработки видео сигнала.
В блоке обработки видео сигнала 5 изображение усредняется до 100 пикселей в паттерн стимуляции согласно одному из выбранных паттернов. Здесь же изображение подвергается анализу в реальном времени с помощью алгоритмов искусственного зрения для трансляции пользователю звукового описания наблюдаемой сцены (отдельных ее объектов). После обработки видеосигнала паттерн стимуляции направляется обратно напрямую в имплант через собственный радиопередатчик, чтобы посредством электромагнитного излучения в радиочастотном диапазоне транслировать информацию на принимающую антенну, связанную с чипом, запитанным от обруча путём беспроводной передачи энергии через специальную катушку и зафиксированным под скальпом к черепной коробке с помощью винтов. С принимающей катушки сигнал направляется в чип, где преобразуется в малые токи, имеющие свойства, необходимые для безопасной и эффективной стимуляции нейронов зрительной коры головного мозга. Конечным элементом устройства является электродная решетка, имеющая 100 электродных окончаний, погруженных в диэлектрический материал и располагающаяся на медиальной поверхности зрительной коры головного мозга в проекции шпорной борозды V1.
Например, сигнал с видеокамер преобразуется в понятный протезу набор стимулов: с камеры регистрируется поток цветных видеокадров с частотой 30 Гц и размером 640*480 пикселей, после чего преобразуется в паттерн усредненных сигналов с разрешением 10*10, которое соответствует матрице электродов.
В программном плане в блоке используются алгоритмы машинного зрения на основе алгоритмов искусственного интеллекта для идентификации конкретных объектов (людей, дорожных знаков, предметов обихода и т.д.). При обработке изображения параллельно используются 2 алгоритма, один для выделения силуэтов и масок существенных объектов и второй для выделения очерчивающих границы помещения базовых структурных линий.
В предложенной системе используется принцип максимально экономного воздействия по количеству электродов и длительности их активации с применением предварительной компьютерной обработки изображения с помощью микрокомпьютера. Данный подход оптимизирует визуально-геометрические свойства изображения с камеры и выполняет семантический анализ представленной на картинке информации с целью распознавания и выделения визуальных объектов интереса. Кроме того, дополнительным функционалом является функция распознавания объектов с помощью предобученного нейросетевого алгоритма с функцией озвучивания найденного предмета для ускоренной адаптации мозга к получаемым с помощью сигналов электродов изображений. Обучение нейросети может быть осуществлено с использованием библиотеки глубокого обучения нейронных сетей. Распознавание объектов может быть осуществлено с использованием одной из доступных архитектур нейронной сети, которая позволяет классифицировать и найти положение объекта на изображении. Соответствующие базы данных могут быть предварительно загружены в память микрокомпьютера, в связи с чем система может функционировать в автономном режиме без подключения к сети Интернет.
Способ функционирования предложенной системы представляет собой набор последовательных методов обработки видео сигнала с видеокамер для зрительных протезных систем, и предназначен для улучшения пользовательского опыта пользователей зрительных протезных систем в виде контурирования целевых объектов, их идентификации с помощью алгоритмов машинного зрения и искусственного интеллекта, а также определения расстояний до физических объектов наблюдаемой сцены с предоставлением обратной связи в виде озвучивания и/или виброотклика.
Способ включает как отмеченный выше режим линейного кодирования, так и активируемый режим дополнительной обработки. Данный режим может быть активирован посредством кнопки активации режима интеллектуального поиска объектов, расположенной на блоке обработки видеосигнала, что генерирует соответствующую команду управления.
Этапы способа в частном случае осуществления включают следующие этапы обработки.
Регистрируется поток цветных видеокадров с частотой 30 Гц и размером, соответствующим разрешению используемой камеры, например, 640*480 пикселей. Данное изображение проходят ряд преобразований для подготовки определения границ, после чего применяется алгоритм детектирования границ целевых объектов. Затем с каждым полученным кадром с границами объектов осуществляется ряд преобразований, в результате которых изображение усредняется до количества электродов в используемом электроде, каждому из которых соответствуют необходимые токи и временные параметры воздействий. Этап не требует подключения к сети Интернет и может быть использован в автономном режиме.
С каждым кадром осуществляется ряд преобразований и вычислений с помощью обученных алгоритмов машинного зрения (или прочих алгоритмов искусственного интеллекта), результатом чего является оповещение (путем озвучивания) пользователя протезной зрительной системы о наличии тех или иных объектов в наблюдаемой сцене. Этап не требует подключения к сети Интернет, при условии наличия в памяти обученных баз данных.
Прямая обработка видео сигнала с камер, выделение контуров, распознавание объектов и определение расстояний до физических объектов. Для данного метода в зрительном протезе должно присутствовать одна или две видео камеры. В методе синхронно анализируются данные с двух или более камер для создания карты глубины и вычисления расстояний до физических объектов. Пользователь может быть оповещен о расстоянии до объекта. Этап не требует подключения к сети Интернет и может быть использован в автономном режиме. Пользователь может быть одновременно оповещен как о наличии тех или иных объектов, так и о расстоянии до них.
Для обновления баз данных и/или выполнения этапов способа, требующих наличия соединения с сетью, могут использоваться встроенные в блок управления модули Wi-Fi или Bluetooth.
Таким образом, в описании показано, как может быть осуществлена группа изобретений с использованием известных из уровня техники средств.
Группа изобретений позволяет существенно уменьшить время адаптации пользователя к новому зрительному опыту за счет осуществления новой функции - дополнительной обработки видеосигнала и параллельного озвучивания информации, относящейся к распознаваемым объектам окружения. Это же позволяет использовать систему пользователям протезных зрительных систем с низкой разрешающей способностью. Безопасность использования обеспечивается использованными для осуществления устройств материалами. Кроме того, безопасность использования следует из возможности озвучивания пользователю информации о расстоянии до объектов.
Изготовление и испытание опытных образцов изделий системы показали их высокую эффективность и возможность использования в медицинских целях по своему назначению.
Claims (7)
1. Система зрительного кортикального протеза, состоящая из внешней и имплантируемой частей, где
- имплантируемая часть представляет соединенные между собой приемную антенну в биосовместимом силиконовом корпусе, чип управления электродами, заключенный в титановый корпус и матрицу электродов из проводящего полимера, погруженных в инертную гибкую основу,
- а внешняя часть состоит из первого устройства, предназначенного для размещения на голове пользователя регулируемого обруча, и второго устройства - блока обработки видеосигнала,
- причем обруч оснащен двумя встроенными в его фронтальную часть видеокамерами, блоком питания, передающей антенной, микроконтроллером, памятью и интерфейсом для подключения блока обработки, а
- блок обработки видеосигнала представляет собой размещенные в корпусе микрокомпьютер, выполненный с возможностью дополнительной обработки видеосигнала с целью идентификации объектов и выдачи сигналов по результатам обработки, а также: модули Wi-Fi, Bluetooth, питания, интерфейсы для заряда, подключения внешних аудиоустройств, подключения к обручу и блок функционального управления.
2. Система зрительного кортикального протеза по п.1, отличающаяся тем, что блок функционального управления включают кнопки для функционального управления: питание, интеллектуальный поиск объектов и переключение режимов обработки видеосигнала для протеза.
3. Способ функционирования системы по п. 1, включающий получение видеосигнала от видеокамер в первом устройстве, его линейную перекодировку в команды стимуляции электродов и выдачу сигнала стимуляции электродов, а при поступлении соответствующей команды активирование дополнительной обработки видеосигнала во втором устройстве, связанном с первым устройством, которая включает: регистрацию потока видеокадров, обнаружение границ целевых объектов, преобразование видеокадров в паттерн усредненных сигналов с разрешением, соответствующим размеру матрицы электродов, распознавание объектов, создание карты глубины, определение расстояния до объектов, по результатам обработки формирование и выдачу сигнала стимуляции электродов с одновременным озвучиванием информации, полученной в результате распознавания объектов и/или определения расстояния до объектов.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2021103724A RU2759125C1 (ru) | 2021-02-15 | 2021-02-15 | Система и способ зрительно-кортикального протезирования |
| US17/564,376 US20220257928A1 (en) | 2021-02-15 | 2021-12-29 | System and method of visual-cortical prosthetics |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2021103724A RU2759125C1 (ru) | 2021-02-15 | 2021-02-15 | Система и способ зрительно-кортикального протезирования |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2759125C1 true RU2759125C1 (ru) | 2021-11-09 |
Family
ID=78466938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2021103724A RU2759125C1 (ru) | 2021-02-15 | 2021-02-15 | Система и способ зрительно-кортикального протезирования |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220257928A1 (ru) |
| RU (1) | RU2759125C1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU217662U1 (ru) * | 2022-12-30 | 2023-04-11 | Автономная Некоммерческая Организация "Научно-Производственная Лаборатория "Сенсорные Технологии Для Слепоглухих" | Головное устройство зрительного кортикального протеза с инфракрасной камерой |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115998591A (zh) * | 2022-11-30 | 2023-04-25 | 微智医疗器械有限公司 | 双目视差估计方法和视觉假体以及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5159927A (en) * | 1989-07-26 | 1992-11-03 | Ferdinand Schmid | Visual prosthesis apparatus and method |
| US7883535B2 (en) * | 2004-11-09 | 2011-02-08 | Institut National D'optique | Device and method for transmitting multiple optically-encoded stimulation signals to multiple cell locations |
| US20140222103A1 (en) * | 2008-07-25 | 2014-08-07 | Second Sight Medical Products, Inc. | Cortical Visual Prosthesis |
| US10052478B2 (en) * | 2007-07-27 | 2018-08-21 | Second Sight Medical Products, Inc. | Implantable device for the brain |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3551279B8 (en) * | 2016-12-07 | 2023-10-11 | Cortigent, Inc. | Depth filter for visual prostheses |
-
2021
- 2021-02-15 RU RU2021103724A patent/RU2759125C1/ru active
- 2021-12-29 US US17/564,376 patent/US20220257928A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5159927A (en) * | 1989-07-26 | 1992-11-03 | Ferdinand Schmid | Visual prosthesis apparatus and method |
| US7883535B2 (en) * | 2004-11-09 | 2011-02-08 | Institut National D'optique | Device and method for transmitting multiple optically-encoded stimulation signals to multiple cell locations |
| US10052478B2 (en) * | 2007-07-27 | 2018-08-21 | Second Sight Medical Products, Inc. | Implantable device for the brain |
| US20140222103A1 (en) * | 2008-07-25 | 2014-08-07 | Second Sight Medical Products, Inc. | Cortical Visual Prosthesis |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU217662U1 (ru) * | 2022-12-30 | 2023-04-11 | Автономная Некоммерческая Организация "Научно-Производственная Лаборатория "Сенсорные Технологии Для Слепоглухих" | Головное устройство зрительного кортикального протеза с инфракрасной камерой |
| RU217663U1 (ru) * | 2022-12-30 | 2023-04-11 | Автономная Некоммерческая Организация "Научно-Производственная Лаборатория "Сенсорные Технологии Для Слепоглухих" | Головное устройство зрительного кортикального протеза с возможностью распознавания текста |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220257928A1 (en) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393247B2 (en) | Face detection tracking and recognition for a visual prosthesis | |
| US6400989B1 (en) | Adaptive sensory-motor encoder for visual or acoustic prosthesis | |
| Merabet et al. | What blindness can tell us about seeing again: merging neuroplasticity and neuroprostheses | |
| US9669239B2 (en) | Device for treating the sensory capacity of a person and method of treatment with the help of such a device | |
| AU2012252200B2 (en) | Method and device for controlling a device for aiding vision | |
| RU2759125C1 (ru) | Система и способ зрительно-кортикального протезирования | |
| Palanker et al. | Restoring sight with retinal prostheses | |
| CN109224291A (zh) | 视网膜刺激器的图像处理方法和装置及视网膜刺激器 | |
| CN110384851A (zh) | 基于vr-tms技术的同步多模治疗系统 | |
| WO2018075593A1 (en) | Switchable lens devices, systems, and related methods | |
| RU217663U1 (ru) | Головное устройство зрительного кортикального протеза с возможностью распознавания текста | |
| CN218352743U (zh) | 视觉假体外部件及其系统、视觉假体系统 | |
| CN112291319A (zh) | 一种模拟思维的方法和智能设备 | |
| EP4368238A1 (en) | A computer-implemented method of mapping electrodes of a brain prosthesis | |
| Xia et al. | MEMS-based system and image processing strategy for epiretinal prosthesis | |
| Slepova et al. | Problem of realization of interaction of the sensor with nervous system in sensor prosthetics systems | |
| CN112396667B (zh) | 视网膜刺激器的电极位置的匹配方法 | |
| US20220080195A1 (en) | Electrical stimulation system for facial expressions and a method of use thereof | |
| Srivastava et al. | Some solutions to technical hurdles for developing a practical intracortical visual prosthesis device | |
| Rossi et al. | Restoring Vision through Retinal Implants--A Systematic Literature Review | |
| Kime et al. | High Temporal Sub-millisecond Time Resolution Stimulation Increases Performances of Retina Prosthetic Vision | |
| JP2008149028A (ja) | 磁気刺激パターン生成装置、磁気刺激装置、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、磁気刺激生成システムならびに制御方法 | |
| Warwick | Cyborgs: Understanding and Mutual Treatment | |
| Code | Bionic eyes: Treatments for blindness target the retina and the brain | |
| Fish | Visual substitution systems: Control and information processing considerations |