RU2708114C1

RU2708114C1 - Система и способ мониторинга и обучения детей с расстройствами аутистического спектра

Info

Publication number: RU2708114C1
Application number: RU2019121641A
Authority: RU
Inventors: Юлия Олеговна Лобода; Константин Юрьевич Горбунов
Original assignee: Общество с ограниченной ответственностью «Комплект-ОМ»
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2019-12-04
Also published as: CN114341964A; WO2021006770A3; US20220309947A1; WO2021006770A2

Abstract

Изобретение относится к области обучения, более конкретно к способам и системам мониторинга и обучения детей с расстройствами аутистического спектра, включающим в себя обучающего робота, персональное компьютерное устройство ребенка, каждое из которых снабжено модулем обмена данными компьютерного устройства ребенка с другим устройством и с внешними устройствами по объединённой сети и может быть использовано для эффективной организации коррекционно-образовательной работы с детьми с расстройствами аутистического спектра (РАС). Согласно изобретению система включает в себя удаленный сервер, персональные компьютерные устройства родителей и специалистов, соединенные посредством объединенной сети с удаленным сервером, нейроинтерфейсный модуль для отслеживания мозговой активности ребенка, располагаемый на ребенке, соединенный посредством объединенной сети с удаленным сервером, включающий датчики ЭЭГ, причем нейроинтерфейсный модуль включает акселерометр и гироскоп, датчики распознавания направления взгляда, располагаемые на персональном компьютерном устройстве ребенка, причем удаленный сервер выполнен с возможностью сбора и анализа визуальных данных об активности ребёнка: выражения лица, направлении взгляда, двигательной активности, а также выполнен с возможностью автоматической передачи данных на персональные компьютерные устройства родителей и специалистов данных о текущих и нежелательных состояниях ребенка. Система реализуется заявленным способом. Достигаемый технический результат – возможность осуществления занятий с ребенком без непосредственного присутствия взрослого, то есть возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы. 2 н. и 7 з.п. ф-лы, 3 ил.

Description

Область техники, к которой относится изобретение .

Изобретение относится к области обучения, более конкретно к способам и системам мониторинга и обучения детей с расстройствами аутистического спектра, включающим в себя обучающего робота, персональное компьютерное устройство ребенка, каждое из которых снабжено модулем обмена данными компьютерного устройства ребенка с остальными устройствами и с внешними устройствами по объединённой сети и может быть использовано для эффективной организации коррекционно-образовательной работы с детьми с расстройствами аутистического спектра (РАС).

В данном описании используются следующие термины:

Сервер (англ. server) — электронное устройство, выполняющее сервисные функции по запросу клиента, предоставляя ему доступ к определённым ресурсам. В целях настоящего описания рассматривается сервер, имеющий постоянное подключение к объединенной сети, которая может передавать данные на сервер с клиентских устройств. Сервер может обрабатывать эти данные и передавать результат обработки обратно на клиентское устройство.

Объединенная сеть, а также все соединения между всеми модулями и блоками включают в себя различные топологии, конфигурации и компоновки компонентов межсетевого соединения, выполненные с возможностью соединять между собой корпоративные, глобальные и локальные вычислительные сети, и включает в себя, без ограничения, традиционные проводные, беспроводные, спутниковые, оптические и эквивалентные сетевые технологии. Преимущественно, в качестве объединенной сети обычно используется сеть интернет.

Персональное устройство пользователя - любая форма вычислительной платформы, подключаемая к сети, такой как объединенная сеть, и допускающая взаимодействие с прикладными программами. Типичные примеры отдельных клиентских устройств включают в себя, без ограничения, стационарные и переносные персональные вычислительные машины, "интеллектуальные" сотовые телефоны, (на английском – смартфон), переносные компьютеры, включая планшетные, облегченные клиенты, рабочие станции, "неинтеллектуальные" терминалы, соединенные с сервером приложений, а также различные их компоновки и конфигурации, то есть как физические устройства для осуществления взаимодействия в системах коммуникационного взаимодействия, так и виртуальные устройства, реализуемые на программируемых компьютерных устройствах, и имеющих программный интерфейс для осуществления функций коммуникации. Преимущественно, это смартфон (умный телефон, то есть сотовый телефон, включающий в себя функции компьютерного устройства), имеющий сенсорный дисплей, или планшетный компьютер, и аналогичные им устройства – «умные» часы, очки и прочее. Часто такие устройства носят портативный характер, позволяющий их носить с собой.

В данном описании используются следующие сокращения:

РАС - расстройства аутистического спектра.

ЭЭГ – электроэнцефалограмма. (От электроэнцефалографии (ЭЭГ) — раздел электрофизиологии, изучающий закономерности суммарной электрической активности мозга, отводимой с поверхности кожи головы, а также метод записи таких потенциалов (формирования электроэнцефалограмм). Также ЭЭГ — неинвазивный метод исследования функционального состояния головного мозга путём регистрации его биоэлектрической активности).

ABA (Applied behavior analysis). АВА-терапия - это интенсивная обучающая программа, которая основывается на поведенческих технологиях и методах обучения. АВА как научная дисциплина изучает влияние факторов в окружающей среде на поведение и манипулирует этими факторами, чтобы изменить поведение человека.

Двигательная активность – положение тела в пространстве и движения тела. То есть в описании имеется в виду, что под термином «двигательная активность» идет речь о распознавании позы и движений ребенка.

Уровень техники системы.

Расстройства аутистического спектра (РАС) в России имеют высокую распространенность: около 1% детей (письмо Министерства здравоохранения РФ №15-3/10/1-2140 от 8 мая 2013 года), всего в России 31 715 000 детей (по данным Росстата на начало 2016 г.), а значит, примерно 317 150 (1%) из них живут с РАС. В других странах эта проблема также актуальна, по данным медицинской статистики США (CDC) и Великобритании (NHS) более 1% детей имеют РАС. Важной проблемой является социальная адаптация. Дети с РАС, как правило, не вписываются в условия детского сада и школы, потому что их особенностью являются нехватка социально-поведенческих навыков и проблемы с коммуникацией. Также существуют сложности с обучением, поскольку даже при сохранности интеллекта, такому ребенку сложно выполнять правила, которые диктует система образования.

Имеется ряд взаимосвязанных проблем. Прежде всего, синдром РАС индивидуален, каждый ребенок требует особого подхода, а, следовательно, требуется подробное документирование работы с ним и тщательный анализ этой информации каждым новым педагогом или психологом, работающим с этим ребенком. Наиболее востребованной в мире методикой работы с аутичными детьми является ABA; в соответствии с ней ребенку с РАС требуется 30 часов занятий в неделю для достижения стабильного положительного результата. Одно занятие с профессиональным педагогом стоит от 1500 руб., соответственно месяц таких занятий обходится в сумму, почти в 5 раз превышающую среднюю заработную плату по РФ. Еще одной проблемой является необходимость постоянного присутствия взрослого при ребенке. Это влечет для семьи дополнительные расходы - необходимо либо нанимать отдельного человека, либо одному из членов семьи отказываться от работы.

В результате около 90% детей с РАС в России не получают достаточной квалифицированной помощи, не могут успешно интегрироваться в общество, приносить ему пользу и получать пользу от него.

В настоящий момент занятия с детьми с РАС проводятся под постоянным контролем подготовленного педагога, обычно в специализированных центрах. При этом и в центрах, и в домашних условиях требуется постоянное наблюдение за ребенком, чтобы он не причинил себе вреда.

На сегодняшний день одним из самых эффективных методов коррекции аутизма является поведенческая терапия или метод прикладного анализа поведения АВА.

В то же время уже существует множество платформ для дистанционного обучения. Эти платформы не только упрощают взаимодействие ученика и педагога, но и предоставляют отчетность по проделанной работе и изменениях в уровне ученика. Такие системы широко распространены в различных сферах, однако они не предоставляют возможности контроля за состоянием ученика.

Одновременно существует множество средств для отслеживания состояний человека - приборы для снятия ЭЭГ головного мозга (нейроинтерфейсы), миодатчики, датчики движения и программы распознавания эмоций, движений и зрительной активности.

Однако до сих пор отсутствует способ эффективного объединения перечисленных средств и методик так, чтобы ребенок не был перегружен техническими приспособлениями, был заинтересован в процессе, а датчики эффективно срабатывали при появлении опасной ситуации.

Согласно первой из своих сторон, настоящее изобретение относится к системе мониторинга и обучения детей с расстройствами аутистического спектра, включающей в себя обучающего робота, включающего в себя, по меньшей мере, микропроцессор робота, соединенный с модулем обмена данными робота по объединенной сети с внешними устройствами, персональное компьютерное устройство ребенка, включающего в себя, по меньшей мере, микропроцессор компьютерного устройства ребенка, соединенный с видеокамерой компьютерного устройства ребенка, дисплеем компьютерного устройства ребенка, модулем обмена данными компьютерного устройства ребенка по объединенной сети с внешними устройствами

Такая система описана в патенте РФ на полезную модель № 152572, опубликованном 10 июня 2014.

Данная система является наиболее близкой по технической сути и достигаемому техническому результату и выбрана за прототип предлагаемого изобретения как устройства.

Недостатком этого прототипа является невозможность решить проблему занятий с ребенком без непосредственного присутствия взрослого. Педагог или родитель не могут выйти из помещения, оставив ребенка заниматься. В случае возникновения опасной или нежелательной ситуации он не получит уведомления.

Кроме того, такая система имеет и другие недостатки:

• невозможность для преподавателя:

- подбирать список заданий для обучающегося в зависимости от индивидуального плана,

- отслеживать успеваемость обучающегося и корректировать план обучения,

- следить за статистикой обучения;

• невозможность для родителя:

- организовывать самостоятельную деятельность ребёнка,

- отслеживать успеваемость ребёнка и корректировать план обучения;

• невозможность для разработчиков:

- возможность систематически добавлять новые задания для обучающихся,

- создание новых курсов, распределение прав.

Другие сложности в существующем уровне техники:

1. Требуется постоянный контроль за состоянием ребенка. Ребенок с РАС подвержен различным повторяющимся состояниям, когда он концентрирует внимание на одном предмете или действии. Это могут быть как опасные состояния, например, когда ребенок начинает биться головой о твердую поверхность, наносить себе увечья т.п., так и просто состояния торможения активности, когда ребенок вместо выполнения упражнений выполняет выбранные им действия с окружающими предметами, в результате чего эффективность занятия падает.

2. Попытка надеть на любого ребенка, тем более - ребенка с РАС, множество датчиков движения или физиологического состояния может повлечь дополнительные трудности. Ребенок может просто снять датчики, может нанести себе ими вред, также возможны различные негативные эмоциональные реакции.

3. Требуется тщательный подбор упражнений и блоков ABA, которые можно реализовать в интерактивной форме. При реализации этих блоков особенно важен выбор понятных узнаваемых образов.

4. Для работы с детьми важно переводить упражнения в игровую форму, а это значит, что все упражнения в электронной форме должны быть интерактивными.

5. Для развития поведенческих и коммуникативных навыков ребенку требуется собеседник, который оперативно реагирует на действия ребенка и подает пример двигательной активности.

Раскрытие изобретения как системы.

Настоящее изобретение, главным образом, имеет целью предложить систему мониторинга и обучения детей с расстройствами аутистического спектра, позволяющую, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно: обеспечить возможность осуществления занятий с ребенком без непосредственного присутствия взрослого, то есть возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы, что и является решаемой поставленной задачей.

Для достижения этой цели система включает в себя удаленный сервер, включающий в себя, по меньшей мере, микропроцессор удаленного сервера, соединенный с модулем обмена данными удаленного сервера по объединенной сети с внешними устройствами, персональные компьютерные устройства родителей и специалистов, соединенные посредством объединенной сети с удаленным сервером, нейроинтерфейсный модуль для отслеживания мозговой активности ребенка, располагаемый на ребенке, соединенный посредством объединенной сети с удаленным сервером, включающий датчики ЭЭГ, причем нейроинтерфейсный модуль включает акселерометр и гироскоп, датчики распознавания направления взгляда, располагаемые на персональном компьютерном устройстве ребенка, причем удаленный сервер выполнен с возможностью сбора и анализа визуальных данных об активности ребёнка: выражения лица, направлении взгляда, двигательной активности, а также выполнен с возможностью автоматической передачи данных на персональные компьютерные устройства родителей и специалистов данных о текущих и нежелательных состояниях ребенка.

Благодаря данным выгодным характеристикам появляется возможность осуществления занятий с ребенком без непосредственного присутствия взрослого, то есть возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы.

Происходит постоянный контроль состояния ребенка, его мозговой активности, его эмоционального состояния, его действий.

То есть это тройная система мониторинга: распознавание эмоций, распознавание положения тела, данные с гироскопов, акселерометров и датчиков ЭЭГ (общее психофизиологическое состояние).

Видеокамеры следят за его состоянием и позволяют оценивать правильно ли ребёнок повторяем определённые задания.

Существует вариант изобретения, в котором удаленный сервер выполнен с возможностью направления сигналов - push-уведомлений, сопровождаемые звуковым сигналом с информацией о текущем состоянии ребенка на персональные компьютерные устройства родителей и специалистов.

Благодаря данным выгодным характеристикам появляется возможность направления сигналов - push-уведомлений, сопровождаемые звуковым сигналом с информацией о текущем состоянии ребенка на персональные компьютерные устройства родителей и специалистов.

Существует еще и такой вариант изобретения, в котором датчики ЭЭГ включают в себя пять лобных датчиков ЭЭГ и два заушных контакта.

Благодаря данной выгодной характеристике появляется возможность точного мониторинга мозговой деятельности ребенка.

Существует также вариант изобретения, в котором удаленный сервер для точного распознавания эмоции ребенка выполнен с возможностью обработки поступающих данных в режиме нейронной сети.

Благодаря данной выгодной характеристике появляется возможность более точного распознавания эмоций ребенка. Нейронная сеть получает изображение с web-камеры, установленной на рабочем месте ребёнка, распознает на нем лицо, затем распознает эмоцию, которую оно выражает. При негативном эмоциональном состоянии система оповещает об этом родителей.

Краткосрочная цель нейронной сети - отслеживание нежелательных состояний и предупреждение о них родителей и специалистов.

Долгосрочная цель нейронной сети - формирование датасетов для успешной диагностики и дальнейшего исследования синдрома РАС. Имеется в виду датасеты ЭЭГ, позволяющие просчитывать и выстраивать индивидуальную образовательную траекторию ребёнка.

Существует кроме того и такой вариант изобретения, в котором обучающий робот имеет привод для движения и/или имитации движения.

Благодаря данной выгодной характеристике появляется возможность того, что робот не только может поддерживать беседу с ребенком (задавать вопросы, давать советы, давать «обратную связь» по заданиям, отвечать на вопросы и прочее), но и также показывать различные движения и позы.

Таким образом, в данном изобретении поставлена задача – возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы. Поставленная задача решена с помощью указанных выше характеристик.

Уровень техники способа.

Другой своей стороной настоящее изобретение к способу мониторинга и обучения детей с расстройствами аутистического спектра.

Такой способ описан в описании работы системы по патенту РФ на полезную модель № 152572, опубликованном 10 июня 2014.

Данный способ является наиболее близким по технической сути и достигаемому техническому результату и выбран за прототип предлагаемого изобретения.

Кроме того, такой способ имеет и другие недостатки, перечисленные выше для системы.

Раскрытие изобретения как способа.

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ мониторинга и обучения детей с расстройствами аутистического спектра при котором используют обучающего робота для коммуникации с ребёнком, используют персональное компьютерное устройство ребенка для передачи ребенку заданий, соединяют устройство по объединенной сети для возможности обмена данными, позволяющий, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно: обеспечить возможность осуществления занятий с ребенком без непосредственного присутствия взрослого, то есть возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы, что и является решаемой поставленной задачей.

Для достижения этой цели способ включает в себя следующие этапы:

• используют удаленный сервер, который соединяют посредством объединенной сети с остальными устройствами, и на котором хранят все обучающие задания для ребенка,

• используют персональные компьютерные устройства родителей и специалистов, которые соединяют посредством объединенной сети с остальными устройствами,

• отслеживают мозговую активность ребенка с помощью установленного на нем нейроинтерфейсного модуля,

• отслеживают положение ребенка с помощью установленного в нейроинтерфейсном модуле акселерометра и гироскопа,

• отслеживают эмоции ребенка с помощью датчиков распознавания направления взгляда,

• обрабатывают все данные на удаленном сервере и передают с него на персональные компьютерные устройства родителей и специалистов данных о текущих и нежелательных состояниях ребенка.

То есть это тройная система мониторинга: распознавание эмоций, распознавание положения тела, данные с гироскопов, акселерометров и датчиков ЭЭГ.

Видеокамеры следят за его состоянием и позволяют оценивать правильно ли ребёнок повторяет определённые задания.

Кроме того, это дает возможность автоматической передачи данных на персональные компьютерные устройства родителей и специалистов данных о текущих и нежелательных состояниях ребенка

Существует вариант изобретения, в котором в способе направляют push-уведомления с информацией о текущем состоянии ребенка, сопровождаемые звуковым сигналом на персональные компьютерные устройства родителей и специалистов.

Благодаря данным выгодным характеристикам появляется возможность направления сигналов - push-уведомлений, сопровождаемых звуковым сигналом, с информацией о текущем состоянии ребенка на персональные компьютерные устройства родителей и специалистов.

Существует еще один вариант изобретения, когда на удаленном сервере для точного распознавания эмоции ребенка производят обработку поступающих данных с использованием нейронной сети.

Долгосрочная цель нейронной сети - формирование датасетов для успешной диагностики и дальнейшего исследования синдрома РАС.

Существует вариант изобретения, в котором в способе имитируют движения для демонстрации ребенку при помощи привода обучающего робота.

Краткое описание чертежей.

Другие отличительные признаки и преимущества изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 схематично изображает устройство системы для мониторинга и обучения детей с расстройствами аутистического спектра согласно изобретению,

- фигура 2 изображает внешний вид нейроинтерфейса,

- фигура 3 схематично изображает взаимоотношение компонентов системы согласно изобретению,

Согласно фигурам 1-3 система для мониторинга система мониторинга и обучения детей с расстройствами аутистического спектра включает в себя обучающего робота 1, включающего в себя, по меньшей мере, микропроцессор 11 робота, соединенный с опциональной видеокамерой 12 робота, опциональным динамиком 13, опциональным дисплеем 14 робота, модулем 15 обмена данными робота по объединенной сети 2 с внешними устройствами. Система включает в себя персональное компьютерное устройство ребенка 3, включающего в себя, по меньшей мере, микропроцессор 31 компьютерного устройства ребенка, соединенный с видеокамерой 32 компьютерного устройства ребенка, дисплеем 33 компьютерного устройства ребенка, модулем 34 обмена данными компьютерного устройства ребенка по объединенной сети 2 с внешними устройствами. Система включает в себя удаленный сервер 4, включающий в себя, по меньшей мере, микропроцессор 41 удаленного сервера, соединенный с модулем 42 обмена данными удаленного сервера по объединенной сети 2 с внешними устройствами. Также удаленный сервер 4 имеет модель 43 хранения баз данных всех заданий, статистки по ним.

Система включает в себя также персональные компьютерные устройства 5 родителей и специалистов, соединенные посредством объединенной сети 2 к удаленному серверу 4. Система включает в себя также нейроинтерфейсный модуль 6 для отслеживания мозговой активности ребенка, располагаемый на ребенке, соединенный посредством объединенной сети 2 с удаленным сервером 4, включающий датчики ЭЭГ 61, причем нейроинтерфейсный модуль включает акселерометр 62 и гироскоп 63. Система включает в себя также датчики 7 распознавания направления взгляда, располагаемые на персональном компьютерном устройстве ребенка 3. Удаленный сервер 4 выполнен с возможностью сбора и анализа визуальных данных об активности ребёнка: выражения лица, направлении взгляда, двигательной активности, а также выполнен с возможностью автоматической передачи данных на персональные компьютерные устройства 5 родителей и специалистов данных о текущих и нежелательных состояниях ребенка.

Удаленный сервер 4 выполнен с возможностью направления сигналов - push-уведомлений, сопровождаемые звуковым сигналом с информацией о текущем состоянии ребенка на персональные компьютерные устройства 5 родителей и специалистов.

Датчики ЭЭГ включают в себя пять лобных датчиков ЭЭГ и два заушных контакта. См. фиг. 2.

Удаленный сервер 4 для точного распознавания эмоции ребенка выполнен с возможностью обработки поступающих данных в режиме нейронной сети.

Обучающий робот 1 имеет привод 16 для движения и/или имитации движения. В общем случае, привода у робота может и не быть, как и видеокамеры 12, динамика 13, дисплея 14.

Пунктирными стрелками показано соединение по объединенной сети для обмена данными.

Осуществление изобретения.

Система для мониторинга и обучения детей с расстройствами аутистического спектра работает следующим образом.

На персональное компьютерное устройство ребенка устанавливается программное обеспечение – обучающая среда и программа обработки данных о состоянии ребенка. На персональные компьютерные устройства 5 родителей и специалистов (мобильный телефон или другое подходящее устройство) устанавливается приложение для отслеживания состояния.

В соответствии с рекомендациями специалистов выбираются блоки заданий для самостоятельной работы ребенка. Блоки подключаются средствами обучающей среды из присоединенной к ней базы заданий 43.

Поведение обучающего робота 1 заложено в заданиях. Обучающий робот 1 может поддерживать беседу с ребенком (задавать вопросы, давать советы, давать «обратную связь» по заданиям, отвечать на вопросы и прочее), а также показывать различные движения и позы.

Для отслеживания состояний на ребенка надеваются соответствующие датчики 6. Психофизиологическое состояние отслеживается с помощью нейроинтерфейса 6. Это устройство отслеживает мозговую активность. Нормальные и нежелательные состояния заложены на программном уровне. Возможна настройка системы под конкретного ребенка – снятие данных ЭЭГ ребенка в нормальном состоянии и запись их в базу. При значительном отклонении от нормального состояния срабатывает система оповещения, при которой передают сигналы на персональные компьютерные устройства 5 родителей и специалистов.

Двигательная активность может отслеживаться при помощи датчиков движений 62 и/или 63 либо программой распознавания движений через изображение с камеры. Использование датчиков надёжнее, однако в условиях повседневной работы с ребёнком этот способ не удобен. Отслеживание двигательной активности требуется для выполнения некоторых игровых заданий, а также для отслеживания нежелательных состояний (чрезмерная двигательная активность является тревожным признаком).

Дополнительным средством отслеживания состояний является программа распознавания эмоций. Для ее корректной работы необходимо использование web-камеры. При фиксации сильных негативных эмоций срабатывает система оповещения, при которой передают сигналы на персональные компьютерные устройства 5 родителей и специалистов.

Также предусмотрено отслеживание поведения ребенка при помощи системы отслеживания направления взгляда. Она позволяет отслеживать такие состояния, когда ребенок перестает смотреть на робота или в монитор и/или останавливает взгляд на одной точке.

Возможно использование всех средств одновременно или части из них.

Информация о состоянии ребенка, в том числе оповещения о наступлении нежелательных и опасных состояний, передается на персональные компьютерные устройства 5 родителей и специалистов.

Отчетность о проделанной работе, выполненных заданиях и успехах ребенка реализована встроенными средствами обучающей среды.

Управление обучающей средой, в том числе доступ к отчетности, может осуществляться дистанционно.

Имеется четыре уровня доступа к образовательной платформе, размещенной на удаленном сервере 4:

Администратор системы. Может добавлять курсы и задания в них, создаёт пользователей, распределяет права. Это роль администратора системы - сотрудника компании-разработчика.

Автор курса. Управляет курсом, может скрывать ненужные блоки и настраивать повторения нужных, настраивать календарь занятий, следит за результатами. Это роль для специалиста по ABA-обучению, сотрудника образовательного центра.

Ассистент. Не может редактировать содержимое курса, но может контролировать деятельность ученика, проверять задания, давать комментарии. Это роль предназначена для родителей ребёнка.

Ученик. Имеет доступ к выполнению заданий. Роль предназначена для ребёнка.

Основные функции платформы для преподавателя:

• Подбирать список заданий для обучающегося в зависимости от индивидуального плана.

• Отслеживать успеваемость обучающегося и корректировать план обучения.

• Следить за статистикой обучения.

Основные функции платформы для родителя:

• Организовывать самостоятельную деятельность ребёнка.

• Отслеживать успеваемость ребёнка и корректировать план обучения.

• Основные функции платформы для разработчиков:

• Возможность систематически добавлять новые задания для обучающихся.

• Создание новых кусов, распределение прав.

Основные функции платформы для обучающегося:

• Постоянный доступ к платформе обучения.

• Развивающие занятия по индивидуальному плану под контролем преподавателя.

• Постоянный онлайн-контроль родителей и/или специалистов.

Пример конкретной работы.

Задания разбиты на семь модулей в соответствии с технологиями, принятыми в ABA-терапии, каждый из блоков имеет свою цель обучения и реализован как отдельный программный комплекс заданий:

1. Копирование движений

Ученику демонстрируются движения, которые ученику необходимо повторить. К движениям относятся действия с предметами и выбор из нескольких предметов, последовательные прикосновения к предметам, а также мелкомоторные, лицевые и артикуляционные движения.

Предусмотрено три уровня сложности действий с предметами.

• Позиционная имитация. Например, положить кубик в чашку проще, чем постучать кубиком по столу.

• Действия с предметами. Например, постучать по столу, помахать в воздухе.

• Движения со сменой предмета. (Например, первое кубиком, второе мячиком)

• Демонстрация более сложных действий (например, сбор конструктора) без конкретных указаний; ребёнок должен сам повторить действия.

Графомоторная имитация (рисование, написание, начертание и т.п.).

Ребёнку демонстрируется рука, которая выводит какие-либо линии, фигуры, буквы и т.п. и предлагается повторить эти действия.

Демонстрация движений производится роботом 1 (роботу 1 отправляются команды с сервера образовательной платформы 4) или посредством видеоролика на платформе (web-приложение).

2. Вокальная и вербальная имитация.

Ученику предъявляются звуки, слова, фразы разной длины. Ученику предлагается их повторить. Реализовано с помощью веб-приложения.

3. Рецептивная речь.

Формирование пассивного словаря. Ученику предъявляются изображения предметов и каждый из них называют вслух (формируется словарь существительных). Затем предъявляются и озвучиваются действия (формируется словарь глаголов). Затем предъявляются и озвучиваются прилагательные (цвета, форма, размер и т.п.) и их антагонистические пары (большой-маленький, сухой-мокрый и т.п.). Затем комбинации (существительное + глагол, существительное + прилагательное, существительное + глагол + прилагательное). Реализовано посредством веб-приложения с подключением комплекса искусственного интеллекта (ИИ) для обработки звуковых данных. Требуются микрофон и динамики.

4. Называние

Ребенку демонстрируется предмет, ребёнку необходимо его назвать. Система считывает и анализирует то, что сказал ученик. На следующем уровне ребёнок должен назвать движения. Реализовано посредством веб-приложения с подключением комплекса искусственного интеллекта (ИИ) для обработки звуковых данных. Требуется микрофон.

5. Экспрессивная речь.

Ребёнку предъявляется картинка, которую ребёнку необходимо описать и ответить на вопросы о ней. Важно, что ребёнок не должен повторять фразы, которыми сопровождались эти картинки на предыдущих уровнях. Для успешного прохождения задания ребёнку необходимо правильно ответить на вопрос. Например, на картинке изображен белый танцующий заяц. На предыдущем этапе ребёнок называл эту картинку “Белый заяц”, “Заяц танцует”, “Белый заяц танцует”. Теперь ему задают вопросы: “Кто это?”, “Что он делает?”, “Какого он цвета?”. Последовательность картинок и вопросов не очевидна для ребёнка.

6. Развитие визуально-когнитивной сферы

Сортировка изображений по категориям. Мозаика, паззлы. Задания, направленные на развитие навыка быстрого распознавания и запоминания изображений. Продолжение логических последовательностей. Сюжетные последовательности - восстановление последовательности событий. Реализовано с помощью веб-приложения.

7. Развитие игровых навыков

Использование предметов-заменителей. Освоение концепции передачи хода, игры по простейшим правилам. Совместное собирание паззлов. Выполнение действий по условию (например, ребёнку нужно кликать по шарику, когда называют его имя). Настольные игры: домино, кости. На более высоком уровне - морской бой, шахматы. Реализовано с помощью веб-приложения

В каждом модуле имеется несколько уровней сложности. На каждом занятии могут использоваться задания из нескольких блоков, но необходимо соблюдать баланс сложности и учитывать возможности ребёнка.

Промышленная применимость.

Предлагаемая система для мониторинга система мониторинга и обучения детей с расстройствами аутистического спектра может быть осуществлена специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец системы для мониторинга система мониторинга и обучения детей с расстройствами аутистического спектра.

В качестве обучающего робота для проведения испытаний был использован ROBOTIS MINI.

Технические параметры робота ROBOTIS MINI:

• Контроллер: OpenCM9.04-C

• Интерфейс управления: Bluetooth-модуль BT-210

• Интерфейс программирования: COM-порт

• Источник питания: 2 Li-Ion батареи LB-041

• Механизмы привода: 16 сервоприводов DYNAMIXEL XL-320

• Интерфейс подключения привода: DYNAMIXEL TTL Bus (UART)

• Габаритные размеры: 27см × 35.5см × 9.5см

Также был использован для проведения испытаний нейроинтерфейс Muse, который представляет собой одноканальный, неинвазивный ЭЭГ интерфейс, оснащенный семью датчиками, из них пять лобных датчиков, два заушных контакта. Что обеспечивает отличный сигнал с минимальным уровнем шумов.

Данные, снимаемые электродами – электрическая активность нейронов. Формирование паттернов ЭЭГ сигналов проявляются в моментах, когда существенное число нейронов синхронизируются и в один период формируют значительно высокую электрическую активность, которую допустимо получить с поверхности головы человека.

Таким образом, система принимает информацию о разности потенциалов между исходным сырым ЭЭГ сигналом (основной электрод) и нулевой точкой (эталонный электрод).

Технические характеристики используемого микроконтроллера

В основе нейроинтерфейса лежит разработанный американской компанией Microchip Technology Inc микроконтроллер PIC24 (peripheral interface controller). Полученный сигнал от датчиков, обрабатывается и устанавливается положение сосредоточения и релаксации, интерпретирует и отправляет на выход все ЭЭГ данные.

Для контроля состояний ребёнка для проведения испытаний использовалась тройная система мониторинга. В ней использовались две камеры: web-камера на персональном компьютерном устройстве ребенка и ещё одна камера в комнате, дающая максимальный обзор (можно использовать камеру робота), а также нейроинтерфейс, содержащий датчик ЭЭГ, гироскоп и акселерометр.

Контроль эмоционального состояния.

Для определения эмоционального состояния ребенка по видео с камеры была использована простая сверхточная нейронная сеть. Для создания нейронной сети использовали openCV и Keras, для ее обучения был взят датасет fer2013.

Нейронная сеть получала изображение с web-камеры, установленной на рабочем месте ребёнка, распознавала на нем лицо, затем распознавала эмоцию, которую оно выражает. При негативном эмоциональном состоянии система оповещала об этом родителей.

Распознавание положения тела

Распознавание положения тела производилось по данным с камер с использованием рекуррентной нейронной сети.

Распознавание паттернов мозговой активности происходило посредством данных, полученных с нейроинтерфейса. Сюда входят данные о мозговой активности, о положении и движениях головы.

В результате опытной эксплуатации системы для мониторинга и обучения детей с расстройствами аутистического спектра было установлено, что она позволяет одновременно:

• Предоставить ребенку широкий спектр упражнений для развития речевых и поведенческих навыков по программам ABA.

• Дистанционно контролировать психоэмоциональное состояние ребенка во время занятий.

• Возможность того, чтобы датчики эффективно срабатывали при появлении опасной ситуации.

• Менять контент в соответствии с текущим состоянием ребенка.

• Анализировать результаты работы ребенка с комплексом.

• Реализовать отчетность по проделанной работе.

• Заявленная система и способ позволяют оптимизировать образовательную работу с детьми с РАС для самих детей и ответственных за них лиц (родителей, педагогов).

• Заявленная система и способ рассчитаны на детей различного возраста с разными проявлениями РАС.

Таким образом заявленная система и способ - решают поставленную задачу и обеспечивают достижение технического результата, а именно: возможность осуществления занятий с ребенком без непосредственного присутствия взрослого, то есть возможность автоматической работы системы с отслеживанием состояния ребенка и дистанционного отслеживания состояний и управления системы.

Дополнительным полезным техническим результатом заявленного изобретения является то, что оно обеспечивает:

• возможность того, чтобы ребенок не был перегружен техническими приспособлениями,

• был заинтересован в процессе.

Кроме того:

• Возможна самостоятельная работа ребенка.

• Возможна индивидуальная настройка программы под каждого ребенка.

• Работа педагогов и психологов становится проще и эффективнее.

• Заявленная система и способ позволяют проводить занятия в домашних условиях. При этом у специалиста образовательного учреждения остается возможность проанализировать результаты работы ребенка на основании встроенных систем отчетности (если это требуется).

• Можно наблюдать не только внешние изменения в поведении ребенка, но и следить за его психофизиологическим состоянием.

Заявленная система и способ могут быть также использованы как образовательная платформа для тренинга коммуникативных и социальных навыков любого ребёнка, не только с расстройствами аутистического спектра, также они могут быть также использованы не только для организации работы, но и даже отдыха любого ребёнка.

Claims

1. Система мониторинга и обучения детей с расстройствами аутистического спектра, включающая в себя

• обучающего робота, включающего в себя, по меньшей мере, микропроцессор робота, соединенный с модулем обмена данными робота с другим устройством и с внешними устройствами по объединённой сети,

• персональное компьютерное устройство ребенка, включающее в себя, по меньшей мере, микропроцессор компьютерного устройства ребенка, соединенный с видеокамерой компьютерного устройства ребенка, дисплеем компьютерного устройства ребенка, модулем обмена данными компьютерного устройства ребенка с другим устройством и с внешними устройствами по объединённой сети,

• отличающаяся тем, что система включает в себя

• удаленный сервер, включающий в себя, по меньшей мере, микропроцессор удаленного сервера, соединенный с модулем обмена данными удаленного сервера по объединенной сети с внешними устройствами,

• персональные компьютерные устройства родителей и специалистов, соединенные посредством объединенной сети с удаленным сервером,

• нейроинтерфейсный модуль для отслеживания мозговой активности ребенка, располагаемый на ребенке, соединенный посредством объединенной сети с удаленным сервером, включающий датчики ЭЭГ, причем нейроинтерфейсный модуль включает акселерометр и гироскоп,

• датчики распознавания направления взгляда, располагаемые на персональном компьютерном устройстве ребенка, причем

• удаленный сервер выполнен с возможностью сбора и анализа визуальных данных об активности ребёнка: выражения лица, направлении взгляда, двигательной активности, а также выполнен с возможностью автоматической передачи данных на персональные компьютерные устройства родителей и специалистов данных о текущих и нежелательных состояниях ребенка.

2. Система по п.1, отличающаяся тем, что удаленный сервер выполнен с возможностью направления сигналов – push-уведомлений, сопровождаемые звуковым сигналом с информацией о текущем состоянии ребенка на персональные компьютерные устройства родителей и специалистов.

3. Система по п.1, отличающаяся тем, что датчики ЭЭГ включают в себя пять лобных датчиков ЭЭГ и два заушных контакта.

4. Система по п.1, отличающаяся тем, что удаленный сервер для точного распознавания эмоции ребенка выполнен с возможностью обработки поступающих данных в режиме нейронной сети.

5. Система по п.1, отличающаяся тем, что обучающий робот имеет привод для движения и/или имитации движения.

6. Способ мониторинга и обучения детей с расстройствами аутистического спектра при котором

• используют обучающего робота для коммуникации с ребёнком,

• используют персональное компьютерное устройство ребенка для передачи ребенку заданий,

• соединяют устройство по объединенной сети для возможности обмена данными

• отличающийся тем, что включает в себя следующие этапы:

7. Способ по п. 6, отличающийся тем, что в способе направляют push-уведомления, сопровождаемые звуковым сигналом с информацией о текущем состоянии ребенка на персональные компьютерные устройства родителей и специалистов.

8. Способ по п. 6, отличающийся тем, что в способе на удаленном сервере для точного распознавания эмоции ребенка производят обработку поступающих данных в режиме нейронной сети.

9. Способ по п. 6, отличающийся тем, что в способе имитируют движения для демонстрации ребенку при помощи привода обучающего робота.