RU2738197C2 - Система и способ формирования команд управления на основании биоэлектрических данных оператора - Google Patents

Система и способ формирования команд управления на основании биоэлектрических данных оператора Download PDF

Info

Publication number
RU2738197C2
RU2738197C2 RU2018133658A RU2018133658A RU2738197C2 RU 2738197 C2 RU2738197 C2 RU 2738197C2 RU 2018133658 A RU2018133658 A RU 2018133658A RU 2018133658 A RU2018133658 A RU 2018133658A RU 2738197 C2 RU2738197 C2 RU 2738197C2
Authority
RU
Russia
Prior art keywords
operator
action
specified
data
task
Prior art date
Application number
RU2018133658A
Other languages
English (en)
Other versions
RU2018133658A (ru
RU2018133658A3 (ru
Inventor
Лев Александрович Станкевич
Наталья Вячеславовна Шемякина
Жанна Владимировна Нагорнова
Филипп Викторович Гунделах
Александра Валерьевна Чевыкалова
Original Assignee
"Ай-Брэйн Тех ЛТД"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by "Ай-Брэйн Тех ЛТД" filed Critical "Ай-Брэйн Тех ЛТД"
Priority to RU2018133658A priority Critical patent/RU2738197C2/ru
Priority to US17/279,313 priority patent/US20220051586A1/en
Priority to PCT/IB2019/058100 priority patent/WO2020065534A1/en
Publication of RU2018133658A publication Critical patent/RU2018133658A/ru
Publication of RU2018133658A3 publication Critical patent/RU2018133658A3/ru
Application granted granted Critical
Publication of RU2738197C2 publication Critical patent/RU2738197C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Группа изобретений относится к медицине, а именно к управлению внешним средством на основании биоэлектрических данных. Предложена система для реализации способа, содержащая: средство сбора биоэлектрических данных при мысленном выполнении оператором по меньшей мере одного из заданных действий; средство выделения признаков, описывающих полученные биоэлектрические данные оператора, в собранных биоэлектрических данных на основании заданного правила выделения признаков; средство определения шаблонов действия, соответствующего указанному мысленно выполненному действию, средство формирования команд управления на основании полученного шаблона действия с обеспечением ее передачи на управляемое внешнее средство, при этом указанная система дополнительно содержит средство переобучения, которое в случае, если отличие параметров указанной команды управления, передаваемой на управляемое внешнее средство, от параметров соответствующей эталонной команды управления этим внешним средством, больше заданного значения, выполнено с возможностью получения признаков, соответствующих указанной команде управления, от средства определения шаблонов действия в ответ на соответствующий запрос от управляемого внешнего средства и переобучения указанной модели классификации шаблонов, используемой в средстве определения шаблонов действия, на основании указанных полученных признаков. Предложена также система для реализации способа, содержащая: средство оценки эффективности, выполненное с возможностью оценки эффективности указанного выполненного действия. Группа изобретений обеспечивает повышение точности идентификации действий оператора, а также улучшение идентификации действий оператора за счёт устранения артефактов из биоэлектрических данных оператора. 4 н. и 16 з.п. ф-лы, 18 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к системам управления, а более конкретно к системам и способам для управления внешним средством на основании биоэлектрических данных оператора.
УРОВЕНЬ ТЕХНИКИ
В настоящее время вычислительные технологии все активнее входят в повседневную жизнь людей. Количество всевозможных компьютеров, мобильных устройств и контроллеров бытовых устройств многократно превысило количество людей на Земле и продолжает со все возрастающими темпами увеличиваться. Многие аспекты человеческой жизнедеятельности автоматизированы и компьютеризированы: управление уличным движением, покупки через Интернет, контроль состояния приборов умного дома и их автоматическая настройка в соответствие с нуждами пользователя и т.д.
Одновременно с развитием вычислительной техники развивались и способы управления упомянутой техникой, в качестве которых выступали ввод данных с клавиатуры, использование стилусов и сенсорных панелей, распознавание визуальных образов и речи. В последние годы активно стали развиваться способы управления с помощью мысленных команд, посредством декодирования (анализа, классификации и выделения характерных информативных составляющих) биоэлектрической активности мозга (для чего отслеживается мозговая активность человека разных видов - электроэнцефалографический сигнал, гемодинамические ответы и т.д.).
Одним из направлений развития вычислительной техники является технология использования вычислительной техники при реабилитации людей, потерявших полностью или частично возможность ведения полноценного образа жизни (например, в результате перенесенного инсульта, утраты конечности, травматического повреждения мозга и т.д.). Для реабилитации таких людей используются всевозможные способы взаимодействия человека с компьютером (в том числе, с помощью прямого управления посредством мысленных команд).
Основными сложностями при реализации систем с использованием упомянутой технологии являются:
сложность сбора от человека данных с требуемой для работы системы точностью, связанная с характеристиками датчиков, применяемых для упомянутого сбора данных (например, чувствительностью и правильного позиционирования датчиков);
выбор индивидуальных информативных для каждого человека данных (например, ЭЭГ сигналы, соответствующие воображаемым движениям двух человек, могут быть совершенно разными);
вариативность собираемых данных во времени;
сложность обработки данных (например, обработка данных, требующая или значительных временных затрат или использования значительных вычислительных ресурсов).
Например, в публикации заявки на выдачу патента США №2017347906 (далее US 2017347906) описан один из иллюстративных примеров технологии анализа активности мозга и выполнения некоторых действий пользователя на основании проведенного анализа. Для сбора данных об активности мозга пользователя используется система датчиков, закрепляемых на голове пользователя. Датчики фиксируют изменение электромагнитного потенциала, создаваемого за счет биоэлектрической активностью мозга пользователя, и переводят их в цифровой вид. Оцифрованные данные анализируются, и им ставятся в соответствие некоторые заранее определенные шаблоны мозговой активности (образы), и в зависимости от схожести анализируемых данных мозговой активности и определенных образов выносится решение о характере действий, которые предпринимает пользователь. Таким образом, технология, описанная в US 2017347906, позволяет распознавать действия, совершаемые или воображаемые пользователем, на основании мозговой активности этого пользователя, однако количество таких распознаваемых действий является небольшим или сильно ограниченным, что негативно сказывается на эффективности применения такой технологии. Еще одним фактором, негативно влияющим на эффективность технологии, описанной в US 2017347906, является сильная зависимость выносимого решение о характере действий, которые предпринимает пользователь, от качества собираемых данных об активности головного мозга.
Наиболее близким аналогом (прототипом) является система для управления внешним средством на основании биоэлектрических данных оператора, раскрытая в патенте RU 2661756 (опубл. 01.03.2018). Система, описанная в патенте RU 2661756, содержит средство сбора биоэлектрических данных, выполненное с возможностью взаимодействия с оператором с обеспечением сбора биоэлектрических данных оператора при мысленном выполнении оператором по меньшей мере одного из заданных действий, и средство формирования команд управления, выполненное с возможностью формирования по меньшей мере одной команды управления с обеспечением ее передачи на управляемое внешнее средство. Недостатком системы по RU 2661756 также является ее низкая эффективность вследствии невозможности учета индивидуальных особенностей конкретного оператора при мысленном выполнении им заданных действий и, следовательно, возможности передачи на управляемое внешнее средство недостаточно точных команд управления.
Таким образом, очевидна потребность в дальнейшем совершенствовании систем для управления внешним средством на основании биоэлектрических данных оператора, в частности для улучшения их эффективности.
Следовательно, техническая проблема, решаемая настоящим изобретением, состоит в создании системы и способа для управления внешним средством на основании биоэлектрических данных оператора, в которой по меньшей мере частично устранены обозначенные выше недостатки известной системы для управления внешним средством на основании биоэлектрических данных оператора, заключающиеся в ее низкой эффективности.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Вышеупомянутая техническая проблема решена в первом аспекте настоящего изобретения, согласно которому предложена система для управления внешним средством на основании биоэлектрических данных оператора, содержащая:
средство сбора биоэлектрических данных, выполненное с возможностью взаимодействия с оператором с обеспечением сбора биоэлектрических данных оператора при мысленном выполнении оператором по меньшей мере одного из заданных действий;
средство выделения признаков, соединенное со средством сбора биоэлектрических данных с возможностью получения от него собранных биоэлектрических данных оператора и выполненное с возможностью выделения признаков, описывающих полученные биоэлектрические данные оператора, в собранных биоэлектрических данных на основании заданного правила выделения признаков;
средство определения шаблонов действия, соединенное со средством выделения признаков с возможностью получения от него выделенных признаков для формирования на их основе шаблона действия, соответствующего указанному мысленно выполненному действию, с использованием модели классификации шаблонов и выполненное с возможностью определения по меньшей мере одного шаблона действия, соответствующего указанному сформированному шаблону действия, из заданных шаблонов действий, соответствующих указанным заданным действиям;
средство формирования команд управления, соединенное со средством определения шаблонов действия с возможностью получения от него определенного шаблона действия и выполненное с возможностью формирования по меньшей мере одной команды управления на основании полученного шаблона действия с обеспечением ее передачи на управляемое внешнее средство, при этом указанная система дополнительно содержит
средство переобучения, которое в случае, если отличие параметров указанной команды управления, передаваемой на управляемое внешнее средство, от параметров соответствующей эталонной команды управления этим внешним средством больше заданного значения, выполнено с возможностью
получения признаков, соответствующих указанной команде управления, от средства определения шаблонов действия в ответ на соответствующий запрос от управляемого внешнего средства, и
переобучения указанной модели классификации шаблонов, используемой в средстве определения шаблонов действия, на основании указанных полученных признаков.
Предложенная система для управления внешним средством на основании биоэлектрических данных оператора обеспечивает технический результат в виде повышения точности управления внешним средством, в частности за счет улучшения идентификации мысленно выполняемых оператором действий, обусловленного возможностью адаптации или подстройки модели классификации шаблонов, используемой в средстве определения шаблонов действия, к конкретному оператору, что достигается путем переобучения указанной модели классификации шаблонов с использованием признаков, соответствующих биоэлектрическим данным этого оператора.
Кроме того, предложенная система для управления внешним средством на основании биоэлектрических данных оператора обеспечивает еще один технический результат, заключающийся в расширении арсенала технических средств для мысленного управления внешними средствами.
В другом варианте реализации настоящего изобретения согласно первому аспекту средство сбора биоэлектрических данных в системе для управления внешним средством на основании биоэлектрических данных оператора может быть дополнительно выполнено с возможностью выделения из собранных биоэлектрических данных по меньшей мере двух проб, при этом каждая проба представляет собой совокупность данных, описывающих однократное мысленное выполнение оператором указанного действия.
В некотором другом варианте реализации настоящего изобретения согласно первому аспекту средство выделения признаков в системе для управления внешним средством на основании биоэлектрических данных оператора может быть дополнительно выполнено с возможностью выделения еще одних признаков, описывающих полученные биоэлектрические данные оператора, на основании еще одного заданного правила выделения признаков, а средство определения шаблонов действия содержит:
классификатор нижнего уровня, выполненный с возможностью получения признаков, выделенных на основе указанных правил выделения признаков, и с возможностью классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием машины опорных векторов;
еще один классификатор нижнего уровня, выполненный с возможностью получения признаков, выделенных на основе указанных правил выделения признаков, и с возможностью классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием по меньшей мере одной искусственной нейронной сети;
классификатор верхнего уровня, выполненный с возможностью получения результатов классификации шаблонов действия, полученных указанными классификаторами нижнего уровня, и с возможностью определения шаблона действия из заданного набора шаблонов действия на основании указанных полученных результатов классификации шаблона действия с использованием по меньшей мере одной искусственной нейронной сети.
Еще в одном варианте реализации настоящего изобретения согласно первому аспекту система для управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать средство обратной связи, которое, на основании определенного шаблона действия, может быть выполнено с возможностью:
формирования визуального образа указанного действия для его отображения оператору;
имитации указанного действия с помощью внешних средств;
формирования визуального образа параметров биоэлектрических данных, связанных с определенным шаблоном действий; или
выполнения иных операций, связанных с указанным действием.
В ином варианте реализации настоящего изобретения согласно первому аспекту средство сбора биоэлектрических данных в системе для управления внешним средством на основании биоэлектрических данных оператора может быть дополнительно выполнено с возможностью определения артефактов в собранных биоэлектрических данных с обеспечением удаления из них указанных определенных артефактов. Наличие у средства сбора биоэлектрических данных функциональной возможности по определению артефактов в собранных биоэлектрических данных с обеспечением удаления из них указанных определенных артефактов вносит свой дополнительный вклад в сформулированный выше технический результат, заключающийся в повышении точности управления внешним средством, в частности благодаря повышению точности идентификации действий оператора, обусловленному удалением артефактов из биоэлектрических данных, собираемых средством сбора биоэлектрических данных при взаимодействии с оператором, мысленно выполняющим по меньшей мере одно из заданных действий.
В некоторых вариантах реализации настоящего изобретения согласно первому аспекту система для управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать
средство формирования задач, выполненное с возможностью формирования по меньшей мере одной задачи по выполнению оператором по меньшей мере одного из заданных действий и с возможностью вычисления идеализированной команды управления для выполнения указанной сформированной задачи,
вычислительный центр, соединенный со средством формирования задач с возможностью получения от него указанной сформированной задачи с обеспечением возможности отображения полученной задачи для оператора с помощью средства визуализации и выполненный с возможностью отслеживания процесса выполнения оператором указанной задачи,
средство контроля выполнения задач, соединенное с вычислительным центром с возможностью получения от него данных об отслеживаемом процессе выполнения задачи и выполненное с возможностью анализа выполнения оператором указанной задачи на основании указанных полученных данных путем сравнения параметров команды управления, сформированной средством формирования команд управления, с параметрами указанной идеализированной команды управления, причем средство контроля выполнения задач дополнительно выполнено с возможностью вычисления данных, описывающих корректировку действий оператора, на основании результатов указанного анализа,
средство корректировки, соединенное со средством контроля выполнения задач с возможностью получения от него вычисленных данных, описывающих корректировку действий оператора, с обеспечением их использования для модификации параметров указанного шаблона действия, идентифицированного средством определения шаблонов действия, и соединенное со средством формирования команд с возможностью передачи ему указанного модифицированного идентифицированного шаблона действия.
Наличие в системе для управления внешним средством на основании биоэлектрических данных оператора средства формирования задач, вычислительного центра, средства контроля выполнения задач и средства корректировки с их вышеописанными функциональными возможностями вносит свой дополнительный вклад в сформулированный выше технический результат, заключающийся в повышении точности управления внешним средством, в частности за счет улучшения идентификации действий оператора, обусловленного возможностью отслеживания процесса выполнения задачи оператором с последующим обеспечением возможности корректировки его действий, реализуемой благодаря наличию обратной связи со средством определения шаблонов действия.
Вышеупомянутая техническая проблема также решена и во втором аспекте настоящего изобретения, согласно которому предложен способ управления внешним средством на основании биоэлектрических данных оператора, согласно которому:
собирают, посредством средства сбора биоэлектрических данных, выполненного с возможностью взаимодействия с оператором, биоэлектрические данные оператора при мысленном выполнении оператором по меньшей мере одного из заданных действий;
получают, посредством средства выделения признаков, собранные биоэлектрические данные оператора от средства сбора биоэлектрических данных;
выделяют, посредством средства выделения признаков, признаки, описывающие полученные биоэлектрические данные оператора, в полученных биоэлектрических данных на основании заданного правила выделения признаков;
получают, посредством средства определения шаблонов действия, выделенные признаки от средства выделения признаков;
формируют, посредством средства определения шаблонов действия, на основе полученных выделенных признаков шаблон действия, соответствующий указанному мысленно выполненному действию, с использованием модели классификации шаблонов;
определяют по меньшей мере один шаблон действия, соответствующий указанному сформированному шаблону действия, из заданных шаблонов действий, соответствующих указанным заданным действиям;
получают, посредством средства формирования команд управления, определенный шаблон действия от средства определения шаблонов действия;
формируют, посредством средства формирования команд управления, по меньшей мере одну команду управления на основании полученного шаблона действия;
передают указанную сформированную команду управления на управляемое внешнее средство, при этом
в случае, если отличие параметров указанной команды управления, передаваемой на управляемое внешнее средство, от параметров соответствующей эталонной команды управления этим внешним средством больше заданного значения, дополнительно
получают, посредством средства переобучения, признаки, соответствующие указанной команде управления, от средства определения шаблонов действия в ответ на соответствующий запрос от управляемого внешнего средства, и
переобучают, посредством средства переобучения, указанную модель классификации шаблонов, используемую в средстве определения шаблонов действия, на основании указанных полученных признаков.
В другом варианте реализации настоящего изобретения согласно второму аспекту способ управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать этап, согласно которому дополнительно выделяют, посредством средства сбора биоэлектрических данных, по меньшей мере две пробы из собранных биоэлектрических данных, при этом этап выделения признаков, этап определения шаблона действия и этап формирования команды управления выполняют по меньшей мере для одной выделенной пробы, а каждая проба представляет собой совокупность данных, описывающих однократное мысленное выполнение оператором указанного действия.
В некотором другом варианте реализации настоящего изобретения согласно второму аспекту способ управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать этапы, согласно которым
выделяют, посредством средства выделения признаков, еще одни признаки, описывающие полученные биоэлектрические данные оператора, на основании еще одного заданного правила выделения признаков;
получают, посредством классификатора нижнего уровня в средстве определения шаблонов действия, признаки, выделенные на основе указанных правил выделения признаков, с обеспечением классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием машины опорных векторов;
получают, посредством еще одного классификатора нижнего уровня в средстве определения шаблонов действия, признаки, выделенные на основе указанных правил выделения признаков, с обеспечением классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием по меньшей мере одной искусственной нейронной сети;
получают, посредством классификатора верхнего уровня в средстве определения шаблонов действия, результаты классификации шаблонов действия, полученных указанными классификаторами нижнего уровня, с обеспечением определения шаблона действия из заданного набора шаблонов действия на основании указанных полученных результатов классификации шаблона действия с использованием по меньшей мере одной искусственной нейронной сети.
Еще в одном варианте реализации настоящего изобретения согласно второму аспекту способ управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать этап, согласно которому дополнительно на основании определенного шаблона действия осуществляют, посредством средства обратной связи, по меньшей мере следующие операции, согласно которым:
формируют визуальный образ указанного действия для его отображения оператору;
имитируют указанное действие с помощью внешних средств;
формируют визуальный образ параметров биоэлектрических данных, связанных с определенным шаблоном действий;
выполняют иные операции, связанные с указанным действием.
В ином варианте реализации настоящего изобретения согласно второму аспекту способ управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать этап, согласно которому дополнительно определяют, посредством средства сбора биоэлектрических данных, артефакты в собранных биоэлектрических данных с обеспечением удаления из них указанных определенных артефактов.
В других вариантах реализации настоящего изобретения согласно второму аспекту способ управления внешним средством на основании биоэлектрических данных оператора может дополнительно содержать этапы, согласно которым
формируют, посредством средства формирования задач, по меньшей мере одну задачу по выполнению оператором по меньшей мере одного из заданных действий;
вычисляют, посредством средства формирования задач, идеализированную команду управления для выполнения указанной сформированной задачи,
получают, посредством вычислительного центра, указанную сформированную задачу от средства формирования задач с обеспечением возможности отображения полученной задачи для оператора с помощью средства визуализации;
отслеживают, посредством вычислительного центра, процесс выполнения оператором указанной задачи;
получают, посредством средства контроля выполнения задач, данные об отслеживаемом процессе выполнения задачи от вычислительного центра с обеспечением возможности анализа выполнения оператором указанной задачи на основании указанных полученных данных путем сравнения параметров команды управления, сформированной средством формирования команд управления, с параметрами указанной идеализированной команды управления;
дополнительно вычисляют, посредством средства контроля выполнения задач, данные, описывающие корректировку действий оператора, на основании результатов указанного анализа;
получают, посредством средства корректировки, указанные вычисленные данные, описывающие корректировку действий оператора, от средства контроля выполнения задач с обеспечением их использования для модификации параметров указанного шаблона действия, идентифицированного средством определения шаблонов действия;
передают от средства корректировки указанный модифицированный идентифицированный шаблон действия в средство формирования команд.
Предложенный способ управления внешним средством на основании биоэлектрических данных оператора также обеспечивает сформулированный выше технический результат, заключающийся в повышении точности управления внешним средством, и сформулированный выше дополнительный технический результат, заключающийся в расширении арсенала технических средств для управления внешними средствами на основании биоэлектрических данных оператора.
Вышеупомянутая техническая проблема также решена и в третьем аспекте настоящего изобретения, согласно которому предложена система для оценки эффективности выполнения задачи оператором, содержащая:
средство формирования, выполненное с возможностью формирования, на основании заданных правил, виртуальной среды, содержащей по меньшей мере один виртуальный объект, имеющий заданное состояние, и задачи для оператора на осуществление по меньшей мере одного действия в отношении указанного по меньшей мере одного виртуального объекта, при этом обеспечена возможность визуализации для оператора сформированных виртуальной среды с виртуальными объектами;
средство выполнения действий, выполненное с возможностью выполнения в сформированной виртуальной среде указанного по меньшей мере одного действия оператора на основании команды управления, принятой от вышеописанной системы для управления внешним средством на основании биоэлектрических данных оператора согласно первому аспекту, при этом обеспечена возможность визуализации в визуализированной виртуальной среде указанных выполняемых действий оператора;
средство оценки эффективности, выполненное с возможностью
оценки эффективности указанного выполненного действия, причем эффективность выполненного действия представляет собой схожесть между состоянием указанного виртуального объекта после выполнения оператором в отношении него указанного действия и ожидаемым состоянием указанного виртуального объекта, соответствующим безошибочному выполнению оператором указанного действия;
оценки, на основании оценки эффективности выполненного действия, эффективности выполнения указанной задачи, причем эффективность выполнения задачи представляет собой величину, характеризующую ошибки, допущенные оператором при выполнении указанного действия в отношении указанного виртуального объекта, при этом ошибкой считается выполнение оператором указанного действия в отношении указанного виртуального объекта, эффективность которого меньше заданного значения.
В другом варианте реализации настоящей изобретения согласно третьему аспекту задача для оператора в системе для оценки эффективности выполнения задачи оператором может включать в себя изменение состояния указанного по меньшей мере одного виртуального объекта путем выполнения указанного по меньшей мере одного действия оператора.
В некотором другом варианте реализации настоящей изобретения согласно третьему аспекту для выполнения указанной задачи в системе для оценки эффективности выполнения задачи оператором изменение состояния указанного виртуального объекта должно быть выполнено оператором по меньшей мере за установленное время и/или установленное количество попыток.
Еще в одном варианте реализации настоящей изобретения согласно третьему аспекту заданные правила формирования задачи в системе для оценки эффективности выполнения задачи оператором могут включать по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора.
Вышеупомянутая техническая проблема также решена и в четвертом аспекте настоящего изобретения, согласно которому предложен способ оценки эффективности выполнения задачи оператором, согласно которому:
на основании заданных правил формируют, посредством средства формирования, виртуальную среду, содержащую по меньшей мере один виртуальный объект, имеющий заданное состояние, и задачу для оператора на осуществление по меньшей мере одного действия в отношении указанного по меньшей мере одного виртуального объекта, при этом обеспечена возможность визуализации для оператора сформированных виртуальной среды с виртуальными объектами;
принимают, посредством средства выполнения действий, по меньшей мере одну команду управления от системы для управления внешним средством на основании биоэлектрических данных оператора согласно первому аспекту;
выполняют, посредством средства выполнения действий, в сформированной виртуальной среде указанное по меньшей мере одно действие оператора на основании принятой команды управления, при этом обеспечена возможность визуализации в визуализированной виртуальной среде указанных выполняемых действий оператора;
оценивают, посредством средства оценки эффективности, эффективность указанного выполненного действия, причем эффективность выполненного действия представляет собой схожесть между состоянием указанного виртуального объекта после выполнения оператором в отношении него указанного действия и ожидаемым состоянием указанного виртуального объекта, соответствующим безошибочному выполнению оператором указанного действия;
на основании оценки эффективности выполненного действия оценивают, посредством средства оценки эффективности, эффективность выполнения указанной задачи, причем эффективность выполнения задачи представляет собой величину, характеризующую ошибки, допущенные оператором при выполнении указанного действия в отношении указанного виртуального объекта, при этом ошибкой считается выполнение оператором указанного действия в отношении указанного виртуального объекта, эффективность которого меньше заданного значения.
В одном из вариантов реализации настоящего изобретения согласно четвертому аспекту задача для оператора в способе оценки эффективности выполнения задачи оператором может включать в себя изменение состояния указанного по меньшей мере одного виртуального объекта путем выполнения указанного по меньшей мере одного действия оператора.
В другом варианте реализации настоящего изобретения согласно четвертому аспекту при выполнении указанной задачи в способе оценки эффективности выполнения задачи оператором оператор может выполнять изменение состояния виртуального объекта по меньшей мере за установленное время и/или за установленное количество попыток.
В некотором другом варианте реализации настоящего изобретения согласно четвертому аспекту заданные правила формирования задачи в способе оценки эффективности выполнения задачи оператором могут включать по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора.
Предложенная система для оценки эффективности выполнения задачи оператором согласно третьему аспекту и предложенный способ способе оценки эффективности выполнения задачи оператором согласно четвертому аспекту также обеспечивают каждый сформулированный выше технический результат, заключающийся в повышении точности управления внешним средством, и сформулированный выше дополнительный технический результат, заключающийся в расширении арсенала технических средств для управления внешними средствами на основании биоэлектрических данных оператора.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 представляет пример структурной схемы системы формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 2 представляет пример структурной схемы способа формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 3 представляет пример структурной схемы системы формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 4 представляет пример структурной схемы способа формирования команду правления на основании биоэлектрических данных оператора.
Фиг. 5 представляет пример структурной схемы системы оценки эффективности выполнения задачи на основании биоэлектрических данных оператора.
Фиг. 6 представляет пример структурной схемы способа оценки эффективности выполнения задачи на основании биоэлектрических данных оператора.
Фиг. 7 представляет пример общей схемы работы визуальной игровой среды с использованием системы формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 8 представляет пример алгоритма основного сеанса визуальной игровой среды с использованием системы формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 9 представляет пример цикла обработки пробы.
Фиг. 10 представляет пример взаимодействия оператора с визуальной игровой среды с использованием системы формирования команд управления на основании биоэлектрических данных оператора.
Фиг. 11 представляет пример амплитудно-частотной характеристики режекторного фильтра.
Фиг. 12 представляет пример ЭЭГ-сигналов.
Фиг. 13 представляет пример ЭЭГ с артефактами.
Фиг. 14 представляет пример системы классификации характерных признаков.
Фиг. 15 представляет пример структурной схемы системы реабилитации оператора.
Фиг. 16 представляет пример структурной схемы способа реабилитации оператора.
Фиг. 17 представляет пример структурной схемы комитета классификаторов.
Фиг. 18 представляет пример компьютерной системы общего назначения.
Хотя настоящее изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Однако следует понимать, что приведенное ниже описание не ограничивает настоящее изобретение конкретным вариантом реализации. Наоборот, приведенное ниже описание охватывает все изменения и модификации, входящие в объем настоящего изобретения, определенный прилагаемой формулой изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее техническое решение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, необходимыми для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее техническое решение определяется в объеме приложенной формулы.
Введем ряд определений и понятий, которые будут использоваться при описании вариантов осуществления настоящего изобретения.
Биоэлектрические данные - биоэлектрические сигналы активности мозга и нервной системы человека.
Вейвлет-преобразоеание - интегральное преобразование, которое представляет собой свертку вейвлет-функции с сигналом. Вейвлет-преобразование переводит сигнал из временного представления в частотно-временное. Вейвлет-преобразование сигналов является обобщением спектрального анализа.
Вейвлеты - это обобщенное название математических функций определенной формы, которые локальны во времени и по частоте, и в которых все функции получаются из одной базовой, изменяя ее (сдвигая, растягивая).
Дискретное преобразование Фурье - одно из преобразований Фурье, широко применяемых в алгоритмах цифровой обработки сигналов, а также в других областях, связанных с анализом частот в дискретном (к примеру, оцифрованном аналоговом) сигнале. Дискретное преобразование Фурье требует в качестве входа дискретную функцию. Такие функции часто создаются путем дискретизации (выборки значений из непрерывных функций).
Прямое преобразование:
Figure 00000001
Обратное преобразование:
Figure 00000002
Интерфейс мозг-компьютер (ИМК) - система формирования команды управления на основании биоэлектрических данных оператора.
Искусственная нейронная сеть - множество нейронов, объединенных в сеть путем соединения входов нейронов одного слоя с выходами нейронов другого слоя, причем входы нейронов первого слоя являются входами всей нейронной сети, а выходы нейронов последнего слоя являются выходами нейронной сети.
С точки зрения машинного обучения использование нейронной сети представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов классификации и т.п.
Машинное обучение (англ. ML, machine learning) - класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.
Различают три типа машинного обучения:
обучение по прецедентам, или индуктивное обучение, основано на выявлении эмпирических закономерностей в данных;
дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний;
обучение с подкреплением, основанное на методе проб и ошибок с поощрением правильных действий в текущей ситуации.
Метод опорных векторов (англ. SVM, support vector machine) - набор схожих алгоритмов обучения с учителем, использующихся для задач классификации и регрессионного анализа. Принадлежит семейству линейных классификаторов. Особым свойством метода опорных векторов является непрерывное уменьшение эмпирической ошибки классификации и увеличение зазора, поэтому метод также известен как метод классификатора с максимальным зазором.
Основная идея метода опорных векторов - перевод исходных векторов в пространство более высокой размерности и поиск разделяющей гиперплоскости с максимальным зазором в этом пространстве. Две параллельных гиперплоскости строятся по обеим сторонам гиперплоскости, разделяющей классы. Разделяющей гиперплоскостью будет гиперплоскость, максимизирующая расстояние до двух параллельных гиперплоскостей. Данный алгоритм работает в предположении, что чем больше разница или расстояние между этими параллельными гиперплоскостями, тем меньше будет средняя ошибка классификатора.
Преобразование Фурье - операция, сопоставляющая одной функции вещественной переменной другую функцию вещественной переменной. Эта новая функция описывает коэффициенты («амплитуды») при разложении исходной функции на элементарные составляющие - гармонические колебания с разными частотами (подобно тому, как музыкальный аккорд может быть выражен в виде суммы музыкальных звуков, которые его составляют).
Преобразование Фурье функции / вещественной переменной является интегральным и задается следующей формулой:
Figure 00000003
При создании системы формирования команд управления на основании биоэлектрических данных оператора на основе ЭЭГ сигналов воображения движений ключевыми задачами разработки является выделение управляющего сигнала, вычисление его признаков и их классификация в реальном времени. Решение данных задач является необходимым шагом на пути создания применимых на практике систем реабилитации на основе системы формирования команд управления на основании биоэлектрических данных оператора.
Особенностью ЭЭГ, регистрируемой с поверхности головы (со скальпа), является ее «относительно низкое пространственное разрешение (порядка квадратного сантиметра), по сравнению с данными электрокортикограммы (регистрации биоэлектрической активности с поверхности мозга) и магнитоэнцефалограммы, чье пространственное разрешение может быть порядка квадратных миллиметров». «При прохождении мозговых оболочек, черепа и скальпа амплитуда биоэлектрических сигналов значительно уменьшается (особенно для высокочастотной составляющей), наличие оболочек с сильно различающимся удельным сопротивлением приводит к «размазыванию» потенциала по скальпу, таким образом, с поверхности головы регистрируется не только сигнал от ближнего к электроду поля, но и с «дальнего поля», когда генератор сигнала находится на значительном удалении от регистрирующего электрода, за счет объемного проведения токов мозгом и прохождения сигналом мозговых оболочек». Это, с одной стороны препятствует четкой локализации сигнала, с другой стороны, может быть в определенной мере преодолено при помощи пространственной фильтрации сигнала и выделения источников при помощи метода главных или независимых компонент.
На основании проведенных эмпирических исследований наилучшие результаты классификации единичных проб ЭЭГ сигнала, а в частности -признаков, вычисленных как специфичные характеристики сигнала во временной области (например, таких его признаков, как: длина и площадь под кривой) которые могут быть достигнуты при использовании преобразований к плотности источника тока и/или метода независимых компонент. При этом лучшие результаты получены для классификации длины кривой.
Помимо специфики регистрируемого сигнала, для разработки применимой на практике платформы ИМК реального времени необходимо преодоление существующих технологических барьеров по сопряжению аппаратных систем регистрации ЭЭГ и программных средств автоматической обработки данных. В данном проекте такие барьеры устранены посредством использования беспроводного электроэнцефалографа с передачей данных в поток LSL (Lab Streaming Layer - международный стандарт пакетной передачи данных, в том числе для биоэлектрической активности).
Данный подход обеспечивает возможность получения данных с минимальными временными задержками и не требует для этого специализированного ПО сторонних производителей. Однако в этом случае возникает необходимость реализации авторского программного комплекса полного цикла регистрации, синхронизации, обработки и анализа данных. Важным элементом разрабатываемой системы регистрации ЭЭГ сигналов является блок устранения аппаратных задержек и синхронизации счетчиков времени устройств.
Еще одним обязательным требованием к практической реализации ИМК в составе комплекса реабилитации является получение пользователем обратной связи от системы, что формирует биологическую обратную связь. При этом каждой ментальной команде пользователя должен соответствовать наблюдаемый им ответ системы, и время задержки вычисления этого ответа должно быть достаточно мало (не более 500 мс) с тем, чтобы в сознании пользователя эти события были однозначно связаны.
Для этого необходимо, чтобы системы регистрации и распознавания ЭЭГ сигналов эффективно взаимодействовали и обеспечивали вывод результатов с задержкой, не превышающей времени, заметного для пользователя. В целом, время, необходимое для выдачи ответа ИМК, должно в любом случае быть меньше длительности выполнения одного воображаемого движения.
Фиг. 1 представляет структурную схему системы формирования команд управления на основании биоэлектрических данных оператора.
Структурная схема системы формирования команд управления на основании биоэлектрических данных оператора состоит из оператора 100, средства сбора биоэлектрических данных 110, средства выделения признаков 120, базы правил выделения признаков 121, средства классификации шаблонов 130, модели классификации шаблонов 131, базы шаблонов действий 132, средства формирования команд управления 150, внешних средств управления 151, базы команд управления 152.
Оператор 100 является человеком, дистанционно управляющим внешними средствами управления 151 с помощью описываемой системы.
Например, в качестве оператора 100 может выступать:
пациент, использующий описываемую систему для реабилитации (к примеру, после перенесенного инсульта или утраты конечностей);
человек, использующий описываемую систему как игровой манипулятор (англ. game controller) для осуществления управления игрой;
человек, использующий описываемую систему как обучающую систему для тренировки когнитивных способностей - внимания, памяти, обучаемости и т.д.
Средство сбора биоэлектрических данных 110 предназначено для:
сбора биоэлектрических данных оператора 100;
передачи собранных данных средству выделения признаков 120.
В одном из вариантов реализации сбор биоэлектрических данных осуществляется по меньшей мере:
неинвазивно, с помощью датчиков, расположенных удаленно от оператора 100 или закрепленных на операторе 100;
инвазивно, с помощью датчиков, вживленных в оператора 100;
комбинированно, т.е. с использованием как неинвазивных, так и инвазивных способов сбора биоэлектрических данных.
Например, для сбора данных об активности головного мозга (электроэнцефалограммы, ЭЭГ) оператора 100 может применяться система датчиков (электродов), прикрепляемых на кожу головы оператора 100, или расположенных на незначительном расстоянии от головы оператора 100 (к примеру, система датчиков, встроенных в шлем).
В другом примере в случае требования постоянной работы описываемой системы для удобства оператора 100 (к примеру, в случае инвалидности оператора 100) датчики могут быть вживлены в головной мозг оператора 100.
В одном из вариантов реализации в качестве биоэлектрических данных оператора 100 выступают по меньшей мере:
данные об активности головного мозга (электроэнцефалограмма);
данные об электрической активность нервной системы (параметры электрического сигнала и связанного с ним потенциала действия в момент его распространения вдоль нерва, электромиограмма);
данные о метаболической активности различных областей мозга;
данные о мышечной активности (например, движение глаз).
Например, данные об активности головного мозга оператора 100 собираются с помощью электродов, прикрепленных к голове оператора 100.
В другом примере данные о двигательной активность оператора 100 собираются с помощью электродов, прикрепленных к рукам и ногам оператора 100.
В другом примере данные о двигательной активности глаз собираются с помощью оптических датчиков (произведение многократной фотосъемки глаз).
В одном из вариантов реализации сбор биоэлектрических данных оператора 100 осуществляется с помощью по меньшей мере:
датчиков, регистрирующих наличие электрического тока или магнитного поля, создаваемого упомянутым током;
оптических датчиков, регистрирующих свет (к примеру, снимающих изображения);
акустических датчиков, регистрирующих звук;
датчиков, регистрирующих инфракрасное излучение;
химических датчиков, регистрирующих изменение химического состава среды.
Например, изменение функционального состояния оператора 100 при выполнении некоторой задачи может регистрироваться по изменению сердцебиения оператора 100 с помощью акустического датчика, по повышению мозговой активности оператора 100 с помощью датчиков, регистрирующих электромагнитное излучение (например, электромагнитный потенциал) и т.д.
В другом примере определение объекта внимания оператора 100 выполняется с помощью оптических датчиков, регистрирующих информацию о состоянии зрачков оператора 100.
В одном из вариантов реализации средство сбора биоэлектрических данных 110 представляет собой внешнее устройство, не зависящее от остальных средств системы и обменивающееся с ними данными по стандартизированному интерфейсу.
Например, в качестве средства сбора данных могут выступать шлемы от разных производителей со встроенными электромагнитными датчиками, микрофоном и видеокамерой, контроллером, оцифровывающим и выполняющим начальную обработку собираемых с датчиков данных, и передающий собранные данные по проводу с интерфейсом USB или с помощью беспроводных интерфейсов, таких как WiFi или Bluetooth.
В одном из вариантов реализации дополнительно средство сбора биоэлектрических данных 110 предназначено для оцифровки данных, получаемых с разнообразных датчиков, и приведения оцифрованных данных к единому заранее определенному виду.
Например, электроэнцефалограмма, параметры электрического сигнала и связанного с ним потенциала действия в момент его распространения вдоль нерва, электромиограмма, аудио-запись (к примеру, сердечных ритмов оператора 100), видео-запись (к примеру, изменение положения и размера зрачков оператора 100) после упомянутой обработки приводятся к виду, описываемому амплитудно-временных зависимостью A(t), при этом информация от каждого типа датчиков может быть обработана независимо (таким образом будет несколько каналов данных, описываемых разными амплитудно-временными зависимостями).
В одном из вариантов реализации собираемые биоэлектрические данные оператора 100 представляют собой совокупность измерений {Ai, ti, p1, p2, …, pn}, где {pj} - параметры измерения i, описываемую по меньшей мере:
амплитудно-временной зависимостью A(t), т.е. совокупностью измерений значений датчиков (амплитуд), полученных через определенные временные промежутки, при этом совокупность измерений может описываться несколькими амплитудно-временными зависимостями для разных диапазонов частот Αω(t);
частотно-временной зависимостью ω(t).
Например, данные об активности головного мозга оператора 100, представляемые в виде ЭЭГ, могут группироваться по нескольким каналам и описываться амплитудно-временными зависимостями для разных частот, к примеру,
канал #1: Альфа ритм (α-ритм) - частота колебания варьируется от 8 до 13 Гц. Амплитуда 5-100 мкВ, наибольшая амплитуда проявляется при закрытых глазах;
канал #2: Бета-ритм (β-ритм) - частота колебания варьируется от 14 до 40 Гц. Амплитуда колебания обычно до 20 мкВ. В норме он весьма слабо выражен относительно других ритмов и в большинстве случаев имеет амплитуду 3-7 мкВ;
канал #3: Гамма-ритм (γ-ритм) - частота колебания выше 30 Гц, иногда достигает 100 Гц, амплитуда обычно не превышает 15 мкВ;
канал #4: Дельта-ритм (δ-ритм) - частота колебания варьируется от 1 до 4 Гц. амплитуда расположена в пределах 20-200 мкВ (высокоамплитудные волны).
В одном из вариантов реализации дополнительно средство сбора биоэлектрических данных 110 предназначено для предварительной обработки собранных биоэлектрических данных с целью устранения артефактов (например, уменьшению шумов) из собранных биоэлектрических данных.
Например, после получения ЭЭГ определяются и удаляются артефакты, возникающие из-за глазодвигательной и мышечной активности оператора 100:
для глазодвигательных артефактов выполняется удаление участков записи ЭЭГ с индивидуально определенными параметрами глазодвигательных артефактов - по превышению пороговой амплитуды;
для мышечных артефактов выполняется удаление участков записи ЭЭГ с высокоамплитудной высокочастотной составляющей. Осуществляется фильтрация сигнала.
Для автоматического удаления глазодвигательных артефактов выполняется 10-15 секундная запись ЭЭГ, во время которой оператору 100 дается инструкция моргать в свободном ритме несколько раз. По этой записи определяются средняя амплитуда моргания и средняя продолжительность моргания. На основании вычисленной амплитуды устанавливается порог, превышение которого является признаком артефакта. Для автоматического определения артефактов задается порог от максимального пика на тестовом участке с артефактами, длительность глазодвигательного артефакта считается время от пика моргания до второго пересечения сигнала с изолинией (Фиг. 13). Когда в процедуре удаления артефактов по пороговой амплитуде фиксируется превышение порога, средство сбора биоэлектрических данных 110 проверяет, сколько проб (данных, представляющих собой совокупность измерений, описывающих единичные воображаемые движения) затрагивает моргание и помечает артефактными текущую пробу и при необходимости, последующую (если артефакт имел место на границе двух проб).
Для удаления мышечных артефактов система принимает следующие параметры - диапазон частот и пороговую амплитуду. Вычисляется преобразование Фурье для каждого канала ЭЭГ, и проверяются значения амплитуд в выбранном диапазоне частот. В случае превышения амплитуды проба помечается как артефакт и исключается из последующего анализа. По значениям амплитуд в данном диапазоне частот определяется наличие мышечных артефактов в сигнале в режиме реального времени.
Средство выделения признаков 120 предназначено для:
вычисления характерных признаков в полученных биоэлектрических данных оператора 100 на основании правил выделения признаков 121, при этом характерные признаки представляют собой параметры, описывающие с заданной точностью упомянутые биоэлектрические данные (позволяющие различать данные);
передачи вычисленных характерных признаков средству классификации шаблонов 130.
В одном из вариантов реализации точность вычисляемых параметров задается заранее на основании статистики эффективности использования описываемой системы на других операторах 100.
Например биоэлектрические данные оператора 100 могут быть описаны несколькими разными кривыми
Figure 00000004
из правил определения признаков 121. Выбирается такая кривая, которая точнее среди всех доступных кривых {fi} описывает собранные биоэлектрические данные. Точность определяется одним из методов оценки параметров регрессионных моделей (англ. Regression analysis). При этом вычисленные параметры {pi} будут являться искомыми признаками собранных биоэлектрических данных.
В одном из вариантов реализации правила выделения признаков 121 определяются заранее любым известным из уровня техники способом на основании собранных от других операторов 100 (например, на этапе разработки и тестирования описываемой системы) биоэлектрических данных или рассчитываются теоретически на основании существующих биологических моделей.
Например, на основании собранных биоэлектрических данных операторов 100 и данных о том, какие операторы 100 собирались выполнить действия, можно определить правила выделения признаков 121 и наиболее оптимальные характеристики упомянутых правил. К примеру, в качестве таких правил и характеристик могут выступать:
размеры сегментов, на которые будут делиться биоэлектрические данные оператора 100 перед дальнейшей обработкой;
типы и параметры кривых, описывающие биоэлектрические данные оператора 100;
параметры скользящего окна анализа при сегментировании биоэлектрических данных оператора 100 (к примеру, шаг скользящего окна анализа, размер скользящего окна и т.д.).
В одном из вариантов реализации дополнительно средство выделения признаков 120 предназначено для предварительного анализа полученных биоэлектрических данных (представляемых в виде сигнала, т.е. совокупности измерений, описываемых временной зависимостью), при котором по меньшей мере:
сигнал, описываемый амплитудно-временной зависимостью, преобразуется в сигнал, описываемый частотно-амплитудной зависимостью, и наоборот (например, с использованием Фурье-преобразований);
разделение сигнала на несколько каналов, т.е. выделение из одного сигнала несколько новых (например, для заданных диапазонов частот);
мультипликации сигналов из нескольких каналов в один.
В одном из вариантов реализации в качестве характерных признаков биоэлектрических данных оператора 100, которые могут быть разделены на сегменты, каждый из которых описывается кривой fj=Fj(x1, x2, …, xn), выступают по меньшей мере:
тип кривой fj сегмента j (т.е. каким уравнением оно может быть описано);
площадь под кривой fj сегмента j;
сложность кривой fj сегмента j (т.е. численная характеристика, описывающая особые точки кривой);
параметры Фурье-преобразования;
параметры вейвлет-преобразования кривой fj сегмента j;
соотношение вычисленных параметров ЭЭГ сигнала и других биоэлектрических данных испытуемых.
Например, вычисление площади под кривой fj сегмента j (сигнала) может состоять из трех этапов:
1) на первом этапе значения амплитуды сигнала поднимаются над изолинией:
Figure 00000005
где
N - число точек в записи ЭЭГ.
2) на второй этапе по методу трапеций вычисляются площади под кривой fj сегмента j между парами соседних отсчетов:
Figure 00000006
3) на третьем этапе итоговое значение для площади под кривой вычисляется как результат суммировании получившихся значений S(xi) внутри сегмента j:
Figure 00000007
где
n - длина сегмента,
k - количество сегментов.
В другом примере вычисление сложности кривой fj сегмента j может выполняться путем вычисления длины кусочно-линейной аппроксимации кривой fj. Для этого для каждой пары соседних отсчетов по теореме Пифагора вычисляется длина отрезка между ними:
Figure 00000008
где
n - длина сегмента.
В другом примере, вейвлет-преобразование представляют собой интегральное преобразование, позволяющее получить частотно-временное представление функции fj. Базисные вейвлет-функции позволяют сконцентрировать внимание на локальных особенностях анализируемых процессов, которые не могут быть выявлены с помощью традиционных преобразований Фурье и Лапласа. Принципиальное значение имеет возможность вейвлетов анализировать нестационарные сигналы с изменением компонентного содержания во времени или в пространстве.
К примеру, могут использоваться непрерывные вейвлет-преобразования на основе различных типов вейвлетов (Морле, Симлетов и др). Упомянутые вейвлеты были выбраны на основании результатов, известных из уровня техники, указывающих на эффективность данных материнских вейвлетов при анализе ЭЭГ. При работе средства выделения признаков 120 могут использоваться вейвлеты Морле и Симлеты 4-го порядка. Для упомянутых вейвлетов могут использоваться следующие масштабы вейвлетов: Морле 4 порядка с масштабом 18 Гц и 41 Гц, что соответствует центральным частотам 22 и 10 Гц; Симлеты 4 порядка с масштабом 16 Гц и 36 Гц, также соответствующие вышеназванным центральным частотам.
В результате непрерывного вейвлет-преобразования получается вектор характерных признаков высокой размерности. Для снижения размерности признакового пространства может использоваться агрегирующая функция -вычисление сложности кривой, полученной после вейвлет-преобразования.
В другом примере, может использоваться дискретное вейвлет-преобразование. Дискретное вейвлет-преобразование рассчитывается в несколько этапов:
1) сигнал пропускается через низкочастотный фильтр с импульсным откликом, получается свертка;
2) одновременно сигнал пропускается через высокочастотный фильтр;
3) полученные сигналы и можно без потерь проредить в 2 раза.
В результате получаются детализирующие коэффициенты (после высокочастотного фильтра) и коэффициенты аппроксимации (после низкочастотного фильтра). Используемые фильтры связаны между собой и называются квадратурными зеркальными фильтрами (англ. QMF). Этапы 1-3 могут повторяться несколько раз для дальнейшего увеличения частотного разрешения. Процесс получения коэффициентов для дискретного вейвлет-преобразования третьего уровня может представляться в виде дерева, называемого банком фильтров. Элементы этого дерева представляют подпространства с различными частотно-временными локализациями.
В другом примере могут применяться несколько подходов по использованию коэффициентов вейвлет-преобразования 5 уровня в качестве характерных признаков сигналов ЭЭГ при воображении движений для последующей подачи на комитет классификаторов.
коэффициенты (параметры) вейвлет-преобразования 4 и 5 уровней могут подаваться непосредственно на классификатор. В данном случае вейвлет-преобразование выступает в качестве первого уровня классификации с глубоким обучением - уровня понижения размерности пространства входных данных. На вход преобразования поступает сырой сигнал ЭЭГ (сигнал, соответствующий каждой очередной пробе, является вектором, длина которого зависит от длины пробы и частоты дискретизации регистрирующего оборудования), а выходом являются детали уровней 4 и 5, состоящие из 27 и 18 значений соответственно, вычисленные с помощью вейвлет-преобразования (вообще, количество значений зависит от длины входного сигнала).
коэффициенты (параметры) вейвлет-преобразования 4 и 5 уровней могут использоваться для восстановления аппроксимаций деталей сигнала в разных частотных диапазонах, соответствующих каждому из уровней преобразования. Далее рассчитывается длина огибающей и площадь сегментов под кривой в скользящих окнах анализа. Данные признаки вычисляются для аппроксимаций деталей 4-го и 5-го порядков для каждой очередной пробы (single-trial подход) при помощи классификаторов первого уровня.
В целом, анализ признаков, вычисленных с использованием вейвлет-преобразований, демонстрирует более высокую информативность высокочастотных составляющих сигнала в рассматриваемом диапазоне 0,5-30 Гц. Так, коэффициенты полосы 20-25 Гц вейвлет-разложения оказались более информативными, чем коэффициенты полосы 6-12 Гц. Кроме того, мета-признак "сложность кривой", вычисленный для аппроксимаций деталей вейвлет-преобразований каждой очередной пробы, оказался более информативным для комитета классификаторов, чем признак площадь под сегментами кривой аппроксимации, что предположительно свидетельствует о большей значимости информации о высокочастотных деталях сигнала, по сравнению с информацией о его тренде.
Применение вейвлет-преобразования к необработанному ЭЭГ сигналу без накопления перспективно по нескольким причинам, среди которых, возможность выделения деталей сигнала в разных масштабах и разных частотных полосах, а также возможность значительного снижения размерности входных данных для последующей классификации путем выбора релевантных коэффициентов лишь нескольких уровней разложения. В этом случае такое преобразование можно рассматривать как вариант свертки в начальных слоях глубокой нейронной сети, выявляющие ключевые особенности и отбрасывая избыточные данные.
Описанные выше способы вычисления характерных признаков предъявляют невысокие требования к вычислительным ресурсам и имеют небольшое время вычисления.
Представляемая система предполагает динамическую настройку шага вейвлет преобразования и индивидуальное определение центральных частот ЭЭГ сигнала в различных диапазонах в ходе вейвлет преобразований у каждого оператора 100.
В одном из вариантов реализации средство выделения признаков 120 дополнительно предназначено для применения с целью одновременного учета признаков двухуровневого комитета локальных классификаторов, нижний уровень которого состоит по меньшей мере из двух искусственных нейронных сети и по меньшей мере двух машин опорных векторов, при этом верхний уровень состоит из искусственной нейронной сети, которая объединяет результаты классификаций нижнего уровня.
Средство классификации шаблонов 130 предназначено для:
формирования шаблонов действий на основании полученных характерных признаков с использованием модели классификации шаблонов 131;
идентификации сформированных шаблонов действий, при этом при идентификации сформированным шаблонам действий ставится в соответствие по меньшей мере один шаблон из базы шаблонов действий 132;
передачи идентифицированных шаблонов действий средству формирования команд управления 150.
В одном из вариантов реализации модель классификации шаблонов 131 представляет собой совокупность правил формирования шаблонов действий на основании по меньшей мере одного шаблона действия из базы шаблонов действий 132.
Описать сигнал ЭЭГ, соответствующий какому-либо движению, формулой невозможно из-за вариативности ЭЭГ. Вместе с тем можно говорить, что некоторая формула является регрессионной моделью сигнала с наименьшей ошибкой из имеющихся в наборе моделей. Например, сегмент ЭЭГ, зарегистрированный в диапазоне Δt=1.17-1.77 с, может характеризоваться уравнением кривой
Figure 00000009
совокупность параметров упомянутой кривой характеризует мозговую активность, связанную с работой указательного пальца на сгибание.
В одном из вариантов реализации модель классификации шаблонов представляет собой искусственную нейронную сесть и предварительно формируется с использованием методов машинного обучения.
Например, с целью распознавания воображаемых движений по ЭЭГ заранее задаются шаблоны действий, основанные на машине опорных векторов и искусственных нейронных сетях. Данные подходы являются эффективными средствами классификации, в том числе и для многоканальных ЭЭГ сигналов.
Используемый метод опорных векторов относится к линейным методам классификации. Суть метода заключается в разделении выборки на классы при помощи оптимальной разделяющей гиперплоскости уравнение которой в общем случае представимо в виде:
Figure 00000010
коэффициенты λi зависят от yi (векторов меток класса принадлежности) и от значения скалярных произведений (xi, xj). Таким образом, для нахождения решающей функции необходимо знать значения скалярных произведений. Преобразования данных определяются функцией ядра:
Figure 00000011
На основании результатов исследований по выбору предпочтительного типа SVM для классификации ЭЭГ-сигналов в качестве функции ядра применена радиальная базисная функция Гаусса (англ. radial basic function SVM-RBF SVM):
Figure 00000012
для γ>0.
Описанные выше искусственные нейронные сети (ИНС) основываются на принципах распределенной, нелинейной и параллельной обработки данных с обучением. В описанном примере ИНС реализованы в виде многослойного персептрона, состоящего из трех слоев: два скрытых и один выходной. В качестве функции активации в скрытых слоях используется сигмоидная функция:
Figure 00000013
где α - параметр наклона сигмоидальной функции, а в выходном слое - линейная функция.
С целью одновременного учета нескольких типов признаков используется 2-х уровневый комитет локальных классификаторов, нижний уровень которого состоит из 2-х ИНС и 2-х машин опорных векторов. Верхний уровень состоит из ИНС, которая объединяет результаты классификаций нижнего уровня.
В качестве признаков используются:
площадь под кривой,
сложность кривой,
коэффициенты дискретных и непрерывных вейвлет-преобразований.
Классификаторы нижнего уровня получают на вход признаки разных типов и принимают решения по классификации данного сигнала ЭЭГ. Эти решения обобщаются в виде вектора и подаются на вход ИНС верхнего уровня, которая выполняет окончательную классификацию, т.е. относит анализируемый сигнал ЭЭГ к одному из классов (Фиг. 14). Таким образом, есть возможность выбора наилучших признаков для классификации.
ИНС верхнего уровня обучается на наборе данных, состоящем из решений локальных классификаторов нижнего уровня. Обученная ИНС верхнего уровня определяет значимость решений каждого из классификаторов нижнего уровня и производит выбор оптимального решения.
Благодаря реализованной структуре описываемая система может настраиваться индивидуально для оператора 100, позволяя выбирать наиболее релевантные признаки, при этом комитет классификаторов легко масштабируется, включая в комитет новые классификаторы нижнего уровня.
В одном из вариантов реализации идентификация шаблонов действий заключается по меньшей мере в:
определении какой из шаблонов действий из базы шаблонов действий 132 наиболее схож со сформированным шаблоном;
определении параметров сформированного шаблона на основании полученных признаков и параметров найденного шаблона и базы шаблонов действий 132.
В одном из вари антов реализации шаблон действия характеризуется по меньшей мере:
типом действия;
параметрами, описывающими действие данного типа.
В одном из вариантов реализации дополнительно средство классификации шаблонов 130 предназначено для передачи полученных характерных признаков средству переобучения 140 для переобучения модели классификации шаблонов 131.
Средство переобучения 140 предназначено для переобучения модели классификации шаблонов 131 таким образом, чтобы по меньшей мере:
количество ошибок, допускаемых оператором 100, при формировании команд управления было меньше заданного порога;
заранее заданные выделенные признаки были достаточными для формирования заданного шаблона действий.
Средство формирования команд управления 150 предназначено для:
формирования по меньшей мере одной команды управления внешним средством 151 на основании полученных шаблонов действий;
передачи сформированной команды внешнему средству 151.
В одном из вариантов реализации формирование команды управления содержит по меньшей мере этап, согласно которому:
полученному шаблону действий ставят в соответствие по меньшей мере одна команда управления внешним средством 151;
параметры соответствующей команды управления вычисляют на основании параметров полученного шаблона действий и особенностей работы внешнего средства 151.
Например, полученный шаблон действия «сгибание фаланги указательного пальца» соответствует команде управления электромотором #r2f2 на протезе правой руки оператора 100. Параметр упомянутого шаблона скорости выполнения действия и силы выполнения действия соответствует 1 м/с и 2Н соответственно, что при переводе в команды управления описанным электромотором означает напряжение и силу тока, подаваемых на электромотор 2.4В и 0.03А.
В другом примере шаблон действия «перемещение курсора мышки» преобразуется в данные об относительном сдвиге курсора мышки на мониторе на заданных величины {Δх, Δу}.
В одном из вариантов реализации в качестве внешнего средства 151 выступает по меньшей мере:
компьютер (либо любое вычислительное устройство, планшет, телефон и т.д.), для которого описываемая система выступает устройством ввода информации (например, игровым контроллером, координатным устройством и т.д.);
биомеханический протез;
механическое средство передвижения (например, инвалидная кресло-коляска);
средство коммуникации и помощи - робот-помощник;
управление виртуальной клавиатурой для коммуникации;
средства согрева (одеяла, перчатки, носки);
управление сайтом;
устройство синтеза речи.
В одном из вариантов реализации внешние средства 151 представляет собой компонент умного дома (англ. smart home), т.е. системы домашних устройств, способных выполнять действия и решать определенные повседневные задачи без участия человека.
Например, оператор 100 с помощью описываемой системы может управлять элементами умного дома, а именно регулировать режимы кондиционирования и освещения помещения, управлять работой телевизора и домашнего кинотеатра.
В другом примере оператор 100 (к примеру, человек, перенесший инсульт) с помощью описываемой системы может управлять конфигурацией постели (например, управлять наклоном постели, подголовников, вызвать медперсонал и т.д.).
В другом примере оператор 100 (к примеру, человек с ампутированной рукой) с помощью описываемой системы может управлять биоэлектрическим протезом руки. Система определяет желаемые действия оператора 100 (к примеру, согнуть пальцы для захвата примера), формирует их в соответствующие команды и передает протезу, который с помощью встроенных электромоторов пальцев осуществляет желаемое действие.
В одном из вариантов реализации внешнее средство 151 дополнительно обладает функционалом, обеспечивающим обратную связь с описываемой системой, с этой целью:
внешним средством 151 отслеживается выполнение команды управления (вычисляя параметры выполнения команды управления);
параметры выполнения упомянутой командой сравниваются с параметрами эталонных команд управления внешнего средства 151;
в случае, если параметры отслеживаемых команд управления отличаются от параметров эталонных команд управления больше заданного значения, средству переобучения 140 отправляется запрос на переобучение модели классификации шаблонов;
средство переобучения 140 переобучает модель классификации шаблонов 131 таким образом, чтобы в следующий раз команда управления, сформированная на основании шаблона действия, удовлетворяла бы эталонной команде управления.
Например, управление курсором мыши приводит к тому, что курсор начинает «заваливать» влево, хотя задача, выполняемая оператором 100 требует держать курсор строго по центру, т.е. при формировании шаблона действия появляется излишнее смещение по горизонтальной оси. Эта информация передается средству переобучения 140, что приводит к тому, что «завал» уменьшается.
Таким образом происходит индивидуальная калибровка описываемой системы под конкретного оператора 100.
В одном из вариантов реализации перед тем как оператор 100 начнет использовать описываемую систему для управления внешними средствами 151 производится калибровка описываемой системы. С этой целью по меньшей мере:
оператор 100 выполняет действия, для которых существуют эталонные команды, вследствие чего можно установить корректные параметры выполнения команд;
определяются артефакты выполнения команд.
Фиг. 2 представляет структурную схему способа формирования команд управления на основании биоэлектрических данных оператора.
Структурная схема способа формирования команд управления на основании биоэлектрических данных оператора состоит из этапа 210, на котором собирают биоэлектрические данные оператора, этапа 220, на котором вычисляют характерные признаки, этапа 230, на котором формируют шаблоны действий, этапа 240, на котором идентифицируют шаблоны действий, этапа 250, на котором формируют команды управления, этапа 260, на котором обучают модель классификации шаблонов.
На этапе 210 с помощью средства сбора биоэлектрических данных 110 собирают биоэлектрические данные оператора 100.
На этапе 220 с помощью средства выделения признаков 120 вычисляют характерные признаки собранных на этапе 210 биоэлектрических данных оператора 100 на основании правил выделения признаков 121, при этом характерные признаки представляют собой параметры, описывающие с заданной точностью упомянутые биоэлектрические данные.
На этапе 230 с помощью средства классификации шаблонов 130 формируют шаблоны действий на основании вычисленных на этапе 220 характерных признаков с использованием модели классификации шаблонов 131.
На этапе 240 с помощью средства классификации шаблонов 130 идентифицируют сформированных на этапе 230 шаблоны действий, при этом при идентификации сформированным шаблонам действий ставится в соответствие по меньшей мере один шаблон из базы шаблонов действий 132.
На этапе 250 с помощью средства формирования команд управления 150 формируют по меньшей мере одну команду управления внешним средством 151 на основании идентифицированных на этапе 240 шаблонов действий.
На этапе 260 с помощью средства переобучения 140 переобучают модели классификации шаблонов, таким образом, чтобы
количество ошибок, допускаемых оператором 100, при формировании команд управления было меньше заданного порога;
заранее заданные выделенные признаки были достаточными для формирования заданного шаблона действий.
Фиг. 3 представляет пример структурной схемы системы формирования команд управления на основании биоэлектрических данных оператора.
Структурная схема системы формирования команды управления на основании биоэлектрических данных оператора содержит средство сбора 0310, средство выделения признаков 0320, средство определения шаблонов действий 0330, средство формирования команд 0340, средство обратной связи 0350.
Средство сбора 0310 предназначено для сбора биоэлектрических данных оператора 100 и передачи собранных данных средству выделения характеристик 0320, при этом в качестве биоэлектрических данных выступают:
электроэнцефалограмма оператора 100, где электроэнцефалограмма представляет собой совокупность сигналов активности нервной системы оператора 100, характеризуемых временем регистрации сигнала и амплитудой сигнала (далее, ЭЭГ-сигнал),
электромиограмма оператора 100, где электромиограмма представляет собой совокупность сигналов активности мышечной системы оператора 100, характеризуемых временем регистрации сигнала и амплитудой сигнала (далее, ЭМГ-сигнал).
В одном из вариантов реализации системы средство сбора 0310 дополнительно предназначено для выделения из собранных биоэлектрических данных по меньшей мере двух проб, при этом каждая проба представляет собой совокупность данных, описывающих однократное воображение движения оператора 100.
Еще в одном из вариантов реализации системы дополнительно после завершения сбора биоэлектрических данных производят анализ и преобразование собранных данных для чего по меньшей мере:
применяют фильтры высоких и низких частот,
удаляют сетевые шумы, применяя, по меньшей мере, режекторные и полосные фильтры,
производят синхронизацию по временной метке,
удаляют окулографические артефакты,
удаляют миографические артефакты,
используют отфильтрованный сигнал ЭЭГ;
преобразуют ЭЭГ-сигнал по меньшей мере к среднему, взвешенному среднему монтажам, плотности источников тока, топографиям независимых компонент.
Средство выделения признаков 0320 предназначено для выделения характерных признаков из собранных биоэлектрических данных с помощью:
обученной модели выделения признаков 0321, сформированной на основании метода машинного обучения,
совокупности правил выделения признаков;
при этом в качестве характерных признаков выступают:
спектральные характеристики,
временные характеристики,
характеристики вейвлет-преобразования;
пространственно-временные характеристики,
сочетание характеристик биоэлектрической активности разного генеза;
и для передачи выделенных характеристик средству определения шаблонов действия 0330.
В одном из вариантов реализации системы шаблон действия определяется с помощью двухуровневого комитета локальных классификаторов, в котором нижний уровень содержит комбинацию из по меньшей мере одного классификатора на основе машины опорных векторов и по меньшей мере одной искусственной нейронной сети, а верхний уровень содержит по меньшей мере одну искусственную нейронную сеть.
Еще в одном из вариантов реализации системы шаблон действия определяется с помощью двухуровневого комитета локальных классификаторов, в котором нижний уровень содержит по меньшей мере два классификатора на основе дискриминантного анализа или две машины опорных векторов, а верхний уровень содержит по меньшей мере одну искусственную нейронную сеть. Еще в одном из вариантов реализации системы искусственная нейронная сеть верхнего уровня комитета локальных классификаторов обучается на совокупности данных, содержащем решения каждого из локальных классификаторов нижнего уровня.
Средство определения шаблонов действия 0330 предназначено для определения шаблона действия по выделенным характерным признакам с помощью методов искусственного интеллекта и передачи определенного шаблона действия средству формирования команд 0340, при этом шаблон действия представляет собой численное значение, характеризующее вероятность того, что собранные биоэлектрические данные оператора 100 принадлежат заданному воображаемому действию оператора 100.
Средство формирования команд 0340 предназначено для формирования команды управления 152 внешним средством 151 на основании определенного шаблона действия.
Средство обратной связи 0350 предназначено, на основании определенного шаблона действия, для:
формирования визуального образа упомянутого действия для отображения оператору 100;
имитации упомянутого действия с помощью внешних средств 151;
формирования визуального образа параметров биоэлектрических данных, связанных с определенным шаблоном действий;
выполнения действия иной природы, связанного с упомянутым действием.
Например, воображая хлопок ладонями, пользователь активирует включение света (в умном доме), т.е. действие «хлопок ладонями» приводит к выполнению действия иного рода (не связанного с движением ладоней или возникающим в следствии удара звука) - включение света.
Дополнительно система формирования команд управления на основании биоэлектрических данных оператора может содержать средства визуализации действий оператора, когда каждое воображаемое действие при распознавании визуализируется для оператора.
Фиг. 4 представляет пример структурной схемы способа формирования команд управления на основании биоэлектрических данных оператора.
Структурная схема способа формирования команд управления на основании биоэлектрических данных оператора состоит из этапа 0410, на котором собирают биоэлектрические данные оператора 100, этапа 0420, на котором вычисляют характерные признаки, этапа 0430, на котором определяют шаблоны действий, этапа 0440, на котором формируют команды управления.
Упомянутые этапа 0410 - 0440 реализуются с помощью средств из системы, приведенной на Фиг. 3.
На этапе 0410 с помощью средства сбора 0310 собирают биоэлектрические данные оператора 100, при этом в качестве биоэлектрических данных выступают:
электроэнцефалограмма оператора 100, где электроэнцефалограмма представляет собой совокупность сигналов активности нервной системы оператора 100, характеризуемых временем регистрации сигнала и амплитудой сигнала (далее, ЭЭГ-сигнал),
электромиограмма оператора 100, где электромиограмма представляет собой совокупность сигналов активности мышечной системы оператора 100, характеризуемых временем регистрации сигнала и амплитудой сигнала (далее, ЭМГ-сигнал).
В одном из вариантов реализации способа из собранных биоэлектрических данных предварительно выделяют по меньшей мере две пробы, а последующий анализ, состоящий из этапов 0420 - 0440 выполняют по меньшей мере для одной выделенной пробы, при этом каждая проба представляет собой совокупность данных, описывающих однократное воображение движения оператора 100.
Еще в одном из вариантов реализации способа дополнительно после завершения сбора биоэлектрических данных производят анализ и преобразование собранных данных для чего по меньшей мере:
применяют фильтры высоких и низких частот,
удаляют сетевые шумы, применяя, по меньшей мере, режекторные и полосные фильтры,
производят синхронизацию по временной метке,
удаляют окулографические артефакты,
удаляют миографические артефакты,
используют отфильтрованный сигнал ЭЭГ;
преобразуют ЭЭГ-сигнал по меньшей мере к среднему, взвешенному среднему монтажам, плотности источников тока, топографиям независимых компонент.
На этапе 0420 с помощью средства выделения признаков 0320 выделяют характерные признаки из собранных биоэлектрических данных с помощью:
обученной модели выделения признаков 0321, сформированной на основании метода машинного обучения,
совокупности правил выделения признаков;
при этом в качестве характерных признаков выступают:
спектральные характеристики,
временные характеристики,
характеристики вейвлет-преобразования;
пространственно-временные характеристики,
сочетание характеристик биоэлектрической активности разного генеза. В одном из вариантов реализации способа шаблон действия определяется с помощью двухуровневого комитета локальных классификаторов, в котором нижний уровень содержит комбинацию из по меньшей мере одного классификатора на основе машины опорных векторов и по меньшей мере одной искусственной нейронной сети, а верхний уровень содержит по меньшей мере одну искусственную нейронную сеть.
Еще в одном из вариантов реализации способа искусственная нейронная сеть верхнего уровня комитета локальных классификаторов обучается на совокупности данных, содержащем решения каждого из локальных классификаторов нижнего уровня.
На этапе 0430 с помощью средства определения шаблонов действия 0330 определяют шаблон действия по выделенным характерным признакам с помощью метода искусственного интеллекта, при этом шаблон действия представляет собой численное значение, характеризующее вероятность того, что собранные биоэлектрические данные оператора 100 принадлежат заданному воображаемому действию оператора 100.
На этапе 0440 с помощью средства формирования команда 0340 формируют команду управления 152 внешним средством 151 на основании определенного шаблона действия.
На этапе 0450 дополнительно с помощью средства обратной связи 0350 на основании определенного шаблона действия:
формируют визуальный образ упомянутого действия для отображения оператору 100;
имитируют упомянутое действие с помощью внешних средств 151;
формируют визуальный образ параметров биоэлектрических данных, связанных с определенным шаблоном действий;
выполняют действия иной природы, связанного с упомянутым действием.
В более широком смысле (обладающий более широким функционалом) описанный выше способ формирования команд управления на основании биоэлектрических данных оператора 100 может содержать следующие этапы:
На этапе 0410 собирают биоэлектрические данные оператора 100.
В частном случае реализации способа в качестве биоэлектрических данных оператора 100 выступает электроэнцефалограмма оператора 100, при этом электроэнцефалограмма представляет собой совокупность сигналов, характеризуемых временем регистрации сигнала и амплитудой сигнала (далее, ЭЭГ-сигнал).
Еще в одном частном случае реализации способа из собранных биоэлектрических данных предварительно выделяют по меньшей мере две пробы, а последующий анализ, состоящий из этапов 0420 - 0440 выполняют по меньшей мере для одной выделенной пробы, при этом каждая проба представляет собой совокупность данных, описывающих однократное воображение движения.
На этапе 0420 выделяют характерные признаки из собранных биоэлектрических данных.
В одном частном случае реализации способа характерные признаки из собранных биоэлектрических данные оператора 100 выделяют с помощью обученной модели выделения признаков 0321, сформированной на основании метода машинного обучения.
Еще в одном частном случае реализации способа выделяют по меньшей мере:
временные признаки,
частотные признаки.
Еще в одном частном случае реализации способа характерные признаки выделяют с использованием вейвлет-преобразования.
Еще в одном частном случае реализации способа в качестве характерных признаков выступают по меньшей мере:
площадь под кривой ЭЭГ-сигнала,
сложность кривой ЭЭГ-сигнала,
коэффициенты вейвлет-преобразования кривой ЭЭГ-сигнала.
Еще в одном частном случае реализации способа для вычисления характерных признаков используется по меньшей мере:
алгоритм вычисления площади под кривой сегмента ЭЭГ-сигнала,
алгоритм вычисления сложности кривой ЭЭГ-сигнала в скользящем окне,
алгоритм вычисления вейвлет-преобразований ЭЭГ-сигнала,
алгоритм вычисления кепстральных коэффициентов.
На этапе 0430 определяют по меньшей мере один шаблон действия по выделенным характерным признакам.
В одном частном случае реализации способа шаблон действия представляет собой численное значение, характеризующее вероятность того, что собранные биоэлектрические данные оператора 100 принадлежат заданному воображаемому действию оператора 100.
Еще в одном частном случае реализации способа шаблон действия определяют с помощью по меньшей мере:
машины опорных векторов;
искусственной нейронной сети.
Еще в одном частном случае реализации способа шаблон действия определяется с помощью двухуровневого комитета локальных классификаторов, в котором нижний уровень содержит комбинацию из по меньшей мере одного классификатора на основе машины опорных векторов и по меньшей мере одной искусственной нейронной сети, а верхний уровень содержит по меньшей мере одну искусственную нейронную сеть.
Еще в одном частном случае реализации способа искусственная нейронная сеть верхнего уровня обучается на совокупности данных, содержащем решения каждого из множества локальных классификаторов нижнего уровня.
На этапе 0440 формируют по меньшей мере одну команду управления внешним средством на основании по меньшей мере одного определенного шаблона действия.
В одном частном случае реализации способа дополнительно после завершения сбора биоэлектрических данных производят анализ и преобразование собранных данных для чего по меньшей мере:
применяют фильтры высоких и низких частот,
удаляют сетевые шумы, применяя по меньшей мере рефлекторные и полосные фильтры,
производят синхронизацию по временной метке,
удаляют окулографические артефакты,
удаляют миографические артефакты,
преобразуют ЭЭГ-сигнал с помощью по меньшей мере одного из преобразований: к среднему монтажу, к взвешенному среднему монтажу, к плотности источников тока.
Фиг. 5 представляет пример структурной схемы системы оценки эффективности выполнения задачи на основании биоэлектрических данных оператора.
Структурная схема система оценки эффективности выполнения задачи на основании биоэлектрических данных оператора состоит из средства формирования 0510, средства выполнения действий 0520, средства оценки эффективности 0530.
Средство формирования 0510 предназначено для формирования на основании заранее заданных правил:
виртуальной среды, содержащую по меньшей мере один виртуальный объект, при этом состояние виртуального объекта характеризуется по меньшей мере:
положением в виртуальной среде,
размерами,
цветом,
правилами взаимодействия с виртуальной средой,
правилами изменения состояния в зависимости от действий оператора 100 в виртуальной среде;
задачи оператору 100 на осуществление по меньшей мере одного действия над по меньшей мере одним виртуальным объектом.
В одном из вариантов реализации системы дополнительно визуализируют виртуальную среду, виртуальные объекты в виртуальной среде и выполняемые действия оператора 100 в виртуальной среде.
Еще в одном из вариантов реализации системы задача включает в себя изменение состояния по меньшей мере одного виртуального объекта с помощью по меньшей мере одного действия оператора 100.
Еще в одном из вариантов реализации системы для выполнения задачи изменение состояния виртуального объекта должно быть выполнено оператором 100 по меньшей мере:
за установленное время,
за установленное количество попыток.
Еще в одном из вариантов реализации системы заранее заданные правила формирования задачи включают по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора 100.
Средство выполнения действий 0520 предназначено для выполнения в виртуальной среде по меньшей мере одного действия оператора 100 на основании сформированной команды управления.
Средство оценки эффективности 0530 предназначено для:
оценки эффективности выполненного действия, при этом эффективность выполненного действия представляет собой численную величину, характеризующую схожесть состояния виртуального объекта после того как над ним оператор 100 выполнил действие с ожидаемым состоянием упомянутого виртуального объекта при условии, что действие оператора 100 было бы выполнено без ошибок;
оценки эффективности выполнения задачи, осуществляемого на основании полученной ранее этим же средством 0530 оценки эффективности выполняемого действия, при этом эффективность выполнения задачи представляет собой численную величину, характеризующую количество ошибок, допущенных оператором 100 при выполнении оператором 100 действий над виртуальным объектом, при этом ошибкой считается выполнение действия над виртуальным объектом, эффективность которого меньше заданного.
Фиг. 6 представляет пример структурной схемы способа оценки эффективности выполнения задачи на основании биоэлектрических данных оператора.
Структурная схема способа оценки эффективности выполнения задачи на основании биоэлектрических данных оператора 100 содержит этап 0610, на котором формируют виртуальную среду и задачи, этап 0620, на котором собирают биоэлектрические данные оператора 100 и формируют команды управления, этап 0630, на котором выполняют действия, этап 0640, на котором оценивают эффективность выполненных действий и этап 0650, на котором оценивают эффективность выполненной задачи.
Упомянутые этапы 0610 - 0650 реализуются с помощью средств из системы, приведенной на Фиг. 5.
На этапе 0610 с помощью средства формирования 0510 на основании заранее заданных правил формируют:
виртуальную среду, содержащую по меньшей мере один виртуальный объект, при этом состояние виртуального объекта характеризуется по меньшей мере:
положением в виртуальной среде,
размерами,
цветом,
правилами взаимодействия с виртуальной средой,
правилами изменения состояния в зависимости от действий оператора 100 в виртуальной среде;
задачу оператору 100 на осуществление по меньшей мере одного действия над по меньшей мере одним виртуальным объектом.
В частном случае реализации способа дополнительно визуализируют виртуальную среду, виртуальные объекты в виртуальной среде и выполняемые действия оператора 100 в виртуальной среде.
Еще в одном частном случае реализации способа задача включает в себя изменение состояния по меньшей мере одного виртуального объекта с помощью по меньшей мере одного действия оператора 100.
Еще в одном частном случае реализации способа для выполнения задачи изменение состояния виртуального объекта должно быть выполнено оператором 100 по меньшей мере:
за установленное время,
за установленное количество попыток.
Еще в одном частном случае реализации способа заранее заданные правила формирования задачи включают по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора 100.
На этапе 0620 с помощью этапов 0410 - 0440 способа формирования команд управления на основании биоэлектрических данных оператора 100 собирают биоэлектрические данные оператора 100 и формируют по меньшей мере одну команду управления на основании собранных биоэлектрических данных оператора 100.
На этапе 0630 с помощью средства выполнения действий 0520 выполняют в виртуальной среде по меньшей мере одно действие оператора 100 на основании сформированной команды управления.
На этапе 0640 с помощью средства оценки эффективности 0530 оценивают эффективность выполненного действия, при этом эффективность выполненного действия представляет собой численную величину, характеризующую схожесть состояния виртуального объекта после того как над ним оператор 100 выполнил действие с ожидаемым состоянием упомянутого виртуального объекта при условии, что действие оператора 100 было бы выполнено без ошибок.
На этапе 0650 с помощью средства оценки эффективности 0530 на основании оценки эффективности выполняемого действия оценивают эффективность выполнения задачи, при этом эффективность выполнения задачи представляет собой численную величину, характеризующую количество ошибок, допущенных оператором 100 при выполнении оператором 100 действий над виртуальным объектом, при этом ошибкой считается выполнение действия над виртуальным объектом, эффективность которого меньше заданного.
В более широком смысле (обладающий более широким функционалом) описанный выше способ оценки эффективности выполнения задачи на основании биоэлектрических данных оператора 100 может содержать следующие этапы:
На этапе 0610 с помощью средства формирования 0510 на основании заранее заданных правил формируют:
виртуальную среду, содержащую по меньшей мере один виртуальный объект;
задачу оператору 100 на осуществление по меньшей мере одного действия над по меньшей мере одним виртуальным объектом.
В частном случае реализации способа дополнительно визуализируют виртуальную среду, виртуальные объекты в виртуальной среде и выполняемые действия оператора 100 в виртуальной среде.
Еще в одном частном случае реализации способа состояние виртуального объекта характеризуется по меньшей мере:
положением в виртуальной среде;
размерами;
цветом;
правилами взаимодействия с виртуальной средой;
правилами изменения состояния в зависимости от действий оператора 100 в виртуальной среде.
Еще в одном частном случае реализации способа задача включает в себя изменение состояния по меньшей мере одного виртуального объекта с помощью по меньшей мере одного действия оператора 100.
Еще в одном частном случае реализации способ для выполнения задачи изменение состояния виртуального объекта должно быть выполнено оператором 100 по меньшей мере:
за установленное время,
за установленное количество попыток.
Еще в одном частном случае реализации способа заранее заданные правила формирования задачи включают по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора 100.
На этапе 0620 с помощью средств 0310 - 0340 собирают биоэлектрические данные оператора 100 и формируют по меньшей мере одну команду управления на основании собранных биоэлектрических данных оператора 100.
На этапе 0630 с помощью средства 0520 выполняют в виртуальной среде по меньшей мере одно действие оператора 100 на основании сформированной команды управления.
На этапе 0640 с помощью средства 0530 оценивают эффективность выполненного действия.
Еще в одном частном случае реализации способа эффективность выполненного действия представляет собой численную величину, характеризующую схожесть состояния виртуального объекта после того как над ним оператор 100 выполнил действие с ожидаемым состоянием упомянутого виртуального объекта при условии, что действие оператора 100 было бы выполнено без ошибок.
На этапе 0650 с помощью средства 0530 на основании оценки эффективности выполняемого действия оценивают эффективность выполнения задачи.
Еще в одном частном случае реализации способа эффективность выполнения задачи представляет собой численную величину, характеризующую количество ошибок, допущенных оператором 100 при выполнении оператором 100 действий над виртуальным объектом, при этом ошибкой считается выполнение действия над виртуальным объектом, эффективность которого меньше заданного.
Фиг. 7 представляет пример общей схемы работы визуальной игровой среды с использованием системы формирования команд управления на основании биоэлектрических данных оператора.
Игровая форма реабилитации на основе системы формирования команды управления на основании биоэлектрических данных оператора (далее, интерфейса мозг-компьютер, ИМК) использует тренировку оператора 100 (далее, пациента) посредством биологической обратной связи. Данный подход направлен на стимуляцию пластичности мозга и восстановительные процессы в центральной нервной системе пациента 100. Основным условием для его успешного применения является высокая мотивация пациента 100. Для удовлетворения данного требования может быть применена игровая среда (в том числе и виртуальная), управляемая платформой интерфейса мозг-компьютер. Таким образом, действия персонажа в игре управляются моторными командами мозга пациента 100. Это дает пациенту 100 представление об эффективности его усилий и визуализирует улучшение двигательных функций, в том числе в случае, когда выполнение реальных движений невозможно для пациента. Это служит мощным положительным подкреплением и повышает эффективность реабилитационных мероприятий. Дополнительно, ИМК-реабилитация на основе моторного воображения в игровой форме не требует физической нагрузки и, таким образом, может применяться в то время, когда активная лечебная физкультура еще не показана пациенту вследствие особенностей его общего состояния.
Непосредственно работа с системой формирования команды управления на основании биоэлектрических данных оператора представлена в виде игры, в которой в виртуальной среде персонаж, управляемый пациентом, путем совершения им определенных мысленных действий - воображаемых движений, должен собирать фрукты, висящие на деревьях. Описанные действия (сбор фруктов) направлены на развитие хватательных движений пациента.
Описанная выше процедура контролируется специализированным программным обеспечением. Предварительно программное обеспечение позволяет выбрать типы распознаваемых движений, а также последовательность, в которой нужно их воображать.
В качестве дополнения программное обеспечение позволяет настроить сколько фруктов будет висеть на деревьях для каждой руки, а также количество правильных распознаваний, необходимых для срывания фрукта с дерева и количество попыток на срывание фрукта. Также можно настроить время, отведенное на игровую сессию.
В процессе игры персонаж перемещается по фруктовому саду между деревьями. Когда персонаж подходит к очередному дереву, начинается взаимодействие с оператором 100 (Фиг. 10).
В нижней части экрана в виде полосы отображается счетчик попыток сорвать плоды с дерева. В верхней части экрана отображается обратный отсчет до окончания игры. Также приводится инструкция для испытуемого.
В процессе взаимодействия испытуемый должен совершать воображаемые движения в ритме, задаваемом миганием фрукта и звуковым сигналом. При правильном распознавании воображаемого движения рука персонажа приближается к фрукту или срывает его.
Если испытуемый не успел сорвать все фрукты за отведенное число попыток, то персонаж начинает двигаться к следующему дереву. Если испытуемый сорвал все яблоки до того, как закончились попытки, персонаж также переходит к следующему дереву.
Алгоритмы игрового модуля:
Основные этапы взаимодействия классификатора с игрой изображены на Фиг. 7. После запуска игры из пользовательского интерфейса, основная программа устанавливает соединение с игрой для обмена данными. Далее необходимо настроить игровую среду в окне настроек игры.
После настройки, начинается основной сеанс игры, в котором персонаж перемещается от дерева к дереву и пытается сорвать фрукты. Алгоритм функционирования игры приведен на Фиг. 8. В начале игры персонаж подходит к первому дереву и начинается отсчет попыток, выделенных на дерево, которые вычисляются как произведение количества фруктов на дереве и количества попыток на фрукт. На каждую попытку отводится заданное время, соответствующее длине пробы.
При правильном распознавании, рука персонажа приближается к фрукту, если количество необходимых правильных распознаваний для срывания фрукта еще не достигнуто, и срывает его в обратном случае.
Если испытуемый не успел сорвать все фрукты за отведенное число попыток, то персонаж начинает двигаться к следующему дереву. Если испытуемый сорвал все яблоки до того, как закончились попытки, персонаж также переходит к следующему дереву.
Когда время заканчивается, сеанс игры завершается, игра закрывается и в пользовательском интерфейсе выводятся результаты тренировки.
Обработка пробы происходит в несколько этапов (Фиг. 9). В первую очередь, при поступлении сигнала о начале пробы, происходит выделение соответствующих пробе данных из потока, принимающего данные. Далее данные фильтруются, если в пробе присутствуют артефакты, проба помечается как артефактная и дальше обработка не идет. Если же артефактов не обнаружено, то далее применяется один из монтажей, извлекаются признаки и происходит классификация. На выходе получается либо метка соответствующая одному из движений, либо метка, обозначающая, что в пробе имеются артефакты и она непригодна для классификации.
По результатам игры все статистические данные о количестве полученных моторных команд, успешно сорванных плодах, а также исходные данные сохраняются в специальных файлах. Динамика результатов пользователя в игре является важным маркером восстановления функций планирования и исполнения движений, особенно в случае, если выполнение реальных движений пока недоступно для пользователя. Фиг. 13 представляет пример ЭЭГ с артефактами.
Работа системы формирования команды управления на основании биоэлектрических данных оператора в режиме реального времени имеет ряд особенностей и ограничений, главным из которых является ограничение на время работы алгоритмов. Реализация применимой на практике системы формирования команды управления на основании биоэлектрических данных оператора возможна только при условии использования методов и алгоритмов, удовлетворяющих данному ограничению. В частности, при выборе методов фильтрации сигнала возможно отказаться от цифровых фильтров с конечной импульсной характеристикой, применение которых позволяет получить более качественный сигнал, но при этом вычисления занимают слишком много времени.
Для синхронизации стимулов и записей ЭЭГ может применять блок аппаратной синхронизации. Упомянутый блок может использоваться следующим образом: звуковой стимул с компьютера передается одновременно в наушники оператора 100 и в блок аппаратной синхронизации, который при пересечении порогового значения отсылает по инфракрасному порту метку на выделенный поликанал электроэнцефалографа (AUX).
При разметке данных сначала находятся синхроимпульсы в AUX канале и вычисляются метки времени, соответствующие их пикам. На основе полученных меток времени сигнал разбивается на пробы, которым присваиваются метки в соответствии с протоколом эксперимента.
В состав системы регистрации ЭЭГ сигналов входит модуль настраиваемой фильтрации входных ЭЭГ данных с применением определенной полосы пропускания и подавления фильтров низких и высоких частот. Реализован набор фильтров высоких частот - 0.016 Гц, 0.032 Гц, 0.53 Гц, 1.6 Гц, 5.3 Гц; и фильтров низких частот - 15 Гц, 30 Гц, 50 Гц. При фильтрации, для формирования полосы пропускания и подавления сетевой помехи 50 (60) Гц, используются фильтры с бесконечной переходной характеристикой, наиболее точно моделирующие RC цепи и широко применяемые в клинических «бумажных» электроэнцефалографах. Для формирования полосы пропускания реализованы - высокочастотный фильтр 1-го порядка и низкочастотный фильтр 2-го порядка.
Для подавления сетевой помехи используются режекторные 50 (60) Гц фильтры (Фиг. 11). Также могут быть включены дополнительные режекторные фильтры 100 (120) Гц для подавления второй гармоники сетевой помехи. Все режекторные фильтры 12-го порядка с полосой непропускания: 45 - 55, 40 - 60 или 35 - 65 Гц, в зависимости от установленных параметров.
Дополнительно в системе регистрации ЭЭГ сигналов может быть реализован модуль автоматического обнаружения артефактов в on-line режиме: обнаружение глазодвигательных (Фиг. 13) и мышечных артефактов на основании 2-х возможных процедур:
1. Автоматического расчета и удаления участков записи ЭЭГ с индивидуально определенными параметрами глазодвигательнх артефактов - по превышению пороговой амплитуды;
2. Удаление мышечных артефактов - удаление участков записи ЭЭГ с высокоамплитудной высокочастотной составляющей.
Для автоматического удаления глазодвигательных артефактов выполняется запись ЭЭГ длительностью не менее 10 секунд, во время которой оператору 100 дается инструкция моргать в свободном ритме несколько раз. По этой записи определяются средняя амплитуда моргания в выбранном канале - как правило в каналах Fp1 и/или Fp2 и средняя продолжительность моргания. На основании вычисленной амплитуды устанавливается порог, превышение которого является признаком артефакта. Для автоматического определения артефактов задается порог в 60% от максимального пика на тестовом участке с артефактами (по отведениям Fp1, Fp2), длительностью глазодвигательного артефакта считается время от пика моргания до второго пересечения сигнала с изолинией. Когда в процедуре удаления артефактов по пороговой амплитуде фиксируется превышение порога, алгоритм проверяет, сколько проб (единичных воображаемых движений) затрагивает моргание и помечает артефактными текущую пробу и при необходимости, последующую (если артефакт имел место на границе двух проб).
Для удаления мышечных артефактов система принимает следующие параметры - диапазон частот и пороговую амплитуду. Вычисляется преобразование Фурье для каждого канала ЭЭГ, и проверяются значения амплитуд в выбранном диапазоне частот. В случае превышения амплитуды проба помечается как артефакт и исключается из последующего анализа.
На Фиг. 12 показаны график сигнала в одном из каналов ЭЭГ записи - канале Т5 без мышечных артефактов 1210 и соответствующее этому сигналу распределение частот 1220. Для сравнения на Фиг. 12 также изображен график сигнала с мышечными артефактами в канале Т5 1230, и результат преобразования Фурье для этого сигнала 1240.
В интервале с 20 до 35 Гц в пробе с мышечными артефактами амплитуда сигнала в несколько раз больше, чем в безартефактной пробе. По значениям амплитуд в данном диапазоне частот определяется наличие мышечных артефактов в сигнале в режиме реального времени.
Для повышения пространственного разрешения и выделения информативных характеристик ЭЭГ в разрабатываемой системе регистрации ЭЭГ сигнала могут быть реализованы несколько преобразований - пространственных фильтров: - приведение к общему среднему монтажу (англ. common average montage), взвешенному среднему монтажу (англ. weighted average referent montage) и преобразование к плотности источников тока (англ. current source density). Реализация нескольких подходов направлена на возможность использования индивидуальных алгоритмов настройки системы.
Упомянутая система регистрации ЭЭГ позволяет проводить одновременно регистрацию, синхронизацию, преобразование и обработку ЭЭГ-сигналов во временной и частотной области. Для сокращения времени отклика системы при обработке данных в реальном времени используются следующие подходы: - применение методов фильтрации и предобработки сигналов с малым временем вычисления показателей; - сокращение пространства входных данных, сокращение используемого числа информативных признаков: ЭЭГ регистрируется со всех каналов, а расчет признаков для классификации осуществляется для 2-х каналов, выбранных в результате предварительного анализа. Для оптимизации пространственной информации из всех каналов ЭЭГ выбираются несколько каналов, несущих наиболее информативные признаки. В данном проекте используется выбор информативных каналов на основе предварительной настройки и картирования точности распознавания воображаемых движений, что позволяет сократить время для расчета признаков и общее время отклика системы.
В соответствии с основными трендами передовых разработок реализованы совместный учет нескольких пространств признаков - во временной и частотной областях: площадь сегментов и длина огибающей ЭЭГ сигнала, коэффициенты вейвлет-преобразования (дискретного и непрерывного), коэффициенты кэпстрального преобразования. Использование этих признаков направлено на повышение универсальности и точности классификации ЭЭГ паттернов воображаемых движений, сохранение малых вычислительных ресурсов и времени для работы в режиме online.
В ходе реализации проекта была достигнута возможность подачи обратной связи (информации о «правильности/неправильности» сгенерированной испытуемым моторной команды) с временной задержкой, не превышающей 250 мс, что создает возможность использования данной системы регистрации ЭЭГ для разработки ПО реабилитации в режиме реального времени.
Фиг. 15 представляет пример структурной схемы системы реабилитации оператора.
Структурная схема системы реабилитации оператора состоит из оператора 100, средства сбора биоэлектрических данных 110, средства формирования команд управления 150, вычислительного центра 151А, средства визуализации 151B, средства распознавания действий 1510, средства формирования задач 1520, средства корректировки 1530, средства контроля выполнения задач 1540.
Описываемая система предназначена для реабилитации людей, с травмами или повреждениями мозга, ведущими к снижению или нарушению нормальной двигательной активности человека (например, перенесших инсульт), утраты конечностей (например, с ампутацией рук). Ее основная цель - стимуляция активности головного мозга или активности нервной системы и ее пластичности. С этой целью перед оператором 100 ставятся задачи, которые он должен выполнять с использованием описанной выше на Фиг. 1 - Фиг. 4 системы. При этом описываемая система вносит корректировки в действия оператора 100, «мешая» ему выполнять основные задачи (т.е. повышая сложность выполнения), тем самым заставляя увеличивать активность, а значит и повышать стимуляцию, пластичность и тренировку своего мозга и нервной системы.
Средство распознавания действий 1510 предназначено для:
распознавания действий оператора 100 и вычисление данных, характеризующих распознаваемые действия;
передачи данных о действиях оператора 100 средству корректировки 1530.
Средство распознавания действий 1510 является частью описываемой на Фиг. 1, Фиг. 2 системы и содержит средство выделения признаков 120, базу правил выделения признаков 121, средство классификации шаблонов 130, модель классификации шаблонов 131, базу шаблонов действий 132, средство переобучения 140.
Средство формирования задач 1520 предназначено для:
формирования по меньшей мере одной задачи, которую должен выполнить оператор 100 с использованием описываемой системы (включающей средство сбора биоэлектрических данных 110, средство распознавания действий 1510, средство формирования команд);
передачи сформированной задачи вычислительному центру 151А. В одном из вариантов реализации в качестве задач выступают:
задачи позиционирования, в которых оператор 100 должен отдавать команды на перемещение объектов (в том числе виртуальных);
задачи управления, в которых оператор 100 должен отдавать команды на изменение состояния объектов (например, включения/выключения);
задачи контроля, в которых оператор 100 должен отдавать команды на удержание состояния в заданном состоянии или позиционирования объекта в заданной области.
Например, оператор 100 должен управлять движением курсора (т.е. отдавать команды на изменение положения курсора) на экране монитора 151В таким образом, чтобы курсов двигался по заранее заданной и обозначенной на экране монитора 151В траектории.
Еще в одном примере оператор 100 должен закрашивать объекты в заданный цвет, управляя изменением (т.е. отдавать команды на дискретное изменение) значения цветовых компонент (к примеру, управляя тоном (англ. hue), насыщенностью (англ. saturation) и светлотой (англ. lightness), тем самым работая с цветом в HSL-цветовом пространстве).
Еще в одном примере оператор 100 должен удерживать курсор на экране монитора 151В в первоначальном положении, при том, что курсов постоянно пытается сместиться, компенсируя корректировки оператора 100.
Т.е. основная цель формируемых задач заключается в осуществлении взаимодействия оператора 100 с объектами управления, при этом между оператором 100 и объектами управления создается обратная связь таким образом, чтобы не только действия оператора 100 влияли на состояние объектов управления, но и изменения состояния объектов управления влияли на оператора 100.
В одном из вариантов реализации решение формируемых задач оформляется и реализовывается как игровой процесс, в результате которого по меньшей мере:
за успешное решение (прохождение) задач назначаются очки;
процесс решения задач влияет на сложность решаемой или формируемых задач.
В одном из вариантов реализации формирование новой задачи зависит по меньшей мере от того:
какой тип активности должен тренироваться;
какой тип задач лучше (быстрее, проще, с меньшим количеством ошибок и т.д.) решается оператором 100 (например, для равномерной тренировки разных форм активности оператора 100).
В одном из вариантов реализации при формировании задачи вычисляются дополнительно:
идеализированные команды управления (образцы действия для обучения классификатора), которые должно сформировать средство формирования команд управления 150 для успешного выполнения формируемой задачи;
поведение системы (действия оператора 100, шаблоны действий и т.д.) для успешного выполнения формируемой задачи.
Упомянутые вычисления в дальнейшем могут использоваться для оценки правильности выполнения задачи оператором 100. Средство корректировки 1530 предназначено для:
модификации параметров идентифицированных шаблонов действий (распознанных мысленных команд) на основании данных, предоставленных средством контроля выполнения задач 1540.
передачи модифицированных шаблонов действий средству формирования команд управления 150.
Основная цель средства корректировки 1530 обеспечения обратной связи между действиями оператора 100 (отданными оператором 100 командами) и действиями, выполняемыми вычислительным центром 151А, на основании команд, сформированных средством формирования команд управления 150.
Средство корректировки 1530 модифицирует параметры идентификационных шаблонов действий (которые влияют на команды, формируемые средством формирования команд управления 150) по меньшей мере для:
уменьшения количества ошибок, допускаемых оператором 100, для обеспечения равномерного процесса тренировки активности оператора 100;
помощи оператору 100 в формировании команд, т.е. ослабления требований к командам действий (к примеру, увеличения диапазона значений, которые могут принимать параметры команд действий), в случае, если на каких-то этапах не было достигнуто удовлетворительного выполнения поставленной задачи 100;
противодействия оператору 100 в формировании команд, т.е. усиления требований к командам действий (к примеру, уменьшения диапазона значений, которые могут принимать параметры команд действий), в случае, какие-либо этапы решения поставленной задачи были пройдены оператором 100 с легкостью, не позволяющей достичь эффекта тренировки.
Например, для оператора 100 поставлена задача провести курсором по некоторой кривой (к примеру, в легком режим - по вертикальной прямой, в сложном режиме - по квадорфолии), таким образом, чтобы максимальное расстояние курсора от кривой не превышало некоторого заранее заданного расстояния. Если оператору 100 не удается придерживаться этого критического расстояния, то вносится корректировка (модифицируются параметры идентификационных шаблонов) таким образом, чтобы курсор находился на заранее заданном расстоянии, чтобы в свою очередь оператору 100 было проще выполнять задачу (т.е. если оператор 100 в текущий момент не может справиться с поставленной задачей, что приводит к перенапряжению и неэффективности тренировки, задача должна быть облегчена). Если оператору 100 удается придерживаться не только упомянутого критического расстояния, но и более маленького расстояния (т.е. оператор 100 эффективно решает поставленную задачу), то вносится корректировка таким образом, чтобы курсов находился на критическом расстоянии и оператору 100 было сложнее выполнять задачу (т.е. оператор 100 в текущий момент может легко справиться с поставленной задачей, что приводит к меньшему напряжению, чем требуется для тренировки).
Еще в одном примере корректировка может быть реализована следующим образом:
для «сильного» / «успешного» оператора 100 (оператора 100, легко справляющегося с заданием) 100, если отклонение курсора от кривой составляет Δх, то выполняется корректировка, заставляющая курсор переместиться в противоположную сторону на величину 3×Δх, таким образом производится «раскачивание» курсора вдоль кривой, заставляя оператора 100 стремиться к уменьшению отклонения положения от кривой Δх;
для «слабого» / «неуспешного» оператора 100 (оператора 100, с трудом выполняющего задачу) 100, если отклонение курсора от кривой составляет Δх, то выполняется корректировка, заставляющая курсор переместиться в противоположную сторону на величину 0.75×Δх, таким образом производится «прижимание» курсора к кривой, упрощая оператору 100 задачу стремления к уменьшению отклонения положения от кривой Δх.
Средство контроля выполнения задач 1540 предназначено для:
анализа выполнения оператором 100 задачи, сформированной средством формирования задач 1520, на основании данных, полученных от вычислительного центра 151А;
вычисления данных, описывающих корректировку действий оператора 100, на основании результатов выполненного анализа;
передачи вычисленных данных средству корректировки 1530.
В одном из вариантов реализации в качестве анализа выполнения оператором 100 задачи выступает по меньшей мере:
сравнение параметров команды управления, сформированной средством формирования команд управления 150, с параметрами идеализированной команды управления, рассчитанной средством формирования задач 1520 при формировании задачи;
сравнение результата выполнения команды управления, сформированной средством формирования команд управления 150, с ожидаемым результатом, рассчитанным средством формирования задач 1520 при формировании задати.
Вычислительный центр 151А предназначен для:
анализа задачи, полученной от средства формирования задач 1520;
отображения информации о задаче для оператора 100 с помощью средства визуализации 151В,
отслеживание процесса выполнения задачи оператором 100;
передачи данный об отслеживаемом процессе средству контроля выполнения задач 1540.
Фиг. 16 представляет пример блок-схемы способа реабилитации оператора.
Блок-схема способа реабилитации оператора состоит из этапа 1610, на котором формируют задачу, этапа 1620, на котором отслеживают выполнение задачи оператором, этапа 1630, на котором распознают действия оператора, этапа 1640 формируют команды действия, этапа 1650, на котором анализируют выполнение задачи, этапа 1660, на котором модифицируют параметры идентифицированных шаблонов действий.
На этапе 1610 с помощью средства формирования задач 1520 формируют по меньшей мере одну задачу, которую должен выполнить оператор 100 с использованием описываемой системы (включающей средство сбора биоэлектрических данных 110, средство распознавания действий 1510, средство формирования команд);
На этапе 1620 с помощью вычислительного центра 151А
отображают информацию о задаче для оператора 100 с помощью средства визуализации 151 В;
отслеживают процесс выполнения задачи оператором 100.
На этапе 1630 с помощью средства распознавания действий 1510 распознают действия оператора 100 и вычисляют данные, характеризующие распознаваемые действия.
На этапе 1640 с помощью средства формирования команд управления 150 формируют команды действия для решения поставленной задачи.
На этапе 1650 с помощью средства контроля выполнения задач 1540
анализируют выполнение оператором 100 задачи, сформированной на этапе 1610, на основании данных, полученных от вычислительного центра 151А;
вычисляют данные, описывающие корректировку действий оператора 100, на основании результатов выполненного анализа.
На этапе 1660 с помощью средства корректировки 1530 модифицируют параметры идентифицированных шаблонов действий на основании данных, вычисленных на этапе 1650.
Этапы 1620-1660 могут выполняться по меньшей мере до тех пор, пока:
сформированная задача не будет выполнена;
количество ошибок, допускаемых оператором 100 не достигнет заранее заданного значения;
по прошествии установленного времени.
Фиг. 17 представляет пример структурной схемы комитета классификаторов.
Структурная схема комитета классификаторов состоит из решающей нейросети 1710, нейросети на основе признака #1 1721, нейросети на основе признака #2 1722, SVM-классификатора на основе признака #1 1731, SVM-классификатора на основе признака #2 1732.
С целью распознавания воображаемых движений по ЭЭГ реализован комитет классификаторов, основанный на машине опорных векторов и искусственных нейронных сетях (Фиг. 14). Данные подходы являются эффективными средствами классификации, в том числе, и для многоканальных ЭЭГ сигналов.
Метод опорных векторов относится к линейным методам классификации. Суть метода заключается «в разделении выборки на классы при помощи оптимальной разделяющей гиперплоскости уравнение которой в общем случае пред ставимо в виде: f(х)=(ω, (x))+b, где
Figure 00000014
коэффициенты λi зависят от yi (векторов меток класса принадлежности) и от значения скалярных произведений ((xi), (xj)). Таким образом, для нахождения решающей функции необходимо знать значения скалярных произведений. Преобразования данных определяются функцией ядра:
K(х, у)=((x), (y)).
На основании результатов исследований по выбору предпочтительного типа SVM для классификации ЭЭГ-сигналов в качестве функции ядра применена радиальная базисная функция Гаусса (англ. radial basic function SVM-RBF SVM):
Figure 00000015
для γ>0.
Искусственные нейронные сети (ИНС) основываются на принципах распределенной, нелинейной и параллельной обработки данных с обучением. В данной работе ИНС реализованы в виде многослойного персептрона, состоящего из трех слоев: два скрытых и один выходной. В качестве функции активации в скрытых слоях использовалась сигмоидная функция
Figure 00000016
где α - параметр наклона сигмоидальной функции, а в выходном слое-линейная функция.
С целью одновременного учета нескольких типов признаков был реализован 2-х уровневый комитет локальных классификаторов, нижний уровень которого состоит из 2-х ИНС и 2-х машин опорных векторов. Верхний уровень состоит из ЙНС, которая объединяет результаты классификаций нижнего уровня (Фиг. 17).
В качестве признаков используются площадь под кривой сегмента сигнала, сложность кривой, коэффициенты дискретных и непрерывных вейвлет-преобразований. Классификаторы нижнего уровня принимают на вход признак разных типов и принимают решения по классификации данного сигнала ЭЭГ. Эти решения обобщаются в виде вектора и подаются на вход ИНС верхнего уровня, которая выполняет окончательную классификацию, т.е. относит анализируемый сигнал ЭЭГ к одному из классов (Фиг. 14). Таким образом, есть возможность выбора наилучших признаков для классификации.
ИНС верхнего уровня обучается на наборе данных, состоящем из решений локальных классификаторов нижнего уровня. Обученная ИНС верхнего уровня определяет значимость решений каждого из классификаторов нижнего уровня и производит выбор оптимального решения.
Благодаря реализованной структуре, ПО платформы ИМК может настраиваться индивидуально для пользователя, позволяя выбирать наиболее релевантные признаки, при этом комитет классификаторов легко масштабируется, включая в комитет классификаторы нижнего уровня.
Фиг. 18 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.
Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 2S для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.
Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флэш-карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.
Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.
Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 18. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.
Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать тонную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.
В заключение следует отметить, что приведенные в списании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой.

Claims (74)

1. Система для управления внешним средством на основании биоэлектрических данных оператора, содержащая:
средство сбора биоэлектрических данных, выполненное с возможностью взаимодействия с оператором с обеспечением сбора биоэлектрических данных оператора при мысленном выполнении оператором по меньшей мере одного из заданных действий;
средство выделения признаков, соединенное со средством сбора биоэлектрических данных с возможностью получения от него собранных биоэлектрических данных оператора и выполненное с возможностью выделения признаков, описывающих полученные биоэлектрические данные оператора, в собранных биоэлектрических данных на основании заданного правила выделения признаков;
средство определения шаблонов действия, соединенное со средством выделения признаков с возможностью получения от него выделенных признаков для формирования на их основе шаблона действия, соответствующего указанному мысленно выполненному действию, с использованием модели классификации шаблонов и выполненное с возможностью определения по меньшей мере одного шаблона действия, соответствующего указанному сформированному шаблону действия, из заданных шаблонов действий, соответствующих указанным заданным действиям;
средство формирования команд управления, соединенное со средством определения шаблонов действия с возможностью получения от него определенного шаблона действия и выполненное с возможностью формирования по меньшей мере одной команды управления на основании полученного шаблона действия с обеспечением ее передачи на управляемое внешнее средство, при этом указанная система дополнительно содержит средство переобучения, которое в случае, если отличие параметров указанной команды управления, передаваемой на управляемое внешнее средство, от параметров соответствующей эталонной команды управления этим внешним средством больше заданного значения, выполнено с возможностью
получения признаков, соответствующих указанной команде управления, от средства определения шаблонов действия в ответ на соответствующий запрос от управляемого внешнего средства и
переобучения указанной модели классификации шаблонов, используемой в средстве определения шаблонов действия, на основании указанных полученных признаков.
2. Система по п. 1, в которой средство сбора биоэлектрических данных дополнительно выполнено с возможностью выделения из собранных биоэлектрических данных по меньшей мере двух проб, при этом каждая проба представляет собой совокупность данных, описывающих однократное мысленное выполнение оператором указанного действия.
3. Система по п. 1, в которой средство выделения признаков дополнительно выполнено с возможностью выделения еще одних признаков, описывающих полученные биоэлектрические данные оператора, на основании еще одного заданного правила выделения признаков, а средство определения шаблонов действия содержит:
классификатор нижнего уровня, выполненный с возможностью получения признаков, выделенных на основе указанных правил выделения признаков, и с возможностью классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием машины опорных векторов;
еще один классификатор нижнего уровня, выполненный с возможностью получения признаков, выделенных на основе указанных правил выделения признаков, и с возможностью классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием по меньшей мере одной искусственной нейронной сети;
классификатор верхнего уровня, выполненный с возможностью получения результатов классификации шаблонов действия, полученных указанными классификаторами нижнего уровня, и с возможностью определения шаблона действия из заданного набора шаблонов действия на основании указанных полученных результатов классификации шаблона действия с использованием по меньшей мере одной искусственной нейронной сети.
4. Система по п. 1, дополнительно содержащая средство обратной связи, которое, на основании определенного шаблона действия, выполнено с возможностью:
формирования визуального образа указанного действия для его отображения оператору;
имитации указанного действия с помощью внешних средств;
формирования визуального образа параметров биоэлектрических данных, связанных с определенным шаблоном действий; или
выполнения иных операций, связанных с указанным действием.
5. Система по п. 1, в которой средство сбора биоэлектрических данных дополнительно выполнено с возможностью определения артефактов в собранных биоэлектрических данных с обеспечением удаления из них указанных определенных артефактов.
6. Система по п. 1, дополнительно содержащая
средство формирования задач, выполненное с возможностью формирования по меньшей мере одной задачи по выполнению оператором по меньшей мере одного из заданных действий и с возможностью вычисления идеализированной команды управления для выполнения указанной сформированной задачи,
вычислительный центр, соединенный со средством формирования задач с возможностью получения от него указанной сформированной задачи с обеспечением возможности отображения полученной задачи для оператора с помощью средства визуализации и выполненный с возможностью отслеживания процесса выполнения оператором указанной задачи,
средство контроля выполнения задач, соединенное с вычислительным центром с возможностью получения от него данных об отслеживаемом процессе выполнения задачи и выполненное с возможностью анализа выполнения оператором указанной задачи на основании указанных полученных данных путем сравнения параметров команды управления, сформированной средством формирования команд управления, с параметрами указанной идеализированной команды управления, причем средство контроля выполнения задач дополнительно выполнено с возможностью вычисления данных, описывающих корректировку действий оператора, на основании результатов указанного анализа, и
средство корректировки, соединенное со средством контроля выполнения задач с возможностью получения от него вычисленных данных, описывающих корректировку действий оператора, с обеспечением их использования для модификации параметров указанного шаблона действия, идентифицированного средством определения шаблонов действия, и соединенное со средством формирования команд с возможностью передачи ему указанного модифицированного идентифицированного шаблона действия.
7. Способ управления внешним средством на основании биоэлектрических данных оператора, согласно которому:
собирают, посредством средства сбора биоэлектрических данных, выполненного с возможностью взаимодействия с оператором, биоэлектрические данные оператора при мысленном выполнении оператором по меньшей мере одного из заданных действий;
получают, посредством средства выделения признаков, собранные биоэлектрические данные оператора от средства сбора биоэлектрических данных;
выделяют, посредством средства выделения признаков, признаки, описывающие полученные биоэлектрические данные оператора, в полученных биоэлектрических данных на основании заданного правила выделения признаков;
получают, посредством средства определения шаблонов действия, выделенные признаки от средства выделения признаков;
формируют, посредством средства определения шаблонов действия, на основе полученных выделенных признаков шаблон действия, соответствующий указанному мысленно выполненному действию, с использованием модели классификации шаблонов;
определяют по меньшей мере один шаблон действия, соответствующий указанному сформированному шаблону действия, из заданных шаблонов действий, соответствующих указанным заданным действиям;
получают, посредством средства формирования команд управления, определенный шаблон действия от средства определения шаблонов действия;
формируют, посредством средства формирования команд управления, по меньшей мере одну команду управления на основании полученного шаблона действия;
передают указанную сформированную команду управления на управляемое внешнее средство, при этом
в случае, если отличие параметров указанной команды управления, передаваемой на управляемое внешнее средство, от параметров соответствующей эталонной команды управления этим внешним средством больше заданного значения, дополнительно получают, посредством средства переобучения, признаки, соответствующие указанной команде управления, от средства определения шаблонов действия в ответ на соответствующий запрос от управляемого внешнего средства, и
переобучают, посредством средства переобучения, указанную модель классификации шаблонов, используемую в средстве определения шаблонов действия, на основании указанных полученных признаков.
8. Способ по п. 7, согласно которому дополнительно выделяют, посредством средства сбора биоэлектрических данных, по меньшей мере две пробы из собранных биоэлектрических данных, при этом этап выделения признаков, этап определения шаблона действия и этап формирования команды управления выполняют по меньшей мере для одной выделенной пробы, а каждая проба представляет собой совокупность данных, описывающих однократное мысленное выполнение оператором указанного действия.
9. Способ по п. 7, согласно которому дополнительно
выделяют, посредством средства выделения признаков, еще одни признаки, описывающие полученные биоэлектрические данные оператора, на основании еще одного заданного правила выделения признаков;
получают, посредством классификатора нижнего уровня в средстве определения шаблонов действия, признаки, выделенные на основе указанных правил выделения признаков, с обеспечением классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием машины опорных векторов;
получают, посредством еще одного классификатора нижнего уровня в средстве определения шаблонов действия, признаки, выделенные на основе указанных правил выделения признаков, с обеспечением классификации шаблона действия, соответствующего указанному мысленно выполненному действию, на основе полученных признаков с использованием по меньшей мере одной искусственной нейронной сети;
получают, посредством классификатора верхнего уровня в средстве определения шаблонов действия, результаты классификации шаблонов действия, полученных указанными классификаторами нижнего уровня, с обеспечением определения шаблона действия из заданного набора шаблонов действия на основании указанных полученных результатов классификации шаблона действия с использованием по меньшей мере одной искусственной нейронной сети.
10. Способ по п. 7, согласно которому дополнительно на основании определенного шаблона действия осуществляют, посредством средства обратной связи, по меньшей мере следующие операции, согласно которым:
формируют визуальный образ указанного действия для его отображения оператору;
имитируют указанное действие с помощью внешних средств;
формируют визуальный образ параметров биоэлектрических данных, связанных с определенным шаблоном действий;
выполняют иные операции, связанные с указанным действием.
11. Способ по п. 7, согласно которому дополнительно определяют, посредством средства сбора биоэлектрических данных, артефакты в собранных биоэлектрических данных с обеспечением удаления из них указанных определенных артефактов.
12. Способ по п. 7, согласно которому дополнительно
формируют, посредством средства формирования задач, по меньшей мере одну задачу по выполнению оператором по меньшей мере одного из заданных действий;
вычисляют, посредством средства формирования задач, идеализированную команду управления для выполнения указанной сформированной задачи,
получают, посредством вычислительного центра, указанную сформированную задачу от средства формирования задач с обеспечением возможности отображения полученной задачи для оператора с помощью средства визуализации;
отслеживают, посредством вычислительного центра, процесс выполнения оператором указанной задачи;
получают, посредством средства контроля выполнения задач, данные об отслеживаемом процессе выполнения задачи от вычислительного центра с обеспечением возможности анализа выполнения оператором указанной задачи на основании указанных полученных данных путем сравнения параметров команды управления, сформированной средством формирования команд управления, с параметрами указанной идеализированной команды управления;
дополнительно вычисляют, посредством средства контроля выполнения задач, данные, описывающие корректировку действий оператора, на основании результатов указанного анализа;
получают, посредством средства корректировки, указанные вычисленные данные, описывающие корректировку действий оператора, от средства контроля выполнения задач с обеспечением их использования для модификации параметров указанного шаблона действия, идентифицированного средством определения шаблонов действия;
передают от средства корректировки указанный модифицированный идентифицированный шаблон действия в средство формирования команд.
13. Система для оценки эффективности выполнения задачи оператором, содержащая:
средство формирования, выполненное с возможностью формирования, на основании заданных правил, виртуальной среды, содержащей по меньшей мере один виртуальный объект, имеющий заданное состояние, и задачи для оператора на осуществление по меньшей мере одного действия в отношении указанного по меньшей мере одного виртуального объекта, при этом обеспечена возможность визуализации для оператора сформированных виртуальной среды с виртуальными объектами;
средство выполнения действий, выполненное с возможностью выполнения в сформированной виртуальной среде указанного по меньшей мере одного действия оператора на основании команды управления, принятой от системы для управления внешним средством на основании биоэлектрических данных оператора по любому из пп. 1-6, при этом обеспечена возможность визуализации в визуализированной виртуальной среде указанных выполняемых действий оператора;
средство оценки эффективности, выполненное с возможностью
оценки эффективности указанного выполненного действия, причем эффективность выполненного действия представляет собой схожесть между состоянием указанного виртуального объекта после выполнения оператором в отношении него указанного действия и ожидаемым состоянием указанного виртуального объекта, соответствующим безошибочному выполнению оператором указанного действия;
оценки, на основании оценки эффективности выполненного действия, эффективности выполнения указанной задачи, причем эффективность выполнения задачи представляет собой величину, характеризующую ошибки, допущенные оператором при выполнении указанного действия в отношении указанного виртуального объекта, при этом ошибкой считается выполнение оператором указанного действия в отношении указанного виртуального объекта, эффективность которого меньше заданного значения.
14. Система по п. 13, в которой указанная задача для оператора включает в себя изменение состояния указанного по меньшей мере одного виртуального объекта путем выполнения указанного по меньшей мере одного действия оператора.
15. Система по любому из пп. 13, 14, в которой для выполнения указанной задачи изменение состояния указанного виртуального объекта должно быть выполнено оператором по меньшей мере за установленное время и/или установленное количество попыток.
16. Система по п. 15, в которой заданные правила формирования задачи включают по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора.
17. Способ оценки эффективности выполнения задачи оператором, согласно которому:
на основании заданных правил формируют, посредством средства формирования, виртуальную среду, содержащую по меньшей мере один виртуальный объект, имеющий заданное состояние, и задачу для оператора на осуществление по меньшей мере одного действия в отношении указанного по меньшей мере одного виртуального объекта, при этом обеспечена возможность визуализации для оператора сформированных виртуальной среды с виртуальными объектами;
принимают, посредством средства выполнения действий, по меньшей мере одну команду управления от системы для управления внешним средством на основании биоэлектрических данных оператора по любому из пп. 1-6;
выполняют, посредством средства выполнения действий, в сформированной виртуальной среде указанное по меньшей мере одно действие оператора на основании принятой команды управления, при этом обеспечена возможность визуализации в визуализированной виртуальной среде указанных выполняемых действий оператора;
оценивают, посредством средства оценки эффективности, эффективность указанного выполненного действия, причем эффективность выполненного действия представляет собой схожесть между состоянием указанного виртуального объекта после выполнения оператором в отношении него указанного действия и ожидаемым состоянием указанного виртуального объекта, соответствующим безошибочному выполнению оператором указанного действия;
на основании оценки эффективности выполненного действия оценивают, посредством средства оценки эффективности, эффективность выполнения указанной задачи, причем эффективность выполнения задачи представляет собой величину, характеризующую ошибки, допущенные оператором при выполнении указанного действия в отношении указанного виртуального объекта, при этом ошибкой считается выполнение оператором указанного действия в отношении указанного виртуального объекта, эффективность которого меньше заданного значения.
18. Способ по п. 17, согласно которому указанная задача для оператора включает в себя изменение состояния указанного по меньшей мере одного виртуального объекта путем выполнения указанного по меньшей мере одного действия оператора.
19. Способ по любому из пп. 17, 18, согласно которому при выполнении указанной задачи оператор выполняет изменение состояния виртуального объекта по меньшей мере за установленное время и/или за установленное количество попыток.
20. Способ по п. 19, согласно которому заданные правила формирования задачи включают по меньшей мере одну команду управления, которая должна быть сформирована на основании биоэлектрических данных оператора.
RU2018133658A 2018-09-24 2018-09-24 Система и способ формирования команд управления на основании биоэлектрических данных оператора RU2738197C2 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2018133658A RU2738197C2 (ru) 2018-09-24 2018-09-24 Система и способ формирования команд управления на основании биоэлектрических данных оператора
US17/279,313 US20220051586A1 (en) 2018-09-24 2019-09-24 System and method of generating control commands based on operator's bioelectrical data
PCT/IB2019/058100 WO2020065534A1 (en) 2018-09-24 2019-09-24 System and method of generating control commands based on operator's bioelectrical data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018133658A RU2738197C2 (ru) 2018-09-24 2018-09-24 Система и способ формирования команд управления на основании биоэлектрических данных оператора

Publications (3)

Publication Number Publication Date
RU2018133658A RU2018133658A (ru) 2020-03-24
RU2018133658A3 RU2018133658A3 (ru) 2020-03-24
RU2738197C2 true RU2738197C2 (ru) 2020-12-09

Family

ID=69937895

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018133658A RU2738197C2 (ru) 2018-09-24 2018-09-24 Система и способ формирования команд управления на основании биоэлектрических данных оператора

Country Status (3)

Country Link
US (1) US20220051586A1 (ru)
RU (1) RU2738197C2 (ru)
WO (1) WO2020065534A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2800701C1 (ru) * 2022-09-28 2023-07-26 Роман Павлович Бондаренко Вычислительное устройство и система для удаленного управления по меньшей мере одной сексуальной игрушкой посредством электроэнцефалографических (ээг) сигналов

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210406758A1 (en) * 2020-06-24 2021-12-30 Surveymonkey Inc. Double-barreled question predictor and correction
WO2023148471A1 (en) * 2022-02-07 2023-08-10 Cogitat Ltd. Classification of brain activity signals
WO2023214413A1 (en) * 2022-05-03 2023-11-09 I-Braintech Ltd. System for testing and training a brain capability and method of implementing the same
CN115154828B (zh) * 2022-08-05 2023-06-30 安徽大学 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
WO2024121855A1 (en) * 2022-12-08 2024-06-13 I-Braintech Ltd System for rehabilitating functionality and range of movement following orthopedic, spine and musculoskeletal surgery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3568662A (en) * 1967-07-07 1971-03-09 Donald B Everett Method and apparatus for sensing bioelectric potentials
US5154174A (en) * 1990-04-20 1992-10-13 Marko Hawlina Electrode for electroretinography and method of use
RU2396899C2 (ru) * 2008-08-19 2010-08-20 Дмитрий Евгеньевич Мохов Способ мохова-чащина получения данных о состоянии краниальных тканей и устройство для его осуществления

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061984B (zh) * 2006-04-29 2012-02-08 香港理工大学 利用肌电信号提供机械帮助的康复机器人系统
KR101023249B1 (ko) * 2010-08-13 2011-03-21 동국대학교 산학협력단 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체
CN105578954B (zh) * 2013-09-25 2019-03-29 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
CN105727442B (zh) * 2015-12-16 2018-11-06 深圳先进技术研究院 闭环的脑控功能性电刺激系统
CN106264520A (zh) * 2016-07-27 2017-01-04 深圳先进技术研究院 一种神经反馈运动训练系统及方法
KR101748731B1 (ko) * 2016-09-22 2017-06-20 금오공과대학교 산학협력단 아이겐 페이스 개념을 이용한 뇌파 신호 분류 방법 및 이를 실행하는 장치
EP3934203A1 (en) * 2016-12-30 2022-01-05 INTEL Corporation Decentralized data storage and processing for iot devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3568662A (en) * 1967-07-07 1971-03-09 Donald B Everett Method and apparatus for sensing bioelectric potentials
US5154174A (en) * 1990-04-20 1992-10-13 Marko Hawlina Electrode for electroretinography and method of use
RU2396899C2 (ru) * 2008-08-19 2010-08-20 Дмитрий Евгеньевич Мохов Способ мохова-чащина получения данных о состоянии краниальных тканей и устройство для его осуществления

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2800701C1 (ru) * 2022-09-28 2023-07-26 Роман Павлович Бондаренко Вычислительное устройство и система для удаленного управления по меньшей мере одной сексуальной игрушкой посредством электроэнцефалографических (ээг) сигналов
RU2823580C1 (ru) * 2023-07-26 2024-07-24 Общество С Ограниченной Ответственностью "Нейроспутник" Способ интеллектуальной обратной связи с целью стимулирования мозга для реализации реабилитации и/или профилактики нейродегенерации

Also Published As

Publication number Publication date
RU2018133658A (ru) 2020-03-24
WO2020065534A1 (en) 2020-04-02
US20220051586A1 (en) 2022-02-17
RU2018133658A3 (ru) 2020-03-24

Similar Documents

Publication Publication Date Title
RU2738197C2 (ru) Система и способ формирования команд управления на основании биоэлектрических данных оператора
Bousseta et al. EEG based brain computer interface for controlling a robot arm movement through thought
Alazrai et al. A deep learning framework for decoding motor imagery tasks of the same hand using EEG signals
Hamedi et al. EMG-based facial gesture recognition through versatile elliptic basis function neural network
Burns et al. Upper limb movement classification via electromyographic signals and an enhanced probabilistic network
Dwivedi et al. A learning scheme for EMG based decoding of dexterous, in-hand manipulation motions
WO2017112679A1 (en) Multimodal closed-loop brain-computer interface and peripheral stimulaiton for neuro-rehabilitation
Miften et al. A new framework for classification of multi-category hand grasps using EMG signals
Hamedi et al. Surface electromyography-based facial expression recognition in Bi-polar configuration
Mokhlesabadifarahani et al. EMG signals characterization in three states of contraction by fuzzy network and feature extraction
Baghdadi et al. Dasps: a database for anxious states based on a psychological stimulation
Kokate et al. Classification of upper arm movements from eeg signals using machine learning with ica analysis
Li et al. Wireless sEMG-based identification in a virtual reality environment
Hamedi et al. Facial gesture recognition using two-channel bio-sensors configuration and fuzzy classifier: A pilot study
Shair et al. Finger movement discrimination of EMG signals towards improved prosthetic control using TFD
Tosin et al. SEMG-based upper limb movement classifier: Current scenario and upcoming challenges
Xie et al. Multiscale two-directional two-dimensional principal component analysis and its application to high-dimensional biomedical signal classification
KR20100056254A (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Choudhary et al. A machine learning approach to aid paralysis patients using EMG signals
CN115624338A (zh) 一种上肢刺激反馈康复装置及其控制方法
Carnevale Machine learning algorithms for facial gesture recognition: a first analysis based on event-driven sEMG acquisition
Ghanbari et al. Wavelet and Hilbert transform-based brain computer interface
Kurzynski et al. Control system of bioprosthetic hand based on advanced analysis of biosignals and feedback from the prosthesis sensors
Ananthi et al. Motor imaginary tasks-based EEG signals classification using continuous wavelet transform and LSTM network
Maideen et al. Precision in Action: Harnessing Non-Redundant EMG Signals for HCI Evolution

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant