RU2751816C1

RU2751816C1 - Method for classification of human motor activity

Info

Publication number: RU2751816C1
Application number: RU2020127415A
Authority: RU
Inventors: Елена Николаевна ПИЦИК; Никита Сергеевич Фролов; Семен Андреевич Куркин; Александр Евгеньевич Храмов
Original assignee: Автономная некоммерческая организация высшего образования «Университет Иннополис»
Priority date: 2020-08-17
Filing date: 2020-08-17
Publication date: 2021-07-19

Abstract

FIELD: data processing.SUBSTANCE: invention relates to the field of digital processing and analysis of data and is intended for decoding signals of electrical brain activity associated with human movements. The method for classification of human motor activity consists in recording signals from the cerebral cortex using the EEG from sensors attached to the head. The signals filtered in the mu-rhythm range of 8 to 14 Hz are therein recorded and divided into two data arrays corresponding with the left and the right hemispheres. The data of each array is considered a path in the three-dimensional phase space. The complexity measures of the EEG signals are calculated. The complexity measures characterising the EEG signals of the right brain hemisphere are subtracted from the complexity measures characterising the EEG signals of the left hemisphere. Based on the difference in the complexity characteristics of the signals between the hemispheres, a conclusion is made about the corresponding movement. If determinism increases and recurrent time entropy decreases in the right hemisphere, movement of the left hand is determined. If entropy increases and determinism increases in the left hemisphere, movement of the right hand is determined.EFFECT: achieved are determination of the time of start of movement and identification of two types of movements (left and right hand) based on numerical analysis of recurrent diagrams of EEG signals obtained from 6 leads from the left and right brain hemispheres, with low requirements for the computing power of the computer, reduced amount of preprocessing stages and classification results easier to interpret from a physiological point of view.1 cl, 4 dwg

Description

Изобретение относится к области цифровой обработки и анализа данных и предназначено для расшифровки сигналов электрической активности головного мозга, связанных с движениями человека. Данное техническое решение может найти применение в программно-аппаратных комплексах для постинсультной реабилитации, а также в интерфейсах мозг-компьютер для контроля внешних устройств (экзоскелеты, роботизированные протезы).The invention relates to the field of digital processing and analysis of data and is intended for decoding signals of electrical activity of the brain associated with human movements. This technical solution can be used in hardware and software systems for post-stroke rehabilitation, as well as in brain-computer interfaces for controlling external devices (exoskeletons, robotic prostheses).

Известен патент RU 2415642, дата подачи 03.09.2009, Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер, заключающийся в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам, отличающийся тем, что в качестве специфических информационных компонентов используют локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений, при этом, если значения двух соседних положительных максимумов отличаются менее чем на порог психофизиологического восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного максимума от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор для нейронной многослойной сети (НМС), и процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя, причем при обучении (НМС) дополнительно формируют массив указателей классов мысленных движений, выполняемых пользователем, который является выходным массивом для обучения НМС, и вычисляют весовые коэффициенты классификации по алгоритму обратного распространения ошибки, и при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя.Known patent RU 2415642, filing date 09/03/2009, Method for classifying electroencephalographic signals in the brain-computer interface, which consists in testing the user, isolating specific information components from the general spatio-temporal pattern, creating a sample of digitized EEG fragments from multiple leads for training the classifier, calculating weight coefficients and classification of EEG fragments to identify classes of user's mental commands corresponding to control signals, characterized in that local positive maxima of the amplitude of EEG signals from all leads are used as specific information components, while, if the values of two neighboring positive maxima differ by less than the threshold of psychophysiological perception of a person, then they are considered equal and the second maximum is excluded from the subsequent analysis, simultaneously with the allocation of the first positive maximum from the reference lead, they are fixed the values of the amplitudes of the EEG signals for all other leads, as a result, a set of amplitudes is obtained, which is the first input vector for the neural multilayer network (NMS), and the procedure for generating the input vectors is repeated for each subsequent positive maximum of the reference lead and for each individual lead, each time received as a reference lead, until each of the leads fulfills the function of a reference lead, as a result, a multidimensional array of input vectors from a specific user is obtained, and during training (NMS) an array of pointers of classes of mental movements performed by the user is additionally formed, which is an output array for training the NMS, and the classification weights are calculated using the backpropagation algorithm, and when identifying the mental movement, the array of input vectors is fed to the NMS to calculate the output vector, which determines the class of the user's mental movement.

Предлагаемое решение отличается от данного низкими требованиями к вычислительной мощности компьютера, что упрощает его применения в системах классификации двигательной активности. Также в предлагаемом решении исходный сигнал проходит меньше этапов пред-обработки. Помимо этого результаты классификации, полученные с помощью предлагаемого решения, более просты для интерпретации с физиологической точки зрения.The proposed solution differs from the given one in low requirements for the computing power of a computer, which simplifies its use in systems for classifying motor activity. Also, in the proposed solution, the original signal goes through fewer stages of pre-processing. In addition, the classification results obtained using the proposed solution are easier to interpret from a physiological point of view.

Наиболее близким техническим решением является патент RU 2682492, дата подачи заявки 26.02.2018: способ классификации сигналов ЭЭГ при воображении двигательной активности у нетренированного оператора, заключающийся в том, что с помощью датчиков регистрируют сигналы ЭЭГ с затылочной, центральной и лобной областей, для которых в блоке частотно-временного анализа вычисляют значение непрерывного вейвлет-преобразования с базовым Морле-вейвлетом, рассчитывают усредненное значение энергии вейвлетного спектра в альфа 8-12 Гц диапазоне для лобной, центральной и затылочной областей и усредненное значение энергии вейвлетного спектра в дельта 1-5 Гц диапазоне для лобной области, далее в блоке адаптивной фильтрации проводят разложения полученных усредненных значений по эмпирическим модам и выделяют низкочастотную составляющую данных зависимостей, выделяя эмпирические моды четвертого порядка, затем в блоке классификации проводят анализ поведения во времени полученных эмпирических мод, при этом моменты времени, для которых амплитуда эмпирической моды, рассчитанной на основе альфа-ритма ЭЭГ сигналов для лобной, центральной и затылочной областей, возрастает, а амплитуда эмпирической моды, рассчитанной на основе дельта-ритма лобных ЭЭГ, уменьшается, классифицируют как эпизоды воображения двигательной активности. В данном техническом решении применяется метод частотно-временного анализа сигналов ЭЭГ, записанных с достаточно большой площади коры головного мозга, охватывающей зоны, ответственные за обработку различных типов когнитивной активности человека, в том числе в указанном диапазоне альфа-ритма.The closest technical solution is patent RU 2682492, filing date 02/26/2018: a method for classifying EEG signals when imagining motor activity in an untrained operator, which consists in the fact that EEG signals from the occipital, central and frontal regions are recorded using sensors, for which in the time-frequency analysis unit calculates the value of the continuous wavelet transform with the basic Morle-wavelet, calculates the average value of the wavelet spectrum energy in the alpha 8-12 Hz range for the frontal, central and occipital regions and the average value of the wavelet spectrum energy in the delta 1-5 Hz range for the frontal region, then in the block of adaptive filtering, the obtained averaged values are decomposed into empirical modes and the low-frequency component of these dependences is isolated, highlighting the empirical modes of the fourth order, then the analysis of the behavior in time of the obtained empirical modes is carried out in the block of classification. The times for which the amplitude of the empirical mode, calculated on the basis of the alpha rhythm of the EEG signals for the frontal, central and occipital regions, increases, and the amplitude of the empirical mode, calculated on the basis of the delta rhythm of the frontal EEG, decreases, are classified as episodes of imagination of motor activity. This technical solution uses the method of time-frequency analysis of EEG signals recorded from a sufficiently large area of the cerebral cortex, covering the zones responsible for processing various types of human cognitive activity, including in the specified range of the alpha rhythm.

Данные решения применимы для мысленных команд пользователя (воображаемого движения).These solutions are applicable to the user's mental commands (imaginary movement).

Электрическая активность головного мозга является сигналом сложной нестационарной природы. Основная техническая проблема, возникающая при разработке классификаторов, является сложность получения устойчивых характеристик, однозначно определяющих тот или иной вид паттерна. Эта нестабильность характерна как для межсубъектных измерений, так и для одного испытуемого в зависимости от условий.The electrical activity of the brain is a signal of a complex non-stationary nature. The main technical problem arising in the development of classifiers is the difficulty of obtaining stable characteristics that uniquely determine a particular type of pattern. This instability is characteristic both for intersubjective measurements and for a single subject, depending on the conditions.

Техническим результатом заявляемого способа классификации сигналов ЭЭГ при двигательной активности человека является возможность определения момента начала движения и идентификация двух типов движений (левая и правая рука) на основе численного анализа рекуррентных диаграмм сигналов ЭЭГ, полученных с 6 отведений с левого и правого полушария головного мозга. Данный способ обеспечивает возможность детального анализа нейронной активности головного мозга, соответствующей движениям человека, по записям ЭЭГ.The technical result of the proposed method for classifying EEG signals during human motor activity is the ability to determine the moment of the beginning of movement and the identification of two types of movements (left and right hand) based on the numerical analysis of recurrent diagrams of EEG signals obtained from 6 leads from the left and right hemispheres of the brain. This method provides the possibility of a detailed analysis of the neural activity of the brain, corresponding to human movements, according to EEG records.

Технический результат обеспечивает способ классификации двигательной активности человека, заключающийся в том, что сигналы коры головного мозга регистрируют с помощью ЭЭГ с датчиков, закрепленных на голове человека, в соответствии с предложенным решением сигналы, отфильтрованные в диапазоне мю-ритма (8-14 Гц), записывают, разделяя на два массива данных, соответствующих левому и правому полушарию, при этом данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве, затем вычисляют меры сложности сигналов ЭЭГ и вычитают меры сложности, характеризующие сигналы ЭЭГ правого полушария головного мозга, из мер сложности, характеризующих сигналы ЭЭГ левого полушария, получают разность характеристик сложности сигналов между полушариями, после чего делают вывод о соответствующем движении: при возрастании детерминизма и снижении энтропии рекуррентного времени в правом полушарии - движение левой руки, а при возрастании энтропии и снижении детерминизма в левом полушарии делают вывод о движении правой руки.The technical result provides a method for classifying human motor activity, which consists in the fact that the signals of the cerebral cortex are recorded using EEG from sensors fixed on the human head, in accordance with the proposed solution, signals filtered in the range of the mu rhythm (8-14 Hz), are recorded, dividing into two data sets corresponding to the left and right hemispheres, while the data of each array is considered as a trajectory in a three-dimensional phase space, then the measures of the complexity of the EEG signals are calculated and the measures of complexity characterizing the EEG signals of the right hemisphere of the brain are subtracted from the measures of complexity, characterizing the EEG signals of the left hemisphere, the difference in the characteristics of the complexity of the signals between the hemispheres is obtained, after which a conclusion is made about the corresponding movement: with an increase in determinism and a decrease in the entropy of recurrent time in the right hemisphere, the movement of the left hand, and with an increase in entropy and a decrease in determinism in the left hemisphere, de bark the conclusion about the movement of the right hand.

Предложенное изобретение поясняется чертежами:The proposed invention is illustrated by drawings:

фиг. 1 - расположение ЭЭГ-электродов,fig. 1 - location of EEG electrodes,

фиг. 2а - пример записей с каналов, расположенных на правом полушарии коры головного мозга.fig. 2a is an example of recordings from channels located on the right hemisphere of the cerebral cortex.

фиг. 2б - траектория в трехмерном фазовом пространстве, соответствующая записям с каналов на фиг. 2аfig. 2b is a trajectory in three-dimensional phase space corresponding to the recordings from the channels in Fig. 2a

фиг. 3 - пример вычисления мер для одного движенияfig. 3 - example of calculating measures for one movement

фиг. 4 - а) пример результата вычитания мер сложности ЭЭГ-сигнала, б) пример разницы между мерами, посчитанных для отдельных триалов на примере одного эксперимента (по 30 движений каждой рукой).fig. 4 - a) an example of the result of subtracting the measures of the complexity of the EEG signal, b) an example of the difference between the measures calculated for separate trials using the example of one experiment (30 movements with each hand).

Предложенное техническое решение осуществляется следующим образом.The proposed technical solution is carried out as follows.

Датчики электроэнцефалографа-регистратора закрепляют на голове человека в области сенсомоторной коры головного мозга (C3, C4, Cp3, Cp4, Fc3, Fc4) (см. фиг. 1).The sensors of the electroencephalograph-recorder are fixed on the human head in the area of the sensorimotor cortex of the brain (C3, C4, Cp3, Cp4, Fc3, Fc4) (see Fig. 1).

Сигналы с коры головного мозга, связанные с двигательной активностью человека, регистрируются по 6 каналам с датчиков C3, C4, Cp3, Cp4, Fc3, Fc4 и фильтруются в диапазоне мю-ритма (8-14 Гц), который наиболее точно отражает обработку двигательной активности человека нейронной сетью головного мозга. Записи с этих шести каналов делятся на два массива данных, которые соответствуют левому (C3, Cp3, Fc3) и правому (C4, Cp4, Fc4) полушарию, при этом запись с каждого канала представляет собой соответствующий временной ряд, а в совокупности данные каждого массива рассматривают как траекторию в трехмерном фазовом пространстве.Signals from the cerebral cortex associated with human motor activity are recorded through 6 channels from sensors C3, C4, Cp3, Cp4, Fc3, Fc4 and are filtered in the mu rhythm range (8-14 Hz), which most accurately reflects the processing of motor activity human neural network of the brain . Records from these six channels are divided into two data arrays, which correspond to the left (C3, Cp3, Fc3) and right (C4, Cp4, Fc4) hemispheres, while the record from each channel represents the corresponding time series, and in the aggregate the data of each array considered as a trajectory in three-dimensional phase space.

На фиг. 2 показан пример записей каналов с датчиков, расположенных на правом полушарии коры головного мозга, и соответствующая траектория в фазовом пространстве. Пунктирными линиями обозначены моменты времени, в которые подавалась команда о начале и конце выполнения движения, что соответствует сжатию руки в кулак по первой команде и разжатию руки по второй команде, как показано на фиг. 3, а ниже на фиг. 3 представлен пример вычисления мер для одного движения.FIG. 2 shows an example of recordings of channels from sensors located on the right hemisphere of the cerebral cortex, and the corresponding trajectory in phase space. The dashed lines indicate the times at which the command was given to start and end the execution of the movement, which corresponds to clenching the hand into a fist on the first command and unclenching the hand on the second command, as shown in Fig. 3, and below in FIG. 3 shows an example of calculating measures for one movement.

Для полученных траекторий (фиг. 2) производят численный анализ рекуррентных диаграмм, на основе которого вычисляют меры сложности сигнала ЭЭГ: детерминизм, являющийся оценкой регулярности и предсказуемости временного ряда, и энтропию рекуррентного времени, определяющую переход временного ряда из хаотического в упорядоченное состояние и обратно. Меры сложности (детерминизм и энтропию), характеризующие сигналы ЭЭГ правого полушария головного мозга вычитают из мер сложности, характеризующих сигналы ЭЭГ левого полушария, и получают разность характеристик сложности сигналов между полушариями. Как следствие свойства контралатеральности, для меры детерминизма данная разность показывает значительный рост относительно нулевого уровня в момент начала движения левой рукой и снижение - в момент начала движения правой рукой (фиг. 4а)); DET соответствует мере детерминизма, RTE - энтропии рекуррентного времени. Идентификация паттерна на рекуррентной диаграмме позволяет классифицировать движения по сигналу ЭЭГ (фиг. 4б)).For the obtained trajectories (Fig. 2), a numerical analysis of recurrent diagrams is performed, on the basis of which measures of the complexity of the EEG signal are calculated: determinism, which is an estimate of the regularity and predictability of a time series, and the entropy of recurrent time, which determines the transition of a time series from a chaotic to an ordered state and vice versa. The measures of complexity (determinism and entropy) characterizing the EEG signals of the right hemisphere of the brain are subtracted from the measures of complexity characterizing the EEG signals of the left hemisphere, and the difference in the characteristics of the complexity of signals between the hemispheres is obtained. As a consequence of the property of contralaterality, for the measure of determinism, this difference shows a significant increase relative to the zero level at the moment the left hand starts to move and a decrease at the moment the right hand starts to move (Fig. 4a)); DET corresponds to the measure of determinism, RTE - to the entropy of recurrent time. Identification of the pattern on the recurrent diagram allows the movement to be classified according to the EEG signal (Fig. 4b)).

Меры усреднены по 10 испытуемым и представлены со стандартной ошибкой. Красная пунктирная линия соответствует моменту времени, когда была подана звуковая команда о прекращении движения. Серым выделена область, соответствующая статистически значимым различиям между двумя разницами. Способ осуществляют посредством программно-языковых средств, например, языка Python с использованием пакетов Scikit-Learn, MNE и др.Measures are averaged over 10 subjects and presented with standard error. The red dotted line corresponds to the moment in time when the sound command to stop the movement was given. The area corresponding to statistically significant differences between the two differences is highlighted in gray. The method is carried out by means of software and language tools, for example, the Python language using the Scikit-Learn, MNE, etc. packages.

Таким образом, предлагаемое техническое решение позволяет классифицировать двигательную активность человека и расшифровывать мысленные команды пользователя в виде воображаемых движений верхними конечностями и, как следствие, может найти применение при разработке интерфейсов мозг-компьютер для управления внешними устройствами (например, экзоскелетами и роботизированными протезами), а также в программно-аппаратных комплексах для постинсультной реабилитации, когда мысленная команда пациента будет расшифровываться с помощью предложенного решения и активировать некоторую реабилитационную систему (например, экзоскелет на соответствующей руке и т.п.).Thus, the proposed technical solution makes it possible to classify human motor activity and decipher the user's mental commands in the form of imaginary movements of the upper limbs and, as a result, can be used in the development of brain-computer interfaces for controlling external devices (for example, exoskeletons and robotic prostheses), and also in software and hardware complexes for post-stroke rehabilitation, when the patient's mental command will be deciphered using the proposed solution and some rehabilitation system will be activated (for example, an exoskeleton on the corresponding arm, etc.).

Claims

A method for the classification of human motor activity, which consists in the fact that the signals of the cerebral cortex are recorded using EEG from sensors fixed on the human head, characterized in that the signals filtered in the mu-rhythm range (8-14 Hz) are recorded, dividing into two data arrays corresponding to the left and right hemispheres, while the data of each array are considered as a trajectory in three-dimensional phase space, then the measures of the complexity of the EEG signals are calculated and the measures of complexity characterizing the EEG signals of the right hemisphere of the brain are subtracted from the measures of complexity characterizing the EEG signals of the left hemispheres, receive the difference in the characteristics of the complexity of the signals between the hemispheres, after which they draw a conclusion about the corresponding movement: with an increase in determinism and a decrease in the entropy of recurrent time in the right hemisphere - the movement of the left hand, and with an increase in entropy and a decrease in determinism in the left hemisphere, a conclusion is made about the movement of the right hand ...