WO2017084416A1 - 一种基于运动想象脑-机接口的反馈系统 - Google Patents

一种基于运动想象脑-机接口的反馈系统 Download PDF

Info

Publication number
WO2017084416A1
WO2017084416A1 PCT/CN2016/098167 CN2016098167W WO2017084416A1 WO 2017084416 A1 WO2017084416 A1 WO 2017084416A1 CN 2016098167 W CN2016098167 W CN 2016098167W WO 2017084416 A1 WO2017084416 A1 WO 2017084416A1
Authority
WO
WIPO (PCT)
Prior art keywords
feedback
eeg
interface
terminal device
motion
Prior art date
Application number
PCT/CN2016/098167
Other languages
English (en)
French (fr)
Inventor
明东
王仲朋
陈龙
顾斌
王坤
何峰
綦宏志
许敏鹏
周鹏
Original Assignee
天津大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 天津大学 filed Critical 天津大学
Publication of WO2017084416A1 publication Critical patent/WO2017084416A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Definitions

  • the invention relates to the field of brain-computer interfaces, in particular to a feedback system based on a motion imaging brain-computer interface.
  • BCI brain-computer interface
  • the BCI brain-computer interface
  • BCI is a communication control system that does not depend on the normal output channels of the peripheral nerves and muscles of the brain. It mainly achieves a new kind of communication by analyzing and analyzing the EEG signals of people in different states, and then using certain engineering techniques to establish direct communication and control channels between the human brain and computers or other electronic devices. Information exchange and control technology can provide a way for people with disabilities, especially those who have lost basic motor function but have normal thinking, to communicate and control information with the outside world. That is, you can express your will or manipulate external devices directly by controlling your brain electricity without language or physical movements. To this end, BCI technology is also receiving more and more attention.
  • MI-BCI Motion imaging brain-computer interface
  • the system control signal source generally uses the energy characteristics of the scalp brain electricity from the user's motion imaging process, and can be accumulated or optimized for a long period of time to control the command output, and has strong operability.
  • MI-BCI designs are open-loop systems, that is, there is only one unidirectional control path for the user's motion imagination to the command output, and there is no feedback path after the command output, thereby reducing the universality and user of the system.
  • MI-BCI designs are open-loop systems, that is, there is only one unidirectional control path for the user's motion imagination to the command output, and there is no feedback path after the command output, thereby reducing the universality and user of the system.
  • the invention provides a feedback system based on a motion imaging brain-computer interface, which visualizes the MI-BCI system command output and the mind control process, and improves the user experience, as described below:
  • a feedback system based on a motion imaging brain-computer interface comprising: a feedback module, an EEG collector, a wireless transmission module, and a terminal device;
  • the feedback module is configured to write a feedback interface
  • the EEG collector is configured to collect an EEG signal related to the motion; the EEG signal is detected by the scalp electrode, amplified by the EEG collector, filtered, and transmitted to the terminal through the wireless transmission module. device;
  • the terminal device is configured to perform data processing on the EEG signal to extract a motion imaging feature signal, and the motion imaging feature signal is used for pattern recognition to form a visual feedback, and the feedback feedback interface is configured to form a closed loop control system.
  • the terminal device includes: an initial feedback module,
  • the target instruction feedback result is output, otherwise the target instruction feedback is not triggered;
  • the common space model plus support vector machine model is established by using the accumulated data as the initial model, and the decision value threshold is obtained;
  • the user enters the feedback training phase, continuously updates the initial model, and improves the applicability of the initial model based on the decision value threshold.
  • the terminal device includes: an online feedback module,
  • the target instruction feedback result is output; otherwise, if the user's imaginary action is not detected, the feedback is not triggered.
  • the feedback interface is a game feedback interface.
  • the invention designs a feedback control system based on the brain-computer interface technology of motion imaging, which can realize the visualization of the user's motion imaging process dynamically and online by using the form of visual feedback, and overcome the one-way control of the traditional MI-BCI system. Defects can better guide the user's motion imagination, closer to the actual application, and hope to provide key technical support for the new MI-BCI system design, and also lay the foundation for the brain-computer interface to enter the large-scale application phase as soon as possible.
  • the present invention is more in line with the normal thinking action control process and close to the actual interactive application, and is expected to provide key technical support for the new MI-BCI.
  • the invention can be used in the fields of rehabilitation, electronic entertainment, industrial control, aerospace engineering, etc., and further research can obtain a perfect brain-computer interface system, which is expected to obtain considerable social and economic benefits.
  • Figure 1 (a) is a block diagram of the system design
  • Figure 1 (b) is a distribution diagram of the EEG acquisition lead
  • Figure 2 is a diagram of the online experimental process of the system
  • Figure 3 is a flow chart of online data processing
  • Figure 4 is a schematic diagram of a linearly separable separation hyperplane.
  • a feedback control method for the MI-BCI system adjustment and the user adaptive imaging mode is designed, and a feedback path is established between the command output port and the user, so that the motion imaging process becomes Visualization, better guiding it to carry out the idea control, and achieving the effect of the sports imagination system of "free movement, thinking and unity" is of great significance for the practical research of MI-BCI system.
  • ERD/ERS event-related desynchronization/ Context (event-related (de)synchronization
  • ERD/ERS is a signal that appears in a specific frequency band of the sensorimotor cortex, mainly focusing on alpha rhythm (8 to 13 Hz) and beta rhythm (14 to 30 Hz).
  • the embodiment of the invention provides a feedback system based on a motion imaging brain-computer interface.
  • the system is used for designing an online experiment of user motion imaging feedback, setting up an EEG signal acquisition device required for the experiment, and then collecting an operator's brain electrical signal.
  • the data is stored and then subjected to certain pre-processing, feature extraction, and classification identification.
  • the feedback system includes: a feedback module 1 , an EEG collector 2 , a wireless transmission module 3 , and a terminal device 4 .
  • Feedback module 1 is used to write a feedback interface.
  • the feedback interface can be written and designed under the Matlab platform, and the target task, the number of imaginations, and other parameters can be set.
  • the embodiment of the present invention does not limit the setting of parameters, and can be set according to the needs in actual applications.
  • the EEG collector 2 is used to collect EEG signals associated with motion-related leads.
  • the user sits quietly on the chair about 1 m away from the screen (the specific value is set according to the environment in the actual application, which is not limited by the embodiment of the present invention), looks at the feedback interface, and performs motion imaging ( Imagine lifting your left or right hand).
  • the user's brain electricity will produce corresponding changes: the brain electrical signal is generated in the cerebral cortex, detected by the scalp electrode, amplified by the EEG collector 2, filtered, and transmitted to the terminal device 4 through the wireless transmission module 3.
  • the wireless transmission module 3 is configured to transmit an EEG signal to the terminal device 1.
  • the terminal device 4 is configured to perform data processing on the EEG signal to extract a motion imaging feature signal, and the motion imaging feature signal is used for pattern recognition to form visual feedback to form a closed loop control system.
  • the terminal device 4 decodes the motion imaging feature signal, outputs the target command feedback result to the virtual serial port, and controls the feedback interface, thereby forming corresponding visual feedback, guiding the user to achieve better control by using a better imagination mode, thereby Form a closed loop control system.
  • the embodiment of the present invention visualizes the MI-BCI system command output and the mind control process through the above-mentioned devices and modules, thereby improving the user experience.
  • EEG collector 2 collects motion-related leads (14 channels in total, namely AF3, AF4, F3, F4, F7, F8, FC5, FC6, T7, T8, P7, P8, O1, O2, see Figure 1 (b) )) EEG signals.
  • the terminal device 4 further includes an initial feedback module and an online feedback module.
  • the specific experimental process of the initial feedback module is shown in FIG. 2:
  • the operational feedback system through this step forms a visual feedback.
  • the accumulated data is used to establish a co-space mode + support vector machine (CSP+SVM) model as the initial model, and a more credible decision value threshold criterion is formed;
  • CSP+SVM co-space mode + support vector machine
  • the co-space mode + support vector machine model can be used as the initial model of the re-experiment.
  • the user also rests for 30s, enters the 20s feedback training phase, continuously updates the initial model with new data, and quantifies according to the decision value threshold, further improving the applicability of the initial model.
  • the operational feedback system through this step forms a visual feedback again.
  • the correct rate of the CSP+SVM model can not meet the basic control requirements, but the data can be accumulated online in real time. And adaptive updating of the initial model to improve the accuracy rate.
  • the advantage is that the training time can be reduced and the training efficiency can be improved while ensuring the correct rate of online update modeling.
  • the specific time value is set according to the requirements in the actual application.
  • the embodiment of the present invention only uses the above data as an example, but is not specifically limited.
  • the target instruction feedback result is output; otherwise, if the user's imaginary action is not detected, the feedback is not triggered.
  • the embodiment of the present invention visualizes the MI-BCI system command output and the mind control process through the above-mentioned devices and modules, thereby improving the user experience.
  • short-time Fourier analysis is one of the commonly used time-frequency analysis methods. It assumes that EEG signals have a certain degree of short-term stability, that is, The spectrum of the signal is distributed and constant over a limited time window.
  • the motion imaging electroencephalogram is processed by the short-time Fourier transform, and the real-time change of the ERD energy value is obtained, and compared with the initial determination threshold, whether or not the target instruction is triggered is determined.
  • the system feedback model based on the existing data can be used to perform more effective and reliable instruction control on the subsequent feedback process, that is, CSP+SVM modeling.
  • CSP Common Spatial Pattern
  • the spatial filter is capable of maximizing the difference between the two types of signals, minimizing the variance of another type of state while maximizing one type of state variance.
  • X CSP is the original EEG signal
  • the signal obtained after X is filtered
  • W is the filter matrix.
  • the optimal filter matrix W can be obtained, and then a spatial filtering mode is established.
  • the original EEG data can be processed in the same manner by using the obtained filter matrix, and the filtered signal is extracted as an input of the support vector machine.
  • Support Vector Machine For the characteristics of the number of motion imaging training samples, the Support Vector Machine (SVM) is selected as the classification tool.
  • Support Vector Machine (SVM) is a new tool emerging in the field of pattern recognition and machine learning in recent years. Based on statistical learning theory, it effectively avoids the problems of traditional classifications such as over-learning, dimensionality disasters, and local minima in classical learning methods. It still has good normalization ability under small sample conditions. It minimizes the classification error for unknown samples by constructing an optimal hyperplane.
  • the basic algorithm principle is as follows:
  • the support vector machine from the perspective of linear separability problems. It can be illustrated by the example shown in FIG. 4, and the two types of samples to be divided are respectively represented by black dots and circles. It can be found from FIG. 4 that there may be many classification surfaces, but only one classification surface capable of making the two types of sample classification intervals the largest. .
  • the thicker line in Figure 4 is the classification plane with the largest classification interval, called the optimal classification plane.
  • the optimal classification surface minimizes the structural risk and has better generalization ability.
  • the purpose of the support vector machine is to find the optimal classification surface that makes the classification interval between the two types of samples the largest.
  • such a classification surface can be obtained, that is, a system model for subsequent classification identification, and the model can be conditionally updated under the condition of continuous data accumulation, that is, The process of updating the model.
  • the process of pattern recognition is as follows: the existing original EEG data is filtered by CSP, and the filtered data samples are sent to the SVM classifier for model training. After training, a model of CSP+SVM is obtained, and then the model is used to The imaginary action of the unknown mode type is classified, and the obtained result (ie, the decision value) is the pattern recognition result of the unknown mode imaginary action, and compared with the decision value threshold to determine whether to trigger the target feedback instruction.
  • the target feedback is triggered when the ERD energy value or decision value of the output motion imagination is greater than a set threshold. At the end of each feedback, a systematic score is taken to assess the quality of the user's control of the system.
  • the invention designs a feedback control method based on the motion imaging brain-computer interface, which can not only judge the user's “imagination” or “rest” state, but also introduce visual feedback for the user participation degree, thereby quantifying the user pair.
  • the difficulty of the system feedback control improve the user's participation, close to the actual application. It can be used in the fields of rehabilitation of disabled persons, electronic entertainment, industrial control, aerospace engineering, etc. Further research can be done to improve the brain-computer interface system, and it is expected to obtain considerable social and economic benefits.
  • the method is described by taking the feedback game interface control as an example.
  • the feedback interface can be written under the Matlab platform, and can set parameters such as target tasks, imagination times, and game difficulty.
  • the embodiment of the present invention does not limit the setting of parameters, and can be set according to the needs in actual applications.
  • the final feedback interface will give a score based on the successful triggering of the user's target imaginary motion task.
  • the operational feedback system through this step forms a visual feedback.
  • the accumulated data is used to establish a co-space mode + support vector machine (CSP+SVM) model as the initial model, and a more credible decision value threshold criterion is formed;
  • CSP+SVM co-space mode + support vector machine
  • the co-space mode + support vector machine model can be used as the initial model of the re-experiment.
  • the user also rests for 30s, enters the 20s feedback training phase, continuously updates the initial model with new data, and quantifies the difficulty of the game according to the threshold value of the decision value, which is more user-friendly and further improves the applicability of the initial model.
  • the operational feedback system through this step forms a visual feedback.
  • the specific time value is set according to the requirements in the actual application.
  • the embodiment of the present invention only uses the above data as an example, but is not specifically limited.
  • the game feedback interface command is triggered (the ball moves to the target area side once); otherwise, if the user is not detected The imaginary action does not trigger the target feedback (the ball only makes radial drop motion).
  • the feedback control object is the small ball that moves during the motion imaging process, forming visual feedback.
  • the ERD energy value or the decision value of the output motion imagination is greater than the set threshold, the target feedback is triggered.
  • the ball falls radially, it moves laterally to the bottom target area once, otherwise it only makes radial falling motion.
  • the system scores based on the difficulty of the game and the number of feedbacks of the target feedback, and the quality of the system control is evaluated.
  • the embodiment of the present invention visualizes the MI-BCI system command output and the mind control process through the above-mentioned devices and modules, thereby improving the user experience.
  • the model of each device is not limited unless otherwise specified, as long as the device capable of performing the above functions can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于运动想象脑-机接口的反馈系统，反馈系统包括：反馈模块（1）、脑电采集器（2）、无线传输模块（3）及终端设备（4）；反馈模块（1），用于编写反馈界面；脑电采集器（2），用于采集与运动相关导联的脑电信号；脑电信号由头皮电极探测后经过脑电采集器（2）放大、滤波后通过无线传输模块（3）传输至所述终端设备（4）；终端设备（4），用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。上述系统，更符合正常思维行动控制过程和接近实际交互应用，有望为新型MI-BCI提供关键技术保障。

Description

一种基于运动想象脑-机接口的反馈系统 技术领域
本发明涉及脑-机接口领域，尤其涉及一种基于运动想象脑-机接口的反馈系统。
背景技术
第一次脑-机接口国际会议给出的BCI(脑-机接口)的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。
在BCI的研究中，运动想象作为一种主动式人机交互范式，更加符合正常人大脑思维活动方式，在一定程度的训练后，使用者便可进行在线MI-BCI(Motor imagery-brain computer interface，运动想象脑-机接口)系统的交互控制。此外，系统控制信号源一般使用来自于使用者运动想象过程中头皮脑电的能量特征，可进行一段较长时间段的累加或优化来控制指令输出，有较强的可操作性。
基于上述优点可以看出，对于运动想象的深入研究及开发一种实用型便携式的MI-BCI系统有助于更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值。
然而，目前大多数MI-BCI设计是一个开环系统，即只存在使用者运动想象到指令输出一条单向的控制通路，缺乏指令输出后的反馈通路，进而降低了系统的普适性及用户体验。
发明内容
本发明提供了一种基于运动想象脑-机接口的反馈系统，将MI-BCI系统指令输出及意念控制过程变得可视化，提高用户体验，详见下文描述：
一种基于运动想象脑-机接口的反馈系统，所述反馈系统包括：反馈模块、脑电采集器、无线传输模块及终端设备；
所述反馈模块，用于编写反馈界面；
所述脑电采集器，用于采集与运动相关导联的脑电信号；所述脑电信号由头皮电极探测后经过脑电采集器放大、滤波后通过所述无线传输模块传输至所述终端设备；
所述终端设备，用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。
其中，所述终端设备包括：初始反馈模块，
达到初始判定阈值，则输出目标指令反馈结果，否则不触发目标指令反馈；
经利用积累的数据建立共空间模式加支持向量机模型，作为初始模型，并获取决策值阈值；
使用者进入反馈训练阶段，不断更新初始模型，并根据决策值阈值提高初始模型的适用性。
其中，所述终端设备包括：在线反馈模块，
对每次采集的脑电数据进行脑电的特征提取与分类识别；
若检测到使用者运动想象特征对应的决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。
其中，所述反馈界面为游戏反馈界面。
本发明提供的技术方案的有益效果是：
1、本发明设计了基于运动想象脑-机接口技术下的反馈控制系统，利用视觉反馈的形式，能够动态、在线地实现使用者运动想象过程的可视化，克服了传统MI-BCI系统单向控制缺陷，可更好引导使用者的运动想象方式，更接近实际应用，有望为新型MI-BCI系统设计提供关键技术保障，也为脑-机接口尽快步入大范围应用阶段奠定基础。
2、本发明与传统MI-BCI系统相比，更符合正常思维行动控制过程和接近实际交互应用，有望为新型MI-BCI提供关键技术保障。
3、该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。
附图说明
图1(a)为系统设计框图；
图1(b)为脑电采集导联分布图；
图2为系统在线实验过程图；
图3为在线数据处理流程图；
图4为线性可分的分离超平面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
基于背景技术中存在的缺点，设计一种同时面向MI-BCI系统调节和使用者自适应想象模式的反馈控制方式，在指令输出端口与使用者之间建立一条反馈通路，令运动想象过程变得可视化，更好地引导其进行意念控制，达到“身随意动，思行合一”的运动想象系统体验效果，对于MI-BCI系统的实用化研究具有重大的意义。
正常人在实际肢体动作或者想象动作，引起皮层运动中枢中大量神经元活动状态的改变，从而使得脑电信号中的某些频率成分同步减弱或者增强，该信号特征被称为事件相关去同步/同步(event-related(de)synchronization，ERD/ERS)。ERD/ERS是出现在感觉运动皮层特定频带的信号，主要集中在alpha节律(8～13Hz)和beta节律(14～30Hz)。通过使用者运动想象诱发的脑电信号，ERD/ERS能够直接反映使用者的主观运动意识，且想象动作符合大脑正常思维活动的状态，该类BCI不易让使用者感到疲劳。
实施例1
本发明实施例提供了一种基于运动想象脑-机接口的反馈系统，系统用于设计用户运动想象反馈的在线实验，搭建好实验所需的脑电信号采集装置，然后采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，参见图1(a)，该反馈系统包括：反馈模块1、脑电采集器2、无线传输模块3及终端设备4。
反馈模块1，用于编写反馈界面。
具体实现时，该反馈界面可以在Matlab平台下编写设计，可进行目标任务、想象次数、等参数的设置。本发明实施例对参数的设置不做限制，可以根据实际应用中的需要进行设定。
脑电采集器2，用于采集与运动相关导联的脑电信号。
即，使用者安静地坐于距屏幕约1m(具体的取值根据实际应用中的环境进行设定，本发明实施例对此不做限制)的靠椅上，注视反馈界面，进行运动想象(想象左手或右手抬起)。在此过程中使用者的脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过脑电采集器2放大、滤波后通过无线传输模块3传输至终端设备4。
无线传输模块3，用于将脑电信号传输至终端设备1。
终端设备4，用于对脑电信号进行数据处理提取运动想象特征信号，该运动想象特征信号用于模式识别形成视觉反馈，构成一个闭环控制系统。
即，终端设备4对运动想象特征信号进行解码，输出目标指令反馈结果至虚拟串口，控制反馈界面，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的控制，从而构成一个闭环控制系统。
综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。
实施例2
下面结合具体的例子、附图对实施例1中的方案进行详细的描述，详见下文：
脑电采集器2采集与运动相关导联(共14通道，即AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2，参见图1(b))的脑电信号。
终端设备4又包括初始反馈模块和在线反馈模块，其中，初始反馈模块具体的实验过程如图2所示：
1)在没有初始模型的情形下采集实时脑电，使用者首先静息30s，并根据后20s数据ERD能量值生成初始判定阈值；
2)进入20s的MI反馈界面训练，达到初始判定阈值则输出目标指令反馈结果，否则不触发目标指令反馈；
即，通过该步骤的操作反馈系统形成了一次视觉反馈。
3)经过两轮上述过程，利用积累的数据建立共空间模式+支持向量机(CSP+SVM)模型，作为初始模型，并形成更可信的决策值阈值判定标准；
此时可以将共空间模式+支持向量机模型作为再次实验的初始模型。
4)使用者同样静息30s，进入20s反馈训练阶段，利用新数据不断更新初始模型，并且根据决策值阈值来量化，进一步提高初始模型的适用性。
即，通过该步骤的操作反馈系统又形成了视觉反馈。
在以一个具有普适性的基础模型或基于个体在之前的训练中得到的模型下，CSP+SVM模型正确率虽然不高但仍能满足基础控制要求，随着后期数据积累，在线实时进行数据和初始模型的自适应更新，从而提高正确率。其优点为在保证在线更新建模的正确率的前提下能够减少训练时间，提高训练效率。
进一步，在线反馈模块采用的在线数据处理流程如图3所示：
1)在线实验过程中，使用者面前的计算机会显示反馈控制界面，并提示使用者进行动作想象；
2)从第一次采集到2s的数据开始，以1s的时间滑动窗每次采集当前2s的脑电数据进行脑电的特征提取与分类识别；
其中，具体的时间取值根据实际应用中的需要进行设定，本发明实施例仅以上述数据为例进行说明，但不做具体的限制。
3)若检测到使用者运动想象特征对应的SVM决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。
综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。
实施例3
下面结合具体的例子、计算公式对实施例1、2中的方案进行详细的描述，详见下文：
1、ERD能量特征计算
对于运动想象ERD/ERS信号的处理通常使用功率谱时频分析，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。在实施例2中无初始模型情况下，利用短时傅里叶变换对运动想象脑电进行处理，得到ERD能量值的实时变化情况，与初始判定阈值相比较决定是否触发目标指令。
2、二分类共空间模式和支持向量机
当实施例2中的数据累积到达一定的数量要求时，便可以利用基于已有数据建立系统校准模型的方式对后面的反馈过程进行更有效可信的指令控制，即CSP+SVM建模。
共空间模式(Common Spatial Pattern，CSP)最初是一种对于二分类数据进行多导联空间滤波的技术。CSP首先应用于脑电信号异常检测，后来应用于区分运动相关的脑电模式。CSP算法的目的是设计空间滤波器，原始脑电信号在滤波处理之后产生新的时间序列，使其方差能够最优区分与想象动作相关的两类脑电信号。
设计与某个特定任务相关的空间滤波器，从而提取出与特定任务相关的信号源分量，剔除无关的分量和噪声等。该空间滤波器能够最大化两类信号的差异，在最大化一类状态方差的同时最小化另一类状态的方差。
XCSP＝WT*X         (1)
式中，XCSP为原始脑电信号，X经过滤波之后得到的信号，W为所求滤波器矩阵，经过大量数据递归训练可以得到最优的滤波器矩阵W，进而建立一种空间滤波模式。之后便可以利用所求滤波器矩阵将原始脑电数据进行同样处理，提取出滤波后信号作为支持向量机的输入。
针对运动想象训练样本数较少的特点，选用支持向量机(Support Vector Machine，SVM)作为分类工具。支持向量机是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。基本算法原理如下：
首先从线性可分问题的角度出发来理解支持向量机。可由图4所示的例子加以说明，两类待分样本分别使用黑点和圆圈表示，从图4中可以发现，分类面可以有很多，但是能够使得两类样本分类间隔最大的分类面只有一个。图4中较粗的那一条线就是具有最大分类间隔的分类面，称为最优分类面。最优分类面最小化了结构风险，且具有更优的推广能力，支持向量机目的就是寻找使得两类样本分类间隔最大的最优分类面。
同样在足够数据样本的训练校准后便可以得到这样一个分类面，也就是用于后面分类识别的系统模型(model)，在不断有数据积累的条件下，该模型也可以有条件的更新，即为模型更新过程。
模式识别的过程如下：将已有原始脑电数据经过CSP空间滤波，并将滤波后数据样本送入SVM分类器进行模型训练，训练后得到一个CSP+SVM的model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果(即决策值)即为未知模式想象动作的模式识别结果，与决策值阈值相比较决定是否触发目标反馈指令。
3、视觉反馈环节
当输出运动想象的ERD能量值或决策值大于设定阈值时，则触发目标反馈。每次反馈结束会进行系统评分，评估使用者对系统控制的质量。
本发明设计了一种基于运动想象脑-机接口的反馈控制方法，不仅可判断使用者“想象”或者“静息”两种状态，而且针对使用者参与程度引入视觉反馈，进而量化使用者对系统反馈控制的难度，提高使用者的参与度，贴近实际应用。可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。
实施例4
本方法以反馈游戏界面控制为例说明，该反馈界面可以在Matlab平台下编写设计，可进行目标任务、想象次数、游戏难度等参数的设置。
本发明实施例对参数的设置不做限制，可以根据实际应用中的需要进行设定。最终反馈界面将根据使用者目标想象动作任务的成功触发情况给出评分。
具体的在线实验过程如图2所示：
1)在没有初始模型的情形下采集实时脑电，使用者首先静息30s，并根据后20s数据ERD能量值生成初始判定阈值；
2)进入20s的MI游戏反馈界面训练，达到初始判定阈值则输出目标指令反馈结果(小球向目标区域一侧移动一次)，否则不触发目标指令反馈(小球只做径向下落运动)。
即，通过该步骤的操作游戏反馈系统形成了一次视觉反馈。
3)经过两轮上述过程，利用积累的数据建立共空间模式+支持向量机(CSP+SVM)模型，作为初始模型，并形成更可信的决策值阈值判定标准；
此时可以将共空间模式+支持向量机模型作为再次实验的初始模型。
4)使用者同样静息30s，进入20s反馈训练阶段，利用新数据不断更新初始模型，并且根据决策值阈值来量化游戏难度，更具人性化，进一步提高初始模型的适用性。
即，通过该步骤的操作游戏反馈系统又形成了视觉反馈。
进一步采用的在线数据处理流程如图3所示：
1)在线实验过程中，使用者面前的计算机会显示游戏反馈控制界面，并提示使用者进行动作想象；
2)从第一次采集到2s的数据开始，以1s的时间滑动窗每次采集当前2s的脑电数据进行脑电的特征提取与分类识别；
其中，具体的时间取值根据实际应用中的需要进行设定，本发明实施例仅以上述数据为例进行说明，但不做具体的限制。
3)若检测到使用者运动想象特征对应的SVM决策值(decision value)大于决策值阈值，则触发游戏反馈界面指令(小球向目标区域一侧运动一次)；反之，若未检测到使用者的想象动作，则不触发目标反馈(小球只做径向下落运动)。
以游戏反馈界面控制为例说明，反馈控制对象即为运动想象过程中移动的小球，形成视觉反馈。当输出运动想象的ERD能量值或决策值大于设定阈值时，则触发目标反馈， 小球径向下落的同时向底部目标区域横向运动一次，否则只做径向下落运动。每次反馈游戏结束会根据游戏难度及目标反馈触发次数进行系统评分，评估使用者对系统控制的质量。当然也可以根据不同使用者具体情况设置理想的游戏难度及次数，提高用户体验。
综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

  1. 一种基于运动想象脑-机接口的反馈系统，所述反馈系统包括：反馈模块、脑电采集器、无线传输模块及终端设备；其特征在于，
    所述反馈模块，用于编写反馈界面；
    所述脑电采集器，用于采集与运动相关导联的脑电信号；所述脑电信号由头皮电极探测后经过脑电采集器放大、滤波后通过所述无线传输模块传输至所述终端设备；
    所述终端设备，用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。
  2. 根据权利要求1所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述终端设备包括：初始反馈模块，
    达到初始判定阈值，则输出目标指令反馈结果，否则不触发目标指令反馈；
    经利用积累的数据建立共空间模式加支持向量机模型，作为初始模型，并获取决策值阈值；
    使用者进入反馈训练阶段，不断更新初始模型，并根据决策值阈值提高初始模型的适用性。
  3. 根据权利要求2所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述终端设备包括：在线反馈模块，
    对每次采集的脑电数据进行脑电的特征提取与分类识别；
    若检测到使用者运动想象特征对应的决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。
  4. 根据权利要求1所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述反馈界面为游戏反馈界面。
PCT/CN2016/098167 2015-11-17 2016-09-06 一种基于运动想象脑-机接口的反馈系统 WO2017084416A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510788585.2 2015-11-17
CN201510788585.2A CN105468143A (zh) 2015-11-17 2015-11-17 一种基于运动想象脑-机接口的反馈系统

Publications (1)

Publication Number Publication Date
WO2017084416A1 true WO2017084416A1 (zh) 2017-05-26

Family

ID=55605927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/098167 WO2017084416A1 (zh) 2015-11-17 2016-09-06 一种基于运动想象脑-机接口的反馈系统

Country Status (2)

Country Link
CN (1) CN105468143A (zh)
WO (1) WO2017084416A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110974219A (zh) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 一种基于侵入式bci的人脑意念识别系统
CN111078001A (zh) * 2019-11-20 2020-04-28 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN111338482A (zh) * 2020-03-04 2020-06-26 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统
CN111481194A (zh) * 2020-04-23 2020-08-04 翟红 用于脑电信号的反馈采集系统
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN112633365A (zh) * 2020-12-21 2021-04-09 西安理工大学 一种镜卷积神经网络模型及运动想象脑电识别算法
CN112883914A (zh) * 2021-03-19 2021-06-01 西安科技大学 一种多分类器结合的矿用机器人意念感知与决策方法
CN112936259A (zh) * 2021-01-26 2021-06-11 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN113039507A (zh) * 2018-08-30 2021-06-25 西门子（中国）有限公司 用于安全控制的脑机接口装置以及机器人系统
CN113111761A (zh) * 2021-04-07 2021-07-13 山东建筑大学 基于脑机接口与虚拟现实的手部运动能力恢复系统及方法
CN113220120A (zh) * 2021-04-27 2021-08-06 武汉理工大学 一种融合主客观评估的自适应运动想象脑机接口训练方法
CN113576495A (zh) * 2021-07-19 2021-11-02 浙江迈联医疗科技有限公司 结合eeg数据质量的运动想象评估方法
CN114358066A (zh) * 2021-12-24 2022-04-15 华中科技大学 一种用于运动想象脑机接口的隐私保护迁移学习方法
CN114617745A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 下肢康复机器人训练控制方法及系统
CN114661160A (zh) * 2022-03-30 2022-06-24 中国农业银行股份有限公司 一种自助设备的控制方法和装置
CN115444717A (zh) * 2022-11-10 2022-12-09 山东海天智能工程有限公司 基于脑机接口的肢体功能康复训练方法及系统
CN115554093A (zh) * 2019-04-02 2023-01-03 西安交通大学 一种基于专注度水平的手腕康复控制装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统
CN105956624B (zh) * 2016-05-06 2019-05-21 东南大学 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN105867641A (zh) * 2016-05-12 2016-08-17 深圳市联谛信息无障碍有限责任公司 基于脑波的读屏应用指令输入方法及装置
CN105962935B (zh) * 2016-06-14 2019-01-08 中国医学科学院生物医学工程研究所 用于运动学习功能改善的脑电神经反馈训练系统及其方法
CN106200984A (zh) * 2016-07-21 2016-12-07 天津大学 运动想象脑‑机接口模型建模方法
CN106371590B (zh) * 2016-08-29 2019-06-18 华南理工大学 基于OpenVIBE的高性能运动想象在线脑机接口系统
CN106959753B (zh) * 2017-03-21 2021-02-09 西安交通大学 基于运动想象脑-机接口的无人机虚拟控制方法及系统
CN107479696A (zh) * 2017-07-25 2017-12-15 天津大学 基于p300范式虚拟现实脑‑机接口系统和实现方法
CN107506028B (zh) * 2017-07-31 2021-07-06 上海交通大学 基于自发式脑机接口的机器人绘画系统及方法
CN107544675A (zh) * 2017-09-08 2018-01-05 天津大学 脑控式虚拟现实方法
CN109078262B (zh) * 2018-08-15 2022-11-01 北京机械设备研究所 一种基于外周神经电刺激的mi-bci训练方法
CN109859570A (zh) * 2018-12-24 2019-06-07 中国电子科技集团公司电子科学研究院 一种大脑训练方法及系统
CN110038300A (zh) * 2019-04-29 2019-07-23 电子科技大学 一种采用人脑控制的对抗游戏系统
CN110531861B (zh) * 2019-09-06 2021-11-19 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN112022175A (zh) * 2020-09-09 2020-12-04 东南大学 一种手部自然动作脑电测量装置
CN112674783A (zh) * 2020-12-23 2021-04-20 天津大学 长时程脑-肌电耦合的上肢运动功能训练与评测方法
CN112932504B (zh) * 2021-01-16 2022-08-02 北京工业大学 偶极子成像与识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923392A (zh) * 2010-09-02 2010-12-22 上海交通大学 脑电信号的异步脑机交互控制方法
US20110028827A1 (en) * 2009-07-28 2011-02-03 Ranganatha Sitaram Spatiotemporal pattern classification of brain states
CN102629156A (zh) * 2012-03-06 2012-08-08 上海大学 一种基于Matlab和DSP的运动想象脑机接口实现方法
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104548347A (zh) * 2015-01-22 2015-04-29 天津大学 一种纯意念神经肌肉电刺激控制与神经功能评价系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110028827A1 (en) * 2009-07-28 2011-02-03 Ranganatha Sitaram Spatiotemporal pattern classification of brain states
CN101923392A (zh) * 2010-09-02 2010-12-22 上海交通大学 脑电信号的异步脑机交互控制方法
CN102629156A (zh) * 2012-03-06 2012-08-08 上海大学 一种基于Matlab和DSP的运动想象脑机接口实现方法
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN103300852A (zh) * 2012-10-19 2013-09-18 西安电子科技大学 基于运动想象脑电控制遥控小车的训练方法
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113039507A (zh) * 2018-08-30 2021-06-25 西门子（中国）有限公司 用于安全控制的脑机接口装置以及机器人系统
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109472194B (zh) * 2018-09-26 2022-02-11 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN115554093A (zh) * 2019-04-02 2023-01-03 西安交通大学 一种基于专注度水平的手腕康复控制装置
CN110765920B (zh) * 2019-10-18 2023-03-24 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111078001B (zh) * 2019-11-20 2023-04-14 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN111078001A (zh) * 2019-11-20 2020-04-28 浙江传媒学院 一种基于alpha波的差错抑制脑机接口方法
CN110974219A (zh) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 一种基于侵入式bci的人脑意念识别系统
CN111338482A (zh) * 2020-03-04 2020-06-26 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及系统
CN111481194A (zh) * 2020-04-23 2020-08-04 翟红 用于脑电信号的反馈采集系统
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN111931656B (zh) * 2020-08-11 2022-08-05 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN114617745A (zh) * 2020-12-08 2022-06-14 山东新松工业软件研究院股份有限公司 下肢康复机器人训练控制方法及系统
CN112633365B (zh) * 2020-12-21 2024-03-19 西安理工大学 一种镜卷积神经网络模型及运动想象脑电识别算法
CN112633365A (zh) * 2020-12-21 2021-04-09 西安理工大学 一种镜卷积神经网络模型及运动想象脑电识别算法
CN112936259A (zh) * 2021-01-26 2021-06-11 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN112936259B (zh) * 2021-01-26 2023-06-20 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN112883914B (zh) * 2021-03-19 2024-03-19 西安科技大学 一种多分类器结合的矿用机器人意念感知与决策方法
CN112883914A (zh) * 2021-03-19 2021-06-01 西安科技大学 一种多分类器结合的矿用机器人意念感知与决策方法
CN113111761A (zh) * 2021-04-07 2021-07-13 山东建筑大学 基于脑机接口与虚拟现实的手部运动能力恢复系统及方法
CN113220120A (zh) * 2021-04-27 2021-08-06 武汉理工大学 一种融合主客观评估的自适应运动想象脑机接口训练方法
CN113220120B (zh) * 2021-04-27 2022-08-30 武汉理工大学 一种融合主客观评估的自适应运动想象脑机接口训练方法
CN113576495B (zh) * 2021-07-19 2023-12-01 浙江迈联医疗科技有限公司 结合eeg数据质量的运动想象评估方法
CN113576495A (zh) * 2021-07-19 2021-11-02 浙江迈联医疗科技有限公司 结合eeg数据质量的运动想象评估方法
CN114358066A (zh) * 2021-12-24 2022-04-15 华中科技大学 一种用于运动想象脑机接口的隐私保护迁移学习方法
CN114661160A (zh) * 2022-03-30 2022-06-24 中国农业银行股份有限公司 一种自助设备的控制方法和装置
CN115444717B (zh) * 2022-11-10 2023-03-10 山东海天智能工程有限公司 基于脑机接口的肢体功能康复训练方法及系统
CN115444717A (zh) * 2022-11-10 2022-12-09 山东海天智能工程有限公司 基于脑机接口的肢体功能康复训练方法及系统

Also Published As

Publication number Publication date
CN105468143A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
WO2017084416A1 (zh) 一种基于运动想象脑-机接口的反馈系统
Jin et al. The study of generic model set for reducing calibration time in P300-based brain–computer interface
Ai et al. Feature extraction of four-class motor imagery EEG signals based on functional brain network
Jiang et al. Recognition of epileptic EEG signals using a novel multiview TSK fuzzy system
Li et al. Multimodal BCIs: target detection, multidimensional control, and awareness evaluation in patients with disorder of consciousness
Li et al. Advances in Hybrid Brain‐Computer Interfaces: Principles, Design, and Applications
WO2020042511A1 (zh) 基于空间滤波与模版匹配的运动电位脑机接口编解码方法
CN103793058A (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN113180692B (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
Jafarifarmand et al. Real-time multiclass motor imagery brain-computer interface by modified common spatial patterns and adaptive neuro-fuzzy classifier
Ge et al. A double-partial least-squares model for the detection of steady-state visual evoked potentials
Lee et al. SessionNet: Feature similarity-based weighted ensemble learning for motor imagery classification
CN109144238B (zh) 一种基于眼电编码的人机交互系统及其交互方法
Fauzi et al. Energy extraction method for EEG channel selection
Orhan RSVP Keyboard™: An EEG Based BCI Typing System with Context Information Fusion
Tabar et al. Brain computer interfaces for silent speech
Cai et al. Motor imagery decoding in the presence of distraction using graph sequence neural networks
Wang et al. Prosthetic control system based on motor imagery
Cao et al. An effective fusing approach by combining connectivity network pattern and temporal-spatial analysis for EEG-based BCI rehabilitation
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
Mao et al. Effects of Skin Friction on Tactile P300 Brain‐Computer Interface Performance
Salehi et al. Decoding complex imagery hand gestures
Lu et al. A temporal convolution network solution for EEG motor imagery classification
Wang Simulation of sports movement training based on machine learning and brain-computer interface
Abdulghani et al. Low-Cost Brain-Computer Interface Design Using Deep Learning for Internet of Brain Controlled Things Applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16865594

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A OF 5.11.18)

122 Ep: pct application non-entry in european phase

Ref document number: 16865594

Country of ref document: EP

Kind code of ref document: A1