WO2023212857A1 - 一种基于类脑智能的脑机接口系统及设备 - Google Patents

一种基于类脑智能的脑机接口系统及设备 Download PDF

Info

Publication number
WO2023212857A1
WO2023212857A1 PCT/CN2022/090938 CN2022090938W WO2023212857A1 WO 2023212857 A1 WO2023212857 A1 WO 2023212857A1 CN 2022090938 W CN2022090938 W CN 2022090938W WO 2023212857 A1 WO2023212857 A1 WO 2023212857A1
Authority
WO
WIPO (PCT)
Prior art keywords
brain
computer interface
module
inspired
interface system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/090938
Other languages
English (en)
French (fr)
Inventor
郑胜杰
李骁健
岳斌
陈鑫
高钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to PCT/CN2022/090938 priority Critical patent/WO2023212857A1/zh
Publication of WO2023212857A1 publication Critical patent/WO2023212857A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D51/00—Motor vehicles characterised by the driver not being seated
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • brain-computer interfaces Although the performance of brain-computer interfaces is constantly improving, the current applications of brain-computer interfaces are mainly focused on assisting, enhancing and repairing the human body's cognitive and motor sensory and other neurological functions. How can this technology be widely used in daily life? It remains to be studied.
  • the brain-like data enhancement module is used to perform brain-like data enhancement on the input neural information, and outputs brain-like motion control information and brain-like movement control information through the neural information decoder;
  • the neuron model in the spiking neural network model is based on a leakage integrated firing model.
  • the brain-inspired vision module receives input via an event camera.
  • the brain-like intelligent brain-computer interface system and equipment disclosed in this application perform target location positioning through the brain-like vision module, brain-like data enhancement through the brain-like data enhancement module, and through the neural information decoder, Output brain-like motion control information and brain-like movement control information to the brain-like movement control module and the brain-like movement control module to control the robotic arm and mobile device of the smart car, thereby helping the smart car achieve precise motion control and precise movement control.
  • Figure 6 is a control schematic diagram of the brain-like vision module in the brain-computer interface system based on brain-like intelligence according to one embodiment of the present application;
  • a brain-computer interface/brain-machine interface is a direct connection path created between a human or animal brain (or a culture of brain cells) and an external device.
  • the computer accepts commands from the brain or sends signals to the brain, but it cannot send and receive signals at the same time.
  • Bidirectional brain-computer interfaces allow two-way information exchange between the brain and external devices.
  • the word "brain” means the brain or nervous system of an organic life form, not just the abstract “mind”.
  • “Machine” refers to any processing or computing device, which can take the form of a simple circuit to a silicon chip.
  • the brain-like movement control module uses the trained movement control module based on the pulse neural network, and the target detection position output by the brain-like vision module and the brain-like movement control output by the brain-like data enhancement module Information to control the movement of the robotic arm to the target position;
  • FIG. 3 is a control flow chart of a brain-computer interface system based on brain-like intelligence according to an embodiment of the present application.
  • the control process of this interface system is as follows:
  • the brain-like vision module outputs the target detection position through the event camera input and the brain-like vision algorithm for visual positioning;
  • the brain-like data enhancement module by inputting neural information, performs brain-like data enhancement on the input neural information, and outputs brain-like motion control information and brain-like movement control information through the neural information decoder;
  • FIG. 2 is a schematic diagram of a brain-computer interface device based on brain-like intelligence according to an embodiment of the present application.
  • the device includes the brain-computer interface system 100 based on brain-like intelligence as mentioned above, the smart car 200 and the wireless communication module provided between the two.
  • the brain-computer interface system 100 and the smart car 200 are connected through wireless communication modules.
  • the wireless communication module includes Bluetooth, WIFI, ZigBee and other methods that can realize wireless communication connections.
  • the YOLO-based artificial neural network of the pre-trained number is converted to obtain a YOLO-based impulse neural network, thereby outputting target detection position information.
  • the brain-like mobile control module uses a spiking neural network based on LIF neurons. There are a total of 360 LIF neurons in this neural network, representing different steering angles. This ring-shaped distribution method makes this network have attractor properties. properties, so it is also called an attractor network. Based on visual positioning and brain-computer interface control signals are converted into input stimulation signals, and then given stimulation to neurons at a specific angle, the neurons will give relative output signals as control signals and transmit them to the moving car.
  • the attractor network has anti-noise With strong capabilities and high robustness, it is suitable for mobile controllers based on biological properties.
  • RAM random access memory
  • ROM read-only memory
  • electrically programmable ROM electrically erasable programmable ROM
  • registers hard disks, removable disks, CD-ROMs, or anywhere in the field of technology. any other known form of storage media.
  • a first feature being “on” or “below” a second feature may mean that the first and second features are in direct contact, or the first and second features are in indirect contact through an intermediary. touch.
  • the terms “above”, “above” and “above” the first feature is above the second feature may mean that the first feature is directly above or diagonally above the second feature, or simply means that the first feature is higher in level than the second feature.
  • "Below”, “below” and “beneath” the first feature to the second feature may mean that the first feature is directly below or diagonally below the second feature, or simply means that the first feature has a smaller horizontal height than the second feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及人工智能技术领域，本申请公开了一种基于类脑智能的脑机接口系统，包括：类脑视觉模块，类脑数据增强模块，类脑运功控制模块以及类脑移动控制模块；所述类脑视觉模块，进行视觉定位；所述类脑数据增强模块，输出类脑运动控制信息和类脑移动控制信息；所述类脑运功控制模块和所述类脑移动控制模块对运动和移动信息进行控制。本申请还公开了一种基于类脑智能的脑机接口设备。

Description

一种基于类脑智能的脑机接口系统及设备 技术领域
本申请涉及人工智能技术领域，特别涉及一种基于类脑智能的脑机接口系统及设备。
背景技术
脑机接口(brain-computer interface/brain-machine interface)，是在人或动物脑(或者脑细胞的培养物)与外部设备间创建的直接连接通路。在单向脑机接口的情况下，电脑接受脑传来的命令，或者发送信号到脑，但不能同时发送和接收信号。而双向脑机接口允许脑和外部设备间的双向信息交换。在该定义中，“脑”一词意指有机生命形式的脑或神经系统，而并非仅仅是抽象的“心智”(mind)。“机”意指任何处理或运算的设备，其形式可以从简单电路到硅芯片。在多年来动物实验的实践基础上，应用于人体的早期植入设备被设计及制造出来，用于恢复损伤的听觉、视觉和肢体运动能力。研究的主线是大脑不同寻常的皮层可塑性，它与脑机接口相适应，可以像自然肢体那样控制植入的假肢。
由于脑电图(electroencephalography,EEG)时间分辨率高、易于获取、价格低廉等优势，被广泛应用于非侵入式BCI中。目前常用于BCI的脑电信号成分或种类主要包括：事件相关同步电位和去同步电位(event related synchronization/desynchronization,ERS/ERD)、稳态视觉诱发电位(steady-state visual evokedpotentials,SSVEP)、慢皮层电位(slow corticalpotentials,SCP)、P300以及μ节律、β节律等。
其中，SSVEP-BCI向用户呈现多个具有不同频率、相位的周期性视觉刺激(repetitive visual stimulus,RVS)，当用户将注意力集中在某个RVS上时，其主视觉皮层中会诱发出具有特定特征的EEG信号，既SSVEP信号。其频率成分主要包括：相应视觉刺激频率及其各次谐波。能有效诱发出SSVEP的视觉刺激频率集中在1到100Hz范围内。通过识别脑电信号中的SSVEP成分即可实现用户意图识别，近年来SSVEP-BCI已能够达到非常高的识别准确率和信息传输速率。然而，尽管脑-机接口的性能正在不断提升，目前脑-机接口应用还主要集中在辅助、增强和修复人体的认知和运动感觉等神经功能方面，如何将该技术广泛应用于日常生活中还有待研究。
类脑智能指的是主要基于大脑机制的计算模型和方法，而不是完全模仿大脑。目标是使机器能够以大脑启发的方式实现人类的各种认知能力和协调机制，最终达到或超越人类的智能水平。
随着科学技术及工业化的发展，对于一些需要特殊作业的环境下，智能小车适用于在条件恶劣的环境中工作，在险恶的环境下工作，人类必需采取严密的保护措施，而机器人可以进入或穿过这些危险区域进行维护和探测工作，且不需要得到像对人一样的保护。并且小车具有控制方便、算法部署测试简单等特点，该技术可以广泛应用于无人驾驶机动车，无人生产线，仓库，服务机器人等领域。
但是机器人无法像人类一样对相关情况进行预判，无法根据用户自身意图启动特定系统控制，没有有效利用用户的视觉焦点和周围环境信息智能判别用户意图，这给用户使用带来了不便利。
发明内容
本申请旨在克服现有技术存在的缺陷，本申请采用以下技术方案：
一方面，本申请提供了一种基于类脑智能的脑机接口系统。所述脑机接口系统用于控制智能小车，其中，智能小车包括机械臂以及移动装置；所述基于类脑智能的脑机接口系统包括：类脑视觉模块，类脑数据增强模块，类脑运功控制模块以及类脑移动控制模块；
所述类脑视觉模块，通过类脑视觉算法，输出目标检测位置，进行视觉定位；
所述类脑数据增强模块，用于将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息；
所述类脑运功控制模块，通过使用训练好的基于脉冲神经网络的运动控制模块后，由所述类脑视觉模块输出的目标检测位置以及所述类脑数据增强模块输出的类脑运动控制信息，控制所述机械臂运动到目标位置；
所述类脑移动控制模块，基于所述视觉定位以及类脑数据增强模块输出的类脑移动控制信息，之后对特定角度的神经元给定刺激，控制所述移动装置进行移动。
在一些实施例中，所述类脑视觉模块、类脑数据增强模块、类脑运功控制模块、类脑移动控制模块中的一种或多种都基于脉冲神经网络模型。
在一些实施例中，所述脉冲神经网络模型中的神经元模型以泄露整合发放模型作为模型基础。
在一些实施例中，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。
在一些实施例中，所述类脑运功控制模块是使用控制信号生成器生成的当 前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则作为脉冲神经网络中的权重更新规则来进行训练后，形成训练好的基于脉冲神经网络的运动控制模块。
在一些实施例中，所述特定角度的神经元形成环状分布，分布代表不同的转向角度。
在一些实施例中，所述特定角度的神经元为360个LIF神经元。
在一些实施例中，所述类脑视觉模块通过事件相机进行输入。
在一些实施例中，所述事件相机输出的是像素亮度的变化情况。
另一方面，本申请还提供了一种基于类脑智能的脑机接口设备。该设备包括如前所述的基于类脑智能的脑机接口系统、智能小车以及配套设置于两者之间的无线通信模块。
本申请的技术效果：本申请公开的类脑智能的脑机接口系统和设备，通过类脑视觉模块进行目标位置定位，通过类脑数据增强模块进行类脑数据增强，并通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息至类脑运功控制模块以及类脑移动控制模块对智能小车的机械臂和移动装置进行控，从而帮助智能小车实现精确运动控制、精确移动控制。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请一个实施例的一种基于类脑智能的脑机接口系统示意 图；
图2为根据本申请一个实施例的一种基于类脑智能的脑机接口设备示意图；
图3为根据本申请一个实施例的一种基于类脑智能的脑机接口系统的控制流程图；
图4为根据本申请一个实施例的基于类脑智能的脑机接口系统中的类脑数据增强流程示意图；
图5为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑数据增强进行神经解码示意图；
图6为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑视觉模块的控制示意图；
图7为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑运动控制的示意图；
图8为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑移动控制的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，而不构成对本申请的限制。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
脑机接口(brain-computer interface/brain-machine interface)，是在人或动物脑(或者脑细胞的培养物)与外部设备间创建的直接连接通路。在单向脑机接口的情况下，电脑接受脑传来的命令，或者发送信号到脑，但不能同时发送和接收信号。而双向脑机接口允许脑和外部设备间的双向信息交换。在该定义中，“脑”一词意指有机生命形式的脑或神经系统，而并非仅仅是抽象的“心智”(mind)。“机”意指任何处理或运算的设备，其形式可以从简单电路到硅芯片。在多年来动物实验的实践基础上，应用于人体的早期植入设备被设计及制造出来，用于恢复损伤的听觉、视觉和肢体运动能力。研究的主线是大脑不同寻常的皮层可塑性，它与脑机接口相适应，可以像自然肢体那样控制植入的假肢。
类脑智能指的是主要基于大脑机制的计算模型和方法，而不是完全模仿大脑。目标是使机器能够以大脑启发的方式实现人类的各种认知能力和协调机制，最终达到或超越人类的智能水平。
神经脉冲(动作电位)是由生物的神经元产生，由多个动作电位的时间序列被称为其"脉冲序列"。神经细胞发出动作电位或神经脉冲的过程被称为"神经发放"(neuronal firing)。
脉冲神经网络经常被誉为第三代人工神经网络，因为它模拟生物神经元的信息传递方式。在生物内部，神经元与神经元之间的通信是通过传递脉冲信号，信息蕴含在传递的脉冲序列中。而传统神经网络使用连续值作为人工神经元之间的传递信息，并且模型架构属于人为设计类型，一般都没有生物功能特性。因此，受生物启发的脉冲神经网络采用脉冲神经元以及突触模型，并且可采用具用生物性质的学习方式进行突触权重更新，因此，基于生物性质的脉冲神经网络模型非常适合研究脑信息建模以及智能推理任务。
参考图1和图2所示，本申请提供了一种基于类脑智能的脑机接口系统 100。
所述脑机接口系统用于控制智能小车200，其中，智能小车包括机械臂210以及移动装置220；所述基于类脑智能的脑机接口系统包括：类脑视觉模块，类脑数据增强模块，类脑运功控制模块以及类脑移动控制模块；
所述类脑视觉模块，通过类脑视觉算法，输出目标检测位置，进行视觉定位；
所述类脑数据增强模块，用于将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息；
所述类脑运功控制模块，通过使用训练好的基于脉冲神经网络的运动控制模块后，由所述类脑视觉模块输出的目标检测位置以及所述类脑数据增强模块输出的类脑运动控制信息，控制所述机械臂运动到目标位置；
所述类脑移动控制模块，基于所述视觉定位以及类脑数据增强模块输出的类脑移动控制信息，之后对特定角度的神经元给定刺激，控制所述移动装置进行移动。
在一些实施例中，所述机械臂的基本控制结构包括传感器(位置、速度、力传感器)，控制器(处理器和控制算法)和驱动器(电机驱动、液压驱动等)。机械臂的控制系统一般包括主机，运动控制器，伺服驱动器，电机和机械臂本体。机械臂工作的流程可以简单分为四步：给定任务，轨迹规划，逆向运动学求关节角度，比例-积分-微分控制器电机控制。基于脉冲神经网络的机械臂控制，将一个基于脉冲神经网络的自适应控制模型应用于机械臂的自适应控制，该方法由轨迹生成器器、控制信号生成器、自适应调控器构成，该模型能够增强机械臂控制的稳定性、鲁棒性以及对一些意外力的自适应性。智能小车适用于在条件恶劣的环境中工作，在险恶的环境下工作，人类必需采取严密的保护 措施，而机器人可以进入或穿过这些危险区域进行维护和探测工作，且不需要得到像对人一样的保护。并且小车具有控制方便、算法部署测试简单等特点，该技术可以广泛应用于无人驾驶机动车，无人生产线，仓库，服务机器人等领域。基于脉冲神经网络的移动小车控制，通过脉冲神经网络结合惯性测量单元(IMU)可以为小车“走不直”的问题提供高度自适应、相对低功耗的解决方案。而且惯性测量单元相较于轮速检测装置对小车型号的适配范围更广，更容易加装到小车上。
在一些实施例中，所述类脑视觉模块、类脑数据增强模块、类脑运功控制模块、类脑移动控制模块中的一种或多种都基于脉冲神经网络模型。
在一些实施例中，所述脉冲神经网络模型中的神经元模型以泄露整合发放模型(LIF，Leaky Integrate and Fire Model)作为模型基础。泄露整合发放模型描述如下：
Figure PCTCN2022090938-appb-000001
Figure PCTCN2022090938-appb-000002
u i＝u rest，u＞u threshold
其中u i表示神经元细胞的膜电势大小，膜电势大小与细胞脉冲发放有关。τ m表示为微分方程的时间常数，用于控制膜电势随时间变化量的大小。
u rest是一个常数参数，表示为细胞膜的静息电位，即细胞在静息状态下膜电势的大小。I i(t)为输入电流，作为外部输入会对细胞的膜电势产生影响。
R为细胞膜阻抗。τ s为突触时间常数,其中u threshold表示脉冲发放阈值，当神经元的膜电势u i超过u threshold时发放脉冲,且将膜电势u i重置为u rest。
参考图3所示，是根据本申请一个实施例的一种基于类脑智能的脑机接口 系统的控制流程图。该接口系统的控制流程如下：
S1,所述类脑视觉模块，通过事件相机输入，通过类脑视觉算法，输出目标检测位置，进行视觉定位；
S2,所述类脑数据增强模块，通过将神经信息输入，将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息；
S3,所述类脑运功控制模块，通过使用训练好的基于脉冲神经网络的运动控制模块后，由所述类脑视觉模块输出的目标检测位置以及所述类脑数据增强模块输出的类脑运动控制信息，控制所述机械臂运动到目标位置；
S4,所述类脑移动控制模块，基于所述视觉定位以及类脑数据增强模块输出的类脑移动控制信息，之后对特定角度的神经元给定刺激，控制所述移动装置进行移动，从而整体实现了接口系统对智能小车的控制。
参考图4所示，在一些实施例中，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。
图5为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑数据增强进行神经解码示意图。所述类脑数据增强模块的类脑增强数据通过解码器进行解码后形成运动控制信息和移动控制信息。
数据增强是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。脑机接口搭建脑信息解码模型需要大量的脑信息数据，但获取大量数据成本过高。而数据又是提高脑机接口解码的重要因素，因此数据增强是克服训练数据不足的有效手段，也在人工智能的各个领域中应用广泛。基于脉冲神经网络的数据增强，这是因为脉冲神经网络具有生物性质，适合直接产 生神经信息，从而增强脑机接口信息。
在一些实施例中，所述类脑运功控制模块是使用控制信号生成器生成的当前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则作为脉冲神经网络中的权重更新规则来进行训练后，形成训练好的基于脉冲神经网络的运动控制模块。
在一些实施例中，所述特定角度的神经元形成环状分布，分布代表不同的转向角度。
在一些实施例中，所述特定角度的神经元为360个LIF神经元。
在一些实施例中，所述类脑视觉模块通过事件相机进行输入。
在一些实施例中，所述事件相机输出的是像素亮度的变化情况。事件相机是一款新型传感器。不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。
另一方面，本申请还提供了一种基于类脑智能的脑机接口设备。图2为根据本申请一个实施例的一种基于类脑智能的脑机接口设备示意图。该设备包括如前所述的基于类脑智能的脑机接口系统100、智能小车200以及配套设置于两者之间的无线通信模块。脑机接口系统100和智能小车200之间通过无线通信模块进行通讯连接。所述无线通信模块包括蓝牙，WIFI,ZigBee等能实现无线通信连接的所有方式。
以下将结合附图所示的各实施方式对本申请进行详细描述。但该等实施方式并不限制本申请，本领域的普通技术人员根据该等实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。
实施例一：类脑视觉模块设计
类脑视觉模块使用了基于人工神经网络转换为基于LIF神经元的脉冲神经网络的，使用的是YOLO算法，YOLO是目前最好的目标检测算法之一，基于这基于人工神经网络的算法，可转换为脉冲神经网络，从而使脉冲神经网络具有目标检测的能力，从而输出目标位置。
参考图6所示，将预训练号的基于YOLO的人工神经网络进行转换，获得基于YOLO的脉冲神经网络，从而输出目标检测位置信息。
实施例二：类脑数据增强模块设计
类脑数据增强模块使用基于LIF神经元模型的脉冲神经网络。将固定输入信息输入到脉冲神经网络的输入层，网络内部调整参数使网络输出层能产生符合原始数据动力学的神经脉冲序列。训练完毕可使输出层输出与原始脑机接口数据具有相似生物性质的神经脉冲数据，从而实现数据增强。基于数据增强的数据可训练解码器，可得到高质量的运动控制以及移动控制信息。
参考图4所示的实施例中，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。
参考图5所示的实施例中，所述类脑数据增强模块，通过将神经信息输入，将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息。
实施例三：类脑运动控制模块设计
类脑运动控制模块使用了开源的神经网络工程框架(NEF)，网络内部是使用基于LIF神经元的脉冲神经网络。使用控制信号生成器生成的当前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则(hPES)作为脉冲神经网络中的权重更新规则。训练好基于脉冲 神经网络的运动控制模块后，由给定的目标检测所得坐标以及脑机接口控制信号，机器臂可基于期望的关节角度和角速度移动到目标位置，过程中需结合脑机接口解码器输出的运动控制进行移动。
图7为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑运动控制的示意图；其中，类脑运动控制模块通过将类脑视觉的视觉定位信息，脑机接口的运动控制信号以及使用训练好的神经网络框架机械臂，然后基于视觉定位以及脑机接口控制信号，通过控制机械臂输出关节角度，角速度等。
实施例四：类脑移动控制模块设计
类脑移动控制模块通过基于LIF神经元组成的脉冲神经网络，这种神经网络中共有360个LIF神经元，分别代表不同的转向角度，这种环状分布方式，使得这种网络具有吸引子的性质，因此也称为吸引子网络。基于视觉定位以及脑机接口控制信号转化为输入刺激信号，之后对特定角度的神经元给定刺激，则神经元会给出相对的输出信号作为控制信号传送到移动小车，吸引子网络具有抗噪能力强，鲁棒性高的特点，它适合基于具有生物性质的移动控制器。
图8为根据本申请一个实施例的基于类脑智能的脑机接口系统中类脑移动控制的示意图。其中，类脑移动控制模块通过将类脑视觉的视觉定位信息，脑机接口的运动控制信号以及基于LIP神经元的连接吸引子网络通过基于视觉定位以及脑机接口控制信号转化为输入刺激信号，对特定角度的脉冲神经元进行刺激，从而输出控制信号到移动装置控制智能小车进行移动。
本申请实施例的技术效果：本申请公开的类脑智能的脑机接口系统和设备，通过类脑视觉模块进行目标位置定位，通过类脑数据增强模块进行类脑数据增强，并通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息至类脑运功控制模块以及类脑移动控制模块对智能小车的机械臂和移动装置 进行控制，通过脉冲神经网络结合接口系统可以为智能小车“走不直”及无法判断用户意图的问题提供高度自适应、相对低功耗的解决方案，从而帮助智能小车实现精确运动控制、精确移动控制。而且类脑接口系统相容易加装到智能小车上，且应用场景广泛。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
在本申请的描述中，需要理解的是，本申请实施例中中提及的参数、变量以及程序名等符号均可替代成不至混淆的任何其他代号。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过 中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
以上所述本申请的具体实施方式，并不构成对本申请保护范围的限定。任何根据本申请的技术构思所作出的各种其他相应的改变与变形，均应包含在本申请权利要求的保护范围内。

Claims (10)

  1. 一种基于类脑智能的脑机接口系统，用于控制智能小车，其中，
    智能小车包括机械臂以及移动装置；其特征在于，所述基于类脑智能的脑机接口系统包括：
    类脑视觉模块，通过类脑视觉算法，输出目标检测位置，进行视觉定位；
    类脑数据增强模块，用于将输入神经信息进行类脑数据增强，通过神经信息解码器，输出类脑运动控制信息和类脑移动控制信息；
    类脑运功控制模块，通过使用训练好的基于脉冲神经网络的运动控制模块后，由所述类脑视觉模块输出的目标检测位置以及所述类脑数据增强模块输出的类脑运动控制信息，控制所述机械臂运动到目标位置；
    类脑移动控制模块，基于所述视觉定位以及类脑数据增强模块输出的类脑移动控制信息，之后对特定角度的神经元给定刺激，控制所述移动装置进行移动。
  2. 根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑视觉模块、类脑数据增强模块、类脑运功控制模块、类脑移动控制模块中的一种或多种都基于脉冲神经网络模型。
  3. 根据权利要求2所述的一种基于类脑智能的脑机接口系统，其特征在于，所述脉冲神经网络模型中的神经元模型以泄露整合发放模型作为模型基础。
  4. 根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑数据增强模块，通过将固定输入信息输入到脉冲神经网络的输入层，通过所述脉冲神经网络调整参数使脉冲神经网络输出层产生符合原始数据动力学的神经脉冲序列，实现数据增强。
  5. 根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑运功控制模块是使用控制信号生成器生成的当前信号作为训练信号，使用机械臂当前期望的关节角度、角速度作为学习信号，使用组合学习规则作为脉冲神经网络中的权重更新规则来进行训练后，形成训练好的基于脉冲神经网络的运动控制模块。
  6. 根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述特定角度的神经元形成环状分布，分布代表不同的转向角度。
  7. 根据权利要求6所述的一种基于类脑智能的脑机接口系统，其特征在于，所述特定角度的神经元为360个LIF神经元。
  8. 根据权利要求1所述的一种基于类脑智能的脑机接口系统，其特征在于，所述类脑视觉模块通过事件相机进行输入。
  9. 根据权利要求8所述的一种基于类脑智能的脑机接口系统，其特征在于，所述事件相机输出的是像素亮度的变化情况。
  10. 一种基于类脑智能的脑机接口设备，其特征在于：包括如权利要求1-9任一项所述的基于类脑智能的脑机接口系统，智能小车以及配套设置于两者之间的无线通信模块。
PCT/CN2022/090938 2022-05-05 2022-05-05 一种基于类脑智能的脑机接口系统及设备 Ceased WO2023212857A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/090938 WO2023212857A1 (zh) 2022-05-05 2022-05-05 一种基于类脑智能的脑机接口系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/090938 WO2023212857A1 (zh) 2022-05-05 2022-05-05 一种基于类脑智能的脑机接口系统及设备

Publications (1)

Publication Number Publication Date
WO2023212857A1 true WO2023212857A1 (zh) 2023-11-09

Family

ID=88646062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/090938 Ceased WO2023212857A1 (zh) 2022-05-05 2022-05-05 一种基于类脑智能的脑机接口系统及设备

Country Status (1)

Country Link
WO (1) WO2023212857A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118397581A (zh) * 2024-04-07 2024-07-26 湘江实验室 一种基于类脑感知的智能驾驶方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211857290U (zh) * 2020-03-09 2020-11-03 五邑大学 一种具有机械臂的智能小车系统
CN112381857A (zh) * 2020-11-12 2021-02-19 天津大学 一种基于脉冲神经网络的类脑目标跟踪方法
CN112446468A (zh) * 2019-08-28 2021-03-05 罗伯特·博世有限公司 用于创建脉冲神经网络的方法、设备和计算机程序
CN113311789A (zh) * 2021-04-25 2021-08-27 北京工业大学 一种基于5g和类脑脉冲神经网络模型的仓储机器人的控制方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
WO2021256999A1 (en) * 2020-06-15 2021-12-23 National University Of Singapore Event-driven visual-tactile sensing and learning for robots
CN114418073A (zh) * 2022-03-30 2022-04-29 深圳时识科技有限公司 脉冲神经网络训练方法、存储介质、芯片及电子产品
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446468A (zh) * 2019-08-28 2021-03-05 罗伯特·博世有限公司 用于创建脉冲神经网络的方法、设备和计算机程序
CN211857290U (zh) * 2020-03-09 2020-11-03 五邑大学 一种具有机械臂的智能小车系统
WO2021256999A1 (en) * 2020-06-15 2021-12-23 National University Of Singapore Event-driven visual-tactile sensing and learning for robots
CN112381857A (zh) * 2020-11-12 2021-02-19 天津大学 一种基于脉冲神经网络的类脑目标跟踪方法
CN113311789A (zh) * 2021-04-25 2021-08-27 北京工业大学 一种基于5g和类脑脉冲神经网络模型的仓储机器人的控制方法
CN113449864A (zh) * 2021-07-21 2021-09-28 北京大学 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN114418073A (zh) * 2022-03-30 2022-04-29 深圳时识科技有限公司 脉冲神经网络训练方法、存储介质、芯片及电子产品
CN114429491A (zh) * 2022-04-07 2022-05-03 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118397581A (zh) * 2024-04-07 2024-07-26 湘江实验室 一种基于类脑感知的智能驾驶方法及相关设备

Similar Documents

Publication Publication Date Title
Li et al. Active human-following control of an exoskeleton robot with body weight support
Antuvan et al. Embedded human control of robots using myoelectric interfaces
Duan et al. Design of a multimodal EEG-based hybrid BCI system with visual servo module
Xiong et al. Triboelectric in-sensor deep learning for self-powered gesture recognition toward multifunctional rescue tasks
CN105963100B (zh) 按患者运动所需辅助的下肢康复机器人自适应控制方法
US20150032258A1 (en) Apparatus and methods for controlling of robotic devices
Li et al. Combined sensing, cognition, learning, and control for developing future neuro-robotics systems: a survey
CN109394476A (zh) 脑肌信息自动意图识别与上肢智能控制方法及系统
Luo et al. A physical human–robot interaction framework for trajectory adaptation based on human motion prediction and adaptive impedance control
Hong et al. Vision-locomotion coordination control for a powered lower-limb prosthesis using fuzzy-based dynamic movement primitives
Jackowski et al. A novel head gesture based interface for hands-free control of a robot
CN119344986A (zh) 自适应位置约束的外骨骼康复机器人按需辅助控制系统及方法
Arceo et al. Robust sensor fusion and biomimetic control of a lower-limb exoskeleton with multimodal sensors
Zhang et al. Research on brain control prosthetic hand
WO2023212857A1 (zh) 一种基于类脑智能的脑机接口系统及设备
CN108415250A (zh) 一种防止老年人摔倒的人机协同控制系统及其控制方法
Balasubramanian et al. Adaptive Control of a Wearable Exoskeleton for Upper‐Extremity Neurorehabilitation
Xing et al. Control method of lower limb rehabilitation robot based on nonlinear time series prediction model and sensor technology
CN117075714A (zh) 一种基于类脑智能的脑机接口系统及设备
Chen et al. Intelligent computational control of multi-fingered dexterous robotic hand
CN116578024A (zh) 基于混合模态信号的康复机器人多模式控制方法及系统
Risteiu et al. Study on ANN based upper limb exoskeleton
Gupta MAC-MAN
Sandamirskaya et al. Learning sensorimotor transformations with dynamic neural fields
Soria et al. Architecture for rapid prototyping of visual controllers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22940553

Country of ref document: EP

Kind code of ref document: A1