WO2023020380A1 - 处理方法及装置、控制方法及装置、vr眼镜、设备、介质 - Google Patents

处理方法及装置、控制方法及装置、vr眼镜、设备、介质 Download PDF

Info

Publication number
WO2023020380A1
WO2023020380A1 PCT/CN2022/112077 CN2022112077W WO2023020380A1 WO 2023020380 A1 WO2023020380 A1 WO 2023020380A1 CN 2022112077 W CN2022112077 W CN 2022112077W WO 2023020380 A1 WO2023020380 A1 WO 2023020380A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
eeg
uplink
eeg signal
initial
Prior art date
Application number
PCT/CN2022/112077
Other languages
English (en)
French (fr)
Inventor
何惠东
韩鹏
张�浩
陈丽莉
姜倩文
石娟娟
杜伟华
Original Assignee
京东方科技集团股份有限公司
北京京东方光电科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司, 北京京东方光电科技有限公司 filed Critical 京东方科技集团股份有限公司
Publication of WO2023020380A1 publication Critical patent/WO2023020380A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J11/00—Orthogonal multiplex systems, e.g. using WALSH codes

Definitions

  • the present disclosure relates to the technical field of virtual reality (VR, Virtual Reality), in particular, to a method for processing EEG signals, a signal processing device, a method for controlling electronic equipment, a method for controlling VR glasses, a A control device, a VR glasses, an electronic device and a computer-readable storage medium.
  • VR virtual reality
  • Virtual reality technology is the ultimate application form of multimedia technology, which mainly relies on the integration of many key technologies such as 3D real-time graphic display, 3D positioning tracking, tactile and olfactory sensing technology, artificial intelligence technology, parallel computing technology and human behavior research. develop.
  • VR glasses are three-dimensional analog display devices. After wearing VR glasses, users can experience the sensory experience of being in a three-dimensional visual world.
  • the combination of virtual reality technology and brain-computer interface forms a new technology of brain-computer interface based on virtual reality (ie, BCI-VR).
  • This technology mainly generates control signals for controlling electronic devices (for example, UAV aircraft) by collecting EEG signals formed by the user's brain thinking activities.
  • the electronic device when it is a UAV, it can collect EEG signals through VR glasses and transmit the EEG signals to the UAV. After receiving the EEG signals, the UAV can convert the EEG signals into Control the signal, and collect images according to the control signal, and finally send the collected images to the VR glasses.
  • the VR glasses perform image rendering based on the images sent back by the UAV aircraft, so that the user wearing the VR glasses can have a visual experience in the environment where the UAV aircraft collects images.
  • the purpose of the present disclosure is to provide a method for processing EEG signals, a signal processing device, a method for controlling electronic equipment, a method for controlling VR glasses, a control device, a kind of VR glasses, and an electronic device. device and a computer readable storage medium.
  • a method for processing EEG signals including:
  • the uplink EEG signal is transmitted, wherein the carrier signals corresponding to different acquisition channels are mutually orthogonal signals.
  • the modulation processing of the received initial EEG signal to obtain the target EEG signal with OFDM symbols includes:
  • the processing of the initial EEG signal after the start of the predetermined period of time to obtain the subject target signal includes:
  • the subject signal after filtering and denoising is processed to obtain the subject target signal.
  • a method for controlling an electronic device including:
  • the uplink EEG signal is an uplink EEG signal obtained in the processing method provided in the first aspect of the present disclosure
  • a control signal is generated according to the decoded signal.
  • said aligning the OFDM symbols of the received uplink EEG signals includes:
  • the OFDM symbols of the uplink EEG signals whose delay exceeds a preset value are filled, so that the OFDM symbols of the uplink EEG signals are aligned.
  • a method for controlling VR glasses including:
  • a signal processing device includes:
  • a first storage module where a first executable program is stored on the first storage module
  • One or more first processors when the one or more first processors invoke the first executable program, can implement the processing method provided by the first aspect of the present disclosure.
  • a control device includes:
  • One or more second processors when the one or more second processors call the second executable program, they can implement the control method provided by the second aspect of the present disclosure.
  • VR glasses are provided, and the VR glasses include the signal processing device provided in the fourth aspect of the present disclosure.
  • the VR glasses also include:
  • a rendering module the rendering module is used to perform scene rendering on the received image signal to obtain a scene rendering result
  • the display module is used to display according to the rendering result of the scene
  • a communication module the communication module is used for receiving the image signal sent by the unmanned aerial vehicle, and sending the uplink EEG signal.
  • the VR glasses further include a plurality of EEG signal collection electrodes, and the EEG signal collection electrodes are electrically connected to the signal processing device, so as to send the collected initial EEG signal to the signal processing device .
  • an electronic device is provided, and the electronic device includes the control device provided in the fifth aspect of the present disclosure.
  • a computer-readable storage medium on which a first executable program and/or a second executable program and/or a third executable program are stored, wherein,
  • Fig. 1 is a flow chart of an embodiment of a method for processing EEG signals provided by the present disclosure
  • FIG. 2 is a schematic diagram of the distribution of EEG signal acquisition electrodes
  • FIG. 3 is a flowchart of an optional implementation manner of step S130;
  • Fig. 4 is a flow chart of an optional implementation manner of step S132;
  • FIG. 5 is a flow chart of an implementation manner of a method for controlling an electronic device provided by the present disclosure
  • FIG. 6 is a flowchart of an implementation manner of step S220;
  • FIG. 7 is a flow chart of an embodiment of a method for controlling VR glasses provided by the present disclosure.
  • FIG. 8 is a block diagram of a system including VR glasses and a drone aircraft provided by the present disclosure.
  • a method for processing EEG signals includes:
  • step S110 an initial EEG signal is received
  • step S120 the acquisition channel corresponding to the initial EEG signal is determined according to the acquisition position of the initial EEG signal
  • step S130 the received initial EEG signal is modulated to obtain a target EEG signal with Orthogonal Frequency Division Multiplexing (OFDM, Orthogonal Frequency Division Multiplexing) symbols;
  • OFDM Orthogonal Frequency Division Multiplexing
  • step S140 the target EEG signal is fitted with the carrier signal corresponding to the acquisition channel of the target EEG signal to obtain an uplink EEG signal;
  • step S150 the uplink EEG signal is transmitted, wherein the carrier signals corresponding to different acquisition channels are mutually orthogonal signals.
  • the acquisition channels corresponding to the initial EEG signals at different acquisition positions are different.
  • the processing method can be executed by a processor of the VR glasses.
  • the user's initial EEG signals can be collected through the EEG signal electrodes.
  • a plurality of EEG signal electrodes (respectively EEG signal electrode A1, EEG signal electrode A2, EEG signal electrode FP1, EEG signal electrode FP2, EEG signal electrode F7, EEG signal electrode F3, EEG signal electrode Fz, EEG signal electrode F4, EEG signal electrode F8, EEG signal electrode FT7, EEG signal electrode FC3, EEG signal electrode FCz, EEG signal electrode FT8, EEG signal electrode Signal electrode C3, EEG signal electrode Cz, EEG signal electrode C4, EEG signal electrode T4, EEG signal electrode TP7, EEG signal electrode CP3, EEG signal electrode CPz, EEG signal electrode CP4, EEG signal electrode TP8, EEG signal electrode T5, EEG signal electrode P3, EEG signal electrode Pz, EEG signal electrode P4, EEG signal electrode T6, EEG signal electrode O1, EEG signal electrode Oz, EEG signal electrode O2) It is installed at different positions on the user
  • the signals collected by the EEG signal electrode O1, the EEG signal electrode Oz, the EEG signal electrode O2, and the EEG signal electrode Pz may be selected as the initial EEG signal.
  • Four channels of initial EEG signals are processed by the processing method provided in the present disclosure, and finally four channels of upstream EEG signals can be formed, and these four channels of EEG signals are mutually orthogonal signals.
  • the initial EEG signal is processed, and after the target EEG signal is obtained, the carrier signal can be fitted to the target EEG signal, so that the receiving end can easily extract the frequency of the EEG signal. Domain characteristics, and according to the instruction analysis, and then can accurately operate the receiving end through the user's EEG signal, and improve the user experience.
  • the initial EEG signal is processed to obtain the target EEG signal with OFDM symbols.
  • the OFDM symbol is the prefix of the signal cycle, that is to say, in the processing method provided by the present disclosure, when transmitting the uplink EEG signal with OFDM symbols, the multi-channel-based OFDM technology is used for the transmission of the uplink EEG signal .
  • the carrier signals corresponding to different acquisition channels are orthogonal signals to each other. Therefore, during the transmission of multiple uplink EEG signals, there will be no interference between target EEG signals carried by different carrier signals.
  • the received initial EEG signal is modulated to obtain an OFDM
  • the step S130 of symbolizing the target EEG signal may include:
  • step S131 the initial EEG signals are processed within a predetermined period of time to obtain the OFDM symbols
  • step S132 the initial EEG signal is processed after the start of the predetermined period of time to obtain the subject target signal, wherein the target EEG signal includes the OFDM symbol and the subject target signal .
  • the subject target signal carries control information with sufficient strength.
  • the step S132 of processing the initial electroencephalogram signal after the start of the predetermined time period to obtain the subject target signal may include:
  • step S132a perform filtering and noise reduction processing on the initial EEG signal after the predetermined period of time, so as to obtain the subject signal after filtering and noise reduction;
  • step S132b the filtered and denoised subject signal is processed to obtain the subject target signal.
  • step S140 Canonical Correlation Analysis (CCA, Canonical Correlation Analysis) can be used to linearly fit the subject target signal and the carrier signal, and the calculation formula is as shown in the following formula (1):
  • x represents the EEG signal
  • y represents the carrier signal
  • ⁇ (x, y) represents the correlation coefficient between the EEG signal and the carrier signal.
  • the EEG signal data when the correlation coefficient ⁇ between the EEG signal x and the carrier signal y is the largest can be calculated by the above formula (1).
  • Both the motor imagery signal and Steady State Visual Evoked Potential (SSVEP, Steady State Visual Evoked Potential) signal after fitting with the carrier signal have obvious amplitude-frequency characteristics, that is, there is an obvious peak at a certain frequency.
  • FFT Fast Fourier Transform
  • the energy peak value in the signal can be obtained, and then the operation instruction carried in the signal can be judged by a predetermined algorithm, and finally the corresponding control signal is generated.
  • a method for controlling an electronic device includes:
  • step S210 an uplink EEG signal is received, and the uplink EEG signal is an uplink EEG signal obtained in the processing method provided in the first aspect of the present disclosure
  • step S220 align the OFDM symbols of the received uplink EEG signals
  • step S230 remove OFDM symbols in each uplink EEG signal after OFDM symbol alignment
  • step S240 decode the uplink EEG signal from which the OFDM symbol has been removed, to obtain a decoded signal
  • step S250 a control signal is generated according to the decoded signal.
  • the control method provided by the present disclosure is executed by an electronic device serving as a receiving end.
  • the electronic device may be an unmanned aerial vehicle.
  • the sending end for example, VR glasses
  • the sending end for example, VR glasses
  • the sending end Since the sending end fits the target EEG signals corresponding to different acquisition channels with different carrier signals, there is no interference between the uplink EEG signals corresponding to different carrier signals, and the uplink EEG signals received by the receiving end are also More accurate (that is, closer to the target EEG signal obtained by the sending end), the control signal generated according to the uplink EEG signal can also more accurately reflect the user's real operation intention, and finally can accurately control the electronic device at the receiving end Correctly implement the user's operation requirements and improve the user experience.
  • step S240 there is no special limitation on how to execute step S240.
  • the uplink EEG signal from which OFDM symbols have been removed can be decoded by fast Fourier transform.
  • step S220 may include:
  • step S221 the delay degree of the uplink EEG signal corresponding to each acquisition channel is determined through an autocorrelation detection algorithm
  • step S222 the OFDM symbols of the uplink EEG signals whose delay exceeds a preset value are filled, so that the OFDM symbols of the uplink EEG signals are aligned.
  • step S221 will be described in detail below.
  • an OFDM symbol can be represented by the following formula (2):
  • s(n) is the signal total amount of the uplink EEG signal within a period of time
  • N represents the number of channels for sending uplink EEG signals, and N is a positive integer
  • Sk represents the modulated signal to be transmitted in the kth channel, k is a natural number, and 0 ⁇ k ⁇ N-1;
  • j represents the imaginary part of the signal.
  • N is 4, and k is selected from 0,1,2,3.
  • the normalized delay autocorrelation detection value M(n) characterizes the delay degree of the uplink EEG signal:
  • the so-called multipath effect means that after the electromagnetic wave propagates through different paths, each component field arrives at the receiving end at different times, and superimposed on each other according to their respective phases to cause interference, causing the original signal to be distorted or error generated.
  • the length of the delay window corresponding to each acquisition channel is adjusted according to the normalized delay detection value of the received uplink EEG signal , to determine the final signal detection time, can eliminate signal interference caused by multipath effect to a large extent, ensure frame synchronization and simultaneous decoding of multiple carrier signals, and can accurately extract the relevant features of EEG signals.
  • a control method for VR glasses is provided, as shown in FIG. 7 , the control method includes:
  • step S310 the image signal sent by the unmanned aerial vehicle is received
  • step S320 scene rendering is performed on the received image signal to obtain a scene rendering result
  • step S330 the rendering result of the scene is displayed
  • step S340 in response to the received EEG signal, execute the EEG signal processing method provided in the first aspect of the present disclosure to obtain the uplink EEG signal;
  • step S350 the uplink EEG signal is sent to the UAV aircraft.
  • control method of VR glasses provided by the present disclosure, not only can the user see the images taken by the drone aircraft from the perspective of the drone aircraft, but also can control the flight of the drone (including controlling the aircraft) through motion imagination. pose, control the ascent of the aircraft, control the descent of the aircraft), etc.
  • the interference of different types of EEG signals in the transmission process can be avoided to the greatest extent, and it is ensured that the UAV aircraft can analyze the information that can reflect the user's real image. Control the signal, and finally complete the flight according to the user's imagination, improving the user experience.
  • the electroencephalogram signal can be collected through the electroencephalogram signal collecting electrodes.
  • different EEG signals can be generated. For example, the EEG signal of imagining the UAV flying vehicle rising, the EEG signal of imagining the UAV flying vehicle descending, the EEG signal of imagining the UAV turning left (the user can imagine his left hand), and the EEG signal of imagining the UAV turning right (the user can imagine his left hand). You can imagine your right hand) have different EEG signals.
  • the UAV aircraft can determine the operation instructions corresponding to the EEG signal and realize the control of the flight of the UAV.
  • steps S310 to S350 are performed in sequence, and steps S340 and S350 are performed in sequence.
  • steps S340 may occur before step S310, may also be performed synchronously with any one of step S310, step S320 and step S330, or may be performed between any two steps of step S310, step S320 and step S330. As long as step S340 is performed before step S350.
  • control method also includes:
  • the abnormal signal of the drone may be a signal that the drone is malfunctioning, or a signal that the battery of the drone is insufficient.
  • the warning information may include displaying a blinking warning icon on the screen. By flashing the warning icon, the user can generate an SSVEP signal, and finally control the UAV to return or land.
  • a signal processing device includes:
  • a first storage module where a first executable program is stored on the first storage module
  • One or more first processors when the one or more first processors invoke the first executable program, can implement the processing method provided by the first aspect of the present disclosure.
  • a control device includes:
  • One or more second processors when the one or more second processors call the second executable program, they can implement the control method provided by the second aspect of the present disclosure.
  • VR glasses are provided, and the VR glasses include the signal processing device provided in the fourth aspect of the present disclosure.
  • the VR glasses may also include:
  • a rendering module the rendering module is used to perform scene rendering on the received image signal to obtain a scene rendering result
  • the display module is used to display according to the rendering result of the scene
  • a communication module the communication module is used for receiving the image signal sent by the unmanned aerial vehicle, and sending the uplink EEG signal.
  • the VR glasses further include a plurality of EEG signal collection electrodes, and the EEG signal collection electrodes are electrically connected to the signal processing device, so as to send the collected initial EEG signal to the signal processing device .
  • an electronic device is provided, and the electronic device includes the control device provided in the fifth aspect of the present disclosure.
  • the electronic device may be an unmanned aerial vehicle.
  • a computer-readable storage medium on which at least one of a first executable program, a second executable program, and a third executable program is stored, wherein,
  • the first aspect processing method provided by the present disclosure can be realized;
  • the present disclosure also provides a VR system, as shown in FIG. 8 , the VR system includes VR flying glasses and an unmanned aerial vehicle.
  • the VR flying glasses include a VR main control device, and the VR main control device can perform steps such as rendering scenes and processing EEG signals.
  • the VR flying glasses also include a signal amplification module, which can amplify the EEG signal processed by the main control device according to the processing method provided in the first aspect of the present disclosure to obtain an uplink EEG signal, and then amplify the EEG signal.
  • Uplink EEG signals are provided to FPGA for signal transmission.
  • the unmanned aerial vehicle includes a camera sensor (Camera Sensor), an unmanned aerial vehicle master control device, an FFT module, a parallel/serial conversion module, and a signal receiving module.
  • the signal receiving module may execute steps S210 to S230 in the control method provided by the second aspect of the present disclosure for the received uplink EEG signals.
  • the parallel/serial conversion module can convert the parallel signal after taking out the OFDM symbols into a serial signal.
  • the FFT module can decode the serial signal.
  • the UAV main control device can analyze the decoded signal to obtain a control signal, and transmit the control signal to the propeller electrode drive module to drive the UAV to fly according to the control signal.
  • the camera sensor can send the collected image signal and the current pose signal of the UAV to the VR glasses for the VR main control device of the VR glasses to render and display the scene.
  • the system may also include an EEG signal acquisition module, the EEG signal acquisition module includes a plurality of EEG signal acquisition electrodes, and the name and setting position of the EEG signal acquisition electrodes can be in accordance with the national standard Setup is required.
  • control of the unmanned aerial vehicle can be realized by collecting the EEG signals generated by the user due to motor imagination, which improves the user experience.
  • the UAV aircraft When the UAV aircraft fails or the power is insufficient, it can send a warning message to the VR glasses. At this time, the VR glasses can play an early warning icon to remind the user and encourage the user to generate a control signal to control the landing of the UAV aircraft. Realize the operation of controlling the landing of the drone.
  • the functional modules/units in the system, and the device can be implemented as software, firmware, hardware, and an appropriate combination thereof.
  • the division between functional modules/units mentioned in the above description does not necessarily correspond to the division of physical components; for example, one physical component may have multiple functions, or one function or step may be composed of several physical components. Components cooperate to execute.
  • Some or all of the physical components may be implemented as software executed by a processor, such as a central processing unit, digital signal processor, or microprocessor, or as hardware, or as an integrated circuit, such as an application-specific integrated circuit .
  • Such software may be distributed on computer readable media, which may include computer storage media (or non-transitory media) and communication media (or transitory media).
  • computer storage media includes both volatile and nonvolatile media implemented in any method or technology for storage of information, such as computer readable instructions, data structures, program modules, or other data. permanent, removable and non-removable media.
  • Computer storage media include, but are not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile disk (DVD) or other optical disk storage, magnetic cartridges, tape, magnetic disk storage or other magnetic storage devices, or can Any other medium used to store desired information and which can be accessed by a computer.
  • communication media typically embodies computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transport mechanism, and may include any information delivery media .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种脑电信号的处理方法、一种信号处理装置、一种电子设备的控制方法、一种VR眼镜的控制方法、一种控制装置、一种VR眼镜、一种电子设备和一种计算机可读存储介质。其中，脑电信号的处理方法包括：接收初始脑电信号（S110）；根据初始脑电信号的采集位置确定初始脑电信号对应的采集通道（S120）；对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号（S130）；将目标脑电信号与目标脑电信号的采集通道对应的载波信号进行拟合，以获得上行脑电信号（S140）；传输上行脑电信号，其中，不同采集通道对应的载波信号互为正交信号（S150）。

Description

处理方法及装置、控制方法及装置、VR眼镜、设备、介质 技术领域
本公开涉及虚拟现实(VR，Virtual Reality)技术领域，具体地，涉及一种脑电信号的处理方法、一种信号处理装置、一种电子设备的控制方法、一种VR眼镜的控制方法、一种控制装置、一种VR眼镜、一种电子设备和一种计算机可读存储介质。
背景技术
虚拟现实技术是多媒体技术的终极应用形式，其主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、并行计算技术以及人的行为学研究等多项关键技术的发展。
VR眼镜是三维模拟显示设备，使用者戴上VR眼镜后，可以产生置身于三维视觉世界的感官感受。
虚拟现实技术与脑-机接口(Brain-Computer Interface)相结合，形成了一种基于虚拟现实的脑-机接口新技术(即，BCI-VR)。该技术主要是通过采集用户的大脑思维活动形成的脑电信号，生成控制电子设备(例如，无人机飞行器)的控制信号。
例如，当电子设备是无人机飞行器时，可以通过VR眼镜采集脑电信号、将脑电信号传输给无人机飞行器，无人机飞行器接收到脑电信号后，可以将脑电信号转换为控制信号，并根据控制信号采集图像，最终将采集到的图像发送会VR眼镜。VR眼镜根据无人机飞行器发回的图像进行图像渲染，使得佩戴VR眼镜的用户可以产生无人机飞行器采集图像的环境中的视觉感受。
对于上述工作模式而言，如何满足上行信号、以及下行信号传输过程中的高传输速率、大容量、抗多径、抗干扰等要求，成为本领域亟待解决的技术问题。
发明内容
本公开的目的在于提供一种脑电信号的处理方法、一种信号处理装置、一种电子设备的控制方法、一种VR眼镜的控制方法、一种控制装置、一种VR眼镜、一种电子设备和一种计算机可读存储介质。
作为本公开的第一个方面，提供一种脑电信号的处理方法，包括：
接收初始脑电信号；
根据所述初始脑电信号的采集位置确定所述初始脑电信号对应的采集通道；
对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号；
将所述目标脑电信号与该目标脑电信号的采集通道对应的载波信号进行拟合，以获得上行脑电信号；
传输所述上行脑电信号，其中，不同采集通道对应的载波信号互为正交信号。
可选地，所述对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号，包括：
对所述初始脑电信号中开始预定时间段内的信号进行处理，以获得所述OFDM符号；
对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号，其中， 所述目标脑电信号包括所述OFDM符号和所述主体目标信号。
可选地，所述对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号，包括：
对所述初始脑电信号中所述开始预定时间段后的信号进行滤波降噪处理，以获得滤波降噪后的主体信号；
对所述滤波降噪后的主体信号进行处理，以获得所述主体目标信号。
作为本公开的第二个方面，提供一种电子设备的控制方法，包括：
接收上行脑电信号，所述上行脑电信号为本公开第一个方面所提供的处理方法中获得的上行脑电信号；
对接收到的各个上行脑电信号的OFDM符号进行对齐；
去掉OFDM符号对齐后的各个上行脑电信号中的OFDM符号；
对去除OFDM符号的上行脑电信号进行解码，获得解码后的信号；
根据所述解码后的信号生成控制信号。
可选地，所述对接收到的各个上行脑电信号的OFDM符号进行对齐，包括：
通过自相关检测算法确定各个采集通道所对应的上行脑电信号的延时程度；
对延时程度超过预设值的上行脑电信号的OFDM符号进行填充，以使得各个上行脑电信号的OFDM符号进行对齐。
作为本公开的第三个方面，提供一种VR眼镜的控制方法，包括：
接收无人机飞行器发送的图像信号；
对接收到的图像信号进行场景渲染，以获得场景渲染结果；
对所述场景渲染结果进行展示；
响应于接收到的脑电信号，执行本公开第一个方面所述的脑电信号处理方法，以获得所述上行脑电信号；
将所述上行脑电信号发送至所述无人机飞行器。
作为本公开的第四个方面，提供一种信号处理装置，所述信号处理装置包括：
第一存储模块，所述第一存储模块上存储有第一可执行程序；
一个或多个第一处理器，所述一个或多个第一处理器调用所述第一可执行程序时，能够实现本公开第一个方面所提供的处理方法。
作为本公开的第五个方面，提供一种控制装置，所述控制装置包括：
第二存储模块，所述第二存储模块上存储有第二可执行程序；
一个或多个第二处理器，所述一个或多个第二处理器调用所述第二可执行程序时，能够实现本公开第二个方面所提供的控制方法。
作为本公开的第六个方面，提供一种VR眼镜，所述VR眼镜包括本公开第四个方面所提供的信号处理装置。
可选地，所述VR眼镜还包括：
渲染模块，所述渲染模块用于对接收到的图像信号进行场景渲染，以获得场景渲染结果；
显示模块，所述显示模块用于根据所述场景渲染结果进行展示；
通信模块，所述通信模块用于接收无人机飞行器发送的图像信号、以及发送所述上行脑电信号。
可选地，所述VR眼镜还包括多个脑电信号采集电极，所述脑电信号采集电极与所述信号处理装置电连接，以将采集到的初始脑电信号发送给所述信号处理装置。
作为本公开的第七个方面，提供一种电子设备，所述电子设备包括本公开第五个方面所提供的控制装置。
作为本公开的第八个方面，提供一种计算机可读存储介质，其上存储有第一可执行程序和/或第二可执行程序和/或第三可执行程序，其中，
当所述第一可执行程序被调用时，能够实现本公开第一个方面所提供的处理方法；
当所述第二可执行程序被调用时，能够实现本公开第二个方面所提供的控制方法；
当所述第三可执行程序被调用时，能够实现真公开第三个方面所提供的控制方法。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本公开所提供的脑电信号的处理方法的一种实施方式的流程图；
图2是脑电信号采集电极的分布示意图；
图3是步骤S130的一种可选实施方式的流程图；
图4是步骤S132的一种可选实施方式的流程图；
图5是本公开所提供的电子设备的控制方法的一种实施方式的流程图；
图6是步骤S220的一种实施方式的流程图；
图7是本公开所提供的VR眼镜的控制方法的一种实施方式的流程图；
图8是本公开所提供的包括VR眼镜和无人机飞行器的系统的框架图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
作为本公开的一个方面，提供一种脑电信号的处理方法，如图1所示，所述处理方法包括：
在步骤S110中，接收初始脑电信号；
在步骤S120中，根据所述初始脑电信号的采集位置确定所述初始脑电信号对应的采集通道；
在步骤S130中，对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用(OFDM，Orthogonal Frequency Division Multiplexing)符号的目标脑电信号；
在步骤S140中，将所述目标脑电信号与该目标脑电信号的采集通道对应的载波信号进行拟合，以获得上行脑电信号；
在步骤S150中，传输所述上行脑电信号，其中，不同采集通道对应的载波信号互为正交信号。
其中，采集位置不同的初始脑电信号对应的采集通道不同。
所述处理方法可以由VR眼镜的处理器执行。
在本公开中，可以通过脑电信号电极采集使用者的初始脑电信号。具体地，如图2所示，可以 将多个脑电信号电极(分别为脑电信号电极A1、脑电信号电极A2、脑电信号电极FP1、脑电信号电极FP2、脑电信号电极F7、脑电信号电极F3、脑电信号电极Fz、脑电信号电极F4、脑电信号电极F8、脑电信号电极FT7、脑电信号电极FC3、脑电信号电极FCz、脑电信号电极FT8、脑电信号电极C3、脑电信号电极Cz、脑电信号电极C4、脑电信号电极T4、脑电信号电极TP7、脑电信号电极CP3、脑电信号电极CPz、脑电信号电极CP4、脑电信号电极TP8、脑电信号电极T5、脑电信号电极P3、脑电信号电极Pz、脑电信号电极P4、脑电信号电极T6、脑电信号电极O1、脑电信号电极Oz、脑电信号电极O2)设置在使用者头部的不同位置，采集使用者大脑各个区域的脑电信号。各个脑电信号电极采集并生成的初始脑电信号携带各自的标识信息，该标识信息用于表征采集所述初始脑电信号的脑电信号电极的位置。
作为一种可选实施方式，可以选择脑电信号电极O1、脑电信号电极Oz、脑电信号电极O2、脑电信号电极Pz所采集的信号作为初始脑电信号。通过本公开所提供的处理方法对四路初始脑电信号进行处理，最终可以形成四路上行脑电信号，且这四路脑电信号互为正交信号。
在本公开所提供的处理方法中，对初始脑电信号进行处理，得到目标脑电信号后，可以将载波信号与所述目标脑电信号进行拟合，从而便于接收端提取脑电信号的频域特性、并据此进行指令解析，进而可以通过用户的脑电信号准确地对接收端进行操作、提升用户体验。
此外，在本公开中，对初始脑电信号进行处理，获得具有正交分频复用OFDM符号的目标脑电信号。OFDM符号是信号循环的前缀，也就是说，在本公开所提供的处理方法中，在传输具有OFDM符号的上行脑电信号时，采用基于多通道的OFDM技术进行所述上行脑电信号的传输。
不同采集通道对应的载波信号互为正交信号，因此，在多个上行脑电信号传输的过程中，不同载波信号所携带的目标脑电信号之间也不会出现干扰现象。
对于大多数人来说，注视某个图像或者事物时，刚开始的一段时间(例如，刚开始的1s内)，注意力总是不够集中。因此，在刚开始的一段时间采集的脑电信号的强度也比后续采集到的脑电信号的强度低。为了使得接收端能够获得足够强的上行信号，作为一种可选实施方式，如图3所示，所述对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号的步骤S130可以包括：
在步骤S131中，对所述初始脑电信号中开始预定时间段内的信号进行处理，以获得所述OFDM符号；
在步骤S132中，对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号，其中，所述目标脑电信号包括所述OFDM符号和所述主体目标信号。
在所述上行脑电信号中，所述主体目标信号携带强度够大的控制信息。
为了进一步提高所述上行信号的质量，如图4所示，所述对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号的步骤S132可以包括：
在步骤S132a中，对所述初始脑电信号中所述开始预定时间段后的信号进行滤波降噪处理，以获得滤波降噪后的主体信号；
在步骤S132b中，对所述滤波降噪后的主体信号进行处理，以获得所述主体目标信号。
在步骤S140中，可以采用典型相关分析法(CCA，Canonical Correlation Analysis)将所述主体 目标信号与载波信号进行线性拟合，计算公式如以下公式(1)所示：
Figure PCTCN2022112077-appb-000001
其中，x表示脑电信号；
y表示载波信号；
ρ(x，y)表示脑电信号和载波信号之间的相关系数。
通过上述公式(1)可以计算得到脑电信号x和载波信号y之间相关系数ρ最大时的脑电信号数据。与载波信号拟合后的运动想象信号和稳态视觉诱发电位(SSVEP，Steady State Visual Evoked Potential)信号都具有明显的幅频特性，即，在某一频率处具有明显波峰。接收端对接收到的信号进行快速傅里叶变换(FFT，Fast Fourier Transform)后，可以得到信号中的能量峰值，再通过预定算法判断信号中携带的操作指令，最终生成相应的控制信号。
作为本公开的第二个方面，提供一种电子设备的控制方法，如图5所示，所述控制方法包括：
在步骤S210中，接收上行脑电信号，所述上行脑电信号为本公开第一个方面所提供的处理方法中获得的上行脑电信号；
在步骤S220中，对接收到的各个上行脑电信号的OFDM符号进行对齐；
在步骤S230中，去掉OFDM符号对齐后的各个上行脑电信号中的OFDM符号；
在步骤S240中，对去除OFDM符号的上行脑电信号进行解码，获得解码后的信号；
在步骤S250中，根据所述解码后的信号生成控制信号。
本公开所提供的控制方法由用作接收端的电子设备执行。作为一种可选实施方式，所述电子设备可以是无人机飞行器。
在本公开中，接收到发送端(例如，VR眼镜)发送的上行脑电信号后，对各个上行脑电信号进行解码时，需要保证多个上行脑电信号之间仍然保持正交关系。由于在通过无线传输信号的过程中会产生时延，为了保证进行解码时的各个信号为正交信号，需要对接收到的各个上行脑电信号的OFDM符号进行对齐，以消除传输时延造成的影响。对接收到的各个上行脑电信号的OFDM符号进行对齐之后，根据OFDM符号的信号结构，却掉该OFDM符号，可以获得主体目标信号对应的信息。对所述主体目标信号对应的信息进行解码后，可以获得脑电信息，最终，根据解码获得的脑电信息可以生成控制所述电子设备的控制信号。
由于发送端将不同采集通道对应的目标脑电信号与不同的载波信号拟合，因此，不同载波信号所对应的上行脑电信号之间的不存在干扰，接收端接收到的上行脑电信号也更加准确(即，更加接近于发送端获得的目标脑电信号)，根据所述上行脑电信号生成的控制信号也能够更加准确地反应用户的真实操作意图，最终能够准确地控制接收端的电子设备正确执行用户的操作需求，提升用户体验。
在本公开中，对如何执行步骤S240不做特殊的限定。如上文中所述，可以通过快速傅里叶变换对去除OFDM符号的上行脑电信号进行解码。
在本公开中，对如何对接收到的各个上行脑电信号的OFDM符号进行对齐不做特殊的限定。 作为一种可选实施方式，如图6所示，步骤S220可以包括：
在步骤S221中，通过自相关检测算法确定各个采集通道所对应的上行脑电信号的延时程度；
在步骤S222中，对延时程度超过预设值的上行脑电信号的OFDM符号进行填充，以使得各个上行脑电信号的OFDM符号进行对齐。
作为一种可选实施方式，下面对步骤S221进行详细介绍。
在本公开中，OFDM符号可以用以下公式(2)表示：
Figure PCTCN2022112077-appb-000002
其中，s(n)为一段时间内上行脑电信号的信号总量；
N表示发送上行脑电信号的通道的数量，N为正整数；
Sk表示第k个通道中需要传输的调制信号，k为自然数，且0≤k≤N-1；
j表示信号的虚部。
作为一种可选实施方式，N为4，k取自0,1,2,3。
对每一路OFDM符号进行归一化延时自相关检测的步骤包括：
将待检测信号延迟D个采样点数目后，取其共轭值Sk*(n+D)；
将上述共轭值与相应的原信号相乘；
利用长度为W的滑窗对结果进行累加后得到延时乘积之和C(n)，该延时乘积之和采用公式(3)表示：
Figure PCTCN2022112077-appb-000003
根据公式(4)计算滑动窗口内的信号能量值P(n)：
Figure PCTCN2022112077-appb-000004
根据公式(5)归一化延时自相关检测值M(n)，该归一化延时自相关检测值表征上行脑电信号的时延程度：
Figure PCTCN2022112077-appb-000005
多个互相正交的信号在传输的过程中也会存在多径效应。所谓多径效应是指电磁波经不同路径传播后,各分量场到达接收端时间不同，按各自相位相互叠加而造成干扰，使得原来的信号失真，或者产生错误。在本公开所提供的控制方法中，接收到各个采集通道对应的上行脑电信号后，根据接收到的上行脑电信号进行归一化时延检测值调整各采集通道对应的延时窗口的长度，确定最终的信号检测时间，可以在很大程度上消除多径效应造成的信号干扰，保证帧同步以及多路载波信号同时解码，并能准确地提取脑电信号的相关特征。
作为本公开的第三个方面，提供一种VR眼镜的控制方法，如图7所示，所述控制方法包括：
在步骤S310中，接收无人机飞行器发送的图像信号；
在步骤S320中，对接收到的图像信号进行场景渲染，以获得场景渲染结果；
在步骤S330中，对所述场景渲染结果进行展示；
在步骤S340中，响应于接收到的脑电信号，执行本公开第一个方面所提供的脑电信号处理方法，以获得所述上行脑电信号；
在步骤S350中，将所述上行脑电信号发送至所述无人机飞行器。
通过执行本公开所提供的VR眼镜的控制方法，不仅可以使用户以无人机飞行器的视角看到无人机飞行器拍摄的图像，还可以通过运动想象来控制无人机的飞行(包括控制飞行器的位姿、控制飞行器的上升、控制飞行器的下降)等。
并且，通过本公开所提供的处理方法对脑电信号进行处理，可以最大程度的避免不同类型的脑电信号在传输过程中发生干扰，确保无人机飞行器能够解析出能够反应用户真实以图的控制信号，并最终按照用户的想象完成飞行，提升用户体验。
如上文中所述，可以通过脑电信号采集电极采集脑电信号。用户产生不同的运动想象时，可以产生不同的脑电信号。例如，想象无人机飞行器上升的脑电信号、想象无人机飞行器下降的脑电信号、想象无人机左旋(用户可以想象自己的左手)的脑电信号和想象无人机右旋(用户可以想象自己的右手)的脑电信号互不相同。无人机飞行器通过对上行脑电信号进行解码，可以确定脑电信号对应的操作指令，并实现对无人机飞行的控制。
需要指出的是，虽然上文中按照步骤S310至步骤S350的顺序对所述控制方法进行了描述，但是，步骤S310至步骤S330是依序进行，步骤S340和步骤S350是依序进行，但是，步骤S340可以发生在步骤S310之前、也可以和步骤S310、步骤S320和步骤S330中的任意一者同步进行，还可以在步骤S310、步骤S320和步骤S330中任意两个步骤之间进行。只要步骤S340在步骤S350之前进行即可。
为了确保无人机飞行器的安全，可选地，所述控制方法还包括：
响应于所述无人机飞行器发送的无人机异常信号，显示预警信息。
此处，无人机异常信号可以为无人机发生故障的信号，也可以为无人机电量不足的信号。
此处，所述预警信息可以包括在画面上显示闪烁的告警图标。通过闪烁告警图标，可以机理用户产生SSVEP信号，并最终控制无人机进行返航或者降落等操作。
作为本公开的第四个方面，提供一种信号处理装置，所述信号处理装置包括：
第一存储模块，所述第一存储模块上存储有第一可执行程序；
一个或多个第一处理器，所述一个或多个第一处理器调用所述第一可执行程序时，能够实现本公开第一个方面所提供的处理方法。
作为本公开的第五个方面，提供一种控制装置，所述控制装置包括：
第二存储模块，所述第二存储模块上存储有第二可执行程序；
一个或多个第二处理器，所述一个或多个第二处理器调用所述第二可执行程序时，能够实现本公开第二个方面所提供的控制方法。
作为本公开的第六个方面，提供一种VR眼镜，所述VR眼镜包括本公开第四个方面所提供的信号处理装置。
进一步地，所述VR眼镜还可以包括：
渲染模块，所述渲染模块用于对接收到的图像信号进行场景渲染，以获得场景渲染结果；
显示模块，所述显示模块用于根据所述场景渲染结果进行展示；
通信模块，所述通信模块用于接收无人机飞行器发送的图像信号、以及发送所述上行脑电信号。
可选地，所述VR眼镜还包括多个脑电信号采集电极，所述脑电信号采集电极与所述信号处理装置电连接，以将采集到的初始脑电信号发送给所述信号处理装置。
作为本公开的第七个方面，提供一种电子设备，所述电子设备包括本公开第五个方面所提供的控制装置。
作为一种可选实施方式，所述电子设备可以为无人机飞行器。
作为本公开的第八个方面，提供一种计算机可读存储介质，其上存储有第一可执行程序、第二可执行程序和第三可执行程序中的至少一者，其中，
当所述第一可执行程序被调用时，能够实现本公开第一个所提供的方面处理方法；
当所述第二可执行程序被调用时，能够实现本公开第二个方面所提供的控制方法；
当所述第三可执行程序被调用时，能够实现本公开第三个方面所提供的控制方法。
本公开还提供一种VR系统，如图8所示，该VR系统包括VR飞行眼镜和无人机飞行器。
所述VR飞行眼镜包括VR主控装置，该VR主控装置可以执行渲染场景、脑电信号的处理等步骤。
所述VR飞行眼镜还包括信号放大模块，该信号放大模块能够对经过主控装置按照本公开第一个方面所提供的处理方法处理后的脑电信号进行放大处理得到上行脑电信号，然后将上行脑电信号提供给FPGA，以进行信号传输。
所述无人机飞行器包括摄像头传感器(Camera Sensor)、无人机主控装置、FFT模块、并/串转换模块、以及信号接收模块。
信号接收模块可以对接收到的上行脑电信号执行本公开第二个方面所提供给的控制方法中的步骤S210至步骤S230。
并/串转换模块可以将取出OFDM符号后的并行信号转换为串行信号。
FFT模块可以对所述串行信号进行解码。
所述无人机主控装置可以对解码后的信号进行分析获得控制信号，并将所述控制信号传输给螺旋桨电极驱动模块，以驱动无人机按照控制信号飞行。
摄像头传感器可以把采集到的图像信号以及无人机飞行器的当前位姿信号发送给VR眼镜，以供VR眼镜的VR主控装置进行场景渲染和显示。
作为一种可选实施方式，所述系统还可以包括脑电信号采集模块，该脑电信号采集模块包括多个脑电信号采集电极，脑电信号采集电极的名称、以及设置位置均可以按照国标要求进行设置。
在所述系统中，可以通过采集用户因运动想象而产生的脑电信号来实现对无人机飞行器的控制，提升了用户体验。
当无人机飞行器发生故障或者电量不足时，可以向VR眼镜发出告警信息，此时，VR眼镜可以播放预警图标，对用户进行提醒，并激励用户产生控制无人机飞行器降落的控制信号，以实现控制无人机降落的操作。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能， 或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (14)

  1. 一种脑电信号的处理方法，包括：
    接收初始脑电信号；
    根据所述初始脑电信号的采集位置确定所述初始脑电信号对应的采集通道；
    对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号；
    将所述目标脑电信号与该目标脑电信号的采集通道对应的载波信号进行拟合，以获得上行脑电信号；
    传输所述上行脑电信号，其中，不同采集通道对应的载波信号互为正交信号。
  2. 根据权利要求1所述的处理方法，其中，所述对接收到的初始脑电信号进行调制处理，以获得具有正交分频复用OFDM符号的目标脑电信号，包括：
    对所述初始脑电信号中开始预定时间段内的信号进行处理，以获得所述OFDM符号；
    对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号，其中，所述目标脑电信号包括所述OFDM符号和所述主体目标信号。
  3. 根据权利要求2所述的处理方法，其中，所述对所述初始脑电信号中所述开始预定时间段后的信号进行处理，以获得主体目标信号，包括：
    对所述初始脑电信号中所述开始预定时间段后的信号进行滤波降噪处理，以获得滤波降噪后的主体信号；
    对所述滤波降噪后的主体信号进行处理，以获得所述主体目标信号。
  4. 一种电子设备的控制方法，包括：
    接收上行脑电信号，所述上行脑电信号为权利要求1至3中任意一项所述的处理方法中获得的上行脑电信号；
    对接收到的各个上行脑电信号的OFDM符号进行对齐；
    去掉OFDM符号对齐后的各个上行脑电信号中的OFDM符号；
    对去除OFDM符号的上行脑电信号进行解码，获得解码后的信号；
    根据所述解码后的信号生成控制信号。
  5. 根据权利要求4所述的控制方法，其中，所述对接收到的各个上行脑电信号的OFDM符号进行对齐，包括：
    通过自相关检测算法确定各个采集通道所对应的上行脑电信号的延时程度；
    对延时程度超过预设值的上行脑电信号的OFDM符号进行填充，以使得各个上行脑电信号的OFDM符号进行对齐。
  6. 一种VR眼镜的控制方法，包括：
    接收无人机飞行器发送的图像信号；
    对接收到的图像信号进行场景渲染，以获得场景渲染结果；
    对所述场景渲染结果进行展示；
    响应于接收到的脑电信号，执行权利要求1至3中任意一项所述的脑电信号处理方法，以获得所述上行脑电信号；
    将所述上行脑电信号发送至所述无人机飞行器。
  7. 根据权利要求6所述的控制方法，其中，所述控制方法还包括：
    响应于所述无人机飞行器发送的无人机异常信号，显示预警信息。
  8. 一种信号处理装置，所述信号处理装置包括：
    第一存储模块，所述第一存储模块上存储有第一可执行程序；
    一个或多个第一处理器，所述一个或多个第一处理器调用所述第一可执行程序时，能够实现权利要求1至3中任意一项所述的处理方法。
  9. 一种控制装置，所述控制装置包括：
    第二存储模块，所述第二存储模块上存储有第二可执行程序；
    一个或多个第二处理器，所述一个或多个第二处理器调用所述第二可执行程序时，能够实现权利要求4或5所述的控制方法。
  10. 一种VR眼镜，所述VR眼镜包括：
    权利要求8述的信号处理装置。
  11. 根据权利要求10所述的VR眼镜，其中，所述VR眼镜还包括：
    渲染模块，所述渲染模块用于对接收到的图像信号进行场景渲染，以获得场景渲染结果；
    显示模块，所述显示模块用于根据所述场景渲染结果进行展示；
    通信模块，所述通信模块用于接收无人机飞行器发送的图像信号、以及发送所述上行脑电信号。
  12. 根据权利要求10或11所述的VR眼镜，其中，所述VR眼镜还包括多个脑电信号采集电极，所述脑电信号采集电极与所述信号处理装置电连接，以将采集到的初始脑电信号发送给所述信号处理装置。
  13. 一种电子设备，所述电子设备包括权利要求9述的控制装置。
  14. 一种计算机可读存储介质，其上存储有第一可执行程序、第二可执行程序和第三可执行程序中的至少一者，其中，
    当所述第一可执行程序被调用时，能够实现权利要求1至3中任意一项所述的处理方法；
    当所述第二可执行程序被调用时，能够实现权利要求4或5所述的控制方法；
    当所述第三可执行程序被调用时，能够实现权利要求6或7所述的控制方法。
PCT/CN2022/112077 2021-08-18 2022-08-12 处理方法及装置、控制方法及装置、vr眼镜、设备、介质 WO2023020380A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110948060.6A CN115707430A (zh) 2021-08-18 2021-08-18 处理方法及装置、控制方法及装置、vr眼镜、设备、介质
CN202110948060.6 2021-08-18

Publications (1)

Publication Number Publication Date
WO2023020380A1 true WO2023020380A1 (zh) 2023-02-23

Family

ID=85212438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/112077 WO2023020380A1 (zh) 2021-08-18 2022-08-12 处理方法及装置、控制方法及装置、vr眼镜、设备、介质

Country Status (2)

Country Link
CN (1) CN115707430A (zh)
WO (1) WO2023020380A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540883A (zh) * 2023-07-07 2023-08-04 之江实验室 一种信号采集的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217100A1 (en) * 2009-02-25 2010-08-26 Leboeuf Steven Francis Methods and Apparatus for Measuring Physiological Conditions
CN104783776A (zh) * 2015-04-23 2015-07-22 天津大学 生物电与正交正弦波调制多路信号的单路采集装置及方法
CN106292705A (zh) * 2016-09-14 2017-01-04 东南大学 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及系统
US20190319642A1 (en) * 2018-04-05 2019-10-17 Qatar Foundation For Education, Science And Community Development Device and method for compressing a data stream

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1791079A (zh) * 2004-12-16 2006-06-21 北京六合万通微电子技术有限公司 正交频分复用系统中估计相位误差的方法
US7965649B2 (en) * 2005-11-04 2011-06-21 Samsung Electronics Co., Ltd. Apparatus and method for feedback of subcarrier quality estimation in an OFDM/OFDMA system
US9192353B2 (en) * 2009-10-27 2015-11-24 Innurvation, Inc. Data transmission via wide band acoustic channels
CN102232833B (zh) * 2011-07-22 2013-05-08 华南理工大学 基于过采样多频多幅联合估计听觉诱发电位的测听装置
CN109743656B (zh) * 2019-03-15 2023-04-11 南京邮电大学 基于脑电意念的智能运动耳机及其实现方法与系统
CN111728608A (zh) * 2020-06-29 2020-10-02 中国科学院上海高等研究院 基于增强现实的脑电信号分析方法、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217100A1 (en) * 2009-02-25 2010-08-26 Leboeuf Steven Francis Methods and Apparatus for Measuring Physiological Conditions
CN104783776A (zh) * 2015-04-23 2015-07-22 天津大学 生物电与正交正弦波调制多路信号的单路采集装置及方法
CN106292705A (zh) * 2016-09-14 2017-01-04 东南大学 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法
US20190319642A1 (en) * 2018-04-05 2019-10-17 Qatar Foundation For Education, Science And Community Development Device and method for compressing a data stream
CN109814720A (zh) * 2019-02-02 2019-05-28 京东方科技集团股份有限公司 一种设备的脑控方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WU, YANLING: "Research on Data Compression Based on MP and Signal Identification", CHINA MASTER'S THESES FULL-TEXT DATABASE, 8 January 2011 (2011-01-08), CN, pages 1 - 63, XP009544027 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540883A (zh) * 2023-07-07 2023-08-04 之江实验室 一种信号采集的方法、装置、存储介质及电子设备
CN116540883B (zh) * 2023-07-07 2023-09-19 之江实验室 一种信号采集的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN115707430A (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
JP6439820B2 (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
US10977774B2 (en) Information processing apparatus, information processing method, and program for estimating prediction accuracy
CN107862270B (zh) 人脸分类器训练方法、人脸检测方法及装置、电子设备
WO2023020380A1 (zh) 处理方法及装置、控制方法及装置、vr眼镜、设备、介质
KR20190132415A (ko) 적응형 컨볼루션 및 적응형 분리형 컨볼루션을 통한 프레임 인터폴레이션
CN109712144A (zh) 面部图像的处理方法、训练方法、设备和存储介质
CN107071389A (zh) 航拍方法、装置和无人机
EP3823267B1 (en) Static video recognition
CN105068649A (zh) 基于虚拟现实头盔的双目手势识别装置及方法
CN104010180B (zh) 三维视频滤波方法和装置
CN112153306A (zh) 图像采集系统、方法、装置、电子设备及可穿戴设备
US20130022236A1 (en) Apparatus Capable of Detecting Location of Object Contained in Image Data and Detection Method Thereof
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN107622480A (zh) 一种Kinect深度图像增强方法
US11302021B2 (en) Information processing apparatus and information processing method
JP2012119783A (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
CN103777757A (zh) 一种结合显著性检测的在增强现实中放置虚拟对象的系统
KR20200116649A (ko) Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템
WO2018200734A1 (en) Field-of-view prediction method based on non-invasive eeg data for vr video streaming services
CN113362243B (zh) 模型训练方法、图像处理方法及装置、介质和电子设备
CN108509830B (zh) 一种视频数据处理方法及设备
CN107944346B (zh) 基于图像处理的异常情况监测方法及监测设备
US20190041975A1 (en) Mechanisms for chemical sense response in mixed reality
CN113657154A (zh) 活体检测方法、装置、电子装置和存储介质
EP4198772A1 (en) Method and device for making music recommendation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22857692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.06.2024)