WO2025215147A1 - Interface neuronale directe améliorée par élaboration d'un modèle - Google Patents

Interface neuronale directe améliorée par élaboration d'un modèle

Info

Publication number
WO2025215147A1
WO2025215147A1 PCT/EP2025/059869 EP2025059869W WO2025215147A1 WO 2025215147 A1 WO2025215147 A1 WO 2025215147A1 EP 2025059869 W EP2025059869 W EP 2025059869W WO 2025215147 A1 WO2025215147 A1 WO 2025215147A1
Authority
WO
WIPO (PCT)
Prior art keywords
signals
signal
eeg
current
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2025/059869
Other languages
English (en)
Inventor
Yann MICHEL ALMERAS
Cyril Plapous
Christian Gregoire
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of WO2025215147A1 publication Critical patent/WO2025215147A1/fr
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • the present disclosure relates to the field of detection of potentials evoked by direct neural interfaces (or BCI hereinafter, for “Brain Computer Interface”).
  • evoked potentials can be auditory, or alternatively, visual, tactile, etc.
  • An evoked potential is a signal that appears in electroencephalogram (EEG) signals when a user is subjected to a stimulus.
  • EEG electroencephalogram
  • the stimulus is auditory and consists of a sound with a carrier frequency to which a sinusoidal amplitude modulation is applied.
  • Equipment such as a headset with EEG signal sensors can measure EEG signals and find the modulation frequency in these signals.
  • An example of a stimulus used for an SSAEP application might be a sinusoidal function at a frequency audible to all (e.g., 20Hz to 20kHz), modulated by a second sine wave at another frequency, such as 1 to 200Hz.
  • the high-frequency sine wave is the carrier and allows a user to simply hear the “beeps” of the low-frequency modulating signal. It is the modulating signal that is the information of interest.
  • BCI Brain Computer Interface
  • EEG signals electroencephalogram signal sensors
  • the signal can include a sinusoidal modulation or can consist of successive beeps at the aforementioned modulation frequency.
  • An analysis of the user's EEG signals reveals the presence of a frequency corresponding to the aforementioned modulation frequency. It is therefore possible to design a BCI interface, according to which several stimuli from respective sources HP1, HP2, HP3, having different modulation frequencies and representing for example different respective instructions for controlling a machine (for example “turn left”, “turn right”, “brake”), are presented simultaneously to a user and the latter concentrates on one of them so that his EEG signals reveal the frequency of one of the stimuli HPi and the function associated with this stimulus is then executed by the machine.
  • the stimuli are delivered by respective loudspeakers HP1, HP2, HP3... and the user focuses on one of these sound sources.
  • the interface signal (stimulus applied to the user UT) is for example an audio signal to detect a physiological signal of the SSAEP type (for “Steady-State Auditory Evoked Potential”).
  • the stimulus is therefore auditory and consists of a sound at a carrier frequency to which a sinusoidal or square-wave modulation is applied, at a modulation frequency lower than the carrier.
  • the stimuli are generally constructed with a carrier frequency, and modulated in amplitude, power or energy, by a signal having a second, lower frequency. If the stimulation signal is effective, the EEG signal measured by the headset of the BCI interface has a frequency corresponding to the modulation frequency.
  • Some users may be more sensitive to certain colors than others to retain their attention.
  • the choice of color (and therefore of the carrier frequency fp) may be important, particularly at certain times of the day for the same user, to efficiently collect EEG signals revealing a usable evoked potential (i.e. having a frequency corresponding to the modulation or “flashing” frequency of the light source).
  • a wavelength of 0.5 ⁇ m can be used for blue as the color of visual stimuli in some subjects, or a wavelength of 0.55 ⁇ m for green to which some users are more sensitive, or 0.65 ⁇ m for red, a color to which other users are even more sensitive, etc.
  • stimulus signals can indeed allow the collection of EEG signals in which the modulation frequency can be recovered with a degree of certainty above a threshold.
  • the obtained EEG signals are very noisy and the exact identification of a modulation frequency, especially among several possible modulation frequencies, can be difficult.
  • a method for determining a direct neural interface signal by detecting an evoked potential in an electroencephalogram signal of a user in response to a stimulus signal emission intended for the user comprising: - obtain electroencephalogram signals in reaction to successive emissions of respective stimulus signals, - obtaining magnetic resonance signals in response to successive emissions of said respective stimulus signals, - implement artificial intelligence to distinguish between the electroencephalogram signals obtained, by learning from the magnetic resonance signals obtained in reaction to the same respective stimulus signals, and - using said artificial intelligence to identify a current stimulus signal from a current electroencephalogram signal, obtained in response to the emission of said current stimulus signal.
  • This learning on magnetic resonance signals may typically include an observation of differences between the different MRI signals obtained for different stimuli, while such differences do not appear significant in the electroencephalogram signals (or “EEG” hereinafter) obtained for the same stimuli.
  • EEG electroencephalogram signals
  • the aforementioned current stimulus signal may be one of said respective stimulus signals (used for learning the artificial intelligence).
  • this implementation is not essential and may remain optional to the extent that the artificial intelligence, having been built by learning on a large number of different stimuli, may prove sufficiently robust during its exploitation phase to identify a current stimulus not necessarily appearing among the stimuli used for its learning.
  • the implementation of artificial intelligence may include the development of a first model capable of identifying a current stimulus signal from a current electroencephalogram signal, obtained in reaction to the emission of this current stimulus signal.
  • this first model then makes it possible, in a common situation where a stimulus is presented to a user, to determine the stimulus that was presented to the user by measuring their EEG signals, even though these EEG signals could be highly noisy, thanks to learning on the MRI signals.
  • the development of the aforementioned first model may comprise the development of a second model (prior to the development of the first model), this second model being capable of identifying a given stimulus signal among said respective stimulus signals, from a magnetic resonance signal obtained in reaction to the emission of one of said respective stimulus signals.
  • the first aforementioned model is obtained from the second model, for example by transfer learning.
  • the aforementioned electroencephalogram signals and magnetic resonance signals are obtained in response to the emissions of said respective stimulus signals intended for at least one user.
  • the first aforementioned model can for example be developed for this same user.
  • the electroencephalogram signals and the magnetic resonance signals can be obtained according to one of the following methods: - simultaneously on the said same user (for example by collecting EEG signals through a suitable headset while the user is in an MRI cabin); - separately on the same user (a first sequence by MRI for example, and a following sequence by EEG).
  • the electroencephalogram signals and the magnetic resonance signals are obtained in response to the emissions of said respective stimulus signals intended for a plurality of categories of users, the implementation of the artificial intelligence comprising the development of a plurality of respective first models and one of these first models is chosen for a current user in order to identify a current stimulus signal from a current electroencephalogram signal, obtained on the current user.
  • the first model chosen can for example be selected from a plurality of first models pre-recorded as best suited to the current user.
  • the method may further comprise an adaptation of the chosen model to the current user, by learning based on an analysis of electroencephalogram signals obtained in reaction to stimuli applied to the current user.
  • the method may further comprise an adaptation of the chosen model to the current user, by learning based on an analysis of magnetic resonance signals obtained in reaction to stimuli applied to the current user.
  • the current user makes a passage in the MRI cabin to obtain some MRI signals to reinforce the determination of his first personal model.
  • this is only a relatively short MRI sequence compared to the MRI measurements allowing the development of an initial model specific to a category of users.
  • the present description also relates to a computer program comprising instructions for implementing the above method, when executed by a processor.
  • a non-transitory recording medium readable by a computer, on which such a program is recorded.
  • the present description also relates to a neural signal detection model generator comprising a processing circuit for implementing the above method.
  • this generator can create the second model mentioned above (based on MRI measurements), then the first model (based on EEG measurements), for example by transfer learning from the second model, and more generally by learning artificial intelligence. However, it can still implement the inference of the first model (exploitation of artificial intelligence) in order to possibly refine the first model, if necessary.
  • this model generator may comprise, for example, a server configured to construct and store a plurality of models capable of identifying a current stimulus signal from a current electroencephalogram signal, obtained in response to the emission of this current stimulus signal.
  • this server can store a base of initial models from which a selection or weighting can be carried out to develop a model suitable for a given user.
  • This description also relates to a device for controlling a direct neural interface using the artificial intelligence implemented in the above method.
  • Such a driving device may include a processing circuit configured to drive the direct neural interface (BCI), and typically interpret the collected EEG signals to identify (or attempt to identify) a stimulus that may have been presented to a current user.
  • BCI direct neural interface
  • this control device can, in one embodiment, be further configured to test a plurality of models capable of identifying a current stimulus signal from a current electroencephalogram signal, obtained in reaction to the emission of this current stimulus signal on a current user, and to select one of these tested models as best suited to the current user (or weight these tested models to construct a model best suited to the current user).
  • FIG. 1 schematically illustrates the principle of a BCI interface according to one embodiment.
  • FIG. 1 illustrates an example of steps that a method of the above type may include, according to one embodiment.
  • FIG. 1 illustrates an exemplary embodiment of a computer device for controlling a BCI interface and implementing an inference phase of a model of the aforementioned type, according to one embodiment.
  • FIG. 1 illustrates an exemplary embodiment of a computer device for implementing a learning phase to construct a model of the aforementioned type, according to one embodiment.
  • step S10 of the illustrates an example of a detail of the implementation of step S10 of the , according to a possible embodiment to refine the model intended for a current user of a BCI interface.
  • EEG electroencephalogram signals
  • BCI Brain Computer Interface
  • EEG signals can be collected by sensors distributed on a helmet as shown in the , and typically connected to an analysis circuit which may include a computer or tablet (not shown).
  • a computer or tablet may, with the sensor headset, constitute a simple, portable and more responsive interface device than other brain reaction analysis devices which require heavy equipment such as magnetic resonance imaging (“MRI” or “functional” MRI) devices.
  • MRI magnetic resonance imaging
  • An interface based on EEG signal sensors as shown in the indeed has the advantage of being portable and easy to implement.
  • this technique suffers from a lower spatial resolution than the aforementioned MRI, fMRI techniques, or even more invasive techniques using sensors such as EEG electrodes directly implanted in the brain, which are not (today) suitable for a general public target.
  • the signal collected by an interface of the type illustrated in the is also often noisy, i.e. having an unfavorable signal-to-noise ratio.
  • the analysis of the collected EEG signals requires the implementation of signal processing methods, in particular assisted by artificial intelligence (in particular by learning, or "Machine Learning”). It can then be planned to carry out learning on identified (or “labeled”, “tagged") EEG signals and then infer on EEG signals to be classified.
  • the quality of a Machine Learning model depends on the quality of the EEG signals which are by nature very noisy and as mentioned above, suffer from limited spatial resolution.
  • the solution proposed in this description is based on machine learning carried out on both EEG signals and MRI capture.
  • the learning phase can use two types of signals: EEG signals and MRI or functional MRI signals.
  • the MRI or functional MRI technique allows to measure a parameter linked to the blood flow in certain areas of the brain.
  • a technique based on EEG signals allows to measure evoked potentials and therefore an electrical activity which requires the blood flow of the aforementioned type.
  • the types of signals measured by MRI and EEG are indeed linked to the same brain activity of the user.
  • the MRI signals are then used initially to learn a first model.
  • this first model is adapted, by transfer learning, in order to use only the EEG signals as input, but keeping the same purpose as the first model (based on MRI).
  • Transfer Learning aims to transfer knowledge from one or more source tasks to one or more target tasks, and allows a computer entity to recognize and apply knowledge and skills, learned from previous tasks (for example here MRI signal analysis), for new tasks in domains sharing similarities (typically here EEG signal analysis, for the same stimuli).
  • two stimuli ST1 and ST2 cause the generation of respective EEG signals from which a useful parameter Su(EEG) is derived (for example, a frequency in the evoked potentials, or other).
  • a useful parameter Su(EEG) for example, a frequency in the evoked potentials, or other.
  • the values of this parameter can be sufficiently different despite the noise present in the collected EEG signals, to be able to distinguish the two stimuli ST1 and ST2 that were generated because, for example, the respective error bars related to the determinations of these values are well separated.
  • the values of this parameter are not sufficiently distinct because of the noise present in the collected EEG signals, to be able to distinguish the two stimuli ST3 and ST4 that were generated because in this example the respective error bars related to the determinations of these values partially overlap.
  • EEG detection (which can be used by a conventional direct neural interface BCI) is not sufficient here on its own to distinguish the two stimuli ST3 and ST4 that were generated, in the illustrated example.
  • An artificial intelligence can then learn to typically discriminate the useful parameters Su(EEG) measured from the EEG signals in response to the ST1 to ST4 stimuli, thanks to the differences observed between the useful parameter values Su(MRI) measured from the MRI signals in response to the same ST1 to ST4 stimuli.
  • artificial intelligence can, thanks to this learning, distinguish the useful parameter values Su(EEG)+IA taken from the EEG signals and identify the stimulus (for example among ST1, ST2, ST3 and ST4) which caused a given value of this useful parameter.
  • artificial intelligence can recognize the stimulus among the ST1 to ST4 learning stimuli that causes an EEG signal of measured useful value.
  • EEG and MRI signals are obtained and recorded with the two detection methods (EEG and MRI) implemented for example separately (for example MRI, then EEG) according to a first embodiment.
  • EEG and MRI the two detection methods
  • Each user is thus subject to MRI measurements in the cabin, then to EEG measurements by an EEG headset, from the same stimuli.
  • This first embodiment offers the advantage of avoiding interference effects linked to the specificities of the two techniques (for example, the use of an EEG headset of the type shown in the , in an MRI cabin). Nevertheless, the disturbances generated by the magnetic field linked to the use of the MRI technique on EEG signal sensors can now be controlled and compensated for by techniques known per se.
  • simultaneous recording of the signals from both MRI and EEG techniques can be provided.
  • Such an implementation allows for better synchronization, with identical test conditions.
  • Such an implementation requires placing a user equipped with an EEG headset (with a number and positioning of electrodes in relation to the area of the brain a priori concerned by the task to be learned, or a headset with electrodes distributed uniformly on the skull to learn a set of tasks of different natures: audio, visual, touch, or others), and this in a closed MRI cabin.
  • the inference phase is then carried out using only the EEG signals.
  • a first step S1 consists of placing one or more users of a first group UT1 in an MRI cabin and applying successive stimuli ST to them, to collect MRI signals which are processed and analyzed in step S2 (for example to deduce successive values of useful parameters Su(MRI)).
  • a MOD(MRI) model is built by learning, capable of identifying stimuli which have been applied to the users UT1, based on the MRI signals which can be measured.
  • step S4 which consists of now measuring the EEG electroencephalogram signals for a user or a group of users UT2, in reaction to the same ST stimuli which are applied to this or these users UT2.
  • the group of users UT2 can be identical or different from the group of users UT1, since the morphological signals measured by MRI or by EEG electroencephalogram are caused by the same ST stimuli.
  • the collected EEG signals are analyzed and processed in step S5 to obtain, by learning, a MOD(EEG) model capable of identifying a stimulus which has been applied, simply from EEG signal measurements, by Transfer Learning in step S6.
  • step S7 data from this last MOD(EEG) model can then be stored in a memory MEM, for example of a server SER to which a computing device of a BCI interface can subsequently connect for an inference phase as described below.
  • a user UT3 (who is not necessarily among users UT1 and/or UT2) receives a current stimulus STi and a corresponding EEGi signal is captured by the BCI headset.
  • the data of this EEGi signal can be transmitted to the aforementioned server SER (via a wide area network, or “the cloud”). Alternatively, they can be processed locally by a computing device of the BCI interface.
  • the data of this current EEGi signal are used by the MOD(EEG) model (via the cloud or locally) to determine, in step S11, which stimulus STi caused this current EEGi signal, and thus operate the BCI interface in step S12.
  • the aforementioned server SER can store a plurality of models MOD1, MOD2, ..., MODN obtained for respective categories of users in steps S1 to S7 of the . These models can be tested successively on the current user in step 101, to search for the MODj model capable of interpreting the EEG signals of the current user as best corresponding to the ST stimuli applied to the current user. Once this MODj model has been thus selected in step S102, tests can be applied in step S103 to determine whether this MODj model must be further improved by additional learning specific to the current user.
  • an inference of this MODj model can be based on the set of ST stimuli applied in step S4 of the , but here on the current user to determine whether the MODj model manages to identify, via the analysis of the EEG signals from the current user, a part above a threshold of all the stimuli applicable to step S4.
  • step S103 If this is the case (OK arrow at the output of test S103), then the MODj model is satisfactory and retained as such in step S102.
  • test S103 is negative (KO arrow) for example because a number of stimuli greater than the aforementioned threshold could not be identified by the sole analysis of the EEG signals of this current user)
  • additional learning is carried out in step S104 to perfect the MODj model. This additional learning can be based on the EEG signals to be recognized, following the emission of particular stimuli, applied to this current user.
  • step S104 If the learning of step S104 is not sufficient to perfect the MODj model and MRI signals are still necessary for the development of a robust model specific to this current user, it can be provided, in step S105 (optional), to record: - a series of MRI signals on the current user (in the MRI cabin) in reaction to stimuli applied to the current user as in step S1 of the , - build a model based on these MRI signals as in step S3 of the , And - apply transfer learning based on EEG signals as in step S6 of the , to refine the MODj model, specific to the current user.
  • the current user's time in the MRI cabin in this new step S105 may be shorter than in step S1 of the because only a limited series of stimuli to be correlated with the observed MRI signals can be applied to fit the MODj model specific to the current user.
  • a DIS-BCI device for controlling a BCI interface, comprising: - an INT1 input interface for receiving EEGi current signals, - a memory MEM storing data of the MOD(EEG) model constructed by implementing the above method, and instruction data of a first computer program for using the data of the MOD(EEG) model to identify a stimulus STi which caused a current signal EEGi, and possibly to select this MOD(EEG) model from a plurality of predefined models and possibly adjust the selected model to specificities of a user of the BCI interface, - a processor PROC capable of accessing the memory MEM (which can be local in the DIS-BCI device or remote in the case of a remote server SER) to read the data of the model and execute the instructions of the first computer program to identify the stimulus STi which caused the current signal EEGi, during an inference phase of the model MOD(EEG), and - an INT2 output interface delivering a signal corresponding to the identified stimulus STi in order
  • a device configured to implement at least the learning steps presented above.
  • it is a DIS-SER server device as presented previously with reference to the .
  • it could be the same DIS-BCI device as shown in the .
  • this DIS-SER device includes: - an input interface IN capable of receiving EEG signals and MRI signals, - a memory MEM' configured to store instructions of a second computer program for the construction of at least one inference model MOD(EEG) based on EEG signals only, and further store the data of this model, - a processor PROC' capable of accessing this memory MEM' to read the instructions of the second computer program and construct at least the aforementioned model MOD(EEG), and - an OUT output interface capable of transferring data from one or more MOD(EEG) models on request (as illustrated in the in step S100), or generating a BCI interface signal when an EEG signal is applied to the input IN of the device, by using the MOD(EEG) model, in particular when it is the same device as that illustrated in the .
  • the subject matter of this description may find a multitude of applications and may be integrated into widely used headsets such as virtual or augmented reality headsets, audio headsets, or even protective helmets for driving machines (motorcycles, airplanes, etc.), in order to add a modality of interactions, check and/or monitor the mental state of users, or other. Improving the performance of recognizing EEG signals is therefore important, particularly for these use cases.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

La présente description propose une détermination d'un signal d'interface neuronale directe par détection d'un potentiel évoqué dans un signal électroencéphalogramme (EEG) d'un utilisateur en réaction à une émission de signal de stimulus destiné à l'utilisateur, comportant: - obtenir des signaux électroencéphalogrammes (Su(EEG)) en réaction à des émissions successives de signaux respectifs de stimulus (ST1, ST2, ST3, ST4), - obtenir des signaux de résonnance magnétique (Su(IRM)) en réaction à des émissions successives desdits signaux respectifs de stimulus (ST1, ST2, ST3, ST4), - mettre en œuvre une intelligence artificielle pour distinguer entre eux les signaux électroencéphalogrammes (Su(EEG)) obtenus, par apprentissage à partir d'observations de différences entre les signaux de résonnance magnétique (Su(IRM)) obtenus en réaction aux mêmes signaux respectifs de stimulus (ST1, ST2, ST3, ST4), et - utiliser ladite intelligence artificielle pour identifier un signal de stimulus courant à partir d'un signal électroencéphalogramme courant, obtenu en réaction à l'émission dudit signal de stimulus courant.

Description

Interface neuronale directe améliorée par élaboration d’un modèle
La présente divulgation relève du domaine de la détection des potentiels évoqués par des interfaces neuronales directes (ou BCI ci-après, pour « Brain Computer Interface »).
A titre d’exemple ci-après, les potentiels évoqués peuvent être auditifs, ou alternativement, visuels, tactiles, etc.
Un potentiel évoqué est un signal qui apparait dans les signaux électroencéphalogrammes (EEG ci-après) lorsqu’un utilisateur est soumis à un stimulus. Par exemple dans l’approche SSAEP (pour « Steady-State Auditory Evoked Potential »), le stimulus est auditif et constitué d’un son ayant une fréquence porteuse et auquel on applique une modulation sinusoïdale en amplitude. Un équipement tel qu’un casque à capteurs de signaux EEG permet de mesurer les signaux EEG et de retrouver dans ces signaux la fréquence de la modulation.
Un exemple de stimulus utilisé pour une application SSAEP peut être une fonction sinusoïdale à une fréquence audible par tous (par exemple de 20Hz à 20kHz), et modulée par un second sinus à une autre fréquence, par exemple comprise entre 1 et 200 Hz. Le sinus à haute fréquence constitue la porteuse et permet à un utilisateur d’entendre simplement les « bips » du signal modulant à basse fréquence. C’est le signal modulant qui constitue l’information d’intérêt.
En effet, il est possible de retrouver dans les aires auditives du cerveau les fréquences de stimulation entre environ 1 et 200 Hz. Néanmoins, à cette gamme de fréquences de 1 à 200 Hz, celles-ci sont basses et peuvent être difficiles à reproduire et/ou à entendre. C’est pourquoi une fréquence porteuse est utilisée comme vecteur, permettant à l’utilisateur d’entendre plus facilement ces fréquences. Un stimulus (sinus modulant à basse fréquence de type 1 à 200Hz) peut alors générer un potentiel évoqué, auditif et mesurable dans le cerveau à la même basse fréquence de 1 à 200 Hz (plus les éventuelles harmoniques). Cette fréquence est mesurable dans les signaux EEG de la personne soumise au stimulus. On peut donc retrouver dans les signaux EEG de l’utilisateur la fréquence de la modulation qui a été opérée à basse fréquence (1 à 200 Hz).
Dès lors, il est possible de construire une interface en cherchant directement le signal d’interface dans les ondes cérébrales de l’utilisateur. Le principe d’une telle interface dite « BCI » (pour « Brain Computer Interface ») est rappelé sur la . Un utilisateur UT porte un casque à capteurs de signaux d’électroencéphalogramme (ou « signaux EEG » ci-après), ce casque pouvant faire partie d’une interface générale BCI. Différents stimuli (sonores, visuels, ou autres), ayant des fréquences de modulation respectives, sont délivrés à l’utilisateur, lequel se concentre sur l’un des stimuli. Il peut être alors mesuré dans ses signaux EEG la même fréquence de modulation que celle du stimulus sur lequel l’utilisateur s’est concentré. Dans l’exemple d’un stimulus délivré par une source lumineuse, cette dernière peut clignoter à la fréquence de modulation précitée. Dans le cas d’un signal sonore, le signal peut comporter une modulation sinusoïdale ou peut être constitué de bips successifs à la fréquence de modulation précitée. Une analyse des signaux EEG de l’utilisateur révèle la présence d’une fréquence correspondant à la fréquence de modulation précitée. Dès lors, il est possible de concevoir une interface BCI, selon laquelle plusieurs stimuli issus de sources respectives HP1, HP2, HP3, ayant des fréquences de modulation différentes et représentant par exemple des consignes respectives différentes pour piloter une machine (par exemple « tourner à gauche », « tourner à droite », « freiner »), sont présentés simultanément à un utilisateur et ce dernier se concentre sur l’un d’eux de sorte que ses signaux EEG révèlent la fréquence de l’un des stimuli HPi et la fonction associée à ce stimulus est alors exécutée par la machine.
Dans l’exemple de la , les stimuli sont délivrés par des haut-parleurs respectifs HP1, HP2, HP3… et l’utilisateur se concentre sur l’une de ces sources sonores. Ainsi, on décrit ci-après une réalisation dans laquelle le signal d’interface (stimulus appliqué à l’utilisateur UT) est par exemple un signal audio pour relever un signal physiologique de type SSAEP (pour « Steady-State Auditory Evoked Potential »). Le stimulus est donc auditif et constitué d’un son à une fréquence de porteuse auquel on applique une modulation sinusoïdale ou en créneau, à une fréquence de modulation plus basse que la porteuse. Les stimuli sont généralement construits avec une fréquence porteuse, et modulés en amplitude, en puissance ou en énergie, par un signal ayant une deuxième fréquence, plus basse. Si le signal de stimulation est efficace, le signal EEG mesuré par le casque de l’interface BCI présente une fréquence correspondant à la fréquence de la modulation.
Dans le cas d’un stimulus visuel, une source lumineuse peut avoir une couleur particulière, correspondant ainsi à une longueur d’onde LO associée à une fréquence porteuse fp par une relation du type LO = c / fp, où c est la vitesse de la lumière. Certains utilisateurs peuvent être plus sensibles à certaines couleurs que d’autres pour retenir leur attention. Ainsi, le choix de la couleur (et donc de la fréquence de la porteuse fp) peut être important, notamment à certains moments de la journée pour un même utilisateur, pour recueillir efficacement des signaux EEG révélant un potentiel évoqué exploitable (i.e. ayant une fréquence correspondant à la fréquence de modulation ou de « clignotement » de la source lumineuse). Par exemple, une longueur d’onde de 0,5µm peut être utilisée pour du bleu comme couleur de stimuli visuels chez certains sujets, ou une longueur d’onde de 0,55µm pour du vert auxquels certains utilisateurs sont plus sensibles, ou encore 0,65µm pour du rouge, couleur à laquelle d’autres utilisateurs sont encore plus sensibles, etc.
Choisir de façon appropriée les signaux de stimulus peut en effet permettre de recueillir des signaux EEG dans lesquels la fréquence de modulation peut être retrouvée avec un degré de certitude supérieur à un seuil.
Toutefois, en général, les signaux EEG obtenus sont très bruités et l’identification exacte d’une fréquence de modulation, notamment parmi plusieurs fréquences de modulation possibles, peut être difficile.
Résumé
La présente description vient améliorer la situation.
Il est proposé un procédé de détermination d’un signal d’interface neuronale directe par détection d’un potentiel évoqué dans un signal électroencéphalogramme d’un utilisateur en réaction à une émission de signal de stimulus destiné à l’utilisateur, comportant :
- obtenir des signaux électroencéphalogrammes en réaction à des émissions successives de signaux respectifs de stimulus,
- obtenir des signaux de résonnance magnétique en réaction à des émissions successives desdits signaux respectifs de stimulus,
- mettre en œuvre une intelligence artificielle pour distinguer entre eux les signaux électroencéphalogrammes obtenus, par apprentissage à partir des signaux de résonnance magnétique obtenus en réaction aux mêmes signaux respectifs de stimulus, et
- utiliser ladite intelligence artificielle pour identifier un signal de stimulus courant à partir d’un signal électroencéphalogramme courant, obtenu en réaction à l’émission dudit signal de stimulus courant.
Cet apprentissage sur les signaux de résonnance magnétique (ou « IRM » ci-après) peut comporter typiquement une observation de différences entre les différents signaux IRM obtenus pour différents stimuli, alors que de telles différences ne paraissent pas significatives dans les signaux électroencéphalogrammes (ou « EEG » ci-après) obtenus pour les mêmes stimuli. Ainsi, cet apprentissage à partir des signaux IRM permet de renforcer la discrimination des stimuli qui ont pu occasionner des signaux EEG mesurés, dans la phase ultérieure d’utilisation de l’intelligence artificielle.
Le signal de stimulus courant, précité, peut être l’un desdits signaux respectifs de stimulus (ayant servi à l’apprentissage de l’intelligence artificielle). Néanmoins, cette réalisation n’est pas essentielle et peut rester optionnelle dans la mesure où l’intelligence artificielle, ayant été construite par apprentissage sur un grand nombre de stimuli différents, peut s’avérer suffisamment robuste pendant sa phase d’exploitation pour identifier un stimulus courant ne figurant pas forcément parmi les stimuli ayant été employés pour son apprentissage.
Dans une réalisation, la mise en œuvre de l’intelligence artificielle peut comporter l’élaboration d’un premier modèle apte à identifier un signal de stimulus courant à partir d’un signal électroencéphalogramme courant, obtenu en réaction à l’émission de ce signal de stimulus courant.
La mise en œuvre de ce premier modèle permet alors, dans une situation courante où un stimulus est présenté à un utilisateur, de déterminer le stimulus qui a été présenté à l’utilisateur par mesure de ses signaux EEG, quand bien même ces signaux EEG pourraient être fortement bruités, et ce grâce à l’apprentissage sur les signaux IRM.
Dans une telle réalisation, l’élaboration du premier modèle précité peut comporter l’élaboration d’un deuxième modèle (préalable à l’élaboration du premier modèle), ce deuxième modèle étant apte à identifier un signal donné de stimulus parmi lesdits signaux respectifs de stimulus, à partir d’un signal de résonnance magnétique obtenu en réaction à l’émission de l’un desdits signaux respectifs de stimulus.
Dans une telle réalisation, le premier modèle précité est obtenu à partir du deuxième modèle, par exemple par transfert d’apprentissage.
Dans une réalisation, les signaux électroencéphalogrammes et les signaux de résonnance magnétique, précités, sont obtenus en réaction aux émissions desdits signaux respectifs de stimulus destinées à au moins un même utilisateur.
Dans une telle réalisation, le premier modèle précité peut par exemple être élaboré pour ce même utilisateur.
Dans une telle réalisation, les signaux électroencéphalogrammes et les signaux de résonnance magnétique peuvent être obtenus selon l’une des modalités suivantes :
- simultanément sur ledit même utilisateur (par exemple par recueil des signaux EEG par un casque approprié tandis que l’utilisateur est dans une cabine IRM) ;
- séparément sur ledit même utilisateur (une première séquence par IRM par exemple, et une séquence suivante par EEG).
Dans une réalisation, les signaux électroencéphalogrammes et les signaux de résonnance magnétique sont obtenus en réaction aux émissions desdits signaux respectifs de stimulus destinées à une pluralité de catégories d’utilisateurs, la mise en œuvre de l’intelligence artificielle comportant l’élaboration d’une pluralité de premiers modèles respectifs et l’un de ces premiers modèles est choisi pour un utilisateur courant afin d’identifier un signal de stimulus courant à partir d’un signal électroencéphalogramme courant, obtenu sur l’utilisateur courant.
Dans une telle réalisation, seules quelques catégories d’individus (classés par exemple par âge, ou autres critères) peuvent servir à construire par exemple un modèle par catégorie (et ainsi faire l’objet de tests IRM et EEG en cabine, ou séparément). Ensuite, il est possible de choisir l’un de ces modèles ou une pondération de ces modèles pour obtenir un premier modèle convenant le mieux à un utilisateur courant.
Ainsi, dans une telle réalisation, le premier modèle choisi, précité, peut par exemple être sélectionné parmi une pluralité de premiers modèles préenregistrés comme convenant le mieux à l’utilisateur courant.
Dans une telle réalisation, le procédé peut comprendre en outre une adaptation du modèle choisi à l’utilisateur courant, par apprentissage basé sur une analyse de signaux électroencéphalogrammes obtenus en réaction à des stimuli appliqués à l’utilisateur courant.
Le procédé peut comporter en outre une adaptation du modèle choisi à l’utilisateur courant, par apprentissage basé sur une analyse de signaux de résonnance magnétique obtenus en réaction à des stimuli appliqués à l’utilisateur courant.
Certes dans cette réalisation, l’utilisateur courant effectue un passage en cabine IRM pour obtenir quelques signaux IRM pour renforcer la détermination de son premier modèle personnel. Toutefois, il ne s’agit que d’une séquence IRM relativement courte par rapport aux mesures IRM permettant d’élaborer un premier modèle propre à une catégorie d’utilisateurs.
La présente description vise aussi un programme informatique comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsqu’elles sont exécutées par un processeur. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
La présente description vise aussi un générateur de modèle de détection de signaux neuronaux comportant un circuit de traitement pour la mise en œuvre du procédé ci-avant.
Notamment ce générateur peut créer le deuxième modèle précité (basé sur mesures IRM), puis le premier modèle (basé sur mesures EEG), par exemple par transfert d’apprentissage du deuxième modèle, et plus globalement par apprentissage d’une intelligence artificielle. Néanmoins, il peut mettre en œuvre encore l’inférence du premier modèle (exploitation de l’intelligence artificielle) afin d’éventuellement affiner le premier modèle, au besoin.
Dans une réalisation, ce générateur de modèle peut comporter par exemple un serveur configuré pour construire et stocker une pluralité de modèles aptes à identifier un signal de stimulus courant à partir d’un signal électroencéphalogramme courant, obtenu en réaction à l’émission de ce signal de stimulus courant.
Ainsi, ce serveur peut stocker une base de premiers modèles dont une sélection ou une pondération peuvent être opérées pour élaborer un modèle convenant pour un utilisateur donné.
La présente description vise aussi un dispositif de pilotage d’interface neuronale directe par une utilisation de l’intelligence artificielle mise en œuvre dans le procédé ci-avant.
Un tel dispositif de pilotage peut comporter un circuit de traitement configuré pour piloter l’interface neuronale directe (BCI), et interpréter typiquement les signaux EEG collectés afin d’identifier (ou tenter d’identifier) un stimulus qui a pu être présenté à un utilisateur courant.
Notamment, ce dispositif de pilotage peut, dans une réalisation, être configuré en outre pour tester une pluralité de modèles aptes à identifier un signal de stimulus courant à partir d’un signal électroencéphalogramme courant, obtenu en réaction à l’émission de ce signal de stimulus courant sur un utilisateur courant, et à sélectionner l’un de ces modèles testés comme convenant le mieux à l’utilisateur courant (ou pondérer ces modèles testés pour construire un modèle convenant le mieux à l’utilisateur courant).
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
Fig. 1
illustre schématiquement le principe d’une interface BCI selon un mode de réalisation.
Fig. 2
illustre l’usage combiné des signaux IRM et EEG pour construire un modèle d’identification d’un stimulus à partir de signaux EEG couramment acquis.
Fig. 3
illustre un exemple d’étapes que peut comporter un procédé du type ci-avant, selon un mode de réalisation.
Fig. 4
illustre un exemple de réalisation d’un dispositif informatique pour piloter une interface BCI et mettant en œuvre une phase d’inférence d’un modèle du type précité, selon un mode de réalisation.
Fig. 5
illustre un exemple de réalisation d’un dispositif informatique pour mettre en œuvre une phase d’apprentissage pour construire un modèle du type précité, selon un mode de réalisation.
Fig. 6
illustre un exemple de détail de réalisation de l’étape S10 de la , selon un mode de réalisation possible pour affiner le modèle destiné à un utilisateur courant d’une interface BCI.
Pour les besoins d’une interface telle que décrite ci-avant en référence à la , les dispositifs d’interactions actuels entre le cerveau et la machine (interface dite « BCI » pour « Brain Computer Interface ») utilisent principalement la technique de l’analyse des signaux électroencéphalogrammes ou « EEG » ci-après. En effet, ces signaux EEG peuvent être recueillis par des capteurs répartis sur un casque tel que représenté sur la , et reliés typiquement à un circuit d’analyse qui peut comporter un ordinateur ou une tablette (non représenté). Un tel ordinateur ou tablette peut, avec le casque à capteurs, constituer un dispositif d’interface simple, portable et plus réactif que d’autres dispositifs d’analyse de réactions cérébrales qui nécessitent de lourds équipements tels que les appareils d’imagerie à résonnance magnétique (« IRM », ou « IRM » fonctionnelle).
Une interface basée sur des capteurs de signaux EEG comme illustrée sur la présente en effet l’intérêt d’être portative et facile à mettre en œuvre. Néanmoins, cette technique souffre d’une résolution spatiale moins bonne que les techniques précitées IRM, fIRM, ou encore que des techniques plus invasives mettant en œuvre des capteurs tels que des électrodes EEG directement implantées dans le cerveau, qui ne sont (aujourd’hui) pas adaptées à une cible grand public.
Le signal recueilli par une interface du type illustré sur la est par ailleurs souvent bruité, c’est-à-dire ayant un rapport signal-sur-bruit défavorable. L’analyse des signaux EEG recueillis nécessite la mise en œuvre de méthodes de traitement du signal, notamment assistées par intelligence artificielle (par apprentissage notamment, ou « Machine Learning »). Il peut alors être prévu de réaliser un apprentissage sur des signaux EEG identifiés (ou « labellisés », « tagués ») et d’inférer ensuite sur des signaux EEG à classifier. La qualité d’un modèle de Machine Learning dépend de la qualité des signaux EEG qui sont par nature très bruités et comme évoqué plus haut, souffrent d’une résolution spatiale limitée.
La solution que propose la présente description repose sur un apprentissage machine réalisé à la fois sur des signaux EEG et sur une captation IRM.
La phase d’apprentissage peut utiliser deux types de signaux : les signaux EEG et les signaux d’IRM ou d’IRM fonctionnelle.
En effet, il est rappelé que la technique d'IRM ou d’IRM fonctionnelle permet de mesurer un paramètre lié à l'afflux sanguin dans certaines zones du cerveau. Une technique basée sur les signaux EEG permet quant à elle de mesurer des potentiels évoqués et donc une activité électrique qui nécessite l'afflux sanguin du type précité. Ainsi, les types de signaux mesurés IRM et EEG sont bien liés à une même activité cérébrale de l'utilisateur.
Les signaux IRM sont alors utilisés dans un premier temps pour apprendre un premier modèle. Dans un second temps, ce premier modèle est adapté, par transfert d’apprentissage (ou « Transfer Learning »), afin d’utiliser en entrée les signaux EEG uniquement, mais en gardant la même finalité que le premier modèle (basé IRM). Une telle réalisation permet d’obtenir un nouveau modèle utilisant en entrée des signaux EEG mais ayant conservé l’apprentissage basé sur les signaux IRM et donc les avantages liés aux données IRM dans les poids du modèle. Il est rappelé que le Transfer Learning (aussi traduit en français par « L'apprentissage par transfert ») vise à transférer des connaissances d'une ou plusieurs tâches sources vers une ou plusieurs tâches cibles, et permet à une entité informatique de reconnaître et appliquer des connaissances et des compétences, apprises à partir de tâches antérieures (par exemple ici d’analyse de signaux IRM), pour de nouvelles tâches dans des domaines partageant des similitudes (typiquement ici l’analyse de signaux EEG, pour de mêmes stimuli).
Pendant la phase d'apprentissage sur les signaux EEG et IRM, il est possible d’apprendre à un réseau de neurones à faire une différence (même peu perceptible) entre les signaux EEG en réaction à deux stimuli en s'appuyant sur les mesures de signaux IRM (lesquels sont moins bruités que les signaux EEG habituellement). Ainsi, dans la phase d'exploitation (ou « d’inférence »), une différence, même peu perceptible, entre les signaux EEG pour deux stimuli différents permet au réseau de neurones de distinguer les signaux EEG obtenus en réaction à ces deux stimuli, le réseau de neurones ayant été entraîné efficacement pour faire cette différence grâce à l'appui de la technique IRM.
On a illustré très schématiquement cette situation sur la . Sur la partie A de la typiquement, deux stimuli ST1 et ST2 occasionnent la génération de signaux respectifs EEG dont il est tiré un paramètre utile Su(EEG) (par exemple une fréquence dans les potentiels évoqués, ou autre). Les valeurs de ce paramètre peuvent être suffisamment différentes malgré le bruit présent dans les signaux EEG collectés, pour pouvoir distinguer les deux stimuli ST1 et ST2 qui ont été générés car par exemple les barres d’erreur respectives liées aux déterminations de ces valeurs sont bien séparées. En revanche, les valeurs de ce paramètre ne sont pas suffisamment distinctes à cause du bruit présent dans les signaux EEG collectés, pour pouvoir distinguer les deux stimuli ST3 et ST4 qui ont été générés car dans cet exemple les barres d’erreur respectives liées aux déterminations de ces valeurs se superposent partiellement. Ainsi, la détection EEG (qui peut être utilisée par une interface neuronale directe BCI, classique) ne suffit pas ici à elle seule pour distinguer les deux stimuli ST3 et ST4 qui ont été générés, dans l’exemple illustré.
Il est alors proposé de s’appuyer ici sur un paramètre utile Su(IRM) qui peut être tiré des mesures de signaux IRM ou IRM fonctionnelle, pour aider une intelligence artificielle à distinguer correctement les stimuli (notamment ST3, ST4) qui ont été générés, quand bien même la différence qui peut être tirée des signaux EEG est pratiquement imperceptible en raison du bruit présent dans les signaux EEG. Dans l'exemple illustré, les barres d'erreur pour la détection de ce paramètre tiré des signaux IRM de la partie B de la sont bien plus étroites que sur la partie A car les signaux IRM sont beaucoup moins bruités que les signaux EEG et mieux définis spatialement.
Une intelligence artificielle peut alors apprendre à discriminer typiquement les paramètres utiles Su(EEG) mesurés à partir des signaux EEG en réaction aux stimuli ST1 à ST4, grâce aux différences observées entre les valeurs de paramètre utile Su(IRM) mesurées à partir des signaux IRM en réaction aux mêmes stimuli ST1 à ST4. Ainsi, en référence à la partie C de la , en phase d’exploitation, l’intelligence artificielle peut, grâce à cet apprentissage, distinguer les valeurs de paramètre utile Su(EEG)+IA tirées des signaux EEG et identifier le stimulus (par exemple parmi ST1, ST2, ST3 et ST4) qui a occasionné une valeur donnée de ce paramètre utile.
Dans l’exemple illustré, en phase d’exploitation, l’intelligence artificielle permet de reconnaitre le stimulus parmi les stimuli d’apprentissage ST1 à ST4 qui occasionne un signal EEG de valeur utile mesurée. Néanmoins, plus généralement, il est possible d’élaborer un modèle qui apprend la corrélation entre les signaux EEG et IRM de sorte qu’il n’est pas nécessaire de choisir le stimulus à appliquer pendant la phase d’exploitation parmi les stimuli qui ont servi à l’apprentissage.
Il est alors possible d’élaborer un nouveau modèle de détection capable d’interpréter et discriminer les signaux EEG, quand bien même ils seraient fortement bruités et/ou relativement mal définis spatialement. Un tel modèle, perfectionné car plus robuste, permet de réaliser la tâche de reconnaissance courante basée sur des signaux EEG seulement, quand bien même ces derniers seraient bruités.
Pour obtenir un tel modèle perfectionné, il est possible d’utiliser un protocole d’apprentissage équivalent pour les deux techniques IRM et EEG consistant à émettre des signaux de stimulus identiques pour un même utilisateur ou pour un même groupe d’utilisateurs (par exemple une série de sons avec des bips à des fréquences données, ou des images, ou encore une demande d’imaginer une image, ou autres). En réaction à ces émissions, des signaux EEG et IRM sont obtenus et enregistrés avec les deux méthodes de détection (EEG et IRM) mises en œuvre par exemple de manière séparée (par exemple IRM, puis EEG) selon une première forme de réalisation. Chaque utilisateur fait ainsi l’objet des mesures IRM en cabine, puis de mesures EEG par un casque EEG, à partir de mêmes stimuli. Cette première forme de réalisation offre l’avantage d’éviter des effets d’interférences liées aux spécificités des deux techniques (par exemple, l’emploi d’un casque EEG du type représenté sur la , dans une cabine d’IRM). Néanmoins, les perturbations générées par le champ magnétique lié à l’usage de la technique IRM sur les capteurs de signaux EEG peuvent être aujourd’hui maitrisées et compensées par des techniques connues en soi.
Alternativement, dans une deuxième forme de réalisation, un enregistrement simultané des signaux issus des deux techniques IRM et EEG (en cabine IRM et avec un casque EEG) peut être prévu. Une telle réalisation permet d’obtenir une meilleure synchronisation, avec des conditions de test identiques. Une telle réalisation nécessite de placer un utilisateur équipé d’un casque EEG (avec un nombre et un positionnement d’électrodes en relation avec la zone du cerveau a priori concernée par la tâche à apprendre, ou un casque avec des électrodes réparties uniformément sur le crâne pour apprendre un ensemble de tâches de différentes natures : audio, visuelles, toucher, ou autres), et ce dans une cabine fermée d’IRM.
La phase d’inférence est ensuite réalisée à partir des signaux EEG uniquement.
On a illustré à titre d’exemple ces différentes étapes sur la . Une première étape S1 consiste à placer un ou plusieurs utilisateurs d'un premier groupe UT1 dans une cabine d'IRM et à leur appliquer des stimuli successifs ST, pour recueillir des signaux IRM qui sont traités et analysés à l'étape S2 (par exemple pour en déduire des valeurs successives de paramètres utiles Su(IRM)). Pendant une étape suivante S3, il est construit par apprentissage un modèle MOD(IRM) capable d’identifier des stimuli qui ont été appliqués aux utilisateurs UT1, en fonction des signaux IRM qui peuvent être mesurés.
Il peut être réalisé simultanément à l'étape S1 ou ultérieurement à cette étape S1, l'étape S4 qui consiste à mesurer maintenant les signaux d’électroencéphalogramme EEG pour un utilisateur ou un groupe d'utilisateurs UT2, en réaction à de mêmes stimuli ST qui sont appliqués à cet ou ces utilisateurs UT2. Le groupe d'utilisateurs UT2 peut être identique ou différent du groupe d'utilisateurs UT1, dès lors que les signaux morphologiques mesurés par IRM ou par électroencéphalogramme EEG sont occasionnés par les mêmes stimuli ST. Les signaux EEG collectés sont analysés et traités à l'étape S5 pour obtenir, par apprentissage, un modèle MOD(EEG) capable d’identifier un stimulus qui a été appliqué, simplement à partir de mesures de signaux EEG, par Transfer Learning à l'étape S6. A l’étape S7, des données de ce dernier modèle MOD(EEG) peuvent ensuite être stockées dans une mémoire MEM, par exemple d’un serveur SER auquel un dispositif informatique d’une interface BCI peut se connecter ultérieurement pour une phase d’inférence comme décrite ci-après.
Dans une phase d'inférence à l’étape S8, pour faire fonctionner une interface BCI à partir de stimuli STi, un utilisateur UT3 (qui n'est pas nécessairement parmi les utilisateurs UT1 et/ou UT2) reçoit un stimulus courant STi et un signal correspondant EEGi est capté par le casque BCI. A l’étape S9, les données de ce signal EEGi peuvent être transmises au serveur SER précité (via un réseau étendu, ou « le cloud »). Alternativement, elles peuvent être traitées en local par un dispositif informatique de l’interface BCI. A l’étape S10, les données de ce signal courant EEGi sont exploitées par le modèle MOD(EEG) (via le cloud ou en local) pour déterminer, à l'étape S11, quel stimulus STi a occasionné ce signal courant EEGi, et faire ainsi fonctionner l'interface BCI à l'étape S12.
On décrit maintenant en référence à la un mode de réalisation dans lequel, à l'étape S10 précitée, il est possible de choisir un modèle convenant le mieux à un utilisateur courant. Ainsi, lors d'une première étape S100, le serveur précité SER peut stocker une pluralité de modèles MOD1, MOD2, …, MODN obtenus pour des catégories respectives d'utilisateurs aux étapes S1 à S7 de la . Ces modèles peuvent être testés successivement sur l'utilisateur courant à l'étape 101, pour rechercher le modèle MODj capable d’interpréter les signaux EEG de l’utilisateur courant comme correspondant le mieux aux stimuli ST appliqués à l'utilisateur courant. Une fois ce modèle MODj ainsi sélectionné à l’étape S102, des tests peuvent être appliqués à l’étape S103 pour déterminer si ce modèle MODj doit être encore perfectionné par un complément d’apprentissage propre à l’utilisateur courant. Par exemple, à cette étape S103, une inférence de ce modèle MODj peut être basée sur l’ensemble des stimuli ST appliqués à l’étape S4 de la , mais ici sur l’utilisateur courant pour déterminer si le modèle MODj parvient à identifier, via l’analyse des signaux EEG issus de l’utilisateur courant, une partie supérieure à un seuil de tous les stimuli applicables à l’étape S4.
Si tel est le cas (flèche OK en sortie du test S103), alors le modèle MODj est satisfaisant et retenu comme tel à l'étape S102. En revanche, si le test S103 est négatif (flèche KO) par exemple car un nombre de stimuli supérieur au seuil précité n’ont pas pu être identifiés par la seule analyse des signaux EEG de cet utilisateur courant), alors un apprentissage supplémentaire est réalisé à l'étape S104 pour perfectionner le modèle MODj. Cet apprentissage supplémentaire peut être basé sur les signaux EEG à reconnaître, suite à l'émission de stimuli particuliers, appliqués à cet utilisateur courant. Si l'apprentissage de l'étape S104 ne suffit pas à perfectionner le modèle MODj et que des signaux IRM sont nécessaires encore pour l’élaboration d’un modèle robuste propre à cet utilisateur courant, il peut être prévu, à l’étape S105 (optionnelle) d’enregistrer :
- une série de signaux IRM sur l’utilisateur courant (en cabine d’IRM) en réaction à des stimuli appliqués à l’utilisateur courant comme à l’étape S1 de la ,
- construire un modèle basé sur ces signaux IRM comme à l’étape S3 de la , et
- appliquer un apprentissage par transfert basé sur les signaux EEG comme à l’étape S6 de la , pour affiner le modèle MODj, propre à l’utilisateur courant.
Il convient de noter que le passage en cabine d’IRM de l’utilisateur courant dans cette nouvelle étape S105 peut être plus court qu’à l’étape S1 de la car seulement une série limitée de stimuli à corréler avec les signaux IRM observés peut être appliquée pour ajuster le modèle MODj propre à l’utilisateur courant.
On a illustré schématiquement sur la un dispositif DIS-BCI pour piloter une interface BCI, comportant :
- une interface d’entrée INT1 pour recevoir des signaux courants EEGi,
- une mémoire MEM stockant des données du modèle MOD(EEG) construit par la mise en œuvre du procédé ci-avant, et des données d’instructions d’un premier programme informatique pour utiliser les données du modèle MOD(EEG) afin d’identifier un stimulus STi qui a occasionné un signal courant EEGi, et éventuellement pour sélectionner ce modèle MOD(EEG) parmi une pluralité de modèles prédéfinis et éventuellement ajuster le modèle sélectionné à des spécificités d’un utilisateur de l’interface BCI,
- un processeur PROC capable d’accéder à la mémoire MEM (qui peut être locale dans le dispositif DIS-BCI ou à distance dans le cas d’un serveur distant SER) pour lire les données du modèle et exécuter les instructions du premier programme informatique pour identifier le stimulus STi qui a occasionné le signal courant EEGi, pendant une phase d’inférence du modèle MOD(EEG), et
- une interface de sortie INT2 délivrant un signal correspondant au stimulus identifié STi afin de piloter l’interface BCI en fonction du stimulus identifié.
On se réfère maintenant à la pour décrire un dispositif configuré pour mettre en œuvre au moins les étapes d’apprentissage présentées ci-avant. Dans l'exemple illustré, il s'agit d'un dispositif serveur DIS-SER comme présenté précédemment en référence à la . Néanmoins, en variante, il pourrait s'agir du même dispositif DIS-BCI que celui illustré sur la . Dans l'exemple illustré, ce dispositif DIS-SER comporte :
- une interface d'entrée IN apte à recevoir des signaux EEG et des signaux IRM,
- une mémoire MEM’ configurée pour stocker des instructions d'un deuxième programme informatique pour la construction d’au moins un modèle MOD(EEG) d’inférence basé sur des signaux EEG seulement, et stocker en outre les données de ce modèle,
- un processeur PROC’ capable d'accéder à cette mémoire MEM’ pour lire les instructions du deuxième programme informatique et construire au moins le modèle précité MOD(EEG), et
- une interface de sortie OUT apte à transférer des données d’un ou plusieurs modèles MOD(EEG) sur requête (comme illustré sur la à l’étape S100), ou à générer un signal d’interface BCI lorsqu’un signal EEG est appliqué à l’entrée IN du dispositif, par utilisation du modèle MOD(EEG), notamment lorsqu’il s’agit du même dispositif que celui illustré sur la .
L’objet de la présente description peut trouver une multiplicité d’applications et peut être intégré dans des casques largement diffusés tels que des casques de réalité virtuelle ou augmentée, des casques audio, ou encore des casques de protection pour conduire des engins (motos, avions, etc.), afin d’ajouter une modalité d’interactions, vérifier et/ou surveiller l’état mental des utilisateurs, ou autre. L’amélioration des performances de reconnaissance des signaux EEG est donc importante notamment pour ces cas d’usage.

Claims (15)

  1. Procédé de détermination d’un signal d’interface neuronale directe (BCI) par détection d’un potentiel évoqué dans un signal électroencéphalogramme (EEG) d’un utilisateur (UT) en réaction à une émission de signal de stimulus destiné à l’utilisateur, comportant :
    - obtenir des signaux électroencéphalogrammes (EEG) en réaction à des émissions successives de signaux respectifs de stimulus (ST),
    - obtenir des signaux de résonnance magnétique (IRM) en réaction à des émissions successives desdits signaux respectifs de stimulus (ST),
    - mettre en œuvre une intelligence artificielle pour distinguer entre eux les signaux électroencéphalogrammes (EEG) obtenus, par apprentissage à partir des signaux de résonnance magnétique (IRM) obtenus en réaction aux mêmes signaux respectifs de stimulus (ST), et
    - utiliser ladite intelligence artificielle pour identifier un signal de stimulus courant (STi) à partir d’un signal électroencéphalogramme (EEGi) courant, obtenu en réaction à l’émission dudit signal de stimulus courant (STi).
  2. Procédé selon la revendication 1, dans lequel la mise en œuvre de l’intelligence artificielle comporte l’élaboration d’un premier modèle (MOD(EEG)) apte à identifier un signal de stimulus courant (STi) à partir d’un signal électroencéphalogramme (EEGi) courant, obtenu en réaction à l’émission dudit signal de stimulus courant (STi).
  3. Procédé selon la revendication 2, dans lequel l’élaboration du premier modèle (MOD(EEG)) comporte l’élaboration d’un deuxième modèle (MOD(IRM)) apte à identifier un signal donné de stimulus (ST) parmi lesdits signaux respectifs de stimulus (ST), à partir d’un signal de résonnance magnétique (IRM) obtenu en réaction à l’émission de l’un desdits signaux respectifs de stimulus (ST).
  4. Procédé selon la revendication 3, dans lequel le premier modèle (MOD(EEG)) est obtenu à partir du deuxième modèle (MOD(IRM)) par transfert d’apprentissage.
  5. Procédé selon l'une des revendications précédentes, dans lequel les signaux électroencéphalogrammes (EEG) et les signaux de résonnance magnétique (IRM) sont obtenus en réaction aux émissions desdits signaux respectifs de stimulus (ST) destinées à au moins un même utilisateur.
  6. Procédé selon la revendication 5, dans lequel les signaux électroencéphalogrammes (EEG) et les signaux de résonnance magnétique (IRM) sont obtenus selon l’une des modalités suivantes :
    - simultanément sur ledit même utilisateur ;
    - séparément sur ledit même utilisateur.
  7. Procédé selon l'une des revendications 2 à 6, dans lequel les signaux électroencéphalogrammes (EEG) et les signaux de résonnance magnétique (IRM) sont obtenus en réaction aux émissions desdits signaux respectifs de stimulus (ST) destinées à une pluralité de catégories d’utilisateurs, la mise en œuvre de l’intelligence artificielle comportant l’élaboration d’une pluralité de premiers modèles respectifs (MOD(EEG)), et l’un desdits premiers modèles est choisi pour un utilisateur courant afin d’identifier un signal de stimulus courant (STi) à partir d’un signal électroencéphalogramme (EEGi) courant, obtenu sur l’utilisateur courant.
  8. Procédé selon la revendication 7, dans lequel le premier modèle choisi (MODj) est sélectionné parmi une pluralité de premiers modèles préenregistrés (S100) comme convenant le mieux à l’utilisateur courant.
  9. Procédé selon l’une des revendications 7 et 8, comprenant en outre une adaptation du modèle choisi à l’utilisateur courant, par apprentissage basé sur une analyse (S104) de signaux électroencéphalogrammes (EEG) obtenus en réaction à des stimuli appliqués à l’utilisateur courant.
  10. Procédé selon l’une des revendications 7 à 9, comprenant en outre une adaptation du modèle choisi à l’utilisateur courant, par apprentissage basé sur une analyse (S105) de signaux de résonnance magnétique (IRM) obtenus en réaction à des stimuli appliqués à l’utilisateur courant.
  11. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une des revendications précédentes, lorsqu’elles sont exécutées par un processeur.
  12. Générateur de modèle de détection de signaux neuronaux comportant un circuit de traitement pour la mise en œuvre du procédé selon l’une des revendications 1 à 10.
  13. Générateur de modèle selon la revendication 12, comportant un serveur (DIS-SER) configuré pour construire et stocker une pluralité de modèles aptes à identifier un signal de stimulus courant (STi) à partir d’un signal électroencéphalogramme (EEGi) courant, obtenu en réaction à l’émission dudit signal de stimulus courant (Sti).
  14. Dispositif de pilotage d’interface neuronale directe (DIS-BCI) par une utilisation de l’intelligence artificielle mise en œuvre dans le procédé selon l’une des revendications 1 à 10.
  15. Dispositif de pilotage selon la revendication 14, configuré en outre pour tester une pluralité de modèles aptes à identifier un signal de stimulus courant (STi) à partir d’un signal électroencéphalogramme (EEGi) courant, obtenu en réaction à l’émission dudit signal de stimulus courant (STi) sur un utilisateur courant, et à sélectionner l’un desdits modèles testés comme convenant le mieux à l’utilisateur courant.
PCT/EP2025/059869 2024-04-12 2025-04-10 Interface neuronale directe améliorée par élaboration d'un modèle Pending WO2025215147A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2403841A FR3161102B1 (fr) 2024-04-12 2024-04-12 Interface neuronale directe améliorée par élaboration d’un modèle
FRFR2403841 2024-04-12

Publications (1)

Publication Number Publication Date
WO2025215147A1 true WO2025215147A1 (fr) 2025-10-16

Family

ID=91829142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2025/059869 Pending WO2025215147A1 (fr) 2024-04-12 2025-04-10 Interface neuronale directe améliorée par élaboration d'un modèle

Country Status (2)

Country Link
FR (1) FR3161102B1 (fr)
WO (1) WO2025215147A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215955A1 (en) * 2020-10-05 2022-07-07 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR FUSING EEG AND fMRI THROUGH HIERARCHICAL DEEP TRANSCODING

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220215955A1 (en) * 2020-10-05 2022-07-07 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR FUSING EEG AND fMRI THROUGH HIERARCHICAL DEEP TRANSCODING

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CUI SONG ET AL: "EEG source localization using spatio-temporal neural network", CHINA COMMUNICATIONS, CHINA INSTITUTE OF COMMUNICATIONS, PISCATAWAY, NJ, USA, vol. 16, no. 7, 1 July 2019 (2019-07-01), pages 131 - 143, XP011735910, ISSN: 1673-5447, [retrieved on 20190718], DOI: 10.23919/J.CC.2019.07.011 *
DAHNE SVEN ET AL: "Multivariate Machine Learning Methods for Fusing Multimodal Functional Neuroimaging Data", PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, vol. 103, no. 9, 1 September 2015 (2015-09-01), pages 1507 - 1530, XP011667041, ISSN: 0018-9219, [retrieved on 20150820], DOI: 10.1109/JPROC.2015.2425807 *
HOLLY WILSON ET AL: "Performance of data-driven inner speech decoding with same-task EEG-fMRI data fusion and bimodal models", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 19 June 2023 (2023-06-19), XP091542569 *
LEI X ET AL: "A parallel framework for simultaneous EEG/fMRI analysis: Methodology and simulation", NEUROIMAGE, ELSEVIER, AMSTERDAM, NL, vol. 52, no. 3, 1 September 2010 (2010-09-01), pages 1123 - 1134, XP027130114, ISSN: 1053-8119, [retrieved on 20100118] *
LIU XUEQING ET AL: "Fusing Simultaneously Acquired EEG and fMRI via Hierarchical Deep Transcoding", 13 September 2023, BRAIN INFORMATICS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER NATURE SWITZERLAND, CHAM, PAGE(S) 57 - 67, ISBN: 978-3-031-43074-9, ISSN: 0302-9743, XP047669695 *
XUEQING LIU ET AL: "Inferring latent neural sources via deep transcoding of simultaneously acquired EEG and fMRI", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 27 November 2022 (2022-11-27), XP091384935 *

Also Published As

Publication number Publication date
FR3161102B1 (fr) 2026-08-14
FR3161102A1 (fr) 2025-10-17

Similar Documents

Publication Publication Date Title
EP2407912B1 (fr) Procédé et système de classification de signaux neuronaux, et procédé de sélection d'électrodes pour commande neuronale directe
US11164291B2 (en) Under water image color correction
Fleischer et al. Physiologically inspired model for the visual recognition of transitive hand actions
Neri Semantic control of feature extraction from natural scenes
Wu et al. Transfer learning and active transfer learning for reducing calibration data in single-trial classification of visually-evoked potentials
EP3320480A1 (fr) Procede de construction d'une structure de donnees representative d'une reorganisation dynamique d'une pluralite de reseaux cerebraux, dispositif et programme correspondant
EP3586339A1 (fr) Procédé, dispositif et programme pour déterminer au moins un réseau cérébral impliqué dans une réalisation d'un processus donné
Fan et al. DC-tCNN: A deep model for EEG-based detection of dim targets
EP3324326B1 (fr) Procédé et système de détection de vulnérabilité d'un dispositif embarqué
Mehdizavareh et al. Enhancing performance of subject-specific models via subject-independent information for SSVEP-based BCIs
EP3511781B1 (fr) Dispositif et procédé de collecte, de sauvegarde, d'analyse ainsi que de mise à disposition des résultats de l'analyse de données de pièces d'horlogerie
FR3161102A1 (fr) Interface neuronale directe améliorée par élaboration d’un modèle
CA3092784A1 (fr) Dispositif informatique de detection de troubles du rythme cardiaque
WO2022148938A1 (fr) Procédé pour une surveillance et une analyse de l'état cardiaque d'un individu
US20230307116A1 (en) Method and system for representation and assessment of visual perceptual, visual motor, and neuropsychological function
EP4646147A1 (fr) Procédé pour déterminer un état émotionnel d'un sujet et dispositif associé
WO2026002864A1 (fr) Activation d'une interface neuronale directe
EP4378392B1 (fr) Détermination de stimuli optimaux pour une interface à base de potentiels évoqués
WO2022171970A1 (fr) Dispositif et procede de traitement de donnees videos pour detection du vivant
FR2930420A1 (fr) Procede et systeme non invasif de detection et d'evaluation de l'activite electrophysiologique neuronale
Cui et al. Dentists who can auscultate: Microphone-based toothbrushing quality monitoring system for electronic toothbrush
Bellman et al. (WKSP) on the potential of data extraction by detecting unaware facial recognition with brain-computer interfaces
FR3083354A1 (fr) Procede de modelisation pour le controle des resultats fournis par un reseau de neurones artificiels et autres procedes associes
CN119357668B (zh) 运动想象能力评估模型的训练方法、装置
FR3066097A1 (fr) Dispositif et methode d'evaluation neuropsychologique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25719353

Country of ref document: EP

Kind code of ref document: A1