WO2023285360A1 - Device for determining a brain response to a sensory stimulus - Google Patents

Device for determining a brain response to a sensory stimulus Download PDF

Info

Publication number
WO2023285360A1
WO2023285360A1 PCT/EP2022/069284 EP2022069284W WO2023285360A1 WO 2023285360 A1 WO2023285360 A1 WO 2023285360A1 EP 2022069284 W EP2022069284 W EP 2022069284W WO 2023285360 A1 WO2023285360 A1 WO 2023285360A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
stimulus
sensory stimulus
light source
cerebral
Prior art date
Application number
PCT/EP2022/069284
Other languages
French (fr)
Inventor
Rascle ANGÉLIQUE
Bonnet STÉPHANE
Planat-chretien ANNE
Original Assignee
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique Et Aux Energies Alternatives filed Critical Commissariat A L'energie Atomique Et Aux Energies Alternatives
Publication of WO2023285360A1 publication Critical patent/WO2023285360A1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the technical field of the invention is a device for collecting, in a non-invasive and synchronized manner, optical and electrical cortical signals, so as to measure a cerebral response to stimuli addressed to a user.
  • EEG ElectroEncephaloGraphy
  • fNIRS Near Infrared Spectroscopy
  • the wavelengths used exploit the strong absorption of deoxyhemoglobin or oxyhemoglobin in the near infrared.
  • cerebral activity is correlated with blood oxygenation levels is used to quantify variations in cerebral activity from optical measurements taken at different times. This type of method is for example described in the following publications:
  • f NI RS type techniques are currently confined to uses in the field of research or in laboratory environments.
  • the inventors propose an integrated device allowing coupling between electrical and optical methods, analysis of cerebral activity, and a virtual reality, augmented reality or mixed reality system.
  • a first object of the invention is a device for analyzing the cerebral response of a user, the device being configured to send a sensory stimulus to the user and to record a cerebral response following the stimulus, the device comprising:
  • - a support configured to be worn by the user
  • each electrode being configured to record an electrical cortical signal generated by a cortical zone of the user located opposite the electrodes;
  • a light source arranged to illuminate the skin covering the user's skull, forming an illumination zone, the light source being arranged to emit light in a spectral band between 650 nm and 1350 nm;
  • At least one photodetector configured to detect light backscattered by the cortex, under the effect of illumination by the light source, the detected light emanating from a detection zone on the skin covering the skull, the distance between the detection zone and the illumination zone preferably being between 1 mm and 7 cm, the detected light forming an optical cortical signal;
  • the processing unit is configured to estimate a mental state of the user from the optical and electrical cerebral responses.
  • the processing unit can be configured to adjust the sensory stimulus, at a time, according to the mental state of the user estimated at a previous time.
  • the device may comprise a movement sensor, configured to generate an actimetry signal representative of a movement of the user, the processing unit being configured to take the actimetry signal into account when estimating the mental state of the user.
  • the light source can be a continuous or frequency modulated light source.
  • At least two electrodes, at least one light source and at least one photodetector are preferably arranged less than 5 cm from each other, so as to address the same cortical zone.
  • the device comprises an illumination optical fiber, extending from an illumination source, to an illumination end, the illumination end being intended to be placed in contact with the user's skull, the illumination optical fiber forming the light source.
  • the device comprises a detection optical fiber, extending from a light detector, to a detection end, the detection end being intended to be placed in contact with the skull of the user, the detection optical fiber forming the photodetector.
  • each electrode, the or each light source, the or each photodetector is connected to the support, thus forming a monolithic device.
  • the support can be a frame for a bezel.
  • the bezel may be a virtual reality or augmented reality bezel, forming the extended reality system.
  • the extended reality system may feature:
  • - a projection surface, configured to project visual information, forming a visual stimulus
  • the extended reality system may include:
  • a vibration generator configured to generate a tactile stimulus
  • an electrostimulation generator configured to generate a muscular stimulus.
  • a second object of the invention is a method for analyzing a cerebral response of a user following the generation of a sensory stimulus, using a device according to the first object of the invention, the process comprising: a) generation of a sensory stimulus by the extended reality system; b) following step a):
  • step a) using the processing unit, taking into account the signals detected during step b) and determining the cerebral response of the user following the sensory stimulus generated in step a).
  • Steps a) to c) can be carried out iteratively, the method being such that following a first iteration, the sensory stimulus generated during step a) is adapted according to the cerebral response determined during an iteration previous.
  • the sensory stimulus may be intended to cause the user to perform a cognitive task.
  • FIG. 1 represents an example of a device according to the invention.
  • Figure 2 shows the path of a photon through different structures covering the cortex and through the cortex, between an illumination zone and a detection zone located at a distance from the illumination zone.
  • the illumination zone and the detection zone are located on the skin covering the skull.
  • Figure 3 schematizes the various sensors of the device described in connection with Figure 1.
  • FIG. 4 shows the main steps of a method implementing the device.
  • Figure 1 shows an embodiment of the invention.
  • Device 1 comprises a support 10, intended to be held at the level of a user's head.
  • the support carries an extended reality system 11, here taking the form of a bezel.
  • extended reality includes virtual reality, augmented reality and mixed reality.
  • the extended reality bezel 11 comprises a projection surface, intended to display a virtual scene for the attention of the user.
  • the extended reality bezel is intended to address a sensory stimulus or several sensory stimuli to the user.
  • sensory stimulus is meant a visual stimulus and/or a stimulus sound.
  • Visual and sound stimuli can be combined.
  • the extended reality bezel may be intended to immerse the user in a virtual environment.
  • the extended reality system 11 can generate other types of stimulus, for example a haptic stimulus or a muscular stimulus, of the electrostimulation type.
  • the device 1 is intended to capture and analyze a cerebral response of the user to the displayed virtual scene. It comprises electrodes 12, of the electroencephalography (EEG) type, intended to be placed on the skin covering the skull (scalp or forehead). In known manner, EEG-type electrodes make it possible to pick up an electrical activity of the cortex. The signal collected by each electrode forms an electrical cortical signal.
  • the number of electrodes can be between two and a few tens.
  • the diameter of an electrode can be a few millimeters or around 1 cm.
  • the device 1 comprises at least one light source 13, intended to illuminate an illumination zone 14 on the skin covering the skull.
  • the light source, or each light source emits in a spectral band between 650 nm and 1350 nm. This spectral band allows a high penetration depth of the light in the tissues, in this case the skin, the skull and the dura mater.
  • the photon absorption properties are mainly governed by the hemoglobin present in the cortex.
  • Each light source can be a light-emitting diode, or one end of an illumination optical fiber connected to an illumination source located on the support 10. In this case, the illumination optical fiber or the end of the illumination optical fiber is equated with the light source.
  • the emission spectral band of a light source is preferably less than 100 nm or less than 50 nm.
  • the device comprises: a light source, the emission wavelength of which is less than 800 nm, which corresponds to a spectral band in which the absorption of deoxyhemoglobin is greater than the absorption of oxyhemoglobin; a light source, the emission wavelength of which is greater than 800 nm, which corresponds to a spectral band in which the absorption of oxyhemoglobin is greater than the absorption of deoxyhemoglobin;
  • the device comprises at least one photodetector 15, configured to detect light backscattered by the user's tissues illuminated by the light source.
  • the photodetector 15 can be a photodiode, directly in contact with the user. It may also be one end of a detection optical fiber, the other end of which is connected to a light detector located on the support 10. In this case, the detection optical fiber or the end of the detection fiber is likened to the photodetector 15. This possibility is illustrated in FIG. 2.
  • Each photodetector 15 is configured to collect light emanating from the skin covering the user's skull at the level of a detection zone 16.
  • the detection zone 16 is located at a distance d from the illumination zone 14.
  • the distance d between the illumination zone 14 and the detection zone 16 is called the backscatter distance.
  • the device is configured so that for an illumination zone 14, different detection zones 16 are arranged respectively at different backscatter distances.
  • Each backscatter distance is between 1 mm and 30 mm, or even 70 mm.
  • FIG. 2 exemplary statistical average paths followed by photons penetrating into the tissue at the level of an illumination zone 14, and emanating, by backscatter, from a detection zone 16 located at a distance of backscatter d from the illumination zone 14.
  • the photons propagate through the skin A, the skull B, the dura mater D and the cortex C. It is considered that the greater the backscatter distance, the greater the light signal collected at the detection zone is representative of deep layers of the user's tissues.
  • the cortex is at a depth of between 1 cm and 2 or 3 cm from the skin. It is better that the backscatter distance is about 3-3.5cm for an adult.
  • the light source 13 can be continuous or frequency modulated.
  • One objective of the invention is to detect the cerebral response, whether it be an electrical reaction and/or an optical reaction, the latter reflecting hemodynamic effects induced by cortical activity.
  • the electrical response can be picked up by electrodes placed on the skin covering the user's skull.
  • the response of the cortex results in a variation of the electrical activity, the latter being able to be recorded by the electrodes 12.
  • the device comprises a processing unit 20, intended to collect and analyze the signals electric detected by the electrodes or the optical signals from each photodetector.
  • the processing unit 20 comprises various modules.
  • a first module 21 is programmed to perform an analysis of the electrical signals collected by the electrodes.
  • the first module 21 can perform an analysis of the spectral power in different spectral bands, for example one or more of the spectral bands known in the field of the frequency analysis of EEG signals: band d, band Q, band a or band b.
  • the frequency analysis can select a spectral band whose power undergoes a temporal variation considered to be significant under the effect of the sensory stimulus and then quantify the temporal variation of spectral power in the spectral band thus selected. This temporal variation corresponds to the electrical response of the cortex to the stimulus addressed to the user.
  • a second way of analyzing EEG signals is to average several cerebral responses by synchronizing with the time of appearance of the stimuli: this so-called evoked potential analysis technique is particularly robust because the measurement noise will decrease during the process. on average.
  • a second module 22 is programmed to carry out an analysis of the optical signals emanating from each detection zone 16 and detected by each photodetector 15.
  • Known principles of functional near-infrared spectroscopy f NI RS are then implemented, mentioned in the prior art.
  • the f N I RS modality makes it possible to detect a hemodynamic response of the cortex, following the perception of the sensory stimulus.
  • the use of different wavelengths makes it possible to estimate a variation in the concentration of oxyhemoglobin and deoxyhemoglobin under the effect of the stimulus.
  • Certain stimuli can in fact trigger neuronal activity inducing an increase in the demand for oxygen. This local increase results in an increase, at the level of the cortical zone concerned, in the concentration of oxyhemoglobin, and a decrease in the concentration of deoxyhemoglobin.
  • the second module 22 is configured to quantify the variations of optical signals detected before and after the stimulus. These variations constitute the user's optical response to the stimulus.
  • the second module 22 can be configured to estimate a heart rate or a respiratory rate.
  • a photodetector located at a short distance from a light source typically less than 1 cm, is implemented.
  • the estimation of the heart rate one can implement the principles described in the French patent application FR2014157.
  • the principles described in Charlton PH, Bonnici T, Tarassenko L, Clifton DA, Beale R, Watkinson PJ can be implemented.
  • the first and second modules are configured to establish a cerebral response, respectively electrical and optical, in the cortical zone considered, resulting from the perception of the stimulus by the user.
  • cortical zone is meant the zone of the cortex the activation of which forms a response detectable by the electrodes and the photodetectors arranged opposite the latter.
  • at least two electrodes, at least one light source and at least one photodetector, forming two source-detector pairs are preferably grouped together in a perimeter whose diameter is less than 5 cm.
  • the device 1 comprises a movement sensor 17, intended to detect a movement of the user. It may for example be an accelerometer.
  • the movement sensor 17 generates an actimetry signal representative of the movement of the user. The use of such a signal makes it possible to avoid the interpretation of artefacts in the cerebral responses of the user, in particular the electrical response, the analysis by EEG possibly being sensitive to the movements of the user.
  • the movement sensor 17 is connected to an actimetry module, making it possible to record the actimetry signal and to detect any movement liable to cause a disturbance of the electrical or optical response.
  • the extended reality system 11 can be equipped with an inertial unit.
  • the movement sensor 17 can be one of the sensors of the inertial unit.
  • the device comprises an electrodermal activity sensor 18.
  • a sensor is configured to estimate a variation in impedance of the skin. Impedance variation can occur when the user is under stress.
  • the electrodermal activity sensor is formed of two electrodes, a current or voltage source, and an impedance measurement circuit.
  • the device comprises an eye tracking sensor 19, arranged on the projection surface, so as to follow the eye movement of the user.
  • a sensor can comprise one or more infrared cameras aiming to follow the movement of the eye.
  • the electrical and optical cerebral responses, resulting from the modules 21 and 22, are used by the processing unit 20 to estimate a mental state of the user and/or a change in the mental state following the successive emission of different stimulus.
  • the processing unit 20 comprises an analysis module 23, configured to estimate the mental state of the user.
  • the mental state of the user can be a level of stress, fatigue, concentration, or emotion, or, more generally, a cognitive load.
  • the movement 17, electrodermal activity 18 or eye tracking 19 sensors can be connected to the analysis module 23, so that their measurements are taken into account in determining the mental state of the user. This is to remove artifacts that may be related to user movements or eye movements. It may also involve obtaining additional measurements, tending to confirm the estimate of the mental state. This is for example the case when electrodermal activity measurements are used to confirm the occurrence of a state of stress.
  • An example of determining the mental state of a user is described in the publication [2] cited in the prior art.
  • the processing unit may include one or more microprocessors.
  • FIG. 3 illustrates the connection between the various components previously described.
  • the device is in one piece, the various components being connected and/or integrated into the support 10.
  • An interesting aspect of the device is that depending on the mental state estimated by the processing unit 20, feedback can be performed, so as to adapt each stimulus.
  • a visual stimulus at a time, can be adapted according to the state of the user estimated at a previous time.
  • the content of the virtual scene which forms the stimulus addressed to the user, can thus vary according to the evolution of the mental state of the user.
  • the difficulty of the tasks can vary according to the mental state of the user, for example his state of stress or fatigue.
  • the processing unit 20 can estimate a score, quantifying the mental state of the user, for example a level of stress or a level of relaxation.
  • the score can be communicated to the user, via the extended reality system, visually or audibly. That allows the user to practice changing their mental state.
  • Such an embodiment is suitable for practicing relaxation activities for the user.
  • the arrows in solid lines illustrate signal transmissions by wired or wireless link.
  • the dotted arrows correspond to the action of the user's cortex, which, under the effect of the scene displayed by the extended reality system 11, generates a cerebral response that can be measured by the electrodes 12 or the photodetectors 15.
  • the stimulus can be addressed without the user being focused on it.
  • the stimulus can be a part of the virtual scene, not necessarily directly perceptible by the user, and which makes it possible to bring about an evolution of the mental state of the user, for example generating stress or, on the contrary, relaxation .
  • it is possible to estimate a mental state of the user without the latter being aware of the stimuli applied, the latter being embedded in the virtual environment in which the user is immersed.
  • the user can be placed in a soothing musical atmosphere, while visual stimuli are addressed to him.
  • One advantage of the device is that it makes it possible to obtain good synchronization between the application of successive stimuli and the measurements of the cerebral responses, and this by using an integrated device.
  • the mental state of the user can be transmitted to a remote unit 30, so as to carry out temporal monitoring and correlations between the stimuli applied and the evolution of the mental state. It may also involve identifying situations to which the user is sensitive.
  • the user is for example subjected to a continuous musical atmosphere, of the background music type, and/or to discontinuous noises: in this case, the device comprises a source of sound emission, for example a headset.
  • the discontinuous noise can be a signal given to the user to start or stop the execution of a particular instruction, so as to modulate the cognitive load.
  • the discontinuous noise can also be intended to generate a stress effect on the user, for example a high-pitched noise.
  • the device can subject the user to another sensory stimulus. It may in particular be: a stimulus applied to a part of the user's body: in this case, the device comprises a haptic stimulus generator, for example a vibration generator; a muscular stimulus, applied to a muscle of the user: in this case, the device can comprise for example an electrostimulation module; The user can thus be simultaneously exposed to stimuli of different types: for example visual + auditory, visual + haptic.
  • the visual and sound stimulus aims to generate a cognitive task of the user. It may for example be a question of asking the user, audibly or visually, to perform a task involving a cognitive load or a certain state of stress. It may for example be a matter of carrying out an increasing or decreasing count, taking into account a predefined increment (or decrement). For example, the user is visually or audibly asked to count down from a value, for example 1000, by successive decrements of 13. The user performs this cognitive task after the transmission an audible or visual instruction signal. As previously mentioned, the complexity of the cognitive task can be adjusted according to the mental state of the user, in this case the cognitive load of the user.
  • the extended reality device is an augmented reality goggle.
  • the user perceives the real environment in which he finds himself and visual indications are displayed by augmented reality.
  • These indications can constitute a stimulus.
  • the user can engage in physical activity.
  • the indications displayed are instructions addressed to the user to modulate his physical activity: change of movement, acceleration...
  • the instructions, which form the stimuli are adapted, by adjusting the level of difficulty.
  • FIG. 4 represents the main steps of a method for estimating a mental state of a user using the device previously described.
  • Step 100 display of a scene to the user by the extended reality bezel 11. As previously indicated, this may be a virtual scene or a scene comprising information of the augmented reality type.
  • Step 110 acquisition of electrical measurements by the electrodes 12.
  • Step 120 acquisition of optical measurements by the photodetectors 15.
  • Step 130 acquisition of measurements from other sensors: motion sensor 17 and/or electrodermal activity sensor 18 and/or eye tracking sensor 19.
  • Step 140 quantification, by the first module 21, of the electrical response to the scene displayed, from the electrical measurements resulting from step 110 and from previous electrical measurements.
  • Step 150 quantification, by the second module 22, of the optical response to the scene displayed, from the optical measurements resulting from step 120 and from previous optical measurements.
  • Step 160 estimation of the mental state of the user from the optical response and the electrical response resulting respectively from steps 140 and 150.
  • Step 170 from the mental state of the user, forming a feedback signal so as to adjust the observed scene. This step is optional.
  • Step 180 transmission of the mental state of the user to the remote unit 30. This step is also optional.
  • Steps 100 to 180 can then be repeated.
  • a notable advantage of the invention is to facilitate the temporal synchronization between the generation of the sensory stimulus and the determination of the cerebral response of the user following the generation of the stimulus. Synchronization allows better control of the effect of the sensory stimulus on the user.
  • the device is configured to be worn by the user: it is therefore particularly suitable for mobile use.
  • the device makes it possible to retroact on the generation of the stimulus, and to adapt the stimulus according to the cerebral response.
  • the stimulus can thus be adapted according to the mental state of the user, in particular the cognitive load of the user.
  • the device may be used for analyzes carried out for diagnostic purposes, or for functional rehabilitation purposes. For example, it may be a question of piloting a rehabilitation program for the motor skills of the user, the program indicating motor tasks to be carried out by the user.
  • the device makes it possible to adapt the rehabilitation program, in particular the frequency and/or or the difficulty of motor tasks, to the mental load of the user.
  • the device can also be used to test the psychic abilities of users likely to carry out certain operations which may prove to be stressful.
  • the device can for example be used to follow the evolution of the mental load of a pilot subjected to a virtual environment, simulating difficult flight situations.
  • the principle can be extended to any operator required to carry out specific operations in a potentially stressful work environment.
  • the extended reality device can take other forms. It may for example be a visor attached to a support connected to the user's head.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

A device for analysing a brain response generated by a user in response to a sensory stimulation. The device comprises an extended reality system for generating the sensory stimulus as well as electrodes, a light source and at least one photosensor designed to be placed against the user's scalp.

Description

Description Description
Titre : Dispositif de détermination d'une réponse cérébrale à un stimulus sensoriel Title: Device for determining a cerebral response to a sensory stimulus
DOMAINE TECHNIQUE Le domaine technique de l'invention est un dispositif pour collecter, de façon non invasive et synchronisée, des signaux corticaux optiques et électriques, de façon à mesurer une réponse cérébrale à des stimuli adressés à un utilisateur. TECHNICAL FIELD The technical field of the invention is a device for collecting, in a non-invasive and synchronized manner, optical and electrical cortical signals, so as to measure a cerebral response to stimuli addressed to a user.
ART ANTERIEUR PRIOR ART
Il existe plusieurs façons d'estimer, de façon non invasive, un état mental d'un utilisateur. Actuellement, les systèmes d'estimation de l'état mental les plus courants sont basés sur des mesures électriques de l'activité cérébrale, en utilisant des électrodes de type « EEG » (ElectroEncéphaloGraphie) réparties sur le crâne d'un utilisateur. Ces mesures permettent d'obtenir une information exploitable sur l'activité cérébrale. Des produits à destination du grand public, basés sur des électrodes EEG, sont à présent disponibles, notamment dans le domaine du divertissement. There are several ways to estimate, non-invasively, a mental state of a user. Currently, the most common mental state estimation systems are based on electrical measurements of cerebral activity, using “EEG” (ElectroEncephaloGraphy) type electrodes distributed over a user's skull. These measurements provide actionable information about brain activity. Products for the general public, based on EEG electrodes, are now available, particularly in the field of entertainment.
Récemment, des techniques optiques de type spectroscopie fonctionnelle en proche infrarouge (functional Near Infrared Spectroscopy - f N I RS) ont été développées, de façon à former une autre modalité d'analyse de l'activité cérébrale. Ce type de technique permet d'évaluer une variation locale de l'oxygénation du sang au niveau du cortex. Le principe est basé sur une illumination du cortex, dans une longueur d'onde proche infrarouge, et sur une détection d'un signal optique rétrodiffusé par le cortex, à quelques centimètres du point d'illumination. Le signal détecté dépend de l'atténuation induite au niveau du cortex mais également au niveau des autres tissus traversés. Recently, optical techniques of the functional Near Infrared Spectroscopy (fNIRS) type have been developed, so as to form another modality for analyzing cerebral activity. This type of technique makes it possible to evaluate a local variation in blood oxygenation in the cortex. The principle is based on illumination of the cortex, in a near infrared wavelength, and on detection of an optical signal backscattered by the cortex, a few centimeters from the point of illumination. The signal detected depends on the attenuation induced at the level of the cortex but also at the level of the other tissues crossed.
Les longueurs d'onde utilisées exploitent la forte absorption de la désoxyhémoglobine ou de l'oxyhémoglobine dans le proche infrarouge. On utilise le fait que l'activité cérébrale est corrélée au taux d'oxygénation du sang pour quantifier des variations d'activité cérébrales à partir des mesures optiques effectuées à différents instants. Ce type de méthode est par exemple décrit dans les publications suivantes : The wavelengths used exploit the strong absorption of deoxyhemoglobin or oxyhemoglobin in the near infrared. The fact that cerebral activity is correlated with blood oxygenation levels is used to quantify variations in cerebral activity from optical measurements taken at different times. This type of method is for example described in the following publications:
[1] P Pinti, The présent and future use of functional near-infrared spectroscopy (f NI RS) for cognitive neuroscience. Ann N Y Acad Sci. 2020 Mar;1464(l):5-29 ; [2] L Lim et al., A Unified Analytical Framework With Multiple fN 1RS Featuresfor Mental Workload Assessment in the Prefrontal Cortex, IEEE Trans.on Neural Systems and Réhabilitation Engineering, vol. 28, no. 11, pp. 2367-2376, Nov. 2020. [1] P Pinti, The present and future use of functional near-infrared spectroscopy (f NI RS) for cognitive neuroscience. Ann NY Acad Sci. 2020 Mar;1464(l):5-29; [2] L Lim et al., A Unified Analytical Framework With Multiple fN 1RS Featuresfor Mental Workload Assessment in the Prefrontal Cortex, IEEE Trans.on Neural Systems and Rehabilitation Engineering, vol. 28, no. 11, p. 2367-2376, Nov. 2020.
Le recours à des techniques de type f NI RS reste à présent cantonné à des usages dans le domaine de la recherche ou dans des environnements de laboratoire. Les inventeurs proposent un dispositif intégré permettant un couplage entre des modalités électriques et optiques, d'analyse de l'activité cérébrale, et un système de réalité virtuelle, de réalité augmentée ou de réalité mixte. The use of f NI RS type techniques is currently confined to uses in the field of research or in laboratory environments. The inventors propose an integrated device allowing coupling between electrical and optical methods, analysis of cerebral activity, and a virtual reality, augmented reality or mixed reality system.
EXPOSE DE L'INVENTION DISCLOSURE OF THE INVENTION
Un premier objet de l'invention est un dispositif d'analyse de la réponse cérébrale d'un utilisateur, le dispositif étant configuré pour adresser un stimulus sensoriel à l'utilisateur et à enregistrer une réponse cérébrale suite au stimulus, le dispositif comportant : A first object of the invention is a device for analyzing the cerebral response of a user, the device being configured to send a sensory stimulus to the user and to record a cerebral response following the stimulus, the device comprising:
- un support, configuré pour être porté par l'utilisateur ; - a support, configured to be worn by the user;
- un système de réalité étendue, relié au support, et destiné à émettre le stimulus sensoriel;- an extended reality system, connected to the support, and intended to emit the sensory stimulus;
- des électrodes, destinées à être appliquées sur la peau recouvrant le crâne de l'utilisateur, chaque électrode étant configurée pour enregistrer un signal cortical électrique généré par une zone corticale de l'utilisateur située en regard des électrodes ; le dispositif étant caractérisé en ce qu'il comporte - electrodes, intended to be applied to the skin covering the skull of the user, each electrode being configured to record an electrical cortical signal generated by a cortical zone of the user located opposite the electrodes; the device being characterized in that it comprises
- une source de lumière, agencée pour illuminer la peau recouvrant le crâne de l'utilisateur, en formant une zone d'illumination, la source de lumière étant agencée pour émettre une lumière dans une bande spectrale comprise entre 650 nm et 1350 nm ; - a light source, arranged to illuminate the skin covering the user's skull, forming an illumination zone, the light source being arranged to emit light in a spectral band between 650 nm and 1350 nm;
- au moins un photodétecteur, configuré pour détecter une lumière rétrodiffusée par le cortex, sous l'effet de l'illumination par la source de lumière, la lumière détectée émanant d'une zone de détection sur la peau recouvrant le crâne, la distance entre la zone de détection et la zone d'illumination étant de préférence comprise entre 1 mm et 7 cm, la lumière détectée formant un signal cortical optique ; - at least one photodetector, configured to detect light backscattered by the cortex, under the effect of illumination by the light source, the detected light emanating from a detection zone on the skin covering the skull, the distance between the detection zone and the illumination zone preferably being between 1 mm and 7 cm, the detected light forming an optical cortical signal;
- une unité de traitement, programmée pour établir : - a processing unit, programmed to establish:
• une variation d'un signal cortical électrique détecté par au moins une électrode suite à l'émission du stimulus sensoriel, ladite variation formant une réponse cérébrale électrique au stimulus sensoriel ; • a variation of an electrical cortical signal detected by at least one electrode following the emission of the sensory stimulus, said variation forming an electrical cerebral response to the sensory stimulus;
• une variation d'au moins un signal cortical optique détecté par au moins un photodétecteur suite à l'émission du stimulus sensoriel, ladite variation formant une réponse cérébrale optique au stimulus sensoriel. Selon un mode de réalisation, l'unité de traitement est configurée pour estimer un état mental de l'utilisateur à partir des réponses cérébrales optique et électrique. L'unité de traitement peut être configurée pour ajuster le stimulus sensoriel, à un instant, en fonction de l'état mental de l'utilisateur estimé à un instant précédent. Le dispositif peut comporter un capteur de mouvement, configuré pour générer un signal d'actimétrie représentatif d'un mouvement de l'utilisateur, l'unité de traitement étant configurée pour prendre en compte le signal d'actimétrie lors de l'estimation de l'état mental de l'utilisateur. • a variation of at least one optical cortical signal detected by at least one photodetector following the emission of the sensory stimulus, said variation forming an optical cerebral response to the sensory stimulus. According to one embodiment, the processing unit is configured to estimate a mental state of the user from the optical and electrical cerebral responses. The processing unit can be configured to adjust the sensory stimulus, at a time, according to the mental state of the user estimated at a previous time. The device may comprise a movement sensor, configured to generate an actimetry signal representative of a movement of the user, the processing unit being configured to take the actimetry signal into account when estimating the mental state of the user.
La source de lumière peut être une source de lumière continue ou modulée en fréquence.The light source can be a continuous or frequency modulated light source.
Au moins deux électrodes, au moins une source de lumière et au moins un photodétecteur sont de préférence disposés à moins de 5 cm les uns des autres, de façon à adresser une même zone corticale. At least two electrodes, at least one light source and at least one photodetector are preferably arranged less than 5 cm from each other, so as to address the same cortical zone.
Selon une possibilité, le dispositif comporte une fibre optique d'illumination, s'étendant à partir d'une source d'illumination, jusqu'à une extrémité d'illumination, l'extrémité d'illumination étant destinée à être disposée au contact du crâne de l'utilisateur, la fibre optique d'illumination formant la source de lumière. According to one possibility, the device comprises an illumination optical fiber, extending from an illumination source, to an illumination end, the illumination end being intended to be placed in contact with the user's skull, the illumination optical fiber forming the light source.
Selon une possibilité, le dispositif comporte une fibre optique de détection, s'étendant à partir d'un détecteur de lumière, jusqu'à une extrémité de détection, l'extrémité de détection étant destinée à être disposée au contact du crâne de l'utilisateur, la fibre optique de détection formant le photodétecteur. According to one possibility, the device comprises a detection optical fiber, extending from a light detector, to a detection end, the detection end being intended to be placed in contact with the skull of the user, the detection optical fiber forming the photodetector.
Avantageusement, chaque électrode, la ou chaque source de lumière, le ou chaque photodétecteur, est relié au support, formant ainsi un dispositif monolithique. Advantageously, each electrode, the or each light source, the or each photodetector, is connected to the support, thus forming a monolithic device.
Le support peut être une monture d'une lunette. La lunette peut être une lunette de réalité virtuelle ou de réalité augmentée, formant le système de réalité étendue. The support can be a frame for a bezel. The bezel may be a virtual reality or augmented reality bezel, forming the extended reality system.
Le système de réalité étendue peut comporter: The extended reality system may feature:
- une surface de projection, configurée pour projeter une information visuelle, formant un stimulus visuel ; - a projection surface, configured to project visual information, forming a visual stimulus;
- et/ou un générateur de son, configuré pour générer un son formant un stimulus auditif. Le système de réalité étendue peut comporter : - And/or a sound generator, configured to generate a sound forming an auditory stimulus. The extended reality system may include:
- un générateur de vibrations, configuré pour générer un stimulus tactile ; - a vibration generator, configured to generate a tactile stimulus;
- un générateur d'électrostimulation, configuré pour générer un stimulus musculaire.- an electrostimulation generator, configured to generate a muscular stimulus.
Un deuxième objet de l'invention est un procédé d'analyse d'une réponse cérébrale d'un utilisateur suite à la génération d'un stimulus sensoriel, à l'aide d'un dispositif selon le premier objet de l'invention, le procédé comportant : a) génération d'un stimulus sensoriel par le système de réalité étendue ; b) suite à l'étape a) : A second object of the invention is a method for analyzing a cerebral response of a user following the generation of a sensory stimulus, using a device according to the first object of the invention, the process comprising: a) generation of a sensory stimulus by the extended reality system; b) following step a):
- détection d'au moins un signal cortical électrique par une électrode du dispositif ; - detection of at least one electrical cortical signal by an electrode of the device;
- activation d'au moins une source de lumière et détection d'un signal cortical optique par un photodétecteur du dispositif; c) à l'aide de l'unité de traitement, prise en compte des signaux détectés lors de l'étape b) et détermination de la réponse cérébrale de l'utilisateur suite au stimulus sensoriel généré dans l'étape a). - activation of at least one light source and detection of an optical cortical signal by a photodetector of the device; c) using the processing unit, taking into account the signals detected during step b) and determining the cerebral response of the user following the sensory stimulus generated in step a).
Les étapes a) à c) peuvent être effectuées de façon itérative, le procédé étant tel que suite à une première itération, le stimulus sensoriel généré lors de l'étape a) est adapté en fonction de la réponse cérébrale déterminée lors d'une itération précédente. Steps a) to c) can be carried out iteratively, the method being such that following a first iteration, the sensory stimulus generated during step a) is adapted according to the cerebral response determined during an iteration previous.
Le stimulus sensoriel peut être destiné à engendrer l'exécution d'une tâche cognitive par l'utilisateur. The sensory stimulus may be intended to cause the user to perform a cognitive task.
L'invention sera mieux comprise à la lecture de l'exposé des exemples de réalisation présentés, dans la suite de la description, en lien avec les figures listées ci-dessous. The invention will be better understood on reading the description of the embodiments presented, in the remainder of the description, in connection with the figures listed below.
FIGURES FIGURES
La figure 1 représente un exemple de dispositif selon l'invention. FIG. 1 represents an example of a device according to the invention.
La figure 2 montre le trajet d'un photon à travers différentes structures recouvrant le cortex et à travers le cortex, entre une zone d'illumination et une zone de détection située à distance de la zone d'illumination. La zone d'illumination et la zone de détection sont situées sur la peau recouvrant le crâne. Figure 2 shows the path of a photon through different structures covering the cortex and through the cortex, between an illumination zone and a detection zone located at a distance from the illumination zone. The illumination zone and the detection zone are located on the skin covering the skull.
La figure 3 schématise les différents capteurs du dispositif décrite en lien avec la figure 1.Figure 3 schematizes the various sensors of the device described in connection with Figure 1.
La figure 4 montre les principales étapes d'un procédé mettant en oeuvre le dispositif. FIG. 4 shows the main steps of a method implementing the device.
EXPOSE DE MODES DE REALISATION PARTICULIERS DESCRIPTION OF PARTICULAR EMBODIMENTS
La figure 1 représente un mode de réalisation de l'invention. Le dispositif 1 comporte un support 10, destiné à être maintenu au niveau de la tête d'un utilisateur. Le support porte un système de réalité étendue 11, prenant ici la forme d'une lunette. Le terme réalité étendue regroupe la réalité virtuelle, la réalité augmentée et la réalité mixte. La lunette de réalité étendue 11 comporte une surface de projection, destinée à afficher une scène virtuelle à l'attention de l'utilisateur. Figure 1 shows an embodiment of the invention. Device 1 comprises a support 10, intended to be held at the level of a user's head. The support carries an extended reality system 11, here taking the form of a bezel. The term extended reality includes virtual reality, augmented reality and mixed reality. The extended reality bezel 11 comprises a projection surface, intended to display a virtual scene for the attention of the user.
La lunette de réalité étendue est destinée à adresser un stimulus sensoriel ou plusieurs stimuli sensoriels à l'utilisateur. Par stimulus sensoriel, on entend un stimulus visuel et/ou un stimulus sonore. Les stimuli visuel et sonore peuvent être combinés. La lunette de réalité étendue peut être destinée à plonger l'utilisateur dans un environnement virtuel. Le système de réalité étendue 11 peut générer d'autres types de stimulus, par exemple un stimulus haptique ou un stimulus musculaire, de type électrostimulation. The extended reality bezel is intended to address a sensory stimulus or several sensory stimuli to the user. By sensory stimulus is meant a visual stimulus and/or a stimulus sound. Visual and sound stimuli can be combined. The extended reality bezel may be intended to immerse the user in a virtual environment. The extended reality system 11 can generate other types of stimulus, for example a haptic stimulus or a muscular stimulus, of the electrostimulation type.
Le dispositif 1 est destiné à capter et à analyser une réponse cérébrale de l'utilisateur à la scène virtuelle affichée. Il comporte des électrodes 12, de type électroencéphalographie (EEG), destinées à être disposées sur la peau recouvrant le crâne (cuir chevelu ou front). De façon connues, les électrodes de type EEG permettent de capter une activité électrique du cortex. Le signal collecté par chaque électrode forme un signal cortical électrique. Le nombre d'électrodes peut être compris entre deux et quelques dizaines. Le diamètre d'une électrode peut être de quelques millimètres ou de l'ordre de 1 cm. The device 1 is intended to capture and analyze a cerebral response of the user to the displayed virtual scene. It comprises electrodes 12, of the electroencephalography (EEG) type, intended to be placed on the skin covering the skull (scalp or forehead). In known manner, EEG-type electrodes make it possible to pick up an electrical activity of the cortex. The signal collected by each electrode forms an electrical cortical signal. The number of electrodes can be between two and a few tens. The diameter of an electrode can be a few millimeters or around 1 cm.
Le dispositif 1 comporte au moins une source de lumière 13, destinée à illuminer une zone d'illumination 14 sur la peau recouvrant le crâne. La source de lumière, ou chaque source de lumière, émet dans une bande spectrale comprise entre 650 nm et 1350 nm. Cette bande spectrale permet une profondeur de pénétration élevée de la lumière dans les tissus, en l'occurrence la peau, le crâne et la dure-mère. Les propriétés d'absorption des photons sont principalement gouvernées par l'hémoglobine présente dans le cortex. Chaque source de lumière peut être une diode électroluminescente, ou une extrémité d'une fibre optique d'illumination reliée à une source d'illumination située sur le support 10. Dans ce cas, la fibre optique d'illumination ou l'extrémité de la fibre optique d'illumination est assimilée à la source de lumière. La bande spectrale d'émission d'une source de lumière est de préférence inférieure à 100 nm ou inférieure à 50 nm. De préférence, le dispositif comporte : une source de lumière, dont la longueur d'onde d'émission est inférieure à 800 nm, ce qui correspond à une bande spectrale dans laquelle l'absorption de la désoxyhémoglobine est plus importante que l'absorption de l'oxyhémoglobine ; une source de lumière, dont la longueur d'onde d'émission est supérieure à 800 nm, ce qui correspond à une bande spectrale dans laquelle l'absorption d'oxyhémoglobine est plus importante que l'absorption de la désoxyhémoglobine; The device 1 comprises at least one light source 13, intended to illuminate an illumination zone 14 on the skin covering the skull. The light source, or each light source, emits in a spectral band between 650 nm and 1350 nm. This spectral band allows a high penetration depth of the light in the tissues, in this case the skin, the skull and the dura mater. The photon absorption properties are mainly governed by the hemoglobin present in the cortex. Each light source can be a light-emitting diode, or one end of an illumination optical fiber connected to an illumination source located on the support 10. In this case, the illumination optical fiber or the end of the illumination optical fiber is equated with the light source. The emission spectral band of a light source is preferably less than 100 nm or less than 50 nm. Preferably, the device comprises: a light source, the emission wavelength of which is less than 800 nm, which corresponds to a spectral band in which the absorption of deoxyhemoglobin is greater than the absorption of oxyhemoglobin; a light source, the emission wavelength of which is greater than 800 nm, which corresponds to a spectral band in which the absorption of oxyhemoglobin is greater than the absorption of deoxyhemoglobin;
De préférence, deux sources de lumière émettant dans deux bandes spectrales différentes sont proches l'une de l'autre, de façon que la zone d'illumination de chacune des sources de lumière puisse être considérée comme confondue. De façon alternative, chaque source de lumière peut émettre successivement dans plusieurs bandes spectrales. Le dispositif comporte au moins un photodétecteur 15, configuré pour détecter une lumière rétrodiffusée par les tissus de l'utilisateur illuminés par la source de lumière. Le photodétecteur 15 peut être une photodiode, directement au contact de l'utilisateur. Il peut également s'agir d'une extrémité d'une fibre optique de détection, dont l'autre extrémité est reliée à un détecteur de lumière situé sur le support 10. Dans ce cas, la fibre optique de détection ou l'extrémité de la fibre de détection est assimilée au photodétecteur 15. Cette possibilité est illustrée sur la figure 2. Chaque photodétecteur 15 est configuré pour collecter une lumière émanant de la peau recouvrant le crâne de l'utilisateur au niveau d'une zone de détection 16. La zone de détection 16 est située à une distance d de la zone d'illumination 14. La distance d entre la zone d'illumination 14 et la zone de détection 16 est appelée distance de rétrodiffusion. De préférence, le dispositif est configuré pour que pour une zone d'illumination 14, différentes zones de détection 16 sont agencées respectivement à différentes distances de rétrodiffusion. Chaque distance de rétrodiffusion est comprise entre 1 mm et 30 mm, voire 70 mm. Preferably, two light sources emitting in two different spectral bands are close to each other, so that the area of illumination of each of the light sources can be considered as merged. Alternatively, each light source can emit successively in several spectral bands. The device comprises at least one photodetector 15, configured to detect light backscattered by the user's tissues illuminated by the light source. The photodetector 15 can be a photodiode, directly in contact with the user. It may also be one end of a detection optical fiber, the other end of which is connected to a light detector located on the support 10. In this case, the detection optical fiber or the end of the detection fiber is likened to the photodetector 15. This possibility is illustrated in FIG. 2. Each photodetector 15 is configured to collect light emanating from the skin covering the user's skull at the level of a detection zone 16. The detection zone 16 is located at a distance d from the illumination zone 14. The distance d between the illumination zone 14 and the detection zone 16 is called the backscatter distance. Preferably, the device is configured so that for an illumination zone 14, different detection zones 16 are arranged respectively at different backscatter distances. Each backscatter distance is between 1 mm and 30 mm, or even 70 mm.
Sur la figure 2, on a schématisé des exemples chemins moyens statistiques suivis par des photons pénétrant dans le tissu au niveau d'une zone d'illumination 14, et émanant, par rétrodiffusion, d'une zone de détection 16 située à une distance de rétrodiffusion d de la zone d'illumination 14. Les photons se propagent à travers la peau A, le crâne B, la dure-mère D et le cortex C. On considère que plus la distance de rétrodiffusion est importante, plus le signal lumineux collecté au niveau de la zone de détection est représentatif de couches profondes des tissus de l'utilisateur. Dans le cas présent, compte tenu de l'épaisseur de la peau et de l'os, dans le cas d'un adulte, le cortex se trouve à une profondeur comprise entre 1 cm et 2 ou 3 cm de la peau. Il est préférable que la distance de rétrodiffusion soit environ de 3-3.5cm pour un adulte.In FIG. 2, exemplary statistical average paths followed by photons penetrating into the tissue at the level of an illumination zone 14, and emanating, by backscatter, from a detection zone 16 located at a distance of backscatter d from the illumination zone 14. The photons propagate through the skin A, the skull B, the dura mater D and the cortex C. It is considered that the greater the backscatter distance, the greater the light signal collected at the detection zone is representative of deep layers of the user's tissues. In the present case, taking into account the thickness of the skin and the bone, in the case of an adult, the cortex is at a depth of between 1 cm and 2 or 3 cm from the skin. It is better that the backscatter distance is about 3-3.5cm for an adult.
La source de lumière 13 peut être continue ou modulée en fréquence. The light source 13 can be continuous or frequency modulated.
Sous l'effet d'un stimulus sensoriel, généré par le système de réalité étendue 11, certaines parties du cortex de l'utilisateur peuvent réagir. Un objectif de l'invention est de détecter la réponse cérébrale, qu'il s'agisse d'une réaction électrique et/ou d'une réaction optique, cette dernière traduisant des effets hémodynamiques induits par l'activité corticale. Under the effect of a sensory stimulus, generated by the extended reality system 11, certain parts of the user's cortex can react. One objective of the invention is to detect the cerebral response, whether it be an electrical reaction and/or an optical reaction, the latter reflecting hemodynamic effects induced by cortical activity.
La réponse électrique peut être captée par les électrodes déposées sur la peau recouvrant le crâne de l'utilisateur. D'une manière connue en soi, la réponse du cortex se traduit par une variation de l'activité électrique, cette dernière pouvant être enregistrée par les électrodes 12. Le dispositif comporte une unité de traitement 20, destinée à collecter et analyser les signaux électriques détectés par les électrodes ou les signaux optiques issus de chaque photodétecteur. L'unité de traitement 20 comporte différents modules. The electrical response can be picked up by electrodes placed on the skin covering the user's skull. In a manner known per se, the response of the cortex results in a variation of the electrical activity, the latter being able to be recorded by the electrodes 12. The device comprises a processing unit 20, intended to collect and analyze the signals electric detected by the electrodes or the optical signals from each photodetector. The processing unit 20 comprises various modules.
Un premier module 21 est programmé pour effectuer une analyse des signaux électriques collectés par les électrodes. De façon usuelle, le premier module 21 peut effectuer une analyse de la puissance spectrale dans différentes bandes spectrales, par exemple une ou plusieurs des bandes spectrales connues dans le domaine de l'analyse fréquentielle des signaux EEG : bande d, bande Q, bande a ou bande b. Selon une possibilité, l'analyse fréquentielle peut sélectionner une bande spectrale dont la puissance subit une variation temporelle considérée comme significative sous l'effet du stimulus sensoriel puis quantifier la variation temporelle de puissance spectrale dans la bande spectrale ainsi sélectionnée. Cette variation temporelle correspond à la réponse électrique du cortex au stimulus adressé à l'utilisateur. Une seconde manière d'analyser les signaux EEG est de moyenner plusieurs réponses cérébrales en se synchronisant sur l'instant d'apparition des stimuli : cette technique d'analyse dite de potentiels évoqués est particulièrement robuste car le bruit de mesure va diminuer lors du processus de moyenne. A first module 21 is programmed to perform an analysis of the electrical signals collected by the electrodes. Usually, the first module 21 can perform an analysis of the spectral power in different spectral bands, for example one or more of the spectral bands known in the field of the frequency analysis of EEG signals: band d, band Q, band a or band b. According to one possibility, the frequency analysis can select a spectral band whose power undergoes a temporal variation considered to be significant under the effect of the sensory stimulus and then quantify the temporal variation of spectral power in the spectral band thus selected. This temporal variation corresponds to the electrical response of the cortex to the stimulus addressed to the user. A second way of analyzing EEG signals is to average several cerebral responses by synchronizing with the time of appearance of the stimuli: this so-called evoked potential analysis technique is particularly robust because the measurement noise will decrease during the process. on average.
Un deuxième module 22 est programmé pour effectuer une analyse des signaux optiques émanant de chaque zone de détection 16 et détectés par chaque photodétecteur 15. On met alors en oeuvre des principes connus de la spectroscopie fonctionnelle proche infra-rouge f NI RS, évoquée dans l'art antérieur. La modalité f N I RS permet de détecter une réponse hémodynamique du cortex, suite à la perception du stimulus sensoriel . Le recours à différentes longueurs d'onde permet d'estimer une variation de la concentration d'oxyhémoglobine et de désoxyhémoglobine sous l'effet du stimulus. Certains stimuli peuvent en effet déclencher une activité neuronale induisant un accroissement de la demande d'oxygène. Cet accroissement local se traduit par une augmentation, au niveau de la zone corticale concernée, de la concentration d'oxyhémoglobine, et d'une diminution de la concentration de désoxyhémoglobine. A second module 22 is programmed to carry out an analysis of the optical signals emanating from each detection zone 16 and detected by each photodetector 15. Known principles of functional near-infrared spectroscopy f NI RS are then implemented, mentioned in the prior art. The f N I RS modality makes it possible to detect a hemodynamic response of the cortex, following the perception of the sensory stimulus. The use of different wavelengths makes it possible to estimate a variation in the concentration of oxyhemoglobin and deoxyhemoglobin under the effect of the stimulus. Certain stimuli can in fact trigger neuronal activity inducing an increase in the demand for oxygen. This local increase results in an increase, at the level of the cortical zone concerned, in the concentration of oxyhemoglobin, and a decrease in the concentration of deoxyhemoglobin.
Le deuxième module 22 est configuré pour quantifier les variations de signaux optiques détectés avant et après le stimulus. Ces variations constituent la réponse optique de l'utilisateur au stimulus. The second module 22 is configured to quantify the variations of optical signals detected before and after the stimulus. These variations constitute the user's optical response to the stimulus.
Le deuxième module 22 peut être configuré pour estimer un rythme cardiaque ou une rythme respiratoire. Pour cela, on met en oeuvre un photodétecteur situé à courte distance d'une source de lumière, typiquement moins d'1 cm. S'agissant de l'estimation du rythme cardiaque, on peut mettre en œuvre les principes décrits dans la demande de brevet français FR2014157. S'agissant de l'estimation du rythme respiratoire, on peut mettre en œuvre les principes décrits dans Charlton PH, Bonnici T, Tarassenko L, Clifton DA, Beale R, Watkinson PJ. An assessment of algorithms to estimate respiratory rate from the electrocardiogram and photoplethysmogram. Physiol Meas. 2016 Apr;37(4):610-26. The second module 22 can be configured to estimate a heart rate or a respiratory rate. For this, a photodetector located at a short distance from a light source, typically less than 1 cm, is implemented. With regard to the estimation of the heart rate, one can implement the principles described in the French patent application FR2014157. With regard to the estimation of the respiratory rate, the principles described in Charlton PH, Bonnici T, Tarassenko L, Clifton DA, Beale R, Watkinson PJ can be implemented. An assessment of algorithms to estimate respiratory rate from the electrocardiogram and photoplethysmogram. Physiol Meas. 2016 Apr;37(4):610-26.
Les premier et deuxième modules sont configurés pour établir une réponse cérébrale, respectivement électrique et optique, dans la zone corticale considérée, résultant de la perception du stimulus par l'utilisateur. Par zone corticale, on entend la zone du cortex dont l'activation forme une réponse détectable par les électrodes et les photodétecteurs disposés face à cette dernière. Afin d'adresser la même zone corticale, au moins deux électrodes, au moins une source de lumière et au moins un photodétecteur, formant deux couples source- détecteur, sont de préférence regroupés dans un périmètre dont le diamètre est inférieur à 5 cm. The first and second modules are configured to establish a cerebral response, respectively electrical and optical, in the cortical zone considered, resulting from the perception of the stimulus by the user. By cortical zone is meant the zone of the cortex the activation of which forms a response detectable by the electrodes and the photodetectors arranged opposite the latter. In order to address the same cortical zone, at least two electrodes, at least one light source and at least one photodetector, forming two source-detector pairs, are preferably grouped together in a perimeter whose diameter is less than 5 cm.
Selon une possibilité, le dispositif 1 comporte un capteur de mouvement 17, destiné à détecter un mouvement de l'utilisateur. Il peut par exemple s'agir d'un accéléromètre. Le capteur de mouvement 17 génère un signal d'actimétrie représentatif du mouvement de l'utilisateur. L'utilisation d'un tel signal permet d'éviter l'interprétation d'artéfacts dans les réponses cérébrales de l'utilisateur, en particulier la réponse électrique, l'analyse par EEG pouvant être sensible aux mouvements de l'utilisateur. Le capteur de mouvement 17 est relié à un module d'actimétrie, permettant d'enregistrer le signal d'actimétrie et de détecter un éventuel mouvement susceptible d'entraîner une perturbation de la réponse électrique ou optique. According to one possibility, the device 1 comprises a movement sensor 17, intended to detect a movement of the user. It may for example be an accelerometer. The movement sensor 17 generates an actimetry signal representative of the movement of the user. The use of such a signal makes it possible to avoid the interpretation of artefacts in the cerebral responses of the user, in particular the electrical response, the analysis by EEG possibly being sensitive to the movements of the user. The movement sensor 17 is connected to an actimetry module, making it possible to record the actimetry signal and to detect any movement liable to cause a disturbance of the electrical or optical response.
Le système de réalité étendue 11 peut être équipé d'une centrale inertielle. Le capteur de mouvement 17 peut être un des capteurs de la centrale inertielle. The extended reality system 11 can be equipped with an inertial unit. The movement sensor 17 can be one of the sensors of the inertial unit.
Selon une possibilité, le dispositif comporte un capteur d'activité électrodermale 18. Un tel capteur est configuré pour estimer une variation d'impédance de la peau. Une variation d'impédance peut survenir lorsque l'utilisateur est dans un état de stress. Le capteur d'activité électrodermale est formé de deux électrodes, d'une source de courant ou de tension, et d'un circuit d'impédancemétrie. According to one possibility, the device comprises an electrodermal activity sensor 18. Such a sensor is configured to estimate a variation in impedance of the skin. Impedance variation can occur when the user is under stress. The electrodermal activity sensor is formed of two electrodes, a current or voltage source, and an impedance measurement circuit.
Selon une possibilité, le dispositif comporte un capteur d'oculométrie 19, disposé sur la surface de projection, de façon à suivre le mouvement oculaire de l'utilisateur. Un tel capteur peut comporter une ou plusieurs caméras infra-rouge visant à suivre le mouvement de l'œil. Les réponses cérébrales électriques et optiques, résultant des modules 21 et 22, sont utilisées par l'unité de traitement 20 pour estimer un état mental de l'utilisateur et/ou une évolution de l'état mental suite à l'émission successive de différents stimuli. L'unité de traitement 20 comporte un module d'analyse 23, configuré pour estimer l'état mental de l'utilisateur. L'état mental de l'utilisateur peut être un niveau de stress, de fatigue, de concentration, ou d'émotion, ou, de façon plus générale, une charge cognitive. Les capteurs de mouvement 17, d'activité électrodermale 18 ou d'oculométrie 19 peuvent être reliés au module d'analyse 23, de façon que leurs mesures soient prises en compte dans la détermination de l'état mental de l'utilisateur. Il s'agit de supprimer des artéfacts pouvant être liés à des mouvements de l'utilisateur ou à des mouvements des yeux. Il peut également s'agir d'obtenir des mesures complémentaires, tendant à confirmer l'estimation de l'état mental. C'est par exemple le cas lorsque les mesures d'activité électrodermales sont utilisées pour confirmer la survenue d'un état de stress. Un exemple de détermination de l'état mental d'un utilisateur est décrit dans la publication [2] citée dans l'art antérieur. According to one possibility, the device comprises an eye tracking sensor 19, arranged on the projection surface, so as to follow the eye movement of the user. Such a sensor can comprise one or more infrared cameras aiming to follow the movement of the eye. The electrical and optical cerebral responses, resulting from the modules 21 and 22, are used by the processing unit 20 to estimate a mental state of the user and/or a change in the mental state following the successive emission of different stimulus. The processing unit 20 comprises an analysis module 23, configured to estimate the mental state of the user. The mental state of the user can be a level of stress, fatigue, concentration, or emotion, or, more generally, a cognitive load. The movement 17, electrodermal activity 18 or eye tracking 19 sensors can be connected to the analysis module 23, so that their measurements are taken into account in determining the mental state of the user. This is to remove artifacts that may be related to user movements or eye movements. It may also involve obtaining additional measurements, tending to confirm the estimate of the mental state. This is for example the case when electrodermal activity measurements are used to confirm the occurrence of a state of stress. An example of determining the mental state of a user is described in the publication [2] cited in the prior art.
L'unité de traitement peut comporter un ou plusieurs microprocesseurs. The processing unit may include one or more microprocessors.
Un exemple de combinaison de mesures optiques et EEG corticales est décrit dans la publication Mahmoudzadeh M« Usefulness of stimultaneous EEG-NIRS recording in language studies », Brain and Language, May 2011. An example of combining optical and cortical EEG measurements is described in the publication Mahmoudzadeh M “Usefulness of stimultaneous EEG-NIRS recording in language studies”, Brain and Language, May 2011.
La figure 3 illustre la liaison entre les différents composants précédemment décrits. De préférence, le dispositif est monobloc, les différents composants étant reliés et / ou intégrés au support 10. FIG. 3 illustrates the connection between the various components previously described. Preferably, the device is in one piece, the various components being connected and/or integrated into the support 10.
Un aspect intéressant du dispositif est qu'en fonction de l'état mental estimé par l'unité de traitement 20, une rétroaction peut être effectuée, de façon à adapter chaque stimulus. Par exemple, un stimulus visuel, à un instant, peut être adapté en fonction de l'état de l'utilisateur estimé à un instant précédent. Lorsque l'utilisateur est plongé dans une scène virtuelle, le contenu de la scène virtuelle, qui forme le stimulus adressé à l'utilisateur, peut ainsi varier en fonction de l'évolution de l'état mental de l'utilisateur. Par exemple, lorsque l'utilisateur est sollicité par l'environnement virtuel pour effectuer des tâches, la difficulté des tâches peut varier en fonction de l'état mental de l'utilisateur, par exemple son état de stress ou de fatigue.An interesting aspect of the device is that depending on the mental state estimated by the processing unit 20, feedback can be performed, so as to adapt each stimulus. For example, a visual stimulus, at a time, can be adapted according to the state of the user estimated at a previous time. When the user is immersed in a virtual scene, the content of the virtual scene, which forms the stimulus addressed to the user, can thus vary according to the evolution of the mental state of the user. For example, when the user is requested by the virtual environment to perform tasks, the difficulty of the tasks can vary according to the mental state of the user, for example his state of stress or fatigue.
L'unité de traitement 20 peut estimer un score, quantifiant l'état mental de l'utilisateur, par exemple un niveau de stress ou un niveau de relaxation. Le score peut être communiqué à l'utilisateur, par l'intermédiaire du système de réalité étendue, de façon visuelle ou sonore. Cela permet à l'utilisateur de s'entraîner à faire évoluer son état mental. Un tel mode de réalisation est adapté à la pratique d'activités de relaxation de l'utilisateur. The processing unit 20 can estimate a score, quantifying the mental state of the user, for example a level of stress or a level of relaxation. The score can be communicated to the user, via the extended reality system, visually or audibly. That allows the user to practice changing their mental state. Such an embodiment is suitable for practicing relaxation activities for the user.
Sur la figure 3, les flèches en traits pleins illustrent des transmissions de signaux par liaison filaire ou sans fil. Les flèches en pointillés correspondent à l'action du cortex de l'utilisateur, qui, sous l'effet de la scène affichée par le système de réalité étendue 11, génère une réponse cérébrale pouvant être mesurée par les électrodes 12 ou les photodétecteurs 15. In FIG. 3, the arrows in solid lines illustrate signal transmissions by wired or wireless link. The dotted arrows correspond to the action of the user's cortex, which, under the effect of the scene displayed by the extended reality system 11, generates a cerebral response that can be measured by the electrodes 12 or the photodetectors 15.
Le stimulus peut être adressé sans que l'utilisateur soit concentré sur ce dernier. Le stimulus peut être une partie de la scène virtuelle, pas forcément directement perceptible par l'utilisateur, et qui permet d'entraîner une évolution de l'état mental de l'utilisateur, par exemple engendrer un stress ou, au contraire, une relaxation. Ainsi, il est possible d'estimer un état mental de l'utilisateur sans que ce dernier soit conscient des stimuli appliqués, ces derniers étant noyés dans l'environnement virtuel dans lequel l'utilisateur est plongé. Par exemple, l'utilisateur peut être placé dans une ambiance musicale apaisante, alors que des stimulus visuels lui sont adressés. The stimulus can be addressed without the user being focused on it. The stimulus can be a part of the virtual scene, not necessarily directly perceptible by the user, and which makes it possible to bring about an evolution of the mental state of the user, for example generating stress or, on the contrary, relaxation . Thus, it is possible to estimate a mental state of the user without the latter being aware of the stimuli applied, the latter being embedded in the virtual environment in which the user is immersed. For example, the user can be placed in a soothing musical atmosphere, while visual stimuli are addressed to him.
Un avantage du dispositif est qu'il permet d'obtenir une bonne synchronisation entre l'application des stimuli successifs et les mesures des réponses cérébrales, et cela en utilisant un dispositif intégré. One advantage of the device is that it makes it possible to obtain good synchronization between the application of successive stimuli and the measurements of the cerebral responses, and this by using an integrated device.
L'état mental de l'utilisateur peut être transmis à une unité distante 30, de façon à effectuer un suivi temporel et des corrélations entre les stimuli appliqués et l'évolution de l'état mental. Il peut également s'agir d'identifier des situations auxquelles l'utilisateur est sensible. The mental state of the user can be transmitted to a remote unit 30, so as to carry out temporal monitoring and correlations between the stimuli applied and the evolution of the mental state. It may also involve identifying situations to which the user is sensitive.
Lors de la mise en oeuvre du dispositif, l'utilisateur est par exemple soumis à une ambiance musicale continue, de type musique de fond, et/ou à des bruits discontinus: dans ce cas, le dispositif comporte une source d'émission sonore, par exemple un casque auditif. Le bruit discontinu peut être un signal donné à l'utilisateur de démarrer ou de cesser l'exécution d'une consigne particulière, de façon à moduler la charge cognitive. Le bruit discontinu peut également être destiné à générer un effet de stress à l'utilisateur, par exemple un bruit aigu.During the implementation of the device, the user is for example subjected to a continuous musical atmosphere, of the background music type, and/or to discontinuous noises: in this case, the device comprises a source of sound emission, for example a headset. The discontinuous noise can be a signal given to the user to start or stop the execution of a particular instruction, so as to modulate the cognitive load. The discontinuous noise can also be intended to generate a stress effect on the user, for example a high-pitched noise.
De façon complémentaire ou alternative à un stimulus visuel et/ou auditif, le dispositif peut soumettre l'utilisateur à un autre stimulus sensoriel. Il peut notamment s'agir : d'un stimulus appliqué sur une partie du corps l'utilisateur : dans ce cas, le dispositif comporte un générateur de stimulus haptique, par exemple un générateur de vibration ; d'un stimulus musculaire, appliqué à un muscle de l'utilisateur : dans ce cas, le dispositif peut comporter par exemple un module d'électrostimulation ; L'utilisateur peut ainsi être simultanément exposé à des stimuli de différents types : par exemple visuel + auditif, visuel + haptique. As a complement or alternative to a visual and/or auditory stimulus, the device can subject the user to another sensory stimulus. It may in particular be: a stimulus applied to a part of the user's body: in this case, the device comprises a haptic stimulus generator, for example a vibration generator; a muscular stimulus, applied to a muscle of the user: in this case, the device can comprise for example an electrostimulation module; The user can thus be simultaneously exposed to stimuli of different types: for example visual + auditory, visual + haptic.
Selon une possibilité, le stimulus visuel et sonore vise à engendrer une tâche cognitive de l'utilisateur. Il peut par exemple s'agir de demander, de façon sonore ou visuelle, à l'utilisateur d'effectuer une tâche entraînant une charge cognitive ou un certain état de stress. Il peut par exemple s'agir d'effectuer un comptage croissant ou décroissant, en prenant en compte une incrémentation (ou une décrémentation) prédéfinie. Par exemple, on demande, de façon visuelle ou sonore, à l'utilisateur d'effectuer un comptage décroissant à partir d'une valeur, par exemple 1000, par décréments successifs de 13. L'utilisateur effectue cette tâche cognitive après l'émission d'un signal de consigne sonore ou visuel. Comme précédemment évoqué, la complexité de la tâche cognitive peut être ajustée en fonction de l'état mental de l'utilisateur, en l'occurrence la charge cognitive de l'utilisateur. According to one possibility, the visual and sound stimulus aims to generate a cognitive task of the user. It may for example be a question of asking the user, audibly or visually, to perform a task involving a cognitive load or a certain state of stress. It may for example be a matter of carrying out an increasing or decreasing count, taking into account a predefined increment (or decrement). For example, the user is visually or audibly asked to count down from a value, for example 1000, by successive decrements of 13. The user performs this cognitive task after the transmission an audible or visual instruction signal. As previously mentioned, the complexity of the cognitive task can be adjusted according to the mental state of the user, in this case the cognitive load of the user.
Dans un mode de réalisation, le dispositif de réalité étendue est une lunette de réalité augmentée. Dans ce cas, l'utilisateur perçoit l'environnement réel dans lequel il se trouve et des indications visuelles sont affichées par réalité augmentée. Ces indications peuvent constituer un stimulus. Par exemple, l'utilisateur peut pratiquer une activité physique. Les indications affichées sont des consignes adressées à l'utilisateur pour moduler son activité physique : changement de mouvement, accélération...En fonction de l'état mental de l'utilisateur, les consignes, qui forment les stimuli, sont adaptées, en ajustant le niveau de difficulté. In one embodiment, the extended reality device is an augmented reality goggle. In this case, the user perceives the real environment in which he finds himself and visual indications are displayed by augmented reality. These indications can constitute a stimulus. For example, the user can engage in physical activity. The indications displayed are instructions addressed to the user to modulate his physical activity: change of movement, acceleration... Depending on the mental state of the user, the instructions, which form the stimuli, are adapted, by adjusting the level of difficulty.
La figure 4 représente les principales étapes d'un procédé d'estimation d'un état mental d'un utilisateur en utilisant le dispositif précédemment décrit. FIG. 4 represents the main steps of a method for estimating a mental state of a user using the device previously described.
Etape 100 : affichage d'une scène à l'utilisateur par la lunette de réalité étendue 11. Comme précédemment indiqué, il peut s'agir d'une scène virtuelle ou d'une scène comportant des informations de type réalité augmentée. Step 100: display of a scene to the user by the extended reality bezel 11. As previously indicated, this may be a virtual scene or a scene comprising information of the augmented reality type.
Etape 110 : acquisition de mesures électriques par les électrodes 12. Step 110: acquisition of electrical measurements by the electrodes 12.
Etape 120 : acquisition de mesures optiques par les photodétecteurs 15. Step 120: acquisition of optical measurements by the photodetectors 15.
Etape 130 : acquisition de mesures issus d'autres capteurs : capteur de mouvement 17 et/ou capteur d'activité électrodermale 18 et/ou capteur de suivi oculaire 19. Step 130: acquisition of measurements from other sensors: motion sensor 17 and/or electrodermal activity sensor 18 and/or eye tracking sensor 19.
Etape 140 : quantification, par le premier module 21, de la réponse électrique à la scène affichée, à partir des mesures électriques résultant de l'étape 110 et de mesures électriques antérieures. Etape 150 : quantification, par le deuxième module 22, de la réponse optique à la scène affichée, à partir des mesures optiques résultant de l'étape 120 et de mesures optiques antérieures.Step 140: quantification, by the first module 21, of the electrical response to the scene displayed, from the electrical measurements resulting from step 110 and from previous electrical measurements. Step 150: quantification, by the second module 22, of the optical response to the scene displayed, from the optical measurements resulting from step 120 and from previous optical measurements.
Etape 160 : estimation de l'état mental de l'utilisateur à partir de la réponse optique et de la réponse électrique résultant respectivement des étapes 140 et 150. Step 160: estimation of the mental state of the user from the optical response and the electrical response resulting respectively from steps 140 and 150.
Etape 170 : à partir de l'état mental de l'utilisateur, formation d'un signal de rétroaction de façon à ajuster la scène observée. Cette étape est optionnelle. Step 170: from the mental state of the user, forming a feedback signal so as to adjust the observed scene. This step is optional.
Etape 180 : transmission de l'état mental de l'utilisateur à l'unité distante 30. Cette étape est également optionnelle. Step 180: transmission of the mental state of the user to the remote unit 30. This step is also optional.
Les étapes 100 à 180 peuvent ensuite être réitérées. Steps 100 to 180 can then be repeated.
Un avantage notable de l'invention est de faciliter la synchronisation temporelle entre la génération du stimulus sensoriel et la détermination de la réponse cérébrale de l'utilisateur suite à la génération du stimulus. La synchronisation permet une meilleure maîtrise de l'effet du stimulus sensoriel sur l'utilisateur. Le dispositif est configuré pour être porté par l'utilisateur : il est donc particulièrement adapté à une utilisation nomade. A notable advantage of the invention is to facilitate the temporal synchronization between the generation of the sensory stimulus and the determination of the cerebral response of the user following the generation of the stimulus. Synchronization allows better control of the effect of the sensory stimulus on the user. The device is configured to be worn by the user: it is therefore particularly suitable for mobile use.
A partir de la réponse cérébrale mesurée, le dispositif permet de rétroagir sur la génération du stimulus, et d'adapter le stimulus en fonction de la réponse cérébrale. Le stimulus peut ainsi être adapté en fonction de l'état mental de l'utilisateur, en particulier la charge cognitive de l'utilisateur. From the measured cerebral response, the device makes it possible to retroact on the generation of the stimulus, and to adapt the stimulus according to the cerebral response. The stimulus can thus be adapted according to the mental state of the user, in particular the cognitive load of the user.
Le dispositif pourra être utilisé pour des analyses effectuées à des fins de diagnostic, ou à des fins de rééducation fonctionnelle. Par exemple, il peut s'agir de piloter un programme de rééducation de la motricité de l'utilisateur, le programme indiquant des tâches motrices à effectuer par l'utilisateur Le dispositif permet d'adapter le programme de rééducation, notamment la fréquence et/ou la difficulté des tâches motrices, à la charge mentale de l'utilisateur. The device may be used for analyzes carried out for diagnostic purposes, or for functional rehabilitation purposes. For example, it may be a question of piloting a rehabilitation program for the motor skills of the user, the program indicating motor tasks to be carried out by the user The device makes it possible to adapt the rehabilitation program, in particular the frequency and/or or the difficulty of motor tasks, to the mental load of the user.
Le dispositif peut être également utilisé pour tester des aptitudes psychiques d'utilisateurs susceptibles d'effectuer certaines opérations pouvant s'avérer stressante. Le dispositif peut par exemple être utilisé pour suivre l'évolution de la charge mentale d'un pilote soumis à un environnement virtuel, simulant des situations de vol difficiles. Le principe peut être étendu à tout opérateur amené à effectuer des opérations précises dans un environnement de travail pouvant être stressant. Bien que décrit en lien avec une lunette, le dispositif de réalité étendue peut prendre d'autres formes. Il peut par exemple s'agir d'une visière attachée à un support relié à la tête de l'utilisateur. The device can also be used to test the psychic abilities of users likely to carry out certain operations which may prove to be stressful. The device can for example be used to follow the evolution of the mental load of a pilot subjected to a virtual environment, simulating difficult flight situations. The principle can be extended to any operator required to carry out specific operations in a potentially stressful work environment. Although described in connection with a bezel, the extended reality device can take other forms. It may for example be a visor attached to a support connected to the user's head.

Claims

REVENDICATIONS
1. Dispositif (1) d'analyse de la réponse cérébrale d'un utilisateur, le dispositif étant configuré pour adresser, à un instant, un stimulus sensoriel à l'utilisateur et à enregistrer une réponse cérébrale suite au stimulus, le dispositif comportant : 1. Device (1) for analyzing the cerebral response of a user, the device being configured to send, at a time, a sensory stimulus to the user and to record a cerebral response following the stimulus, the device comprising:
- un support (10), configuré pour être porté par l'utilisateur ; - a support (10), configured to be worn by the user;
- un système de réalité étendue (11), relié au support, et destiné à émettre le stimulus sensoriel; - an extended reality system (11), connected to the support, and intended to emit the sensory stimulus;
- des électrodes (12), destinées à être appliquées sur la peau recouvrant le crâne de l'utilisateur, chaque électrode étant configurée pour enregistrer un signal cortical électrique généré par une zone corticale de l'utilisateur située en regard des électrodes ; le dispositif étant caractérisé en ce qu'il comporte - electrodes (12), intended to be applied to the skin covering the user's skull, each electrode being configured to record an electrical cortical signal generated by a cortical zone of the user located opposite the electrodes; the device being characterized in that it comprises
- une source de lumière (13), agencée pour illuminer la peau recouvrant le crâne de l'utilisateur, en formant une zone d'illumination (14), la source de lumière étant agencée pour émettre une lumière dans une bande spectrale comprise entre 650 nm et 1350 nm ;- a light source (13), arranged to illuminate the skin covering the skull of the user, forming an illumination zone (14), the light source being arranged to emit light in a spectral band between 650 nm and 1350 nm;
- au moins un photodétecteur (15), configuré pour détecter une lumière rétrodiffusée par le cortex, sous l'effet de l'illumination par la source de lumière, la lumière détectée émanant d'une zone de détection (16) sur la peau recouvrant le crâne, la distance entre la zone de détection et la zone d'illumination étant comprise entre 1 mm et 7 cm, la lumière détectée formant un signal cortical optique ; - at least one photodetector (15), configured to detect light backscattered by the cortex, under the effect of illumination by the light source, the detected light emanating from a detection zone (16) on the skin covering the skull, the distance between the detection zone and the illumination zone being between 1 mm and 7 cm, the detected light forming an optical cortical signal;
- une unité de traitement (20), programmée pour établir, en synchronisation avec l'instant auquel le stimulus sensoriel est adressé : - a processing unit (20), programmed to establish, in synchronization with the instant at which the sensory stimulus is addressed:
• une variation d'un signal cortical électrique détecté par au moins une électrode suite à l'émission du stimulus sensoriel, ladite variation formant une réponse cérébrale électrique au stimulus sensoriel; • a variation of an electrical cortical signal detected by at least one electrode following the emission of the sensory stimulus, said variation forming an electrical cerebral response to the sensory stimulus;
• une variation d'au moins un signal cortical optique détecté par au moins un photodétecteur suite à l'émission du stimulus sensoriel, ladite variation formant une réponse cérébrale optique au stimulus sensoriel. • a variation of at least one optical cortical signal detected by at least one photodetector following the emission of the sensory stimulus, said variation forming an optical cerebral response to the sensory stimulus.
2. Dispositif selon la revendication 1, dans lequel l'unité de traitement (20) est configurée pour estimer un état mental de l'utilisateur à partir des réponses cérébrales optique et électrique. 2. Device according to claim 1, in which the processing unit (20) is configured to estimate a mental state of the user from the optical and electrical cerebral responses.
3. Dispositif selon la revendication 2, dans lequel l'unité de traitement est configurée pour ajuster le stimulus sensoriel, à un instant, en fonction de l'état mental de l'utilisateur estimé à un instant précédent. 3. Device according to claim 2, in which the processing unit is configured to adjust the sensory stimulus, at a time, according to the mental state of the user estimated at a previous time.
4. Dispositif selon l'une quelconque des revendications 2 ou 3, comportant un capteur de mouvement (17), configuré pour générer un signal d'actimétrie représentatif d'un mouvement de l'utilisateur, l'unité de traitement (20) étant configurée pour prendre en compte le signal d'actimétrie lors de l'estimation de l'état mental de l'utilisateur. 4. Device according to any one of claims 2 or 3, comprising a motion sensor (17), configured to generate an actimetry signal representative of a movement of the user, the processing unit (20) being configured to take into account the actimetry signal when estimating the mental state of the user.
5. Dispositif selon l'une quelconque des revendications 2 à 4, dans lequel : 5. Device according to any one of claims 2 to 4, wherein:
- le dispositif comporte un capteur d'oculométrie (19) et/ou un capteur d'activité électrodermale (18) ; - the device comprises an eye tracking sensor (19) and/or an electrodermal activity sensor (18);
- l'unité de traitement (20) est programmée pour prendre en compte les mesures résultant du capteur d'oculométrie et/ou du capteur d'activité électrodermale pour déterminer l'état mental de l'utilisateur. - the processing unit (20) is programmed to take into account the measurements resulting from the eye tracking sensor and/or from the electrodermal activity sensor to determine the mental state of the user.
6. Dispositif selon l'une quelconque des revendications précédentes, dans lequel la source de lumière (13) est une source de lumière continue ou modulée en fréquence. 6. Device according to any one of the preceding claims, in which the light source (13) is a continuous or frequency modulated light source.
7. Dispositif selon l'une quelconque des revendications précédentes, dans lequel au moins deux électrodes, au moins une source de lumière et au moins un photodétecteur sont disposés à moins de 5 cm les uns des autres, de façon à adresser une même zone corticale. 7. Device according to any one of the preceding claims, in which at least two electrodes, at least one light source and at least one photodetector are arranged less than 5 cm from each other, so as to address the same cortical zone. .
8. Dispositif selon l'une quelconque des revendications précédentes, comportant une fibre optique d'illumination, s'étendant à partir d'une source d'illumination, jusqu'à une extrémité d'illumination, l'extrémité d'illumination étant destinée à être disposée au contact du crâne de l'utilisateur, la fibre optique d'illumination formant la source de lumière (13). 8. Device according to any one of the preceding claims, comprising an illumination optical fiber, extending from an illumination source, to an illumination end, the illumination end being intended to be placed in contact with the user's skull, the illumination optical fiber forming the light source (13).
9. Dispositif selon l'une quelconque des revendications précédentes, comportant une fibre optique de détection, s'étendant à partir d'un détecteur de lumière, jusqu'à une extrémité de détection, l'extrémité de détection étant destinée à être disposée au contact du crâne de l'utilisateur, la fibre optique de détection formant le photodétecteur (15). 9. Device according to any one of the preceding claims, comprising a detection optical fiber, extending from a light detector, to a detection end, the detection end being intended to be disposed at the contact with the user's skull, the detection optical fiber forming the photodetector (15).
10. Dispositif selon l'une quelconque des revendications précédentes, dans lequel chaque électrode, la ou chaque source de lumière, le ou chaque photodétecteur, est relié au support (10), formant un dispositif monolithique. 10. Device according to any one of the preceding claims, in which each electrode, the or each light source, the or each photodetector, is connected to the support (10), forming a monolithic device.
11. Dispositif selon l'une quelconque des revendications précédentes, dans lequel le support (10) comporte une monture d'une lunette, la lunette étant une lunette de réalité virtuelle ou de réalité augmentée, formant le système de réalité étendue (11). 11. Device according to any one of the preceding claims, in which the support (10) comprises a frame for a bezel, the bezel being a virtual reality or augmented reality bezel, forming the extended reality system (11).
12. Dispositif selon l'une quelconque des revendications précédentes, dans lequel le système de réalité étendue (11) comporte: 12. Device according to any one of the preceding claims, in which the extended reality system (11) comprises:
- une surface de projection, configurée pour projeter une information visuelle, formant un stimulus visuel ; - a projection surface, configured to project visual information, forming a visual stimulus;
- et/ou un générateur de son, configuré pour générer un son formant un stimulus auditif. - And/or a sound generator, configured to generate a sound forming an auditory stimulus.
13. Dispositif selon l'une quelconque des revendications précédentes, dans lequel le système de réalité étendue comporte : 13. Device according to any one of the preceding claims, in which the extended reality system comprises:
- un générateur de vibrations, configuré pour générer un stimulus tactile ; - a vibration generator, configured to generate a tactile stimulus;
- un générateur d'électrostimulation, configuré pour générer un stimulus musculaire. - an electrostimulation generator, configured to generate a muscular stimulus.
14. Procédé d'analyse d'une réponse cérébrale d'un utilisateur suite à la génération d'un stimulus sensoriel, à l'aide d'un dispositif (1) selon l'une quelconque des revendications précédentes, le procédé comportant : a) Génération, à un instant, d'un stimulus sensoriel par le système de réalité étendue (11); b) suite à l'étape a) : 14. Method for analyzing a cerebral response of a user following the generation of a sensory stimulus, using a device (1) according to any one of the preceding claims, the method comprising: a ) Generation, at a time, of a sensory stimulus by the extended reality system (11); b) following step a):
- détection d'au moins un signal cortical électrique par une électrode (12) du dispositif ;- detection of at least one electrical cortical signal by an electrode (12) of the device;
- activation d'au moins une source de lumière et détection d'un signal cortical optique par un photodétecteur (15) du dispositif; c) à l'aide de l'unité de traitement, prise en compte des signaux détectés lors de l'étape b) et détermination de la réponse cérébrale de l'utilisateur suite au stimulus sensoriel généré dans l'étape a), la réponse cérébrale étant déterminée en synchronisation avec l'instant auquel le stimulus est appliqué. - activation of at least one light source and detection of an optical cortical signal by a photodetector (15) of the device; c) using the processing unit, taking into account the signals detected during step b) and determining the cerebral response of the user following the sensory stimulus generated in step a), the response cerebral being determined in synchronization with the instant at which the stimulus is applied.
15. Procédé selon la revendication 14, dans lequel les étapes a) à c) sont effectuées de façon itérative, le procédé étant tel que suite à une première itération, le stimulus sensoriel généré lors de l'étape a) est adapté en fonction de la réponse cérébrale déterminée lors d'une itération précédente. 15. Method according to claim 14, in which steps a) to c) are carried out iteratively, the method being such that following a first iteration, the sensory stimulus generated during step a) is adapted according to the brain response determined in a previous iteration.
16. Procédé selon l'une quelconque des revendications 13 ou 14, dans lequel le stimulus sensoriel est destiné à engendrer l'exécution d'une tâche cognitive par l'utilisateur. 16. Method according to any one of claims 13 or 14, in which the sensory stimulus is intended to cause the execution of a cognitive task by the user.
PCT/EP2022/069284 2021-07-12 2022-07-11 Device for determining a brain response to a sensory stimulus WO2023285360A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2107558 2021-07-12
FR2107558A FR3124937A1 (en) 2021-07-12 2021-07-12 Device for determining a cerebral response to a sensory stimulus

Publications (1)

Publication Number Publication Date
WO2023285360A1 true WO2023285360A1 (en) 2023-01-19

Family

ID=77317155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/069284 WO2023285360A1 (en) 2021-07-12 2022-07-11 Device for determining a brain response to a sensory stimulus

Country Status (2)

Country Link
FR (1) FR3124937A1 (en)
WO (1) WO2023285360A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2014157A1 (en) 1968-06-06 1970-04-17 Atomic Energy Commission
US20120232402A1 (en) * 2011-03-02 2012-09-13 Macfarlane Duncan Functional Near Infrared Spectroscopy Imaging System and Method
US20170365101A1 (en) * 2016-06-20 2017-12-21 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR20200049930A (en) * 2018-10-29 2020-05-11 사회복지법인 삼성생명공익재단 The biological signal analysis system and biological signal analysis method for operating by the system
KR20200117089A (en) * 2019-04-02 2020-10-14 사회복지법인 삼성생명공익재단 The virtual reality contents control system and the virtual reality contents control method operating by the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2014157A1 (en) 1968-06-06 1970-04-17 Atomic Energy Commission
US20120232402A1 (en) * 2011-03-02 2012-09-13 Macfarlane Duncan Functional Near Infrared Spectroscopy Imaging System and Method
US20170365101A1 (en) * 2016-06-20 2017-12-21 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US20200312038A1 (en) * 2016-06-20 2020-10-01 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR20200049930A (en) * 2018-10-29 2020-05-11 사회복지법인 삼성생명공익재단 The biological signal analysis system and biological signal analysis method for operating by the system
KR20200117089A (en) * 2019-04-02 2020-10-14 사회복지법인 삼성생명공익재단 The virtual reality contents control system and the virtual reality contents control method operating by the same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHARLTON PHBONNICI TTARASSENKO LCLIFTON DABEALE RWATKINSON PJ: "An assessment of algorithms to estimate respiratory rate from the electrocardiogram and photoplethysmogram", PHYSIOL MEAS., vol. 37, no. 4, April 2016 (2016-04-01), pages 610 - 26, XP020300400, DOI: 10.1088/0967-3334/37/4/610
L LIM ET AL.: "A Unified Analytical Framework With Multiple fNIRS Features for Mental Workload Assessment in the Prefrontal Cortex", IEEE TRANS.ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, vol. 28, no. 11, November 2020 (2020-11-01), pages 2367 - 2376, XP011819218, DOI: 10.1109/TNSRE.2020.3026991
MAHMOUDZADEH M: "Usefulness of stimultaneous EEG-NIRS recording in language studies", BRAIN AND LANGUAGE, May 2011 (2011-05-01)
P PINTI: "The present and future use of functional near-infrared spectroscopy (fNIRS) for cognitive neuroscience", ANN N Y ACAD SCI., vol. 1464, no. 1, March 2020 (2020-03-01), pages 5 - 29

Also Published As

Publication number Publication date
FR3124937A1 (en) 2023-01-13

Similar Documents

Publication Publication Date Title
US7974671B2 (en) Living body information signal processing system combining living body optical measurement apparatus and brain wave measurement apparatus and probe device used for the same
EP2482710B1 (en) System and method for applied kinesiology feedback
US9504394B2 (en) Electro-optical system, apparatus, and method for ambulatory monitoring
US6889069B2 (en) Non-invasive measurement of blood analytes using photodynamics
US20050267343A1 (en) Non-invasive measurement of blood glucose using retinal imaging
FR2593381A1 (en) METHOD AND MEANS FOR DETECTING DYSLEXIA
JP3928051B2 (en) Psychological state evaluation device
JP2010508056A (en) System and method for in vivo measurement of biological parameters
JP2010240298A (en) Biological light measuring device and biological light measuring method
JP4179968B2 (en) Pupil-to-light response measuring instrument for relaxation evaluation
JP2008237775A (en) Blood component measuring apparatus
US20200054267A1 (en) Method, system and apparatus for detection of neuro attacks
JP2007167339A (en) Method and apparatus for measuring blood concentration and blood flow in dental pulp
JP2010253141A (en) Living body reaction evaluating system using biological information
JPWO2010106826A1 (en) Optical biological measurement apparatus and analysis method
JP4399666B2 (en) Biological signal processing device
WO2023285360A1 (en) Device for determining a brain response to a sensory stimulus
WO2020129426A1 (en) Biological measurement device, biological measurement method, computer-readable storage medium, and program
Nourhashemi et al. Preictal neuronal and vascular activity precedes the onset of childhood absence seizure: direct current potential shifts and their correlation with hemodynamic activity
Ahtola et al. Use of eye tracking improves the detection of evoked responses to complex visual stimuli during EEG in infants
EP4031005B1 (en) System for determining an emotion of a user
Mendonca et al. A Hybrid System for Assessing Mental Workload
Wieczorek et al. Custom-made Near Infrared Spectroscope as a Tool for Obtaining Information Regarding the Brain Condition
WO2022064425A1 (en) Electrodermal apparatus
US11950879B2 (en) Estimation of source-detector separation in an optical measurement system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22747340

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE