WO2024104835A1 - Procédé et dispositif de surveillance du niveau de stress d'un utilisateur - Google Patents

Procédé et dispositif de surveillance du niveau de stress d'un utilisateur Download PDF

Info

Publication number
WO2024104835A1
WO2024104835A1 PCT/EP2023/081038 EP2023081038W WO2024104835A1 WO 2024104835 A1 WO2024104835 A1 WO 2024104835A1 EP 2023081038 W EP2023081038 W EP 2023081038W WO 2024104835 A1 WO2024104835 A1 WO 2024104835A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
emotional
temporal
values
level
Prior art date
Application number
PCT/EP2023/081038
Other languages
English (en)
Inventor
Grégoire LEFEBVRE
Julien Cumin
Juan VAZQUEZ RODRIGUEZ
Original Assignee
Orange
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange filed Critical Orange
Publication of WO2024104835A1 publication Critical patent/WO2024104835A1/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0271—Thermal or temperature sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the invention mainly concerns the daily monitoring of a person's stress level.
  • the invention aims at a better assessment of the level of stress during a remarkable event (e.g.: professional interview, medical appointment, family event, etc.), but also is aimed at monitoring fragile people (e.g. seniors, people with disabilities, isolated people, people suffering from a chronic illness, etc.) for health/well-being/comfort monitoring.
  • a remarkable event e.g.: professional interview, medical appointment, family event, etc.
  • fragile people e.g. seniors, people with disabilities, isolated people, people suffering from a chronic illness, etc.
  • the parameter k would have to be determined for each individual from nominal data, which can be difficult in practice. Furthermore, this would not take into account changes in behavior over time. The same goes for the duration of the 30-second analysis window which makes it possible to detect a person's stress level because it can fluctuate very quickly when the person is in a situation that they consider uncomfortable. Thus, at present, there is no objective, reliable technique independent of a particular environment allowing the precise characterization of an individual's stress level and the detection of changes.
  • the invention responds to this need and proposes a method for monitoring the stress level of a user using at least one user equipment, said monitoring method being implemented by a monitoring device and characterized in that which it includes:
  • the invention is based on a completely new and inventive approach to monitoring the stress level of a user (for example: fragile people, or people wishing to monitor their stress), with a view to detecting an abnormal development and decide whether it is necessary to alert the user, a person close to them or a qualified third party (for example a doctor). More particularly, in order to be able to monitor the stress level of a user, the method according to the invention determines, for a predetermined period (for example the past hour, the day, the last ten minutes, etc.), a set of temporal sequences of values from at least one temporal sequence of data obtained from an electronic terminal/user equipment.
  • a predetermined period for example the past hour, the day, the last ten minutes, etc.
  • user equipment continuously records one or more parameters representative of stress.
  • user equipment worn on him for example: connected watch, smartphone, etc.
  • sensors of the user equipment(s) for example: a camera
  • the method determines a temporal sequence of values representative of the state of emotional arousal (also called arousal) and a temporal sequence of values representative of the level of emotional positivity (also called valence). From these two sequences of values, the method then determines a temporal sequence of values representative of the user's stress level.
  • This temporal sequence of stress values makes it possible to detect an abnormal evolution of the user's stress (for example via a visible peak in the graphic representation of the temporal sequence of stress values of the user, i.e. say the user's stress curve over the period considered).
  • the solution proposed by the invention makes it possible to monitor the evolution of an individual's stress over time, and to detect a deterioration.
  • arousal we mean the activation, or physiological arousal, caused by an emotion on a scale extending from calm to excited.
  • valence we mean the affective weighting of a stimulus on a bipolar scale ranging from negative to positive.
  • a sequence of values representative of the state of domination of the user that is to say the state of ancestry or submission of the user during an emotional exchange, could be used to determine said third temporal sequence of values representative of the stress level of said user.
  • a method as described above is characterized in that said at least one temporal sequence of data comprises at least one measurement of at least one physiological and/or physical parameter and/or kinetics of said user.
  • this embodiment makes it possible to collect a wide spectrum of data (measurement of physiological and/or physical and/or kinetic parameters) from the user.
  • This data may or may not be linked to each other and makes it possible to determine the user's stress level.
  • a method as described above is characterized in that said at least one parameter is chosen from a group comprising at least: cardiac activity, the intensity of the voice, facial distortion, acceleration.
  • acceleration we mean, for example, a gestural or bodily movement captured by an accelerometer. This can also include the movements of an element (finger, stylus, etc.) on a touch screen.
  • Said at least one parameter may also correspond to a parameter characterizing the user's walking and/or posture and/or brain activity and/or sweat rate and/or temperature.
  • a method as described above is characterized in that said obtaining step is followed by a step of temporal segmentation of said at least one temporal sequence of data.
  • the temporal sequence of data is segmented in order to be able to associate an arousal or valence value with each segment. It is thus possible to obtain a graphic representation in the form of a curve of the evolution over time of the emotional arousal or emotional positivity of the user and to deduce a curve of the evolution over time of the user stress.
  • a method as described above is characterized in that the temporal segments of said at least one temporal sequence of data are processed by at least one processing chosen from a group comprising at least: low-pass filtering, normalization, resampling.
  • this embodiment makes it possible to process the data so that they can be more easily used by the method. This makes it possible to denoise, standardize and synchronize information/data sequences.
  • a method as described above is characterized in that the determination of said first temporal sequence of values, respectively of said second temporal sequence of values, comprises an implementation of at least one artificial intelligence module configured to associate from a model for characterizing the state of emotional excitement of said user, respectively from a model for characterizing the level of emotional positivity of said user, to at least one temporal segment of said at least one temporal sequence of data to at least one value representative of the state of emotional excitement of said user, respectively to at least one value representative of the level of emotional positivity of said user.
  • the artificial intelligence module implements, for example, a neural network making it possible to associate with a temporal segment of a temporal sequence of data (set of measurements obtained from user equipment), a value representative of the state of emotional arousal or a value representative of the level of emotional positivity of said user.
  • the artificial intelligence module makes it possible to characterize precisely and over time the level of the state of emotional excitement or the level of emotional positivity of the user.
  • a method as described above is characterized in that the determination of said third temporal sequence of values comprises an implementation of at least one artificial intelligence module configured to associate from a characterization model of the stress state of said user a first value of said first temporal sequence of values and a second value of said second temporal sequence of values at at least one value representative of the stress level of said user, said first and second values being associated with the same temporal segment of said at least one temporal sequence of data.
  • the artificial intelligence module implements, for example, a neural network making it possible to associate a pair of arousal and valence values associated with a temporal segment of a temporal sequence of data with a value representative of the state/stress level of the user.
  • the artificial intelligence module makes it possible to characterize the user’s stress level precisely and over time. This makes it easier to spot significant changes in the user’s stress.
  • a method as described above is characterized in that it comprises prior learning of said model for characterizing the state of emotional excitement of said user, respectively of said model for characterizing the level of emotional positivity of said user, from a learning database associating temporal segments of temporal sequences of data with at least one value representative of a state of emotional excitement, respectively from a learning database associating temporal segments of temporal sequences of data with at least one value representative of a level of emotional positivity.
  • the learning of the model for characterizing the user's state of emotional excitement by an artificial intelligence module is done in a supervised manner from a reference database associating temporal segments of temporal sequences of data to arousal values (reference value representative of the state of emotional excitement of a user).
  • the learning of the model for characterizing the level of emotional positivity of the user by an artificial intelligence module is done in a supervised manner from a reference database associating temporal segments of temporal sequences of data to valence values (reference value representative of the level of emotional positivity of a user).
  • the prior learning of the two characterization models allows a better characterization of the temporal segments of temporal sequences of user data and therefore a better estimation of the associated arousal, respectively valence, value.
  • a method as described above is characterized in that it comprises prior learning of said model for characterizing the stress state of said user from a base of learning data associating pairs of values comprising a value representative of a state of emotional excitement and a value representative of a level of emotional positivity with a value representative of a level of stress.
  • the learning of the model for characterizing the user's stress state by an artificial intelligence module is done in a supervised manner from a reference database associating pairs of arousal values and valence to a reference value representative of a stress level.
  • Prior learning of the model for characterizing the user's stress state allows better characterization of the pairs of arousal and valence values associated with the temporal segments of the user's temporal sequences of data and therefore a better estimate associated stress values.
  • a method as described above is characterized in that the third determination step is followed by a step of analysis of said third temporal sequence of values and a step of issuing a notification based on the result of said analysis step.
  • This embodiment makes it possible to decide, depending on the user's level of stress, for example following a significant increase, whether it is necessary to alert/notify the user and/or those around them and /or a healthcare professional.
  • This estimate of disruption of the stress level can also make it possible to adapt telecommunications, multimedia or home automation services, etc. of the user.
  • an alert notification can be transmitted directly to the user on equipment such as a connected watch or smartphone. . .or to an e-Health service (or tele-vigilance service).
  • e-Health service or tele-vigilance service
  • a method as described above is characterized in that said at least one user equipment is located near said user and/or carried on him.
  • a first module for determining, based on said at least one temporal sequence of data, a first temporal sequence of values representative of the state of emotional excitement of said user;
  • a second module for determining, based on said at least one temporal sequence of data, a second temporal sequence of values representative of the level of emotional positivity of said user;
  • a third module for determining, based on said first and second temporal sequences of values, a third temporal sequence of values representative of the stress level of said user.
  • a device as described above is characterized in that it is comprised by a computer, a computer server or a domestic gateway.
  • module can correspond as well to a software component as to a hardware component or a set of hardware and software components, a software component itself corresponding to one or more computer programs or subprograms or more generally to any element of a program capable of implementing a function or a set of functions as described for the modules concerned.
  • a hardware component corresponds to any element of a hardware assembly capable of implementing a function or a set of functions for the module concerned (integrated circuit, smart card, memory card, etc. .).
  • the invention also relates to a computer program comprising instructions for implementing the above method according to any of the particular embodiments described above, when said program is executed by a processor.
  • the method can be implemented in various ways, notably in hardwired form or in software form.
  • This program may use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable shape.
  • the invention also relates to a recording medium or information medium readable by a computer, and comprising instructions for a computer program as mentioned above.
  • the recording media mentioned above can be any entity or device capable of storing the program.
  • the support may comprise a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or even a magnetic recording means, for example a hard disk.
  • the recording media may correspond to a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the programs according to the invention can in particular be downloaded on an Internet type network.
  • the recording media may correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method in question.
  • This recording device and this computer program have characteristics and advantages similar to those described previously in relation to the monitoring method.
  • Figure 2 represents in diagram form the first part of the steps of the monitoring method according to one embodiment of the invention.
  • Figure 3 represents in diagram form the second part of the steps of the monitoring method according to one embodiment of the invention.
  • Figure 4 illustrates in diagrammatic form a classification module implemented for characterizing the state of emotional excitement of a user according to one embodiment of the invention
  • Figure 5 illustrates in diagrammatic form a classification module implemented for characterizing the level of emotional positivity of a user according to one embodiment of the invention
  • FIG 6 Figure 6 illustrates in diagrammatic form a classification module implemented for the characterization of a user's stress according to one embodiment of the invention
  • FIG 7 Figure 7 schematically illustrates an example of architecture of a user stress monitoring device, according to one embodiment of the invention.
  • FIG 8 illustrates an example of implementation of the monitoring method according to a particular embodiment of the invention
  • the general principle of the invention is based on monitoring the evolution over time of a user's stress level in order, for example, to supply applications and services linked to e-health solutions.
  • the invention also makes it possible to issue, depending on the level of stress observed, a personalized notification intended for the user and more particularly for one of their terminals.
  • Figure 1 illustrates an example of an environment for implementing the invention according to a particular embodiment of the invention.
  • This environment can correspond to any location where the user is (office, home, public transport, gym, etc.).
  • the user's environment UT includes in particular one or more user devices EQ such as a tablet, a smartphone EQ1, a computer EQ2, a connected watch/bracelet EQ3, glasses EQ4 or a connected headband (not shown), an EQ5 connected camera or any other connected object capable of interacting with the user.
  • user devices are able to communicate with each other via, for example, point-to-point communication (for example via a WiFi®, Bluetooth® connection) or via a local LAN communication network.
  • This network can be managed by a residential/professional/mobile PAS gateway connected to a data communications network of an R EXT operator.
  • the EQ user equipment comprises one or more sensors, identical or different, configured to measure one or more different physiological and/or physical and/or kinetic parameters of the user over time.
  • These parameters can be a parameter or a combination of parameters chosen from: the speed of movement (kinetic parameter within the meaning of the invention) or an acceleration applied to a physical member of the user (movement of leg, arm, etc.). ), for example obtained via an accelerometer type sensor of a watch or connected bracelet; cardiac activity measured by electrocardiogram (or ECG), for example obtained via a cardiac activity sensor of a watch or connected bracelet; the sound of the user's voice (volume intensity, tone), for example obtained via the microphone of the user's smartphone; the modification of a part of the user's body (deformation of the face, change of color, etc.), for example obtained using the camera of a smartphone and/or a computer of the UT user filming it; the rise in the body temperature of the user UT, for example obtained using a connected thermometer of the user UT; etc.
  • the sensor(s) of the EQ equipment are configured to continuously collect and record data (or signals) of one or more parameters representative of the state of emotional arousal and/or the level of emotional positivity of the UT user.
  • the user can carry on him, or have near him, several different EQ equipment (for example: a connected watch worn on the wrist (EQ3) and a smartphone (EQ1) recording it and/or it. filming) having different sensors to measure several different physiological and/or physical and/or kinetic parameters representative of the state of emotional excitement and/or the level of emotional positivity of the user UT.
  • the EQ user equipment(s) then transmits the data collected by its sensor(s) to a DISP device for monitoring the stress of a user UT.
  • this DISP monitoring device can store in a memory the measurements of the parameter(s) representative of the state of emotional excitement and/or the level of emotional positivity of the user UT thus collected.
  • one of the EQ user devices can collect, in addition to the data obtained from its sensors, all or part of the data collected by one or more other EQ user devices then transmit all of the data to the DISP device.
  • the DISP device implements all or part of the method for monitoring a user's stress according to the invention which will be detailed below in relation to Figure 2.
  • This DISP monitoring device can be partially or totally embedded in EQ user equipment or in the plurality of EQ equipment.
  • the DISP monitoring device can be integrated into the user's PAS gateway which has the advantage of benefiting from greater computing and memory resources than the EQ user equipment(s).
  • the DISP monitoring device can be integrated into a server located in the R EXT network.
  • the data is transmitted from the EQ user equipment(s) to the DISP device via the LAN communication network, for example via a WiFi®, Bluetooth® connection, Ethernet, etc.
  • the EQ user equipment(s) connected to the LAN communication network, the home/professional/mobile gateway and the user stress monitoring device DISP form a user stress monitoring system. a UT user.
  • Phase 1 includes at least:
  • step El the continuous collection, during a given learning period Pref, the processing and storage in a memory, of a set of data comprising time-stamped measurements of one or more parameters of a user obtained from at least one of his EQ equipment. All of the data collected is ordered temporally in a sequence/time series (temporal sequence of data within the meaning of the invention).
  • the Pref learning period may include situations where the user is subject to both periods of rest or stress.
  • the parameters taken into account are physiological parameters (for example cardiac activity) and/or physical parameters (for example facial dynamics/movements) and/or kinetic parameters (for example the speed or acceleration applied to a physical limb of the user such as the arm or leg).
  • physiological parameters for example cardiac activity
  • physical parameters for example facial dynamics/movements
  • kinetic parameters for example the speed or acceleration applied to a physical limb of the user such as the arm or leg.
  • Other parameters can be taken into account in addition to or in replacement of these.
  • the data for this parameter(s) may be continuously collected by the sensor(s) of the EQ user equipment(s).
  • step E2 the selection of signals of interest to be processed, within the temporal sequence of data, such as the evolution over time of characteristic points of the face (for example the area of the mouth to detect a smile , a grin, a grimace or the eye area to detect the opening of the eyelid, tears, squinting, etc.) and/or the evolution over time of the intensity of the volume of the voice and/ or evolution over time heart rate.
  • the temporal sequence of data includes measurements of a single user parameter, then the selection step is not useful.
  • step E3 the segmentation of selected signals of interest or of the temporal sequence of data, for example every 100 milliseconds without overlap.
  • the selected signals of interest are each divided temporally in order to obtain a sequence of segments of interest.
  • the temporal sequence of data is divided temporally in order to obtain a sequence of temporal segments of the temporal sequence of data.
  • the segmentation step may not be carried out.
  • step E4 processing the segmented signals of interest or the segmented temporal sequence of data obtained at the end of step E3.
  • the treatments can be cumulative or alternatively low-pass filtering to denoise the information contained in the data, normalization to standardize the data, data resampling to synchronize the sources, etc. Of course, other treatments can be taken into account in addition to or in replacement of these.
  • the processing carried out during step E4 can be carried out on unsegmented signals of interest or on the unsegmented temporal sequence of data (that is to say having a duration equivalent to the learning period Pref).
  • step E5 learning a model for characterizing the state of emotional excitement, also called "arousal", of the user from a labeled set of temporal sequences of measurements of a or several parameters representative of the state of emotional excitement of a user (for example obtained from an ECG, image, or audio sensor).
  • Arousal corresponds to the activation, or physiological arousal, caused by an emotion on a scale ranging from “calm” to “excited”.
  • the temporal sequences of labeled measurements representative of a user's state of emotional arousal are for example collected in the laboratory from a panel of users.
  • These labeled sequences can then be stored in an LB ARO DB database.
  • each labeled sequence is associated with a level of emotional arousal of a user in the LB ARO DB database, so that it can then be used to train the MODI classification module.
  • supervised learning is carried out by the MODI classification module in order to predict a temporal sequence of arousal values of the user SA from the temporal sequences of labeled measurements stored in the database.
  • LB ARO DB data the MODI classification module takes as input the temporal sequences of labeled measurements from the LB ARO DB database and adjusts its configuration to associate with each temporal sequence, as output, the arousal value corresponding to the level of emotional arousal associated with the temporal sequence.
  • the MODI module can build a model for characterizing the level of emotional arousal which it then implements in the test phase to recognize the emotional arousal levels of a sequence of signal segments of interest of the user SEQ EQ (obtained during step E4) and obtain a temporal sequence of arousal values SA from the user UT.
  • the MODI module is an artificial intelligence module which is configured to implement the model for characterizing the state of emotional arousal of the user.
  • step E6 learning a model for characterizing the level of emotional positivity, also called "valence", of the user from a labeled set of temporal sequences of measurements of one or more parameters representative of the state of emotional positivity of a user (for example obtained from an ECG, image, or audio sensor).
  • Valence corresponding to the affective weighting of a stimulus on a bipolar scale ranging from negative to positive.
  • the temporal sequences of labeled measurements representative of a user's state of emotional positivity are for example collected in the laboratory from a panel of users. These labeled sequences can then be stored in a database. data LB VAL DB.
  • each labeled sequence is associated with a level of emotional positivity of a user in the LB VAL DB database, so that it can then be used to train the classification module M0D2.
  • supervised learning is carried out by the classification module M0D2 in order to predict a temporal sequence of valence values of the user SV from labeled measurements stored in the LB VAL DB database.
  • the M0D2 classification module takes as input the temporal sequences of labeled measurements from the LB VAL DB database and adjusts its configuration to associate with each temporal sequence, at output, the valence value corresponding to the level of emotional positivity associated with the temporal sequence.
  • Such learning allows the M0D2 module to build a model for characterizing the level of emotional positivity which it then implements in the test phase to recognize the levels of emotional positivity of a sequence of signal segments of interest from the user SEQ EQ (obtained during step E4) and obtain a temporal sequence of valence values SV of the user UT.
  • the M0D2 module is an artificial intelligence module which is configured to implement the model for characterizing the state of emotional positivity of the user.
  • step E7 the storage (figure 4) in the TS ARO DB knowledge base of the SA sequence(s) produced by the MODI module.
  • step E8 the storage (figure 5) in the TS VAL DB knowledge base of the SV sequence(s) produced by the M0D2 module.
  • a model for characterizing the user's stress level is learned from a labeled set of pairs of arousal and valence values.
  • each labeled pair is associated with a user's stress level in the LB STR DB database, so that it can then be used to train the M0D3 classification module.
  • supervised learning is carried out by the classification module M0D3 in order to predict a temporal sequence of stress values of the user from the labeled pairs of arousal and valence values stored in the LB STR DB database.
  • the classification module M0D3 takes as input the labeled pairs of arousal and valence values and adjusts its configuration to associate with each pair, at output, the stress value corresponding to the stress level associated with the pair of values of arousal and valence.
  • Such learning allows the M0D3 module to build a stress level characterization model which it then implements in the test phase to recognize the stress levels of a temporal sequence of pairs of valence and arousal values. same temporality obtained from the temporal sequences of valence SV and arousal SA values stored in the TS ARO DB and TS VAL DB databases.
  • the set of stress values thus obtained makes it possible to constitute a temporal sequence of stress values ST of the user UT during the period Pref.
  • the method can repeat steps El to E9 a plurality of times over learning periods/times different from the period Pref in order to improve the learning of the characterization models, of the state emotional arousal, emotional positivity level and stress level of the UT user.
  • the modules MODI, M0D2 and M0D3 correspond for example to a neural network of the “Multimodal Transformers” type (described by Xu, P., Zhu, X., and Clifton, D. A., in the document “Multimodal Learning with Transformers: A Survey”), or any other artificial intelligence module capable of performing the same functions.
  • Stage 1 ends with the finalization of the learning by the modules MODI, M0D2 and M0D3 respectively of a model for characterizing the state of emotional excitement, a model for characterizing the level of emotional positivity and of a model for characterizing the user's stress level.
  • Phase 2 begins by repeating, for a time period P different from the period Pref, the steps El to E4 of collecting and processing data obtained by the one or more sensor(s) of the user equipment(s) in order to obtain one or more new temporal sequences of signal segments of interest of the user or of temporal segments of the temporal sequence of data (denoted SMST by the following). Then phase 2 includes at least:
  • step E10 the implementation of the MODI classification module trained in order to produce a sequence of arousal SA values from the sequences of SMST segments previously obtained.
  • the MODI classification module takes the segments of the SMST sequences as input and associates an arousal value with each segment as output.
  • the set of arousal values thus obtained makes it possible to constitute a temporal sequence of arousal values SA of the user during the period P.
  • step El i the implementation of the classification module M0D2 trained in order to produce a temporal sequence of valence value SV from the SMST segment sequences previously obtained.
  • the M0D2 classification module takes the segments of the SMST sequences as input and associates a valence value with each segment as output.
  • the set of valence values thus obtained makes it possible to constitute a temporal sequence of valence values SV of the user during the period P.
  • step E12 the implementation of the classification module M0D3 trained in order to produce a stress value sequence ST from the SA and SV sequences.
  • the method obtains from the temporal sequences of valence values SV and arousal SA a temporal sequence of pairs of valence value and arousal of the same temporality (in other words the valence value and the arousal value d 'a couple have the same temporality). Then, the M0D3 classification module takes as input the temporal sequence of pairs of valence and arousal values and associates a stress value with each pair as output. The set of stress values thus obtained makes it possible to constitute a temporal sequence of stress values ST of the user during the period P.
  • step El 3 analysis of the sequence of stress values ST to decide whether the user is experiencing too much stress and whether or not an action must be triggered.
  • the action can be triggered regardless of the stress values of the ST sequence.
  • the method can decide to trigger the action when the ST sequence satisfies a decision criterion, such as reaching a threshold predefined by one of its values.
  • the decision to trigger the action can be taken based on the previous threshold and at least one other decision or relevance criterion.
  • this other decision criterion requires that the predefined threshold be exceeded by a plurality N of values of the sequence ST.
  • this other decision criterion can take into account the differences between the values of the ST sequence. If one of the values of the ST sequence varies greatly (for example: thresholding over a Euclidean distance) compared to the average of the values then the triggering of the action can be decided even if the predefined threshold is exceeded by a number of values of the sequence ST less than N. If the decision criterion(s) for triggering an action are not satisfied, the process resumes at the start of phase 2 and repeats steps E1 to E4 of collecting and processing data obtained by the or the sensor(s) of the user equipment(s) in order to obtain, for a current time period Pc, new time sequences of signal segments of interest from the user.
  • step E14 triggering an action based on the result of the analysis carried out in step E13.
  • the action may consist of notifying/broadcasting, to the user, for example via one of their EQ equipment, information on their stress level.
  • the process informs the user of their stress level observed through the ST sequence.
  • the method can broadcast an average of the stress values of the ST sequence or of the values of the ST sequence.
  • the action may also consist of notifying/broadcasting, to the user, for example via one or more of their EQ equipment (bracelet, connected watch, smartphone, connected glasses, connected speaker, connected screen, computer, connected bulb and more generally a connected object, etc.) soothing notifications such as slow, massaging vibrations and/or soft, relaxing sounds (bird songs, tropical rain, etc.) and/or soothing colors (indigo blue, water green, light yellow, powder pink, sky blue, lilac, etc.) and/or text messages inviting for example meditation.
  • EQ equipment bracelet, connected watch, smartphone, connected glasses, connected speaker, connected screen, computer, connected bulb and more generally a connected object, etc.
  • soothing notifications such as slow, massaging vibrations and/or soft, relaxing sounds (bird songs, tropical rain, etc.) and/or soothing colors (indigo blue, water green, light yellow, powder pink, sky blue, lilac, etc.) and/or text messages inviting for example meditation.
  • the action may further consist of changing the settings of the telecommunications services (for example by changing the user's presence status so that they are not disturbed for a period of time determined according to their stress level) , multimedia or home automation (for example by modifying the opening of the roller shutters and/or the brightness of the bulbs and/or the heating intensity of the user's home/office).
  • the action may also consist of sending personalized notifications to the user recommending that they view soothing content and/or communicate with loved ones and/or contact a healthcare professional by appropriate means of communication.
  • the action may also consist of issuing notifications to a healthcare professional. This embodiment makes it possible to ensure the medical monitoring of the user.
  • Figure 7 schematically presents the architecture of a DISP monitoring device, according to one embodiment of the invention.
  • the DISP device has the classic architecture of a computer, and notably comprises a memory MEM, a processing unit UT, equipped for example with a processor PROC, and controlled by the computer program PG stored in memory MEM.
  • the computer program PG includes instructions for implementing the steps of the monitoring method as described previously in support of Figures 1 to 6, when the program is executed by the processor PROC.
  • the code instructions of the computer program PG are for example loaded into a memory before being executed by the processor PROC.
  • the processor PROC of the processing unit UT implements in particular the steps of the monitoring method according to any of the particular embodiments described in relation to Figures 1 to 6 and according to the instructions of the computer program PG.
  • the DISP monitoring device comprises a COM communication module for receiving/transmitting measurements of the user's physiological and/or physical and/or kinetic parameters coming from one or more sensors of one or more EQ user equipment and the transmission of notifications / messages / commands in relation to the user's stress level.
  • the MEM memory of the DISP device records/stores the measurements of the user's physiological and/or physical and/or kinetic parameters.
  • the memory MEM contains the databases LB ARO DB, TS ARO DB, LB VAL DB, TS VAL DB and LB STR DB.
  • these databases can be stored in a server located for example in the network or in a memory of the PAS gateway.
  • Figure 7 illustrates only one particular way, among several possible, of producing the DISP monitoring device, so that it performs at least part of the steps of the monitoring method detailed above, in relation to Figures 2 and 3 in its different embodiments
  • the monitoring device is configured to implement all of the steps of the monitoring process.
  • the DISP monitoring device may include a MOD1 CLAS classification module configured to determine the state of emotional excitement of the user from a sequence of SSMT segments according to the characterization model learned during the phase d learning described in connection with Figure 2 (step E5).
  • the DISP monitoring device may further comprise a MOD2 CLAS classification module configured to determine the level of emotional positivity of the user from a sequence of SSMT segments according to the characterization model learned during the learning phase described in connection with Figure 2 (step E6).
  • a MOD2 CLAS classification module configured to determine the level of emotional positivity of the user from a sequence of SSMT segments according to the characterization model learned during the learning phase described in connection with Figure 2 (step E6).
  • the DISP monitoring device may also include a MOD3 CLAS classification module configured to determine the user's stress level from a temporal sequence of valence and arousal value pairs according to the characterization model learned during the learning phase described in connection with Figure 2 (step E9).
  • the monitoring device DISP is configured to implement only steps E1 to E4, then E10 to E14. Steps E5 to E9 of learning, storage and characterization are then implemented by remote equipment to which the DISP monitoring device is connected, such as a server or a gateway which includes the classification modules MOD1 CLAS, MOD2 CLAS and MOD3 CLAS described in connection with Figure 3 and implementing the associated characterization models.
  • steps can be carried out either on a reprogrammable calculation machine (a PC computer, a DSP processor or a microcontroller) executing a program comprising a sequence of instructions, or on a dedicated calculation machine (for example a set of logic gates like an FPGA or an ASIC, or any other hardware module).
  • a reprogrammable calculation machine a PC computer, a DSP processor or a microcontroller
  • a dedicated calculation machine for example a set of logic gates like an FPGA or an ASIC, or any other hardware module.
  • the corresponding program (that is to say the sequence of instructions) can be stored in a removable storage medium (such as for example a SD card, USB key, CD-ROM or DVD-ROM) or not, this storage medium being partially or totally readable by a computer or processor.
  • a removable storage medium such as for example a SD card, USB key, CD-ROM or DVD-ROM
  • the UT user wears an EQ3 connected watch on his wrist. He is late for his appointment and walks quickly. The time is approaching and his stress is increasing.
  • the EQ3 connected watch continuously measures the evolution of the user's heart rate using the integrated electrical heart rate monitor.
  • the EQ3 smartwatch also continuously measures the user's arm movements using an integrated accelerometer.
  • the EQ3 connected watch is for example capable of communicating with the DISP device via mobile communication technology (for example 2G, 3G, 4G, 5G, 6G) and more particularly via a base station SB and an operator network NET.
  • the smartwatch collects data over a predefined period of time (e.g. 1 minute, 10 minutes, 1 hour, etc.).
  • the collected data is then received (El) by the DISP device which implements the monitoring method according to a particular embodiment.
  • the temporal sequence of data obtained from the connected watch EQ3 is then processed by the DISP device (E2) in order to select the signals of interest present in the temporal sequence of data (for example the evolution over time of the heart rate and/or or accelerations of the user's arm).
  • the DISP device then cuts the signals of interest obtained (segmentation) every 100 milliseconds without overlap (E3).
  • the DISP device can also, before or after this step, process (E4) the signals of interest obtained, respectively the segments of the signals of interest obtained, using a low-pass filter to denoise the information, normalization to standardize data, resampling of data to synchronize sources, etc.
  • step E4 may not be carried out.
  • the monitoring method then implements the MODI characterization model (E10) to estimate the arousal value of each time segment of the time sequences of the signals of interest / time segments of the time sequence of data.
  • the method thus obtains a temporal sequence of arousal values then calculates the average over a predefined time window (for example the last second, the last minute, etc.).
  • the average arousal obtained by the process is for example 4.2 on a scale of 1 to 6.
  • the monitoring method then implements the characterization model M0D2 (El 1) to estimate the valence value of each temporal segment of the temporal sequences of the signals of interest / of the temporal segments of the temporal sequence of data.
  • the method thus obtains a temporal sequence of valence values then calculates the average taking the same predefined time window as before.
  • the average valence obtained by the process is for example -2.6 on a scale of -3 to 3.
  • the method implements the characterization model M0D3 (E12) to estimate a stress value based on the values of the valence and arousal averages obtained during steps E10 and El 1.
  • the method then obtains a stress value of 2 on a scale of 0 to 2 (0 means no stress, 1 corresponds to slight stress, 2 corresponds to significant stress). This value is then analyzed (El 3). The process considers this value to be high and representative of a significant level of stress.
  • This estimated stress value triggers (El 4) a notification on the connected watch in the form of a slow and soothing vibration, favorable to reducing the person's stress.
  • arousal, valence and stress value scales are arbitrary and can differ without altering the user's stress assessment.
  • Other scales of values can be chosen by those skilled in the art without departing from the scope of the invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Developmental Disabilities (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

L'invention concerne un procédé de surveillance du niveau de stress d'un utilisateur à l'aide d'au moins un équipement utilisateur, ledit procédé de surveillance étant mis en œuvre par un dispositif de surveillance et caractérisé en ce qu'il comprend : - une étape d'obtention, en provenance dudit au moins un équipement utilisateur, d'une séquence temporelle de données; - une première étape de détermination, en fonction de ladite au moins une séquence temporelle de données, d'une première séquence temporelle de valeurs représentatives de l'état d'excitation émotionnelle dudit utilisateur; - une deuxième étape de détermination, en fonction de ladite au moins une séquence temporelle de données, d'une deuxième séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle dudit utilisateur; - une troisième étape de détermination, en fonction desdites première et deuxième séquences temporelle de valeurs, d'une troisième séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur.

Description

DESCRIPTION
Titre : Procédé et dispositif de surveillance du niveau de stress d’un utilisateur
1. Domaine de l'invention
L’invention concerne principalement le suivi au quotidien du niveau de stress d’une personne. En particulier, l’invention vise à une meilleure évaluation du niveau de stress lors d’un événement remarquable (ex : entretien professionnel, rendez-vous médical, événement familial, etc.), mais également s’adresse au suivi des personnes fragiles (ex : séniors, personnes souffrantes de déficience, personnes isolées, personnes souffrant d’une maladie chronique, etc.) pour un suivi de santé/ bien-être/ confort.
2. Art Antérieur
L’estimation d’un niveau de stress élevé / anormal, notamment chez les personnes fragiles, est un enjeu important. A cet égard, on sait que le stress influence la santé des personnes et donc, à terme, leur qualité de vie. Dans ce cadre, il apparaît nécessaire d’avoir une meilleure estimation /mesure des niveaux de stress d’une personne. Cette mesure est un des indicateurs forts pour évaluer la bonne santé physique, sociale et morale d’un individu.
Le document publié par Cohen S, et al, “A Global measure of perceived stress”. loumal of Health and Social Behavior, 1983, 24, 385-396, décrit une échelle de stress perçu (PSS) comme un instrument classique d'évaluation du stress. Il permet de comprendre comment différentes situations affectent nos sentiments et notre stress perçu. L’évaluation du stress perçu par une personne est établie en fonction de ses réponses à une série de questions. Les questions portent sur les sentiments et les pensées de la personne au cours du dernier mois et leur fréquence d’apparition. Par exemple, la question suivante est employée : « Au cours du dernier mois combien de fois, avez-vous été dérangé(e) par un évènement inattendu. » Les scores allant de 0 à 13 sont considérés comme correspondant à un niveau de stress faible. Les scores allant de 14 à 26 seraient considérés comme un stress modéré. Les scores allant de 27 à 40 seraient considérés comme un stress perçu élevé. Toutefois, cette échelle de stress nécessite de répondre manuellement à 10 questions et donne une estimation sur le niveau de stress d’une personne sur une courte période précédant cette analyse. Elle est sujette à la subjectivité de la personne qui répond aux questions.
Le document D. Tomoi et al., "Estimation of stress during car race with factor analysis," 2015 International Symposium on Micro-NanoMechatronics and Human Science (MHS), 2015, pp. 1-5, doi: 10.1109/MHS.2015.7438258 décrit l’analyse de données obtenues de capteurs dans le contexte d’un course automobile. L’objectif de l’analyse est l’évaluation du niveau de stress d’un conducteur. Cependant, les paramètres identifiés sont très spécifiques à la conduite et ne permettent pas d’adresser une pluralité de situations fréquemment rencontrées dans la vie quotidienne. En effet, les capteurs utilisés dans cette étude surveillent le rythme cardiaque, le taux de sudation et l'activité électrique des nerfs et des muscles (électromyogramme). L’analyse des données remontées par les capteurs après six tours de course déterminent les paramètres mettant en exergue les situations de stress. Cette méthodologie est donc très spécifique à la conduite et semble peu généralisable à la vie quotidienne.
Afin de détecter le niveau de stress élevé d’un individu, il est également connu d’utiliser des capteurs médicaux tels qu’un électro-encéphalogramme (Q. Xu, T. L. Nwe and C. Guan, "Cluster-Based Analysis for Personalized Stress Evaluation Using Physiological Signals," in IEEE Journal of Biomedical and Health Informatics, vol. 19, no. 1, pp. 275-281, Jan. 2015, doi: 10.1109/JBHI.2014.2311044). Toutefois, ces capteurs sont adaptés à un environnement médical et pas ou peu adaptés à une utilisation dans la vie quotidienne. En outre, l’analyse des données par clustering des K-moyennes (en anglais K-means) proposée dans ce document impose un choix empirique pour le paramètre K qui ne semble pas applicable en pratique. En effet, le paramètre k devrait être déterminé pour chaque individu à partir de données nominales, ce qui peut être difficile en pratique. En outre cela ne prendrait pas en compte les changements de comportement au cours du temps. Il en est de même pour la durée de la fenêtre d’analyse de 30 secondes qui permet de détecter le niveau de stress d’une personne car celle-ci peut fluctuer très rapidement lorsque la personne est dans une situation qu’elle juge inconfortable. Ainsi, à l’heure actuelle, il n’existe pas de technique objective, fiable et indépendante d’un environnement particulier permettant de caractériser précisément le niveau stress d’un individu et d’en détecter les évolutions.
Il existe donc un besoin d’une technique qui permette de caractériser avec plus de précision le niveau de stress d’une personne, et ce quel que soit l’environnement dans lequel celle-ci se trouve (par exemple un entretien professionnel, un rendez-vous médical, un événement familial, etc.), afin d’obtenir une estimation robuste de son niveau de stress, de son évolution, voire d’évaluer un potentiel impact sur la santé de cette personne.
3. Exposé de l'invention
L’invention répond à ce besoin et propose un procédé de surveillance du niveau de stress d’un utilisateur à l’aide d’au moins un équipement utilisateur, ledit procédé de surveillance étant mis en œuvre par un dispositif de surveillance et caractérisé en ce qu’il comprend :
- une étape d’obtention, en provenance dudit au moins un équipement utilisateur, d’au moins une séquence temporelle de données ;
- une première étape de détermination, en fonction de ladite au moins une séquence temporelle de données, d’une première séquence temporelle de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur ;
- une deuxième étape de détermination, en fonction de ladite au moins une séquence temporelle de données, d’une deuxième séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle dudit utilisateur ;
- une troisième étape de détermination, en fonction desdites première et deuxième séquences temporelle de valeurs, d’une troisième séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur.
Ainsi, l’invention repose sur une approche tout à fait nouvelle et inventive de la surveillance du niveau de stress d’un utilisateur (par exemple : personnes fragiles, ou personne souhaitant surveiller leur stress), en vue de détecter une évolution anormale et de décider s’il est nécessaire d’alerter l’utilisateur, une personne de son entourage ou une tierce personne qualifiée (par exemple un médecin). Plus particulièrement, afin de pouvoir surveiller le niveau de stress d’un utilisateur, le procédé selon l’invention détermine, pour une période prédéterminée (par exemple l’heure écoulée, la journée, les dix dernières minutes, etc.), un ensemble de séquences temporelles de valeurs à partir d’au moins une séquence temporelle de données obtenue depuis un terminal électronique/ équipement de l’utilisateur.
Pour cela, un équipement utilisateur enregistre en continu un ou plusieurs paramètres représentatifs du stress. À l’aide d’un ou plusieurs équipements utilisateurs portés sur lui (par exemple : montre connectée, téléphone intelligent. . .) et/ou se trouvant à proximité (par exemple une caméra), des mesures de ces paramètres (données au sens de l’invention) sont collectées au cours du temps par un ou plusieurs capteurs différents, ou identiques, du ou des équipements utilisateurs.
Le procédé détermine ensuite une séquence temporelle de valeurs représentatives de l’état d’excitation émotionnelle (également appelé arousal) et une séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle (également appelé valence). De ces deux séquences de valeurs, le procédé détermine ensuite une séquence temporelle de valeurs représentative du niveau de stress de l’utilisateur. Cette séquence temporelle de valeurs de stress permet de déceler une évolution anormale du stress de l’utilisateur (par exemple via un pic visible au niveau de la représentation graphique de la séquence temporelle de valeurs de stress de l’utilisateur c’est-à-dire la courbe de stress de l’utilisateur sur la période considérée).
Autrement dit, la solution proposée par l’invention permet de surveiller l’évolution du stress d’un individu au cours du temps, et d’en détecter une dégradation.
On entend par « arousal » l’activation, ou l’excitation physiologique, provoquée par une émotion sur une échelle s’étendant de calme à excité.
On entend par « valence » la pondération affective d’un stimulus sur une échelle bipolaire allant de négatif à positif.
Alternativement ou cumulativement auxdites première et deuxième séquences de valeurs, une séquence de valeurs représentative de l’état de domination de l’utilisateur, c’est-à-dire l’état d’ascendance ou de soumission de l’utilisateur lors d’un échange émotionnel, pourrait être utilisée pour déterminer ladite troisième séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que ladite au moins une séquence temporelle de données comprend au moins une mesure d’au moins un paramètre physiologique et/ou physique et/ou cinétique dudit utilisateur.
Avantageusement, ce mode de réalisation permet de collecter un large spectre de données (mesure de paramètres physiologiques et/ou physiques et/ou cinétiques) de l’utilisateur. Ces données peuvent être liées ou non entre elles et permettent de déterminer le niveau de stress de l’utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que ledit au moins un paramètre est choisi dans un groupe comprenant au moins : l’activité cardiaque, l’intensité de la voix, la déformation du visage, une accélération.
On entend par accélération, par exemple un mouvement gestuel ou corporel capté par un accéléromètre. Cela peut également comprendre les mouvements d’un élément (doigt, stylet, etc.) sur un écran tactile.
Ledit au moins un paramètre peut également correspondre à un paramètre caractérisant la marche et/ou la posture et/ou l’activité cérébrale et/ou le taux de sudation et/ou la température de l’utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que ladite étape d’obtention est suivie d’une étape de segmentation temporelle de ladite au moins une séquence temporelle de données.
Avantageusement, la séquence temporelle de données est segmentée afin de pouvoir associer à chaque segment une valeur d’ arousal ou de valence. Il est ainsi possible d’obtenir une représentation graphique sous forme de courbe de l’évolution dans le temps de l’excitation émotionnelle ou de la positivité émotionnelle de l’utilisateur et d’en déduire une courbe de l’évolution dans le temps du stress de l’utilisateur. Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que les segments temporels de ladite au moins une séquence temporelle de données sont traités par au moins un traitement choisi dans un groupe comprenant au moins : le filtrage passe-bas, la normalisation, le rééchantillonnage.
Avantageusement, ce mode de réalisation permet de traiter les données afin que celles-ci soient plus facilement exploitables par le procédé. Cela permet de débruiter, d’uniformiser et de synchroniser les informations /séquences de données.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que la détermination de ladite première séquence temporelle de valeurs, respectivement de ladite deuxième séquence temporelle de valeurs, comprend une mise en œuvre d’au moins un module d’intelligence artificielle configuré pour associer à partir d’un modèle de caractérisation de l’état d’excitation émotionnelle dudit utilisateur, respectivement à partir d’un modèle de caractérisation du niveau de positivité émotionnelle dudit utilisateur, au moins un segment temporel de ladite au moins une séquence temporelle de données à au moins une valeur représentative de l’état d’excitation émotionnelle dudit utilisateur, respectivement à au moins une valeur représentative du niveau de positivité émotionnelle dudit utilisateur.
Avantageusement, le module d’intelligence artificielle met par exemple en œuvre un réseau de neurones permettant d’associer à un segment temporel d’une séquence temporelle de données (ensemble des mesures obtenues des équipements utilisateurs), une valeur représentative de l’état d’excitation émotionnelle ou une valeur représentative du niveau de positivité émotionnelle dudit utilisateur. Autrement dit, le module d’intelligence artificielle permet de caractériser de manière précise et dans le temps le niveau de l’état d’excitation émotionnelle ou le niveau de positivité émotionnelle de l’utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que la détermination de ladite troisième séquence temporelle de valeurs comprend une mise en œuvre d’au moins un module d’intelligence artificielle configuré pour associer à partir d’un modèle de caractérisation de l’état de stress dudit utilisateur une première valeur de ladite première séquence temporelle de valeurs et une deuxième valeur de ladite deuxième séquence temporelle de valeurs à au moins une valeur représentative du niveau de stress dudit utilisateur, lesdites première et deuxième valeurs étant associées à un même segment temporel de ladite au moins une séquence temporelle de données.
Avantageusement, le module d’intelligence artificielle met par exemple en œuvre un réseau de neurones permettant d’associer un couple de valeurs d’ arousal et de valence associé à un segment temporel d’une séquence temporelle de données à une valeur représentative de l’état /niveau de stress de l’utilisateur. Autrement dit, le module d’intelligence artificielle permet de caractériser de manière précise et dans le temps le niveau de stress de l’utilisateur. Il est ainsi plus aisé de repérer des modifications importantes du stress de l’utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce qu’il comprend un apprentissage préalable dudit modèle de caractérisation de l’état d’excitation émotionnelle dudit utilisateur, respectivement dudit modèle de caractérisation du niveau de positivité émotionnelle dudit utilisateur, à partir d’une base de données d’apprentissage associant des segments temporels de séquences temporelles de données à au moins une valeur représentative d’un état d’excitation émotionnelle, respectivement à partir d’une base de données d’apprentissage associant des segments temporels de séquences temporelles de données à au moins une valeur représentative d’un niveau de positivité émotionnelle.
Avantageusement, l’apprentissage du modèle de caractérisation de l’état d’excitation émotionnelle de l’utilisateur par un module d’intelligence artificielle se fait de manière supervisée à partir d’une base de données de référence associant des segments temporels de séquences temporelles de données à des valeurs d’ arousal (valeur de référence représentative de l’état d’excitation émotionnelle d’un utilisateur).
De même, l’apprentissage du modèle de caractérisation du niveau de positivité émotionnelle de l’utilisateur par un module d’intelligence artificielle se fait de manière supervisée à partir d’une base de données de référence associant des segments temporels de séquences temporelles de données à des valeurs de valence (valeur de référence représentative du niveau de positivité émotionnelle d’un utilisateur). L’apprentissage préalable des deux modèles de caractérisation permet une meilleure caractérisation des segments temporels de séquences temporelles de données de l’utilisateur et donc une meilleure estimation de la valeur d’ arousal, respectivement de valence, associée.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce qu’il comprend un apprentissage préalable dudit modèle de caractérisation de l’état de stress dudit utilisateur à partir d’une base de données d’apprentissage associant des couples de valeurs comprenant une valeur représentative d’un état d’excitation émotionnelle et une valeur représentative d’un niveau de positivité émotionnelle à une valeur représentative d’un niveau de stress.
Avantageusement, l’apprentissage du modèle de caractérisation de l’état de stress de l’utilisateur par un module d’intelligence artificielle se fait de manière supervisée à partir d’une base de données de référence associant des couples de valeurs d’ arousal et de valence à une valeur de référence représentative d’un niveau de stress.
L’apprentissage préalable du modèle de caractérisation de l’état de stress de l’utilisateur permet une meilleure caractérisation des couples de valeurs d’ arousal et de valence associés aux segments temporels des séquences temporelles de données de l’utilisateur et donc une meilleure estimation des valeurs de stress associées.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que la troisième étape de détermination est suivie d’une étape d’analyse de ladite troisième séquence temporelle de valeurs et d’une étape d’émission d’une notification en fonction du résultat de ladite étape d’analyse.
Ce mode de réalisation permet de décider, en fonction du niveau de stress de l’utilisateur, par exemple à la suite d’une augmentation importante, s’il est nécessaire d’alerter/de notifier l’utilisateur et/ou son entourage et/ou un professionnel de santé. Cette estimation de perturbation du niveau de stress peut également permettre d’adapter des services de télécommunications, multimédia ou domotiques, etc. de l’utilisateur.
Dans un exemple, une notification d’alerte peut être transmise directement à l’utilisateur sur un équipement de type montre connectée, téléphone intelligent. . .ou à un service de e-Santé (ou service de télé-vigilance). Ainsi, il est possible de mettre en place des services de recommandations à la personne lorsque des troubles du stress sont détectés et qu’ils sont considérés comme suffisamment importants pour justifier le déclenchement d’une alerte.
Selon un mode de mise en œuvre particulier de l'invention, un procédé tel que décrit ci- dessus est caractérisé en ce que ledit au moins un équipement utilisateur est situé à proximité dudit utilisateur et/ou porté sur lui.
L'invention concerne également un dispositif de surveillance du niveau de stress d’un utilisateur à l’aide d’au moins un équipement utilisateur caractérisé en ce qu’il comprend :
- un module d’obtention, en provenance dudit au moins un équipement utilisateur, d’au moins une séquence temporelle de données ;
- un premier module de détermination, en fonction de ladite au moins une séquence temporelle de données, d’une première séquence temporelle de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur ;
- un deuxième module de détermination, en fonction de ladite au moins une séquence temporelle de données, d’une deuxième séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle dudit utilisateur ;
- un troisième module de détermination, en fonction desdites première et deuxième séquences temporelle de valeurs, d’une troisième séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur.
Selon un mode de mise en œuvre particulier de l'invention, un dispositif tel que décrit ci- dessus est caractérisé en ce qu’il est compris par un ordinateur, un serveur informatique ou une passerelle domestique.
Le terme module peut correspondre aussi bien à un composant logiciel qu’à un composant matériel ou un ensemble de composants matériels et logiciels, un composant logiciel correspondant lui -même à un ou plusieurs programmes ou sous-programmes d’ordinateur ou de manière plus générale à tout élément d’un programme apte à mettre en œuvre une fonction ou un ensemble de fonctions telles que décrites pour les modules concernés. De la même manière, un composant matériel correspond à tout élément d’un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions pour le module concerné (circuit intégré, carte à puce, carte à mémoire, etc.). L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé ci-dessus selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Le procédé peut être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci- dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Les programmes selon l'invention peuvent être en particulier téléchargés sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
Ce dispositif d’enregistrement et ce programme d'ordinateur présentent des caractéristiques et avantages analogues à ceux décrits précédemment en relation avec le procédé de surveillance.
4. Liste des figures D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels : [Fig 1] La figure 1 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention,
[Fig 2] La figure 2 représente sous forme de diagramme la première partie des étapes du procédé de surveillance selon un mode de réalisation de l’invention ;
[Fig 3] La figure 3 représente sous forme de diagramme la deuxième partie des étapes du procédé de surveillance selon un mode de réalisation de l’invention ;
[Fig 4] La figure 4 illustre sous forme de schéma un module de classification mis en œuvre pour la caractérisation de l’état d’excitation émotionnelle d’un utilisateur selon un mode de réalisation de l’invention ;
[Fig 5] La figure 5 illustre sous forme de schéma un module de classification mis en œuvre pour la caractérisation du niveau de positivité émotionnelle d’un utilisateur selon un mode de réalisation de l’invention ;
[Fig 6] La figure 6 illustre sous forme de schéma un module de classification mis en œuvre pour la caractérisation du stress d’un utilisateur selon un mode de réalisation de l’invention ; [Fig 7] La figure 7 illustre de façon schématique un exemple d’architecture d’un dispositif de surveillance du stress d’un utilisateur, selon un mode de réalisation de l’invention.
[Fig 8] La figure 8 illustre un exemple de mise en œuvre du procédé de surveillance selon un mode particulier de réalisation de l'invention
5. Description d'un mode de réalisation de l'invention
Le principe général de l’invention repose sur la surveillance de l’évolution dans le temps du niveau de stress d’un utilisateur afin par exemple d'alimenter les applications et services liés aux solutions de e-santé. Dans un mode de réalisation particulier l’invention permet également d’émettre, en fonction du niveau de stress constaté, une notification personnalisée à destination de l’utilisateur et plus particulièrement d’un de ses terminaux.
La figure 1 illustre un exemple d'environnement de mise en œuvre de l'invention selon un mode particulier de réalisation de l'invention. Cet environnement peut correspondre à n’importe quel endroit où se trouve l’utilisateur (bureau, maison, transport en commun, salle de sport, etc.).
Afin de pouvoir suivre l’évolution de son stress au cours du temps et de manière autonome (c’est-à-dire sans assistance de type médical, ou technique) l’environnement de l’utilisateur UT comprend notamment un ou plusieurs équipements utilisateurs EQ tels qu’une tablette, un téléphone intelligent (smartphone en anglais) EQ1, un ordinateur EQ2, une montre/bracelet connectée EQ3, des lunettes EQ4 ou un serre-tête (non représenté) connecté, une caméra connectée EQ5 ou tout autre objet connecté apte à interagir avec l’utilisateur. Ces équipements utilisateurs sont aptes à communiquer entre eux via par exemple une communication point à point (par exemple via une connexion WiFi®, Bluetooth®) ou bien via un réseau de communication local LAN. Ce réseau peut être géré par une passerelle PAS résidentielle/professionnelle/mobile connectée à un réseau de communication de données d'un opérateur R EXT.
De manière avantageuse, l’équipement utilisateur EQ comprend un ou plusieurs capteurs, identiques ou différents, configurés pour mesurer un ou plusieurs paramètres physiologiques et/ou physiques et/ou cinétiques différents de l’utilisateur au cours du temps.
Ces paramètres peuvent être un paramètre ou une combinaison de paramètres choisis parmi : la vitesse de déplacement (paramètre cinétique au sens de l’invention) ou une accélérations appliquée à un membre physique de l’utilisateur (mouvement de jambe, de bras, etc.), par exemple obtenue via un capteur de type accéléromètre d’une montre ou d’un bracelet connecté; l’activité cardiaque mesurée par électrocardiogramme (ou ECG), par exemple obtenue via un capteur d’activité cardiaque d’une montre ou d’un bracelet connecté; le son de la voix de l’utilisateur (intensité du volume, tonalité), par exemple obtenue via le micro du smartphone (téléphone intelligent en anglais) de l’utilisateur ; la modification d’une partie du corps de l’utilisateur (déformation du visage, changement de couleur, etc.), par exemple obtenue à l’aide de la caméra d’un téléphone intelligent et/ou d’un ordinateur de l’utilisateur UT le filmant ; l’élévation de la température du corps de l’utilisateur UT, par exemple obtenue à l’aide d’un thermomètre connecté de l’utilisateur UT ; etc.
En d’autres termes, le ou les capteurs de l’équipement EQ sont configurés pour collecter et enregistrer en continu des données (ou signaux) d’un ou plusieurs paramètres représentatifs de l’état d’excitation émotionnelle et/ou du niveau de positivité émotionnelle de l’utilisateur UT. Dans une variante, l’utilisateur peut porter sur lui, ou avoir à proximité de lui, plusieurs équipements EQ différents (par exemple : une montre connectée portée au poignet (EQ3) et un téléphone intelligent (EQ1) l’enregistrant et/ou le filmant) ayant des capteurs différents pour mesurer plusieurs paramètres physiologiques et/ou physiques et/ou cinétiques différents et représentatifs de l’état d’excitation émotionnelle et/ou du niveau de positivité émotionnelle de l’utilisateur UT.
Le ou les équipements utilisateur EQ transmettent ensuite les données collectées par son ou ses capteurs à un dispositif DISP de surveillance du stress d’un utilisateur UT.
Avantageusement, ce dispositif de surveillance DISP peut stocker dans une mémoire les mesures du ou des paramètres représentatifs de l’état d’excitation émotionnelle et/ou du niveau de positivité émotionnelle de l’utilisateur UT ainsi collectées.
Dans une variante, l’un des équipements utilisateur EQ peut collecter, en plus des données obtenues de ses capteurs, tout ou partie des données collectées par un ou plusieurs autre équipements utilisateur EQ puis transmettre l’ensemble des données au dispositif DISP.
Le dispositif DISP met en œuvre tout ou partie du procédé de surveillance du stress d’un utilisateur selon l’invention qui sera détaillé ci-après en relation avec la figure 2.
Ce dispositif de surveillance DISP peut être partiellement ou totalement embarqué dans un équipement utilisateur EQ ou dans la pluralité d’équipements EQ.
Alternativement, le dispositif de surveillance DISP peut être intégré dans la passerelle PAS de l’utilisateur qui présente l’avantage de bénéficier de ressources de calcul et de mémoire plus importantes que le ou les équipements utilisateurs EQ.
Dans une autre variante, le dispositif de surveillance DISP peut être intégré dans un serveur situé dans le réseau R EXT.
Dans le cas où le dispositif DISP est distant du ou des équipements utilisateurs EQ, la transmission des données se fait du ou des équipements utilisateurs EQ vers le dispositif DISP via le réseau de communication LAN, par exemple via une connexion WiFi®, Bluetooth®, Ethernet, etc. Selon un mode de réalisation de l’invention le ou les équipements utilisateurs EQ connectés au réseau de communication LAN, la passerelle domestique/ professionnelle / mobile et le dispositif de surveillance du stress d’un utilisateur DISP forment un système de surveillance du stress d’un utilisateur UT.
On s’attache maintenant à décrire un exemple de mise en œuvre du procédé de surveillance du stress d’un utilisateur UT selon l’invention en lien avec les figures 2 et 3.
Selon cet exemple, afin de surveiller l’évolution du stress de l’utilisateur, deux grandes phases sont mises en œuvre :
La phase 1 (figure 2) comprend au moins :
Lors de l’étape El, la collecte en continu, pendant une période d’apprentissage donnée Pref, le traitement et le stockage dans une mémoire, d’un ensemble de données comprenant des mesures horodatées d’un ou de plusieurs paramètres d’un utilisateur obtenues depuis au moins un de ses équipements EQ. L’ensemble des données collectées sont ordonnées temporellement dans une séquence/ série temporelle (séquence temporelle de données au sens de l’invention). La période d’apprentissage Pref peut comprendre des situations pour lesquelles l’utilisateur est soumis à la fois à des périodes de repos ou de stress.
Dans un exemple, les paramètres pris en compte sont des paramètres physiologiques (par exemple l’activité cardiaque) et/ou physiques (par exemple la dynamique/ les mouvements du visage) et/ou cinétiques (par exemple la vitesse ou l’accélération appliquée à un membre physique de l’utilisateur comme le bras ou la jambe). Bien sûr, d’autres paramètres peuvent être pris en compte en complément ou en remplacement de ceux-ci. Les données de ce ou ces paramètres peuvent être collectées en continu par le ou les capteurs du ou des équipements utilisateurs EQ.
Lors de l’étape E2, la sélection de signaux d’intérêt à traiter, au sein de la séquence temporelle de données, comme l’évolution dans le temps de points caractéristiques du visage (par exemple la zone de la bouche pour détecter un sourire, un rictus, une grimace ou bien la zone des yeux pour détecter l’ouverture de la paupière, des larmes, un plissement, etc.) et/ou l’évolution dans le temps de l’intensité du volume de la voix et/ou l’évolution dans le temps du rythme cardiaque. Bien évidemment, lorsque la séquence temporelle de données comprend des mesures d’un unique paramètre utilisateur, alors l’étape de sélection n’est pas utile.
Lors de l’étape E3, la segmentation de signaux d’intérêt sélectionnés ou de la séquence temporelle de données par exemple toutes les 100 millisecondes sans recouvrement. Selon un mode de réalisation particulier, les signaux d’intérêt sélectionnés sont chacun découpés temporellement dans le but d’obtenir une séquence de segments d’intérêt. Selon un mode de réalisation particulier, la séquence temporelle de données est découpée temporellement dans le but d’obtenir une séquence de segments temporels de la séquence temporelle de données.
A noter que lorsque la période d’apprentissage Pref est suffisamment petite l’étape de segmentation peut ne pas être réalisée.
Lors de l’étape E4, le traitement des signaux d’intérêt segmentés ou de la séquence temporelle de données segmentée obtenus à la fin de l’étape E3. Les traitements peuvent être cumulativement ou alternativement du filtrage passe-bas pour débruiter l’information contenue dans les données, de la normalisation pour uniformiser les données, du rééchantillonnage de données pour synchroniser les sources, etc. Bien sûr, d’autres traitements peuvent être pris en compte en complément ou en remplacement de ceux-ci. Selon un mode de réalisation particulier de l’invention, le traitement effectué lors de l’étape E4 peut être réalisé sur des signaux d’intérêt non segmentés ou sur la séquence temporelle de données non segmentée (c’est-à-dire ayant une durée équivalente à la période d’apprentissage Pref).
Lors de l’étape E5, l’apprentissage d’un modèle de caractérisation de l’état d’excitation émotionnelle, également appelé « arousal », de l’utilisateur à partir d’un ensemble labellisé de séquences temporelles de mesures d’un ou plusieurs paramètres représentatifs de l’état d’excitation émotionnelle d’un utilisateur (par exemple obtenus depuis un capteur ECG, d’image, ou audio). L’arousal correspond à l’activation, ou l’excitation physiologique, provoquée par une émotion sur une échelle s’étendant de « calme » à « excité ». Les séquences temporelles de mesures labellisées représentatives de l’état d’excitation émotionnelle d’un utilisateur sont par exemple collectées en laboratoire sur un panel d’utilisateurs. Ces séquences labellisées peuvent ensuite être stockées dans une base de données LB ARO DB. Avantageusement, chaque séquence labellisée est associée à un niveau d’excitation émotionnelle d’un utilisateur dans la base de données LB ARO DB, afin de pouvoir ensuite être utilisée pour entraîner le module de classification MODI.
Dans un exemple de réalisation (figure 4), un apprentissage supervisé est réalisé par le module de classification MODI afin de prédire une séquence temporelle de valeurs d’arousal de l’utilisateur SA à partir des séquences temporelles de mesures labellisées stockées dans la base de données LB ARO DB. Concrètement, le module de classification MODI prend en entrée les séquences temporelles de mesures labellisées de la base de données LB ARO DB et ajuste sa configuration pour associer à chaque séquence temporelle, en sortie, la valeur d’arousal correspondant au niveau d’excitation émotionnelle associé à la séquence temporelle. Un tel apprentissage permet au module MODI de construire un modèle de caractérisation du niveau d’excitation émotionnelle qu’il met ensuite en œuvre en phase de test pour reconnaître les niveaux d’excitation émotionnelle d’une séquence de segments de signaux d’intérêt de l’utilisateur SEQ EQ (obtenue lors de l’étape E4) et obtenir une séquence temporelle de valeurs d’arousal SA de l’utilisateur UT. Dans un exemple de mise en œuvre, le module MODI est un module d’intelligence artificiel qui est configuré pour mettre en œuvre le modèle de caractérisation de l’état d’excitation émotionnelle de l’utilisateur.
Lors de l’étape E6, l’apprentissage d’un modèle de caractérisation du niveau de positivité émotionnelle, également appelé « valence », de l’utilisateur à partir d’un ensemble labellisé de séquences temporelles de mesures d’un ou plusieurs paramètres représentatifs de l’état de positivité émotionnelle d’un utilisateur (par exemple obtenus depuis un capteur ECG, d’image, ou audio). La valence correspondant à la pondération affective d’un stimulus sur une échelle bipolaire allant de négatif à positif.
Les séquences temporelles de mesures labellisées représentatives de l’état de positivité émotionnelle d’un utilisateur sont par exemple collectées en laboratoire sur un panel d’utilisateurs. Ces séquences labellisées peuvent ensuite être stockées dans une base de données LB VAL DB. Avantageusement, chaque séquence labellisée est associée à un niveau de positivité émotionnelle d’un utilisateur dans la base de données LB VAL DB, afin de pouvoir ensuite être utilisée pour entraîner le module de classification M0D2.
Dans un exemple de réalisation (figure 5), un apprentissage supervisé est réalisé par le module de classification M0D2 afin de prédire une séquence temporelle de valeurs de valence de l’utilisateur SV à partir de mesures labellisées stockées dans la base de données LB VAL DB. Concrètement, le module de classification M0D2 prend en entrée les séquences temporelles de mesures labellisées de la base de données LB VAL DB et ajuste sa configuration pour associer à chaque séquence temporelle, en sortie, la valeur de valence correspondant au niveau de positivité émotionnelle associé à la séquence temporelle. Un tel apprentissage permet au module M0D2 de construire un modèle de caractérisation du niveau de positivité émotionnelle qu’il met ensuite en œuvre en phase de test pour reconnaître les niveaux de positivité émotionnelle d’une séquence de segments de signaux d’intérêt de l’utilisateur SEQ EQ (obtenue lors de l’étape E4) et obtenir une séquence temporelle de valeurs de valence SV de l’utilisateur UT.
Dans un exemple de mise en œuvre, le module M0D2 est un module d’intelligence artificiel qui est configuré pour mettre en œuvre le modèle de caractérisation de l’état de positivité émotionnelle de l’utilisateur.
Lors de l’étape E7, le stockage (figure 4) dans la base de connaissance TS ARO DB de la ou des séquences SA produites par le module MODI.
Lors de l’étape E8, le stockage (figure 5) dans la base de connaissance TS VAL DB de la ou des séquences SV produites par le module M0D2.
Lors de l’étape E9 l’apprentissage d’un modèle de caractérisation du niveau de stress de l’utilisateur à partir d’un ensemble labellisé de couples de valeurs d’arousal et de valence. Avantageusement, chaque couple labellisé est associé à un niveau de stress d’un utilisateur dans la base de données LB STR DB, afin de pouvoir ensuite être utilisé pour entraîner le module de classification M0D3. Dans un exemple de réalisation (figure 6), un apprentissage supervisé est réalisé par le module de classification M0D3 afin de prédire une séquence temporelle de valeurs de stress de l’utilisateur à partir des couples labellisés de valeurs d’arousal et de valence stockés dans la base de données LB STR DB. Concrètement, le module de classification M0D3 prend en entrée les couples labellisés de valeurs d’arousal et de valence et ajuste sa configuration pour associer à chaque couple, en sortie, la valeur de stress correspondant au niveau de stress associé au couple de valeurs d’arousal et de valence. Un tel apprentissage permet au module M0D3 de construire un modèle de caractérisation du niveau de stress qu’il met ensuite en œuvre en phase de test pour reconnaître les niveaux de stress d’une séquence temporelle de couples de valeur de valence et d’arousal de même temporalité obtenue depuis les séquences temporelles de valeurs de valence SV et d’arousal SA stockées dans les bases de données TS ARO DB et TS VAL DB. L’ensemble des valeurs de stress ainsi obtenu permet de constituer une séquence temporelle de valeurs de stress ST de l’utilisateur UT pendant la période Pref.
Dans un exemple de mise en œuvre, le procédé peut réitérer les étapes El à E9 une pluralité de fois sur des périodes/temps d’apprentissage différents de la période Pref afin d’améliorer l’apprentissage des modèles de caractérisation, de l’état d’excitation émotionnelle, du niveau de positivité émotionnelle et du niveau de stress de l’utilisateur UT.
Dans un exemple de mise en œuvre, les modules MODI, M0D2 et M0D3 correspondent par exemple à un réseau de neurones de type « Transformers Multimodaux » (décrit par Xu, P., Zhu, X., and Clifton, D. A., dans le document “Multimodal Learning with Transformers: A Survey”), ou tout autre module d’ intelligence artificielle apte à remplir les mêmes fonctions.
L’étape 1 s’achève avec la finalisation de l’apprentissage par les modules MODI, M0D2 et M0D3 respectivement d’un modèle de caractérisation de l’état d’excitation émotionnelle, d’un modèle de caractérisation du niveau de positivité émotionnelle et d’un modèle de caractérisation du niveau de stress de l’utilisateur.
La phase 2 (figure 3) commence par réitérer, pour une période temporelle P différente de la période Pref, les étapes El à E4 de collecte et traitement de données obtenues par le ou les capteur(s) du ou des équipement s) utilisateur(s) afin d’obtenir une ou plusieurs nouvelles séquences temporelles de segments de signaux d’intérêt de l’utilisateur ou de segments temporels de la séquence temporelle de données (notées SMST par la suite). Puis la phase 2 comprend au moins :
Lors de l’étape E10, la mise en œuvre du module de classification MODI entraîné afin de produire une séquence de valeurs d’ arousal SA à partir des séquences de segments SMST préalablement obtenues. Concrètement, le module de classification MODI prend en entrée les segments des séquences SMST et associe à chaque segment, en sortie, une valeur d’arousal. L’ensemble des valeurs d’arousal ainsi obtenu permet de constituer une séquence temporelle de valeurs d’arousal SA de l’utilisateur pendant la période P.
Lors de l’étape El i, la mise en œuvre du module de classification M0D2 entraîné afin de produire une séquence temporelle de valeur de valence SV à partir des séquences de segments SMST préalablement obtenues. Concrètement, le module de classification M0D2 prend en entrée les segments des séquences SMST et associe à chaque segment, en sortie, une valeur de valence. L’ensemble des valeurs de valence ainsi obtenu permet de constituer une séquence temporelle de valeurs de valence SV de l’utilisateur pendant la période P.
Lors de l’étape E12, la mise en œuvre du module de classification M0D3 entraîné afin de produire une séquence de valeur de stress ST à partir des séquences SA et SV.
Concrètement, le procédé obtient depuis les séquences temporelles de valeurs de valence SV et d’arousal SA une séquence temporelle de couples de valeur de valence et d’arousal de même temporalité (en d’autres mots la valeur de valence et la valeur arousal d’un couple ont la même temporalité). Ensuite, le module de classification M0D3 prend en entrée la séquence temporelle de couples de valeur de valence et d’arousal et associe à chaque couple, en sortie, une valeur de stress. L’ensemble des valeurs de stress ainsi obtenu permet de constituer une séquence temporelle de valeurs de stress ST de l’utilisateur pendant la période P.
Lors de l’étape El 3, l’analyse de la séquence de valeurs de stress ST pour décider si l’utilisateur subit un stress trop important et s’il faut oui ou non déclencher une action. Dans un premier exemple de mise en œuvre, l’action peut être déclenchée quel que soit les valeurs de stress de la séquence ST.
Dans un deuxième exemple de mise en œuvre, le procédé peut décider de déclencher l’action lorsque la séquence ST satisfait un critère de décision, comme l’atteinte d’un seuil prédéfini par Tune de ses valeurs.
Dans un troisième exemple de réalisation de l’invention, la décision de déclencher l’action peut être prise en fonction du seuil précédent et d’au moins un autre critère de décision, ou de pertinence. Par exemple, cet autre critère de décision impose que le seuil prédéfini soit dépassé par une pluralité N de valeurs de la séquence ST.
Alternativement ou cumulativement, cet autre critère de décision peut prendre en compte les écarts entre les valeurs de la séquence ST. Si Tune des valeurs de la séquence ST varie fortement (par exemple : seuillage sur une distance Euclidienne) par rapport à la moyenne des valeurs alors le déclenchement de l’action peut être décidé même si le seuil prédéfini est dépassé par un nombre de valeurs de la séquence ST inférieur à N. Si le ou les critères de décision de déclenchement d’une action ne sont pas satisfaits, le procédé reprend au début de la phase 2 et réitère les étapes El à E4 de collecte et traitement de données obtenues par le ou les capteur(s) du ou des équipement s) utilisateur(s) afin d’obtenir, pour une période temporelle courante Pc, de nouvelles séquences temporelles de segments de signaux d’intérêt de l’utilisateur.
Lors de l’étape E14, le déclenchement d’une action en fonction du résultat de l’analyse effectuée lors de l’étape E13.
L’action peut consister à notifier/diffuser, à destination de l’utilisateur, par exemple via l’un de ses équipements EQ, l’information de son niveau de stress. En d’autres termes, le procédé informe l’utilisateur de son niveau de stress constaté au travers de la séquence ST.
Selon un mode particulier de réalisation le procédé peut diffuser une moyenne des valeurs de stress de la séquence ST ou des valeurs de la séquence ST.
L’action peut également consister à notifier/diffuser, à destination de l’utilisateur, par exemple via un ou plusieurs de ses équipements EQ (bracelet, montre connectée, smartphone, lunette connectée, enceinte connectée, écran connecté, ordinateur, ampoule connectée et plus généralement un objet connecté, etc.) des notifications apaisantes telles que des vibrations lentes et massantes et/ou des sons doux et relaxants (chants d’oiseaux, pluie tropicale, etc.) et/ou des couleurs apaisantes (le bleu indigo, le vert d'eau, jaune clair, rose poudré, bleu ciel, lilas, etc.) et/ou de messages textuels invitant par exemple à la méditation.
L’action peut en outre consister à modifier les paramètres des services de télécommunications (par exemple en modifiant le statut de présence de l’utilisateur afin qu’il ne soit pas dérangé pendant un laps de temps déterminé en fonction de son niveau de stress), multimédia ou domotique (par exemple en modifiant l’ouverture des volets roulant et / ou la luminosité des ampoules et /ou l’intensité du chauffage du domicile/bureau de l’utilisateur).
L’action peut également consister à émettre à destination de l’utilisateur des notifications personnalisées lui recommandant de visualiser des contenus apaisants et/ou de communiquer avec des proches et/ou de contacter un professionnel de santé par des moyens de communication adaptés.
L’action peut également consister à émettre des notifications à destination d’un professionnel de santé. Ce mode de réalisation permet d’assurer le suivi médical de l’utilisateur.
Afin d’illustrer plus précisément le principe de l’invention, la figure 7 présente de façon schématique l’architecture d’un dispositif de surveillance DISP, selon un mode de réalisation de l’invention.
Le dispositif DISP a l'architecture classique d'un ordinateur, et comprend notamment une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de surveillance tel que décrit précédemment à l’appui des figures 1 à 6, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en œuvre les étapes du procédé de surveillance selon l'un quelconque des modes particuliers de réalisation décrits en relation avec les figures 1 à 6 et selon les instructions du programme d'ordinateur PG. Le dispositif de surveillance DISP comprend un module de communication COM pour la réception/transmission de mesures des paramètres physiologiques et/ou physiques et/ou cinétiques de l’utilisateur en provenance d’un ou plusieurs capteurs d’un ou plusieurs équipements utilisateur EQ et la transmission de notifications /messages / commandes en relation avec le niveau de stress de l’utilisateur.
Selon un mode particulier de réalisation, la mémoire MEM du dispositif DISP enregistre /stocke les mesures des paramètres physiologiques et/ou physiques et/ou cinétiques de l’utilisateur.
Selon un autre mode particulier de réalisation, la mémoire MEM contient les bases de données LB ARO DB, TS ARO DB, LB VAL DB, TS VAL DB et LB STR DB. Alternativement, ces bases de données peuvent être stockées dans un serveur situé par exemple dans le réseau ou dans une mémoire de la passerelle PAS.
La figure 7 illustre seulement une manière particulière, parmi plusieurs possibles, de réaliser le dispositif de surveillance DISP, afin qu’il effectue au moins une partie des étapes du procédé de surveillance détaillé ci-dessus, en relation avec les figures 2 et 3 dans ses différents modes de réalisation
Dans un exemple de réalisation, le dispositif de surveillance est configuré pour mettre en œuvre l’ensemble des étapes du procédé de surveillance. Pour cela, le dispositif de surveillance DISP peut comprendre un module de classification MOD1 CLAS configuré pour déterminer l’état d’excitation émotionnelle de l’utilisateur à partir d’une séquence de segments SSMT selon le modèle de caractérisation appris lors de la phase d’apprentissage décrite en lien avec la figure 2 (étape E5).
Le dispositif de surveillance DISP peut en outre comprendre un module de classification MOD2 CLAS configuré pour déterminer le niveau de positivité émotionnelle de l’utilisateur à partir d’une séquence de segments SSMT selon le modèle de caractérisation appris lors de la phase d’apprentissage décrite en lien avec la figure 2 (étape E6).
Le dispositif de surveillance DISP peut également comprendre un module de classification MOD3 CLAS configuré pour déterminer le niveau de stress de l’utilisateur à partir d’une séquence temporelle de couples de valeur de valence et d’ arousal selon le modèle de caractérisation appris lors de la phase d’apprentissage décrite en lien avec la figure 2 (étape E9). Alternativement, dans un autre exemple de réalisation, le dispositif de surveillance DISP est configuré pour mettre en œuvre uniquement les étapes El à E4, puis E10 à E14. Les étapes E5 à E9 d’apprentissage, de stockage et de caractérisation sont alors mises en œuvre par un équipement distant auquel le dispositif de surveillance DISP est connecté, comme un serveur ou une passerelle qui comprend les modules de classification MOD1 CLAS, MOD2 CLAS et MOD3 CLAS décrit en lien avec la figure 3 et mettant en œuvre les modèles de caractérisation associés.
Ces étapes peuvent être réalisées indifféremment sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d’instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel).
Dans le cas où le dispositif de surveillance DISP est réalisé avec une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d’instructions) pourra être stocké dans un médium de stockage amovible (tel que par exemple une carte SD, une clé USB, un CD-ROM ou un DVD-ROM) ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur.
On s’attache maintenant à décrire un exemple particulier de mise en œuvre du procédé de surveillance du stress d’un utilisateur UT selon l’invention en relation avec la figure 8.
L’utilisateur UT porte au poignet une montre connectée EQ3. Il est en retard pour son rendez-vous et marche vite. L’heure approche et son stress augmente. La montre connectée EQ3 mesure en continu l’évolution du rythme cardiaque de l’utilisateur à l'aide du cardiofréquencemètre électrique intégré. La montre connectée EQ3 mesure également en continu les mouvements du bras de l’utilisateur à l'aide d’un accéléromètre intégré.
L’ensemble des mesures (séquence temporelle de données au sens de l’invention) collectées par la montre connectée EQ3 sont ensuite transmises à destination du dispositif de surveillance DISP. La montre connectée EQ3 est par exemple apte à communiquer avec le dispositif DISP via une technologie de communication mobile (par exemple 2G, 3G, 4G, 5G, 6G) et plus particulièrement via une station de base SB et un réseau opérateur NET. Alternativement, la montre connectée collecte des données sur une période de temps prédéfinie (par exemple 1 minute, 10 minutes, 1 heure, etc.).
Les données collectées sont ensuite reçues (El) par le dispositif DISP qui met en œuvre le procédé de surveillance selon un mode de réalisation particulier. La séquence temporelle de données obtenue de la montre connectée EQ3 est ensuite traitée par le dispositif DISP (E2) afin de sélectionner les signaux d’intérêts présents dans la séquence temporelle de données (par exemple l’évolution dans le temps du rythme cardiaque et/ou les accélérations du bras de l’utilisateur).
Le dispositif DISP découpe ensuite les signaux d’intérêts obtenus (segmentation) toutes les 100 millisecondes sans recouvrement (E3).
Le dispositif DISP peut également, préalablement ou postérieurement à cette étape, traiter (E4) les signaux d’intérêts obtenus, respectivement les segments des signaux d’intérêts obtenus, à l’aide de filtre passe-bas pour débruiter l’information, de la normalisation pour uniformiser les données, du rééchantillonnage des données pour synchroniser les sources, etc.
Alternativement, les signaux d’intérêts sont traités par la montre connectée avant l’envoi (El). Dans ce cas, l’étape E4 peut ne pas être réalisée.
Le procédé de surveillance met ensuite en œuvre le modèle de caractérisation MODI (E10) pour estimer la valeur d’ arousal de chaque segment temporel des séquences temporelles des signaux d’intérêts / des segments temporels de la séquence temporelle de données. Le procédé obtient ainsi une séquence temporelle de valeurs d’ arousal puis calcule la moyenne sur une fenêtre de temps prédéfinie (par exemple la dernière seconde, la dernière minute, etc.). La moyenne d’ arousal obtenue par le procédé est par exemple de 4,2 sur une échelle de 1 à 6.
Le procédé de surveillance met ensuite en œuvre le modèle de caractérisation M0D2 (El 1) pour estimer la valeur de valence de chaque segment temporel des séquences temporelles des signaux d’intérêts / des segments temporels de la séquence temporelle de données. Le procédé obtient ainsi une séquence temporelle de valeurs de valence puis calcule la moyenne en prenant la même fenêtre de temps prédéfinie que précédemment. La moyenne de valence obtenue par le procédé est par exemple de -2,6 sur une échelle de -3 à 3.
Puis le procédé met en œuvre le modèle de caractérisation M0D3 (E12) pour estimer une valeur de stress en fonction des valeurs des moyennes de valence et d’ arousal obtenus lors des étapes E10 et El 1. Le procédé obtient alors une valeur de stress de 2 sur une échelle de 0 à 2 (0 signifie sans stress, 1 correspond à un léger stress, 2 correspond un stress important). Cette valeur est ensuite analysée (El 3). Le procédé considère cette valeur comme élevée et représentative d’un niveau de stress important.
Cette valeur de stress estimée déclenche (El 4) une notification sur la montre connectée sous la forme d’une vibration lente et apaisante, favorable à diminuer le stress de la personne.
A noter que les échelles de valeurs d’ arousal, de valence et de stress sont arbitraires et peuvent différer sans pour autant altérer l’évaluation du stress de l’utilisateur. D’autres échelles de valeurs peuvent être choisies par l’homme du métier sans pour autant sortir du cadre de l’invention.

Claims

REVENDICATIONS
1. Procédé de surveillance du niveau de stress d’un utilisateur (UT) à l’aide d’au moins un premier équipement dudit utilisateur (EQ), ledit procédé de surveillance étant mis en œuvre par un dispositif de surveillance (DISP) et caractérisé en ce qu’il comprend :
- une étape de détermination (E12), en fonction d’au moins une séquence temporelle de données obtenues en provenance dudit au moins un premier équipement, d’une séquence temporelle de valeurs (ST) représentatives du niveau de stress dudit utilisateur ;
- une étape d’émission à destination d’au moins un second équipement dudit utilisateur, en fonction du résultat de l’analyse de ladite séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur (ST), d’une demande de déclenchement d’au moins une action pour ledit utilisateur.
2. Procédé de surveillance selon la revendication 1 caractérisé en ce que ladite au moins une action correspond à une action apaisante.
3. Procédé de surveillance selon la revendication 1 caractérisé en ce que ladite au moins une action correspond à la modification d’au moins un paramètre d’un service de télécommunication, multimédia ou domotique.
4. Procédé de surveillance selon la revendication 1 caractérisé en ce que ladite au moins une séquence temporelle de données comprend au moins une mesure d’au moins un paramètre physiologique et/ou physique et/ou cinétique dudit utilisateur.
5. Procédé de surveillance selon la revendication 4 caractérisé en ce que ledit au moins un paramètre est choisi dans un groupe comprenant au moins : l’activité cardiaque, l’intensité de la voix, la déformation du visage, une accélération.
6. Procédé de surveillance selon la revendication 1 caractérisé en ce que ladite séquence temporelle de valeurs (ST) représentatives du niveau de stress dudit utilisateur est déterminée en fonction d’une séquence temporelle de valeurs (SA) représentatives de l’état d’excitation émotionnelle dudit utilisateur et en fonction d’une séquence temporelle de valeurs (SV) représentatives du niveau de positivité émotionnelle dudit utilisateur, lesdites séquences temporelles de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur et du niveau de positivité émotionnelle dudit utilisateur étant déterminées en fonction de ladite au moins une séquence temporelle de données. Procédé de surveillance selon la revendication 6 caractérisé en ce que lesdites séquences temporelles de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur et du niveau de positivité émotionnelle dudit utilisateur sont déterminées en fonction d’une segmentation temporelle de ladite au moins une séquence temporelle de données obtenue. Procédé de surveillance selon la revendication 7 caractérisé en ce que les segments temporels de ladite au moins une séquence temporelle de données sont traités (E4) par au moins un traitement choisi dans un groupe comprenant au moins : le filtrage passe-bas, la normalisation, le rééchantillonnage. Procédé de surveillance selon les revendications 7 à 8 caractérisé en ce que la détermination de ladite séquence temporelle de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur (SA), respectivement de ladite séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle dudit utilisateur (SV), comprend une mise en œuvre d’au moins un module d’intelligence artificielle configuré pour associer à partir d’un modèle de caractérisation de l’état d’excitation émotionnelle dudit utilisateur (MODI), respectivement à partir d’un modèle de caractérisation du niveau de positivité émotionnelle dudit utilisateur (M0D2), au moins un segment temporel de ladite au moins une séquence temporelle de données à au moins une valeur représentative de l’état d’excitation émotionnelle dudit utilisateur, respectivement à au moins une valeur représentative du niveau de positivité émotionnelle dudit utilisateur. Procédé de surveillance selon la revendication 9 caractérisé en ce que la détermination de ladite séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur (ST) comprend une mise en œuvre d’au moins un module d’intelligence artificielle configuré pour associer à partir d’un modèle de caractérisation de l’état de stress dudit utilisateur (M0D3) une première valeur de ladite séquence temporelle de valeurs représentatives de l’état d’excitation émotionnelle dudit utilisateur (SA) et une deuxième valeur de ladite séquence temporelle de valeurs représentatives du niveau de positivité émotionnelle dudit utilisateur (SV) à au moins une valeur représentative du niveau de stress dudit utilisateur, lesdites première et deuxième valeurs étant associées à un même segment temporel de ladite au moins une séquence temporelle de données. Procédé de surveillance selon la revendication 6 caractérisé en ce qu’il comprend un apprentissage préalable (E5, E6) dudit modèle de caractérisation de l’état d’excitation émotionnelle dudit utilisateur (MODI), respectivement dudit modèle de caractérisation du niveau de positivité émotionnelle dudit utilisateur (M0D2), à partir d’une base de données (LB ARO DB) d’apprentissage associant des segments temporels de séquences temporelles de données à au moins une valeur représentative d’un état d’excitation émotionnelle, respectivement à partir d’une base de données (LB VAL DB) d’apprentissage associant des segments temporels de séquences temporelles de données à au moins une valeur représentative d’un niveau de positivité émotionnelle. Procédé de surveillance selon la revendication 9 caractérisé en ce qu’il comprend un apprentissage préalable dudit modèle de caractérisation de l’état de stress dudit utilisateur (M0D3) à partir d’une base de données (LB STR DB) d’apprentissage associant des couples de valeurs comprenant une valeur représentative d’un état d’excitation émotionnelle et une valeur représentative d’un niveau de positivité émotionnelle à une valeur représentative d’un niveau de stress. Dispositif de surveillance du niveau de stress d’un utilisateur à l’aide d’au moins un premier équipement utilisateur caractérisé en ce qu’il comprend :
- un module d’obtention (COM), en provenance dudit au moins un premier équipement utilisateur, d’au moins une séquence temporelle de données ;
- un premier module de détermination (MOD1 CLAS), en fonction de ladite au moins une séquence temporelle de données, d’une première séquence temporelle de valeurs (SA) représentatives de l’état d’excitation émotionnelle dudit utilisateur ;
- un deuxième module de détermination (MOD2 CLAS), en fonction de ladite au moins une séquence temporelle de données, d’une deuxième séquence temporelle de valeurs (SV) représentatives du niveau de positivité émotionnelle dudit utilisateur ;
- un troisième module de détermination (MOD3 CLAS), en fonction desdites première et deuxième séquences temporelle de valeurs, d’une troisième séquence temporelle de valeurs (ST) représentatives du niveau de stress dudit utilisateur.
- un module d’émission à destination d’au moins un second équipement dudit utilisateur, en fonction du résultat d’une analyse de ladite séquence temporelle de valeurs représentatives du niveau de stress dudit utilisateur (ST), d’une demande de déclenchement d’au moins une action pour ledit utilisateur. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 12, lorsque le programme est exécuté par un processeur.
PCT/EP2023/081038 2022-11-15 2023-11-07 Procédé et dispositif de surveillance du niveau de stress d'un utilisateur WO2024104835A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2211880A FR3141849A1 (fr) 2022-11-15 2022-11-15 Procédé et dispositif de surveillance du niveau de stress d’un utilisateur
FRFR2211880 2022-11-15

Publications (1)

Publication Number Publication Date
WO2024104835A1 true WO2024104835A1 (fr) 2024-05-23

Family

ID=85461886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/081038 WO2024104835A1 (fr) 2022-11-15 2023-11-07 Procédé et dispositif de surveillance du niveau de stress d'un utilisateur

Country Status (2)

Country Link
FR (1) FR3141849A1 (fr)
WO (1) WO2024104835A1 (fr)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520905B1 (en) * 1998-02-26 2003-02-18 Eastman Kodak Company Management of physiological and psychological state of an individual using images portable biosensor device
EP2196144A1 (fr) * 2008-12-12 2010-06-16 Universite de Rennes 1 Dispositif de détermination d'un état de stress chez un sujet vivant, procédé et produit programme d'ordinateur correspondants
US20180092574A1 (en) * 2015-06-14 2018-04-05 Facense Ltd. Detecting physiological responses while accounting for touching the face
WO2018215575A1 (fr) * 2017-05-26 2018-11-29 Jamzone B.V. Système ou dispositif permettant la reconnaissance d'émotions avec induction de réponse d'actionneurs utile dans la formation et la psychothérapie
US10877444B1 (en) * 2017-06-07 2020-12-29 Hrl Laboratories, Llc System and method for biofeedback including relevance assessment
WO2022119810A1 (fr) * 2020-12-02 2022-06-09 Innsightful, Inc. Système et procédé de prévention, de diagnostic et de traitement de conditions de santé
WO2022144813A1 (fr) * 2020-12-30 2022-07-07 Stressless Srl Dispositif portable et méthode de détection du stress, de reconnaissance et de gestion des émotions
US20220230632A1 (en) * 2021-01-21 2022-07-21 Accenture Global Solutions Limited Utilizing machine learning models to generate automated empathetic conversations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520905B1 (en) * 1998-02-26 2003-02-18 Eastman Kodak Company Management of physiological and psychological state of an individual using images portable biosensor device
EP2196144A1 (fr) * 2008-12-12 2010-06-16 Universite de Rennes 1 Dispositif de détermination d'un état de stress chez un sujet vivant, procédé et produit programme d'ordinateur correspondants
US20180092574A1 (en) * 2015-06-14 2018-04-05 Facense Ltd. Detecting physiological responses while accounting for touching the face
WO2018215575A1 (fr) * 2017-05-26 2018-11-29 Jamzone B.V. Système ou dispositif permettant la reconnaissance d'émotions avec induction de réponse d'actionneurs utile dans la formation et la psychothérapie
US10877444B1 (en) * 2017-06-07 2020-12-29 Hrl Laboratories, Llc System and method for biofeedback including relevance assessment
WO2022119810A1 (fr) * 2020-12-02 2022-06-09 Innsightful, Inc. Système et procédé de prévention, de diagnostic et de traitement de conditions de santé
WO2022144813A1 (fr) * 2020-12-30 2022-07-07 Stressless Srl Dispositif portable et méthode de détection du stress, de reconnaissance et de gestion des émotions
US20220230632A1 (en) * 2021-01-21 2022-07-21 Accenture Global Solutions Limited Utilizing machine learning models to generate automated empathetic conversations

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
COHEN S ET AL.: "A Global measure of perceived stress", JOURNAL OF HEALTH AND SOCIAL BEHAVIOR, vol. 24, 1983, pages 385 - 396, XP055295651, DOI: 10.2307/2136404
D. TOMOI ET AL.: "Estimation of stress during car race with factor analysis", INTERNATIONAL SYMPOSIUM ON MICRO-NANOMECHATRONICS AND HUMAN SCIENCE (MHS, 2015, pages 1 - 5, XP032885477, DOI: 10.1109/MHS.2015.7438258
KOSE MANGESH RAMAJI ET AL: "A new approach for emotions recognition through EOG and EMG signals", SIGNAL, IMAGE AND VIDEO PROCESSING, SPRINGER LONDON, LONDON, vol. 15, no. 8, 31 May 2021 (2021-05-31), pages 1863 - 1871, XP037584432, ISSN: 1863-1703, [retrieved on 20210531], DOI: 10.1007/S11760-021-01942-1 *
Q. XUT. L. NWEC. GUAN: "Cluster-Based Analysis for Personalized Stress Evaluation Using Physiological Signals", IEEE JOURNAL OF BIOMÉDICAL AND HEALTH INFORMATICS, vol. 19, no. 1, January 2015 (2015-01-01), pages 275 - 281, XP011566704, DOI: 10.1109/JBHI.2014.2311044
VAZQUEZ-RODRIGUEZ JUAN ET AL: "Emotion Recognition with Pre-Trained Transformers Using Multimodal Signals", 2022 10TH INTERNATIONAL CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION (ACII), IEEE, 18 October 2022 (2022-10-18), pages 1 - 8, XP034234134, DOI: 10.1109/ACII55700.2022.9953852 *
VAZQUEZ-RODRIGUEZ JUAN ET AL: "Transformer-Based Self-Supervised Learning for Emotion Recognition", 2022 26TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), IEEE, 21 August 2022 (2022-08-21), pages 2605 - 2612, XP034236881, DOI: 10.1109/ICPR56361.2022.9956027 *
VAZQUEZ-RODRIGUEZ VAZQUEZ-RODRIGUEZ JUAN JUAN ET AL: "Transformer-Based Self-Supervised Learning for Emotion Recognition", ARXIV.ORG, 3 June 2022 (2022-06-03), Ithaca, pages 1 - 11, XP093046030, Retrieved from the Internet <URL:https://arxiv.org/pdf/2204.05103v2.pdf> [retrieved on 20230511], DOI: 10.48550/arXiv.2204.05103 *
XU, P.ZHU, X.CLIFTON, D. A., MULTIMODAL LEARNING WITH TRANSFORMERS: A SURVEY

Also Published As

Publication number Publication date
FR3141849A1 (fr) 2024-05-17

Similar Documents

Publication Publication Date Title
WO2017021662A1 (fr) Procédés et systèmes de stimulation acoustique des ondes cérébrales
EP2972678B1 (fr) Appareil informatique vestimentaire et procédé associé
US20190212577A1 (en) Dynamic contextual video capture
US20200302952A1 (en) System for assessing vocal presentation
FR3048542A1 (fr) Dispositif et methode de surveillance personnalises d&#39;un conducteur d&#39;un vehicule automobile
EP3387794A1 (fr) Procede et systeme de recuperation de donnees de fonctionnement d&#39;un dispositif de mesure des ondes cerebrales
FR2679453A1 (fr) Dispositif de reveil biologique programmable en fonction des phases du sommeil.
EP3768154A1 (fr) Méthode de génération d&#39;un indicateur d&#39;état d&#39;une personne dans le coma
US20200302310A1 (en) Generating Action Suggestions Based on A Change in User Mood
EP3511781B1 (fr) Dispositif et procédé de collecte, de sauvegarde, d&#39;analyse ainsi que de mise à disposition des résultats de l&#39;analyse de données de pièces d&#39;horlogerie
WO2023217730A1 (fr) Procédé de surveillance du sommeil d&#39;un utilisateur, dispositif de surveillance et programme d&#39;ordinateur correspondants
EP2638492B1 (fr) Dispositif de détection à capteur, procédé de détection et programme d&#39;ordinateur correspondants
EP3252563B1 (fr) Détermination d&#39;un contexte de mobilité d&#39;un utilisateur porteur d&#39;un équipement muni de capteurs inertiels
WO2024104835A1 (fr) Procédé et dispositif de surveillance du niveau de stress d&#39;un utilisateur
US20210121080A1 (en) Measuring rapid eye movement for cardiorespiratory monitoring
CH715018A1 (fr) Dispositif et procédé de collecte, de sauvegarde, d&#39;analyse ainsi que de mise à disposition des résultats de l&#39;analyse de données de pièces d&#39;horlogerie mécanique.
WO2020089539A1 (fr) Procédé, dispositif et système de prédiction d&#39;un effet d&#39;une stimulation acoustique des ondes cérébrales d&#39;une personne
FR3128869A1 (fr) Détection perfectionnée de potentiels évoqués
EP4031005A1 (fr) Système de détermination d&#39;une émotion d&#39;un utilisateur
EP3644136A1 (fr) Procede de diffusion par une montre d&#39;un message informatif relatif a une evaluation de la qualite du sommeil d&#39;un porteur de ladite montre
FR3103611A1 (fr) Procédé et dispositif de suivi de l’activité d’une personne en perte d&#39;autonomie
US20210124980A1 (en) Augmented group experience event correlation
US20230147846A1 (en) Monitoring and querying autobiographical events
KR102506646B1 (ko) 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
WO2020144421A1 (fr) Procédé et dispositif de gestion intelligente d&#39;une alarme pour le réveil d&#39;une personne

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23801784

Country of ref document: EP

Kind code of ref document: A1