WO2023112384A1 - 計算機システム及び情動推定方法 - Google Patents

計算機システム及び情動推定方法 Download PDF

Info

Publication number
WO2023112384A1
WO2023112384A1 PCT/JP2022/030813 JP2022030813W WO2023112384A1 WO 2023112384 A1 WO2023112384 A1 WO 2023112384A1 JP 2022030813 W JP2022030813 W JP 2022030813W WO 2023112384 A1 WO2023112384 A1 WO 2023112384A1
Authority
WO
WIPO (PCT)
Prior art keywords
time series
biosignal
emotion
user
model
Prior art date
Application number
PCT/JP2022/030813
Other languages
English (en)
French (fr)
Inventor
佳久 松永
子盛 黎
昌宏 荻野
佩菲 朱
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023112384A1 publication Critical patent/WO2023112384A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present disclosure relates to systems and methods for estimating emotion.
  • Patent Document 1 the technology described in Patent Document 1 is known as a background technology of the present disclosure.
  • the emotion estimation system has an acquisition unit 131, a classification unit, and an output control unit 137.
  • the acquisition unit acquires information on heartbeat intervals continuously measured for one user.
  • the classification unit determines the value obtained by frequency analysis of the acquired heartbeat interval information and the discrepancy between the predicted heartbeat interval calculated based on the acquired heartbeat interval information and the actually obtained heartbeat interval.
  • the user's emotion is classified into at least two types based on the value indicating the ratio to the value indicating the.
  • the output control unit performs different outputs according to the classified results.”
  • Patent Document 1 describes a system that outputs according to an abnormal emotional state.
  • the technique described in Patent Literature 1 is a method of estimating emotions in a stress-related psychological state, estimates positive emotions as relaxed states, and cannot accurately estimate emotions.
  • the technique described in Patent Literature 1 uses only heart rate variability, and does not take into consideration the influence of subject's behavior on emotion estimation.
  • the purpose of the present invention is to provide a system and method for reducing the influence of human behavior on emotion estimation and estimating various emotions with high accuracy.
  • a representative example of the invention disclosed in the present application is as follows. That is, a computer system comprising at least one computer, wherein the at least one computer has a processor, a storage device connected to the processor, and a connection interface connected to the processor; acquires biological data including a biological signal of the user and exercise data including an exercise signal related to exercise of the user, stores the biological data and the exercise data in an arbitrary time range in the storage device, and uses the biological data and the exercise data in an arbitrary time range , generating a biosignal time series and a motion signal time series, using the motion signal time series, correcting the biosignal time series to a corrected biosignal time series in which the influence of the user's motion is reduced;
  • the user's emotion is estimated using the first biometric feature amount calculated from the corrected biosignal time series, and the user's emotion estimation result is stored in the storage device.
  • human emotion can be estimated with high accuracy. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • FIG. 1 is a diagram illustrating a configuration example of a system of Example 1;
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of a computer included in the emotion estimation system of Example 1;
  • FIG. 4 is a diagram illustrating an example of a data structure of data stored in a user data management DB of Example 1;
  • FIG. 4 is a diagram illustrating an example of a data structure of data stored in an emotion estimation result management DB of Example 1;
  • FIG. 4 is a diagram illustrating an example of a data structure of data stored in a learning data management DB of Example 1;
  • FIG. 4 is a diagram showing the flow of emotion estimation processing executed by the emotion estimation system of Example 1.
  • FIG. 4 is a diagram illustrating a configuration example of a system of Example 1;
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of a computer included in the emotion estimation system of Example 1;
  • FIG. 4 is a diagram illustrating an example of a data structure of data stored in
  • FIG. 6 is a flowchart illustrating an example of emotion estimation processing executed by the emotion estimation system of Example 1; 4 is a diagram showing an example of a heartbeat time series in Example 1.
  • FIG. 4 is a diagram showing an example of an acceleration time series according to Example 1;
  • FIG. 4 is a diagram showing an example of a frequency spectrum of a heartbeat time series in Example 1.
  • FIG. 7 is a flowchart for explaining an example of an emotion estimation model learning process executed by the emotion estimation system of the first embodiment;
  • FIG. 4 is a diagram showing an example of an emotion model applied to the emotion estimation system of Example 1;
  • FIG. 7 is a diagram showing the flow of correction model learning processing executed by the emotion estimation system of the first embodiment
  • 7 is a flowchart illustrating an example of correction model learning processing executed by the emotion estimation system of the first embodiment
  • FIG. 7 is a diagram showing the flow of correction model learning processing executed by the emotion estimation system of the first embodiment
  • FIG. 4 is a diagram showing an example of a screen presented by the emotion estimation system of Example 1;
  • Emotion estimation systems evaluate QoL in the psychological domain, for example, in the healthcare field. By using the evaluation results, it is possible to provide and develop services that reflect people's emotions in their daily lives.
  • the emotion estimation method of the present disclosure can be applied without being limited to the user's individuality and environment.
  • FIG. 1 is a diagram showing a configuration example of the system of the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a computer included in the emotion estimation system of the first embodiment;
  • the system includes an emotion estimation system 100, a user data collection device 101, and an information terminal 102.
  • User data collection device 101 and information terminal 102 are connected to emotion estimation system 100 via a network.
  • the network is, for example, a LAN (Local Area Network) or the like, and the connection method may be either wired or wireless.
  • the user data collection device 101 is a device worn by the user and has a biological data measurement device such as the heartbeat sensor 130 and an exercise data measurement device such as the acceleration sensor 131 .
  • the user data collection device 101 may have a sensor for measuring brain waves, skin potential, body temperature, etc. as a biological data measurement device, or may have a gyro sensor as an exercise data measurement device. good.
  • the user data collection device 101 may have a measurement device such as an air pressure sensor that measures values related to the user's environment.
  • the user data collection device 101 can be equipped with various sensors as long as they do not interfere with the user's daily life.
  • the user data collection device 101 acquires measurement results from the biological data measuring device and the exercise data measuring device, generates user data including biological data and exercise data, and transmits the generated user data to the emotion estimation system 100 .
  • the information terminal 102 is a terminal operated by a user, such as a smart phone or a personal computer.
  • the emotion estimation system 100 transmits to the information terminal 102 the state information of the user including the result of estimation of emotion, biometric data, exercise data, and the like. The details of the screen displayed on the information terminal 102 will be described later.
  • the emotion estimation system 100 estimates emotions and learns various models used for estimating emotions.
  • the emotion estimation system 100 is composed of a computer 200 as shown in FIG.
  • the number of computers 200 constituting the emotion estimation system 100 may be one, or may be two or more.
  • the computer 200 has a processor 201 , a main storage device 202 , a secondary storage device 203 and a network interface 204 . Each hardware element is connected to each other via an internal bus 205 .
  • the processor 201 executes programs stored in the main memory device 202 .
  • the processor 201 operates as a functional unit (module) that implements a specific function by executing processing according to a program.
  • a functional unit module
  • the processor 201 is executing a program that implements the functional unit.
  • the main memory device 202 is a DRAM (Dynamic Random Access Memory) and stores programs executed by the processor 201 and data used by the programs.
  • the main memory device 202 is also used as a work area.
  • the secondary storage device 203 is a HDD (Hard Disk Drive), SSD (Solid State Drive), etc., and permanently stores data.
  • the programs and data stored in the main storage device 202 may also be stored in the secondary storage device 203 .
  • processor 201 reads programs and information from secondary storage device 203 and loads them into main storage device 202 .
  • a network interface 204 is an interface for connecting to an external device via a network.
  • the hardware configuration of the computer 200 is an example and is not limited to this. It may have an input device such as a keyboard, mouse, and touch panel, and may have an output device such as a display and a printer.
  • the emotion estimation system 100 has an emotion estimation unit 110, a correction unit 111, a display unit 112, and a learning unit 113 as functional units.
  • the emotion estimation system 100 also holds a user data management DB 120 , an emotion estimation result management DB 121 , a learning data management DB 122 , an emotion estimation model 123 and a correction model 124 .
  • the emotion estimation model 123 is a model for estimating human emotion.
  • the emotion estimation model 123 is a model for estimating an emotion using biometric data of a user in a near-quiet state, and is, for example, a regression model, a neural network, or the like.
  • a near-calm state represents a calm state with little movement.
  • the correction model 124 is a model for correcting a time series generated from biometric data and used for emotion estimation. Correction model 124 is, for example, a regression model, a neural network, or the like.
  • the user data management DB 120 is a database that stores user data received from the user data collection device 101 .
  • the emotion estimation result management DB 121 is a database that stores emotion estimation results.
  • the learning data management DB 122 is a database that stores learning data used for learning the emotion estimation model 123 and the correction model 124 .
  • the correction unit 111 uses the motion data and the correction model 124 to correct the time series.
  • the time series is corrected to reduce the influence of motion.
  • the emotion estimation unit 110 estimates human emotion using the corrected time series and the emotion estimation model 123 . Specifically, the emotion estimator 110 estimates the type and level of emotion in an arbitrary emotion model, and outputs an emotion estimation result.
  • the display unit 112 presents the emotion estimation result, the user's state information, and the like.
  • the learning unit 113 learns the emotion estimation model 123 and the correction model 124 .
  • each function unit of the emotion estimation system 100 a plurality of function units may be combined into one function unit, or one function unit may be divided into a plurality of function units for each function.
  • the learning unit 113 may be divided into a learning unit that learns the emotion estimation model 123 and a learning unit that learns the correction model 124 .
  • the emotion estimation unit 110 may include the correction unit 111 .
  • FIG. 3 is a diagram explaining an example of the data structure of data stored in the user data management DB 120 of the first embodiment.
  • the user data management DB 120 stores a table 300 as shown in FIG. Table 300 stores entries including user ID 301 , time 302 , exercise data 303 and biometric data 304 .
  • One entry corresponds to one user data. Note that the fields included in the entry are not limited to those described above. Any of the fields described above may not be included, or other fields may be included.
  • the user ID 301 is a field that stores user identification information.
  • a time 302 is a field that stores the time when the user data was generated.
  • Exercise data 303 is a group of fields that store values measured by the exercise data measuring device. In FIG. 3, values relating to acceleration and attitude are stored.
  • the biological data 304 is a group of fields that store values measured by the biological data measuring device. In FIG. 3, values relating to heartbeat are stored.
  • FIG. 4 is a diagram illustrating an example of the data structure of data stored in the emotion estimation result management DB 121 of the first embodiment.
  • the emotion estimation result management DB 121 stores a table 400 as shown in FIG.
  • Table 400 stores entries including user ID 401 , time 402 and estimation result 403 .
  • One entry corresponds to one emotion estimation result.
  • the fields included in the entry are not limited to those described above. Any of the fields described above may not be included, or other fields may be included.
  • the user ID 401 is the same field as the user ID 301.
  • a time 402 is a field for storing the start time of the time series of user data used for emotion estimation.
  • emotion is estimated using a time series of user data with a predetermined duration.
  • the estimation result 403 is a field group that stores values output from the emotion estimation unit 110 .
  • the estimation result 403 in FIG. 4 stores the degree of concentration and the degree of each emotion type.
  • FIG. 5 is a diagram explaining an example of the data structure of data stored in the learning data management DB 122 of the first embodiment.
  • the learning data management DB 122 stores a table 500 as shown in FIG.
  • a table 500 stores learning data used for learning the emotion estimation model 123, and includes a user ID 501, time 502, movement data 503, biometric data 504, corrected biometric data 505, and estimation result 506. store the entry.
  • One entry corresponds to one user data. Note that the fields included in the entry are not limited to those described above. Any of the fields described above may not be included, or other fields may be included.
  • the user ID 501, time 502, exercise data 503, and biometric data 504 are the same fields as the user ID 301, time 302, exercise data 303, and biometric data 304.
  • Corrected biological data 505 is a field group that stores corrected biological data.
  • the estimation result 506 is a field group that stores the emotion estimation result estimated using the user data time series. The same value is set to the estimation result 506 of the entry corresponding to the user data forming the time series used to output one estimation result.
  • FIG. 6 is a diagram showing the flow of emotion estimation processing executed by the emotion estimation system 100 of the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of emotion estimation processing executed by the emotion estimation system 100 of the first embodiment.
  • FIG. 8 is a diagram showing an example of a heartbeat time series according to the first embodiment.
  • FIG. 9 is a diagram illustrating an example of an acceleration time series according to the first embodiment;
  • FIG. 10 is a diagram showing an example of the frequency spectrum of the heartbeat time series according to the first embodiment.
  • the emotion estimation unit 110 acquires user data of a predetermined duration (step S101).
  • the emotion estimation unit 110 generates a time series regarding acceleration (acceleration time series) and a time series regarding heartbeats (heartbeat time series) based on the acquired plurality of user data (step S102).
  • FIG. 8 is an example of a heartbeat time series.
  • the horizontal axis represents time and the vertical axis represents HRV, which is the number of heart beats per millisecond.
  • FIG. 9 is an example of an acceleration time series.
  • the horizontal axis represents time and the vertical axis represents acceleration.
  • the emotion estimating unit 110 calculates the motion feature amount by inputting the acceleration time series to the motion feature amount generator 601 (step S103).
  • the motion feature quantity generator 601 calculates, for example, the frequency at which the positive and negative sides of the acceleration change (zero class quantity) as the motion feature quantity.
  • the emotion estimation unit 110 determines whether or not the exercise intensity is high based on the exercise feature amount (step S104). For example, when the motion feature amount is larger than the threshold, the emotion estimation unit 110 determines that the motion intensity is high. If the exercise intensity is not high, the emotion estimation unit 110 proceeds to step S106. If the exercise intensity is higher than a certain level, there is a high possibility that the heartbeat time series is strongly influenced by the exercise, so correction is performed to reduce the influence of the exercise.
  • the emotion estimation unit 110 calls the correction unit 111 and instructs correction of the heartbeat time series.
  • the emotion estimation unit 110 outputs the motion feature amount and the heartbeat time series to the correction unit 111 .
  • the correction unit 111 corrects the heartbeat time series using the motion feature amount, the heartbeat time series, and the correction model 124 (step S105). With this correction, the heartbeat time series is corrected to reduce the influence of exercise. That is, the heartbeat time series is corrected to a state close to a calm state.
  • Correction section 111 outputs the corrected heartbeat time series to emotion estimation section 110 .
  • the emotion estimation unit 110 proceeds to step S106.
  • the emotion estimation unit 110 uses the heartbeat time series to calculate the frequency spectrum of the heartbeat time series (step S106).
  • Fig. 10 is an example of the HRV frequency spectrum.
  • the horizontal axis represents frequency and the vertical axis represents spectral power density of HRV.
  • the emotion estimating unit 110 calculates biometric feature values by inputting the heartbeat time series and the HRV frequency spectrum to the biometric feature value generator 602 (step S107).
  • the biometric feature generator 602 uses the HRV frequency spectrum to calculate the spectral power densities of the very low frequency VLF, the low frequency LF, and the high frequency HF.
  • Power, the ratio of spectral power densities of LF and HF, LF Norm, HF Norm, etc. are calculated as biometric feature quantities.
  • Total Power is the sum of VLF, LF, and HF spectral power densities.
  • LF Norm is a value that emphasizes the LF feature using the LF and VLF spectral power densities.
  • HF Norm is a value that emphasizes the features of HF using the spectral power densities of HF and VLF.
  • the biometric feature value generator 602 for example, the emotion estimating unit 110 uses the heartbeat time series to calculate HR, SDNN, RMSSD, NN50, pNN50, NN20, and pNN20 as biometric feature values.
  • HR is the average heart rate.
  • SDNN is the standard deviation of HRV.
  • RMSSD is the root-mean-square difference of successively adjacent HRVs.
  • NN50 is the total number of consecutive adjacent HRV differences greater than 50 ms.
  • pNN50 is the percentage of beats in which consecutive adjacent HRV differ by more than 50 ms.
  • NN20 is the total number of consecutive adjacent HRV differences greater than 20 ms.
  • pNN20 is the percentage of beats in which consecutive adjacent HRV differ by more than 20 ms.
  • the emotion estimating unit 110 estimates emotion using the heartbeat time series, the biometric feature amount, the motion feature amount, and the emotion estimation model 123 (step S108).
  • the emotion estimation unit 110 stores the emotion estimation result in the emotion estimation result management DB 121 .
  • the emotion estimation model 123 may be a model that does not use motion feature amounts and heartbeat time series.
  • the emotion estimation unit 110 acquires the parameters of any emotion model from the emotion estimation model 123, and classifies the emotion using the parameters and the emotion model.
  • the emotion estimation unit 110 saves learning data in which user data, correction results, and emotion estimation results are associated in a table 500 of the learning data management DB 122 .
  • the frequency spectrum calculation process is executed using the heartbeat time series that has not been corrected. Emotions are also estimated using uncorrected time series, biometric feature amounts, motion feature amounts, and the emotion estimation model 123 .
  • FIG. 11 is a flowchart illustrating an example of learning processing of the emotion estimation model 123 executed by the emotion estimation system 100 of the first embodiment.
  • FIG. 12 is a diagram showing an example of an emotion model applied to the emotion estimation system 100 of the first embodiment.
  • emotion is estimated using an emotion model such as Russell's cyclic model of emotion based on the theory of emotion dimension.
  • the vertical axis represents the arousal level and the horizontal axis represents the emotional valence.
  • each emotion of the emotion ring model is classified by the label (Y 0 , Y 1 , Y 2 , Y 3 , Y 4 ).
  • the learning unit 113 generates learning data using user data and emotion estimation results (step S201).
  • the learning unit 113 generates entries as shown in FIG. 500. Note that the corrected biometric data 505 of the generated entry may be blank.
  • the learning unit 113 assigns a label in the emotional ring model to the learning data (step S202).
  • the label assigned to the learning data represents the correct estimation result of the emotion estimation model 123 .
  • the learning unit 113 executes learning of the emotion estimation model 123 using the learning data (step S203).
  • the learning unit 113 stores the learning result as the emotion estimation model 123 . Since a known method may be used for the learning method, detailed description is omitted.
  • FIG. 13 is a diagram showing the flow of learning processing of the correction model 124 executed by the emotion estimation system 100 of the first embodiment.
  • FIG. 14 is a flowchart illustrating an example of learning processing of the correction model 124 executed by the emotion estimation system 100 of the first embodiment.
  • the learning unit 113 acquires learning data (an entry group of the table 500) from the learning data management DB 122 (step S301).
  • the learning data includes a time series of user data of an arbitrary time width of an arbitrary user and a corrected heartbeat time series.
  • the learning unit 113 uses the time series of the user data included in the learning data to calculate the motion feature amount and the biometric feature amount (step S302).
  • the method for calculating the motion feature amount and the biometric feature amount is the same as the method for emotion estimation.
  • the learning unit 113 generates a restored heartbeat time series by inputting the motion feature amount and the biometric feature amount to the restorer 1201 (step S303).
  • a model that implements the restorer 1201 is the correction model 124 .
  • the learning unit 113 calculates the first loss G using the first loss function (step S304).
  • the first loss function is given by Equation (1), for example.
  • the biometric feature generator 602 functions as an autoencoder encoder
  • the restorer 1201 functions as an autoencoder decoder.
  • the feature amount generated by the encoder is a feature amount representative of the data input to the encoder. It is assumed that the encoder of this embodiment calculates the feature amount by dimensionality reduction.
  • y represents the restored heartbeat time series generated by the restorer 1201, and x represents the heartbeat time series generated from the user data.
  • ) represents the Kullback-Leibler pseudo-distance, ⁇ represents the mean of biometric features, and ⁇ represents the variance of biometric features.
  • N represents a probability distribution.
  • the learning unit 113 inputs the restored heartbeat time series and the heartbeat time series without noise corresponding to the estimated emotion to the biometric feature value generator 602, thereby calculating the biometric feature value of each time series (step S305).
  • the heartbeat time series without noise is the heartbeat time series of a certain emotion in a calm state.
  • the heartbeat time series may be preset or retrieved from the learning data management DB 122 .
  • the learning unit 113 inputs two biometric feature quantities to the discriminator 1202, and calculates the second loss D using the discrimination result of the discriminator 1202 and the second loss function (step S306).
  • the discriminator 1202 discriminates whether or not the input heartbeat time series is a heartbeat time series without noise.
  • the restorer 1201 and the discriminator 1202 constitute an adversarial generation network. Learning progresses so that the discriminator 1202 cannot discriminate between the restored heartbeat time series generated by the restorer 1201 and the heartbeat time series. Note that the emotion estimation system 100 holds a model that implements the discriminator 1202 .
  • the learning unit 113 updates the model of each of the restorer 1201 and the discriminator 1202 using the first loss G and the second loss D (step S307).
  • the learning unit 113 updates the model by obtaining the solution of the minimization problem shown in Equation (2).
  • V( ⁇ G , ⁇ D ) is given by equation (3).
  • the learning unit 113 determines whether or not to end learning (step S307). For example, when the number of updates is greater than the threshold, the learning unit 113 determines to end learning. Further, when the emotion prediction accuracy for the user data for evaluation is higher than the threshold, the learning unit 113 determines to end the learning.
  • the learning unit 113 If the learning is not finished, the learning unit 113 returns to step S301 and performs the same processing on new learning data. When the learning ends, the learning unit 113 ends the learning process of the correction model 124 .
  • the correction model 124 that outputs a heartbeat time series that is less affected by the user's exercise.
  • the heartbeat time series corrected by the correction model 124 the user's emotion can be estimated with high accuracy without being affected by the user's motion.
  • the biometric feature amount it is possible to ensure the explainability of the determination of the emotion estimation result.
  • the user's emotion can be estimated with high accuracy without reorganizing the emotion estimation model 123 learned using the heartbeat data obtained in the calm state. Therefore, there is also an effect that the development cost and the operation cost can be reduced.
  • the generative adversarial network used for learning the correction model 124 contributes to solving the problem of domain adaptation, it has the effect of not only reducing the influence of the user's motion, but also reducing the influence of the user's individuality and environment.
  • Correction of time series includes processing such as correction of time series values and interpolation of values in time series.
  • FIG. 15 is a diagram showing the learning flow of the correction model 124 that handles acceleration, heartbeat, and electroencephalogram. The difference is that a biometric feature value generator 1501 is added to generate biometric feature values related to electroencephalograms from electroencephalogram time series.
  • the first loss function is given by Equation (4), for example.
  • ) represents the Kullback-Leibler pseudorange for acceleration and heart rate
  • ) represents the Kullback-Leibler pseudo-range for electroencephalogram and heart rate.
  • FIG. 16 is a diagram showing an example of a screen presented by the emotion estimation system 100 of the first embodiment.
  • the display unit 112 of the emotion estimation system 100 displays a report screen 1600 as shown in FIG.
  • the report screen 1600 displays an emotion map 1601, a heartbeat time series graph 1602, and an exercise intensity graph 1603.
  • the emotion map 1601 is an emotion model to which the estimation result of the user's emotion is mapped.
  • a heartbeat time series graph 1602 is a graph showing a heartbeat time series used for emotion estimation.
  • the exercise intensity graph 1603 is a graph showing changes in exercise intensity during an arbitrary period.
  • the emotion estimation system 100 may periodically execute the emotion estimation process and present a report screen 1600 as shown in FIG. 16 each time. At this time, the information for displaying the report screen 1600 may not be recorded. In addition, the emotion estimation system 100 may periodically execute emotion estimation processing and accumulate processing results. In this case, the emotion estimation system 100 displays a report screen 1600 that presents the estimation result of emotion at any time in response to the user's request.
  • the present invention is not limited to the above-described embodiments, and includes various modifications. Further, for example, the above-described embodiments are detailed descriptions of the configurations for easy understanding of the present invention, and are not necessarily limited to those having all the described configurations. Moreover, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized in hardware, for example, by designing a part or all of them with an integrated circuit.
  • the present invention can also be implemented by software program code that implements the functions of the embodiments.
  • a computer is provided with a storage medium recording the program code, and a processor included in the computer reads the program code stored in the storage medium.
  • the program code itself read from the storage medium implements the functions of the above-described embodiments, and the program code itself and the storage medium storing it constitute the present invention.
  • Examples of storage media for supplying such program code include flexible disks, CD-ROMs, DVD-ROMs, hard disks, SSDs (Solid State Drives), optical disks, magneto-optical disks, CD-Rs, magnetic tapes, A nonvolatile memory card, ROM, or the like is used.
  • program code that implements the functions described in this embodiment can be implemented in a wide range of programs or script languages, such as assembler, C/C++, perl, Shell, PHP, Python, and Java.
  • the program code of the software that implements the functions of the embodiment can be stored in storage means such as a hard disk or memory of a computer, or in a storage medium such as a CD-RW or CD-R.
  • a processor provided in the computer may read and execute the program code stored in the storage means or the storage medium.
  • control lines and information lines indicate those that are considered necessary for explanation, and not all the control lines and information lines are necessarily indicated on the product. All configurations may be interconnected.

Abstract

計算機システムは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、任意の時間範囲の生体データ及び運動データを用いて、生体信号時系列及び運動信号時系列を生成し、運動信号時系列を用いて、生体信号時系列を、ユーザの運動の影響が低減された補正生体信号時系列に補正し、補正生体信号時系列から算出される生体特徴量を用いてユーザの情動を推定する。

Description

計算機システム及び情動推定方法 参照による取り込み
　本出願は、２０２１年１２月１６日に出願された日本特許出願第２０２１－２０４４１６号の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本開示は、情動を推定するシステム及び方法に関する。
　近年、ヘルスケア分野において、利用者の情動をフィードバックすることで、より良いサービスの提供及び開発を促進する取り組みが進んでいる。生活の質（ＱｏＬ）を向上させるために利用者の感情を反映する技術の開発では、生活行動中の利用者の状態をモニタリングする生体センサから取得可能な生体信号を用いた情動推定技術の利用が進んでいる。
　例えば、本開示の背景技術として、特許文献１に記載の技術が知られている。特許文献１には、「情動推定システムは、取得部１３１と、分類部と、出力制御部１３７とを有する。取得部は、１のユーザについて継続的に計測された心拍間隔の情報を取得する。分類部は、取得された心拍間隔の情報を周波数解析した結果得られる値、および、取得された心拍間隔の情報に基づいて算出された予測心拍間隔と実際に得られた心拍間隔とのズレを示す値との比を示す値に基づいて、ユーザの感情を少なくとも２種類のいずれかに分類する。出力制御部は、分類された結果に応じて異なる出力を行う。」ことが開示されている。
特開２０１７－１２１２８６号公報
　特許文献１には、感情の異常状態に応じて出力を行うシステムが記載されている。しかし、特許文献１に記載の技術は、ストレスに関わる心理状態における情動の推定方法であり、ポジティブな情動をリラックス状態と推定しており、細やかな情動の推定ができない。また、特許文献１に記載の技術は心拍変動のみを用いており、対象者の行動による情動推定への影響が考慮されていない。
　本発明は、人の行動による情動推定の影響を低減し、高い精度で種々の情動を推定するシステム及び方法を提供することを目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つの計算機を備える計算機システムであって、前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、前記プロセッサは、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する。
　本開示の一態様によれば、高い精度で、人の情動を推定できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例１のシステムの構成例を示す図である。 実施例１の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。 実施例１のユーザデータ管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の情動推定結果管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の学習データ管理ＤＢに格納されるデータのデータ構造の一例を説明する図である。 実施例１の情動推定システムが実行する情動推定処理の流れを示す図である。 実施例１の情動推定システムが実行する情動推定処理の一例を説明するフローチャートである。 実施例１の心拍時系列の一例を示す図である。 実施例１の加速度時系列の一例を示す図である。 実施例１の心拍時系列の周波数スペクトルの一例を示す図である。 実施例１の情動推定システムが実行する情動推定モデルの学習処理の一例を説明するフローチャートである。 実施例１の情動推定システムに適用される感情モデルの一例を示す図である。 実施例１の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例１の情動推定システムが実行する補正モデルの学習処理の一例を説明するフローチャートである。 実施例１の情動推定システムが実行する補正モデルの学習処理の流れを示す図である。 実施例１の情動推定システムが提示する画面の一例を示す図である。
　以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
　以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
　本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
　図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
　以下、情動推定システムを説明する。情動推定システムは、例えば、ヘルスケア分野において、心理的領域のＱｏＬを評価する。評価結果を用いることによって、日常生活における人の情動を反映したサービスの提供及び開発を実現することができる。本開示の情動推定方法は、ユーザの個性及び環境に限定されることなく適用できる。
　図１は、実施例１のシステムの構成例を示す図である。図２は、実施例１の情動推定システムに含まれる計算機のハードウェア構成の一例を示す図である。
　システムは、情動推定システム１００、ユーザデータ収集装置１０１、及び情報端末１０２を含む。ユーザデータ収集装置１０１及び情報端末１０２は、ネットワークを介して情動推定システム１００と接続する。ネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等であり、接続方式は有線及び無線のいずれでもよい。
　ユーザデータ収集装置１０１は、ユーザが装着するデバイスであって、心拍センサ１３０等の生体データ計測装置、及び加速度センサ１３１等の運動データ計測装置を有する。なお、ユーザデータ収集装置１０１は、生体データ計測装置として、脳波、皮膚電位、及び体温等を計測するセンサを有してもよいし、また、運動データ計測装置として、ジャイロセンサを有してもよい。また、ユーザデータ収集装置１０１は、気圧センサ等、ユーザの環境に関する値を計測する計測装置を有してもよい。ユーザデータ収集装置１０１には、ユーザの日常生活を阻害しない範囲で様々なセンサを搭載できる。
　ユーザデータ収集装置１０１は、生体データ計測装置及び運動データ計測装置から計測結果を取得して、生体データ及び運動データを含むユーザデータを生成し、情動推定システム１００に送信する。
　情報端末１０２は、スマートフォン及びパーソンルコンピュータ等のユーザが操作する端末である。情動推定システム１００は、情動の推定結果、生体データ、及び運動データ等を含むユーザの状態情報を情報端末１０２に送信する。情報端末１０２に表示される画面の詳細は後述する。
　情動推定システム１００は、情動の推定を行い、また、情動の推定に使用する各種モデルの学習を行う。情動推定システム１００は、図２に示すような計算機２００から構成される。なお、情動推定システム１００を構成する計算機２００の数は一つでもよいし、二つ以上でもよい。
　計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア要素は内部バス２０５を介して互いに接続される。
　プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。
　主記憶装置２０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であり、プロセッサ２０１が実行するプログラム及びプログラムが使用するデータを格納する。主記憶装置２０２は、また、ワークエリアとしても使用される。
　副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等であり、データを永続的に格納する。主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が副記憶装置２０３からプログラム及び情報を読み出し、主記憶装置２０２にロードする。
　ネットワークインタフェース２０４は、ネットワークを介して外部装置と接続するためのインタフェースである。
　なお、計算機２００のハードウェア構成は一例であってこれに限定されない。キーボード、マウス、タッチパネル等の入力装置を有してもよいし、また、ディスプレイ及びプリンタ等の出力装置を有してもよい。
　情動推定システム１００は、機能部として、情動推定部１１０、補正部１１１、表示部１１２、及び学習部１１３を有する。また、情動推定システム１００は、ユーザデータ管理ＤＢ１２０、情動推定結果管理ＤＢ１２１、学習データ管理ＤＢ１２２、情動推定モデル１２３、及び補正モデル１２４を保持する。
　情動推定モデル１２３は、人の情動を推定するためのモデルである。情動推定モデル１２３は、平静に近い状態のユーザの生体データを用いて情動を推定するためのモデルであり、例えば、回帰モデル及びニューラルネットワーク等である。平静に近い状態とは、あまり動きがなく、かつ、落ち着いた状態を表す。補正モデル１２４は、生体データから生成され、かつ、情動推定に用いられる時系列を補正するためのモデルである。補正モデル１２４は、例えば、回帰モデル及びニューラルネットワーク等である。
　ユーザデータ管理ＤＢ１２０は、ユーザデータ収集装置１０１から受信したユーザデータを格納するデータベースである。情動推定結果管理ＤＢ１２１は、情動推定の結果を格納するデータベースである。学習データ管理ＤＢ１２２は、情動推定モデル１２３及び補正モデル１２４の学習に使用する学習データを格納するデータベースである。
　補正部１１１は、運動データ及び補正モデル１２４を用いて、時系列の補正を行う。本実施例では、運動の影響が低減された時系列に補正される。情動推定部１１０は、補正された時系列及び情動推定モデル１２３を用いて、人の情動を推定する。具体的には、情動推定部１１０は、任意の感情モデルにおける、情動の種類及びレベルを推定し、情動の推定結果を出力する。表示部１１２は、情動の推定結果及びユーザの状態情報等を提示する。学習部１１３は、情動推定モデル１２３及び補正モデル１２４の学習を行う。
　なお、情動推定システム１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。例えば、学習部１１３を、情動推定モデル１２３を学習する学習部と、補正モデル１２４を学習する学習部とに分けてもよい。また、情動推定部１１０が補正部１１１を含んでもよい。
　図３は、実施例１のユーザデータ管理ＤＢ１２０に格納されるデータのデータ構造の一例を説明する図である。
　ユーザデータ管理ＤＢ１２０には、図３に示すようなテーブル３００が格納される。テーブル３００は、ユーザＩＤ３０１、時刻３０２、運動データ３０３、及び生体データ３０４を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
　ユーザＩＤ３０１は、ユーザの識別情報を格納するフィールドである。時刻３０２は、ユーザデータが生成された時刻を格納するフィールドである。運動データ３０３は、運動データ計測装置によって計測された値を格納するフィールド群である。図３では、加速度及び姿勢に関する値が格納される。生体データ３０４は、生体データ計測装置によって計測された値を格納するフィールド群である。図３では、心拍に関する値が格納される。
　図４は、実施例１の情動推定結果管理ＤＢ１２１に格納されるデータのデータ構造の一例を説明する図である。
　情動推定結果管理ＤＢ１２１には、図４に示すようなテーブル４００が格納される。テーブル４００は、ユーザＩＤ４０１、時刻４０２、及び推定結果４０３を含むエントリを格納する。一つのエントリは一つの情動推定結果に対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
　ユーザＩＤ４０１は、ユーザＩＤ３０１と同一のフィールドである。時刻４０２は、情動推定を行うために使用したユーザデータの時系列の開始時刻を格納するフィールドである。本実施例では、所定の時間幅のユーザデータの時系列を用いて情動の推定が行われる。推定結果４０３は、情動推定部１１０から出力された値を格納するフィールド群である。図４の推定結果４０３には、集中の度合い、及び各感情種別の度合いが格納される。
　図５は、実施例１の学習データ管理ＤＢ１２２に格納されるデータのデータ構造の一例を説明する図である。
　学習データ管理ＤＢ１２２には、図５に示すようなテーブル５００が格納される。テーブル５００は、情動推定モデル１２３を学習するために用いられる学習データを格納するテーブルであって、ユーザＩＤ５０１、時刻５０２、運動データ５０３、生体データ５０４、補正生体データ５０５、及び推定結果５０６を含むエントリを格納する。一つのエントリは一つのユーザデータに対応する。なお、エントリに含まれるフィールドは前述したものに限定されない。前述したフィールドのいずれかを含まなくてもよいし、また、他のフィールドを含んでもよい。
　ユーザＩＤ５０１、時刻５０２、運動データ５０３、及び生体データ５０４は、ユーザＩＤ３０１、時刻３０２、運動データ３０３、及び生体データ３０４と同一のフィールドである。補正生体データ５０５は、補正された生体データを格納するフィールド群である。推定結果５０６は、ユーザデータの時系列を用いて推定された情動の推定結果を格納するフィールド群である。一つの推定結果を出力するために用いた時系列を構成するユーザデータに対応するエントリの推定結果５０６には同じ値が設定される。
　ここで、実施例１の情動推定方法について説明する。図６は、実施例１の情動推定システム１００が実行する情動推定処理の流れを示す図である。図７は、実施例１の情動推定システム１００が実行する情動推定処理の一例を説明するフローチャートである。図８は、実施例１の心拍時系列の一例を示す図である。図９は、実施例１の加速度時系列の一例を示す図である。図１０は、実施例１の心拍時系列の周波数スペクトルの一例を示す図である。
　以下の説明では、運動データに含まれる加速度及び生体データに含まれる心拍を用いて情動を推定する方法について説明する。
　情動推定部１１０は、所定の時間幅のユーザデータを取得する（ステップＳ１０１）。
　情動推定部１１０は、取得した複数のユーザデータに基づいて、加速度に関する時系列（加速度時系列）及び心拍に関する時系列（心拍時系列）を生成する（ステップＳ１０２）。図８は心拍時系列の一例である。横軸は時間を表し、縦軸はミリ秒単位時間あたりの心拍回数であるＨＲＶを表す。図９は加速度時系列の一例である。横軸は時間を表し、縦軸は加速度を表す。
　情動推定部１１０は、加速度時系列を運動特徴量生成器６０１に入力することによって運動特徴量を算出する（ステップＳ１０３）。運動特徴量生成器６０１は、例えば、加速度の正負が入れ代わる頻度（ゼロクラス量）を運動特徴量として算出する。
　情動推定部１１０は、運動特徴量に基づいて運動強度が強い状態であるか否かを判定する（ステップＳ１０４）。例えば、運動特徴量が閾値より大きい場合、情動推定部１１０は、運動強度が強い状態であると判定する。運動強度が強い状態ではない場合、情動推定部１１０はステップＳ１０６に進む。運動強度が一定程度より強い状態の場合、心拍時系列は運動の影響を強く受けている可能性が高いため、運動の影響を低減する補正が行われる。
　運動強度が強い状態である場合、情動推定部１１０は、補正部１１１を呼び出し、心拍時系列の補正を指示する。このとき、情動推定部１１０は、運動特徴量及び心拍時系列を補正部１１１に出力する。補正部１１１は、運動特徴量及び心拍時系列、並びに、補正モデル１２４を用いて、心拍時系列を補正する（ステップＳ１０５）。本補正によって、運動の影響が低減された心拍時系列に補正される。すなわち、平静状態に近い状態の心拍時系列に補正される。補正部１１１は、補正された心拍時系列を情動推定部１１０に出力する。情動推定部１１０は、補正された心拍時系列を受け付けた場合、ステップＳ１０６に進む。
　ステップＳ１０６では、情動推定部１１０は、心拍時系列を用いて心拍時系列の周波数スペクトルを算出する（ステップＳ１０６）。
　図１０はＨＲＶの周波数スペクトルの一例である。横軸は周波数を表し、縦軸はＨＲＶのスペクトルパワー密度を表す。
　情動推定部１１０は、心拍時系列及びＨＲＶの周波数スペクトルを生体特徴量生成器６０２に入力することによって生体特徴量を算出する（ステップＳ１０７）。
　生体特徴量生成器６０２は、例えば、ＨＲＶの周波数スペクトルを用いて、超低周波ＶＬＦ、低周波数ＬＦ、及び高周波数ＨＦのスペクトルパワー密度を算出し、さらに、各スペクトルパワー密度を用いて、Ｔｏｔａｌ　Ｐｏｗｅｒ、ＬＦ及びＨＦのスペクトルパワー密度の比率、ＬＦ　Ｎｏｒｍ、並びに、ＨＦ　Ｎｏｒｍ等を生体特徴量として算出する。Ｔｏｔａｌ　Ｐｏｗｅｒは、ＶＬＦ、ＬＦ、及びＨＦのスペクトルパワー密度の合計値である。ＬＦ　Ｎｏｒｍは、ＬＦ及びＶＬＦのスペクトルパワー密度を用いて、ＬＦの特徴を強調する値である。ＨＦ　Ｎｏｒｍは、ＨＦ及びＶＬＦのスペクトルパワー密度を用いて、ＨＦの特徴を強調する値である。
　生体特徴量生成器６０２は、例えば、情動推定部１１０は、心拍時系列を用いて、ＨＲ、ＳＤＮＮ、ＲＭＳＳＤ、ＮＮ５０、ｐＮＮ５０、ＮＮ２０、及びｐＮＮ２０等を生体特徴量として算出する。ＨＲは、心拍数の平均値である。ＳＤＮＮは、ＨＲＶの標準偏差である。ＲＭＳＳＤは、連続して隣接するＨＲＶの差の２乗平均の平方根である。ＮＮ５０は、連続して隣接するＨＲＶの差が５０ｍｓを超える総数である。ｐＮＮ５０は、連続して隣接するＨＲＶの差が５０ｍｓを超える心拍の割合である。ＮＮ２０は、連続して隣接するＨＲＶの差が２０ｍｓを超える総数である。ｐＮＮ２０は、連続して隣接するＨＲＶの差が２０ｍｓを超える心拍の割合である。
　情動推定部１１０は、心拍時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル１２３を用いて情動を推定する（ステップＳ１０８）。情動推定部１１０は、情動推定結果管理ＤＢ１２１に情動の推定結果を格納する。なお、情動推定モデル１２３は、運動特徴量及び心拍時系列を用いないモデルでもよい。
　本実施例では、情動推定部１１０は、情動推定モデル１２３から任意の感情モデルのパラメータを取得し、パラメータ及び感情モデルを用いて情動を分類する。
　情動推定部１１０は、ユーザデータ、補正結果、及び情動推定結果を対応づけた学習データを学習データ管理ＤＢ１２２のテーブル５００に保存する。
　なお、心拍時系列の補正が行われない場合、図６において、補正されていない心拍時系列を用いて周波数スペクトル算出処理が実行される。また、補正されていない時系列、生体特徴量、及び運動特徴量、並びに、情動推定モデル１２３を用いて情動が推定される。
　次に、実施例１の情動推定モデル１２３の学習方法について説明する。図１１は、実施例１の情動推定システム１００が実行する情動推定モデル１２３の学習処理の一例を説明するフローチャートである。図１２は、実施例１の情動推定システム１００に適用される感情モデルの一例を示す図である。
　本実施例では、図１２に示すように感情次元論に基づくラッセルの感情円環モデル等の感情モデルを用いて情動を推定する。図１２に示す感情円環モデルは縦軸が覚醒度を表し、横軸が感情価を表す。また、本実施例では、感情円環モデルの各感情をラベル（Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｙ４）で分類する。
　学習部１１３は、ユーザデータ及び情動推定結果を用いて学習データを生成する（ステップＳ２０１）。
　本実施例では、学習部１１３は、一つのユーザデータに、所定の時間範囲の時系列を用いて出力された情動推定結果を対応づけることによって、図５に示すようなエントリを生成し、テーブル５００に格納する。なお、生成されたエントリの補正生体データ５０５は空欄でもよい。
　学習部１１３は、学習データに感情円環モデルにおけるラベルを付与する（ステップＳ２０２）。学習データに付与されるラベルは、情動推定モデル１２３の推定結果の正解を表す。
　学習部１１３は、学習データを用いて情動推定モデル１２３の学習を実行する（ステップＳ２０３）。学習部１１３は、学習結果を情動推定モデル１２３として格納する。学習方法は公知の手法を用いればよいため詳細な説明は省略する。
　次に、実施例１の補正モデル１２４の学習方法について説明する。図１３は、実施例１の情動推定システム１００が実行する補正モデル１２４の学習処理の流れを示す図である。図１４は、実施例１の情動推定システム１００が実行する補正モデル１２４の学習処理の一例を説明するフローチャートである。
　学習部１１３は、学習データ管理ＤＢ１２２から学習データ（テーブル５００のエントリ群）を取得する（ステップＳ３０１）。ここで、学習データは、任意のユーザの、任意の時間幅のユーザデータの時系列と、補正心拍時系列とを含む。
　学習部１１３は、学習データに含まれるユーザデータの時系列を用いて、運動特徴量及び生体特徴量を算出する（ステップＳ３０２）。運動特徴量及び生体特徴量の算出方法は情動推定における方法と同一である。
　学習部１１３は、運動特徴量及び生体特徴量を復元器１２０１に入力することによって復元心拍時系列を生成する（ステップＳ３０３）。復元器１２０１を実現するモデルが補正モデル１２４である。
　学習部１１３は、第１損失関数を用いて第１損失Ｇを算出する（ステップＳ３０４）。ここで、第１損失関数は、例えば、式（１）で与えられる。
Figure JPOXMLDOC01-appb-M000001
　図１３に示すように、生体特徴量生成器６０２はオートエンコーダのエンコーダとして機能し、復元器１２０１はオートエンコーダのデコーダとして機能する。エンコーダが生成する特徴量は、エンコーダに入力されたデータを代表するような特徴量となっている。本実施例のエンコーダは、次元削減により特徴量を算出するものとする。
　ｙは復元器１２０１が生成した復元心拍時系列を表し、ｘはユーザデータから生成される心拍時系列を表す。ＤＫＬ（　｜　）はカルバックライブラー擬距離を表し、μは生体特徴量の平均を表し、σは生体特徴量の分散を表す。Ｎは確率分布を表す。
　学習部１１３は、復元心拍時系列、及び推定された情動に対応するノイズがない心拍時系列を生体特徴量生成器６０２に入力することによって、各時系列の生体特徴量を算出する（ステップＳ３０５）。ここで、ノイズがない心拍時系列とは、平静状態における、ある情動の心拍時系列である。当該心拍時系列は、予め設定されてもよいし、学習データ管理ＤＢ１２２から検索してもよい。
　学習部１１３は、識別器１２０２に二つの生体特徴量を入力し、識別器１２０２の識別結果及び第２損失関数を用いて第２損失Ｄを算出する（ステップＳ３０６）。ここで、識別器１２０２は、入力された心拍時系列が、ノイズがない心拍時系列であるか否かを識別する。
　図１３に示すように、復元器１２０１及び識別器１２０２は敵対的生成ネットワークを構成する。識別器１２０２が、復元器１２０１が生成した復元心拍時系列と、心拍時系列とを識別できなくなるように学習が進む。なお、情動推定システム１００は、識別器１２０２を実現するモデルを保持している。
　学習部１１３は、第１損失Ｇ及び第２損失Ｄを用いて、復元器１２０１及び識別器１２０２の各々のモデルを更新する（ステップＳ３０７）。
　具体的には、学習部１１３は、式（２）に示す最小化問題の解を求めることによってモデルを更新する。ここで、Ｖ（θＧ，θＤ）は式（３）のように与えられる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ここで、θは勾配を表し、Ｅはバイナリクスエントロピーを表す。
　学習部１１３は、学習を終了するか否かを判定する（ステップＳ３０７）。例えば、更新回数が閾値より大きい場合、学習部１１３は学習を終了すると判定する。また、評価用のユーザデータに対する情動の予測精度が閾値より高い場合、学習部１１３は学習を終了すると判定する。
　学習を終了しない場合、学習部１１３は、ステップＳ３０１に戻り、新たな学習データに対して同様の処理を実行する。学習を終了する場合、学習部１１３は補正モデル１２４の学習処理を終了する。
　上記の学習によって、ユーザの運動の影響を低減した心拍時系列を出力する補正モデル１２４を得ることができる。補正モデル１２４によって補正された心拍時系列を用いることによって、ユーザの運動の影響を受けることなく、高い精度でユーザの情動を推定することができる。また、生体特徴量を用いることによって、情動推定結果の決定に対する説明性を担保できる。
　本実施例によれば、平静状態で取得した心拍データを用いて学習した情動推定モデル１２３を改編等することなく、高い精度でユーザの情動を推定できる。そのため、開発コスト及び運用コストを低減できるという効果もある。
　補正モデル１２４の学習に用いる敵対的生成ネットワークはドメイン適応の課題解決に寄与するため、ユーザの運動の影響を低減するだけではなく、ユーザの個性及び環境の影響を低減する効果もある。
　時系列の補正には、時系列の値の修正、及び時系列における値の補間等の処理が含まれる。
　（変形例）
　なお、補正モデル１２４は、脳波、皮膚電位、及び体温等、心拍以外の生体値の時系列を入力としてもよい。図１５は、加速度、心拍、及び脳波を扱う補正モデル１２４の学習の流れを示す図である。脳波時系列から脳波に関する生体特徴量を生成する生体特徴量生成器１５０１が追加されている点が異なる。この場合、第１損失関数は、例えば、式（４）で与えられる。
Figure JPOXMLDOC01-appb-M000004
　ここで、ＤＫＬａ（　｜　）は加速度及び心拍に関するカルバックライブラー擬距離を表し、ＤＫＬｂ（　｜　）は脳波及び心拍に関するカルバックライブラー擬距離を表す。
　心拍以外の生体値の時系列を用いることによって、ユーザの運動の影響をより効果的に低減できる可能性がある。
　次に、表示部１１２によって提示される画面について説明する。図１６は、実施例１の情動推定システム１００が提示する画面の一例を示す図である。
　情動推定システム１００の表示部１１２は、情報端末１０２に図１６に示すようなレポート画面１６００を表示する。
　レポート画面１６００には、感情マップ１６０１、心拍時系列グラフ１６０２、及び運動強度グラフ１６０３が表示される。
　感情マップ１６０１は、ユーザの情動の推定結果がマッピングされた感情モデルである。心拍時系列グラフ１６０２は、情動推定に使用された心拍時系列を示すグラフである。運動強度グラフ１６０３は、任意期間の運動強度の推移を示すグラフである。
　情動推定システム１００は、周期的に情動推定処理を実行し、その都度、図１６に示すようなレポート画面１６００を提示してもよい。このとき、レポート画面１６００を表示するための情報は記録していなくてもよい。また、情動推定システム１００は、周期的に情動推定処理を実行し、処理結果を蓄積してもよい。この場合、情動推定システム１００は、ユーザの要求に応じて、任意の時間の情動の推定結果を提示するレポート画面１６００を表示する。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
　上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

Claims (14)

  1. 　少なくとも一つの計算機を備える計算機システムであって、
    　前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
    　前記プロセッサは、
    　ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納し、
    　任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成し、
    　前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正し、
    　前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納することを特徴とする計算機システム。
  2. 　請求項１に記載の計算機システムであって、
    　前記プロセッサは、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正することを特徴とする計算機システム。
  3. 　請求項２に記載の計算機システムであって、
    　前記プロセッサは、前記運動特徴量、前記補正生体信号時系列、及び前記第１生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
  4. 　請求項３に記載の計算機システムであって、
    　前記プロセッサは、
    　前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定し、
    　前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第２生体特徴量を用いて、前記ユーザの情動を推定することを特徴とする計算機システム。
  5. 　請求項２に記載の計算機システムであって、
    　前記記憶装置は、前記補正生体信号時系列を生成するための第１モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第２モデルとを格納し、
    　前記プロセッサは、
    　前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
    　取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第１生体特徴量を前記第１モデルに入力する処理と、
    　取得した前記正解生体信号時系列と、前記第１モデルから出力された前記補正生体信号時系列とを前記第２モデルに入力する処理と、
    　前記第１モデルの出力及び前記第２モデルの出力から定義される損失関数の値を算出する処理と、
    　前記損失関数の値に基づいて、前記第１モデル及び前記第２モデルを更新する処理と、
    　を含む学習処理を実行することを特徴とする計算機システム。
  6. 　請求項２に記載の計算機システムであって、
    　前記生体信号は心拍に関する信号であり、
    　前記運動信号は加速度に関する信号であることを特徴とする計算機システム。
  7. 　請求項２に記載の計算機システムであって、
    　前記プロセッサは、前記ユーザの情動の推定結果を表示するインタフェースを提示することを特徴とする計算機システム。
  8. 　少なくとも一つの計算機を有する計算機システムが実行する情動推定方法であって、
    　前記少なくとも一つの計算機は、プロセッサ、前記プロセッサに接続される記憶装置、前記プロセッサに接続される接続インタフェースを有し、
    　前記情動推定方法は、
    　前記プロセッサが、ユーザから、当該ユーザの生体信号を含む生体データと、当該ユーザの運動に関する運動信号を含む運動データとを取得し、前記記憶装置に格納する第１のステップと、
    　前記プロセッサが、任意の時間範囲の前記生体データ及び前記運動データを用いて、生体信号時系列及び運動信号時系列を生成する第２のステップと、
    　前記プロセッサが、前記運動信号時系列を用いて、前記生体信号時系列を、前記ユーザの運動の影響が低減された補正生体信号時系列に補正する第３のステップと、
    　前記プロセッサが、前記補正生体信号時系列から算出される第１生体特徴量を用いて前記ユーザの情動を推定し、前記ユーザの情動推定結果を前記記憶装置に格納する第４のステップと、
    　を含むことを特徴とする情動推定方法。
  9. 　請求項８に記載の情動推定方法であって、
    　前記第３のステップは、前記プロセッサが、前記運動信号時系列から算出される運動特徴量を用いて、前記生体信号時系列を、前記補正生体信号時系列に補正するステップを含むことを特徴とする情動推定方法。
  10. 　請求項９に記載の情動推定方法であって、
    　前記第４のステップは、前記プロセッサが、前記運動特徴量、前記補正生体信号時系列、及び前記第１生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
  11. 　請求項１０に記載の情動推定方法であって、
    　前記第２のステップは、前記プロセッサが、前記運動特徴量に基づいて、前記生体信号時系列を補正する必要があるか否かを判定するステップを含み、
    　前記第４のステップは、前記プロセッサが、前記生体信号時系列を補正する必要がない場合、前記運動特徴量、前記生体信号時系列、及び前記生体信号時系列から算出される第２生体特徴量を用いて、前記ユーザの情動を推定するステップを含むことを特徴とする情動推定方法。
  12. 　請求項９に記載の情動推定方法であって、
    　前記記憶装置は、前記補正生体信号時系列を生成するための第１モデルと、入力された生体信号時系列が平静時の生体信号時系列であるか否かを識別する第２モデルとを格納し、
    　前記情動推定方法は、
    　前記運動信号時系列、前記生体信号時系列、及び正解生体信号時系列を取得する処理と、
    　取得した前記運動信号時系列から算出される前記運動特徴量及び取得した前記生体信号時系列から算出される前記第１生体特徴量を前記第１モデルに入力する処理と、
    　取得した前記正解生体信号時系列と、前記第１モデルから出力された前記補正生体信号時系列とを前記第２モデルに入力する処理と、
    　前記第１モデルの出力及び前記第２モデルの出力から定義される損失関数の値を算出する処理と、
    　前記損失関数の値に基づいて、前記第１モデル及び前記第２モデルを更新する処理と、
    　を含む学習処理を前記プロセッサが実行するステップを含むことを特徴とする情動推定方法。
  13. 　請求項９に記載の情動推定方法であって、
    　前記生体信号は心拍に関する信号であり、
    　前記運動信号は加速度に関する信号であることを特徴とする情動推定方法。
  14. 　請求項９に記載の情動推定方法であって、
    　前記プロセッサが、前記ユーザの情動の推定結果を表示するインタフェースを提示するステップを含むことを特徴とする情動推定方法。
PCT/JP2022/030813 2021-12-16 2022-08-12 計算機システム及び情動推定方法 WO2023112384A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021204416A JP2023089729A (ja) 2021-12-16 2021-12-16 計算機システム及び情動推定方法
JP2021-204416 2021-12-16

Publications (1)

Publication Number Publication Date
WO2023112384A1 true WO2023112384A1 (ja) 2023-06-22

Family

ID=86774226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030813 WO2023112384A1 (ja) 2021-12-16 2022-08-12 計算機システム及び情動推定方法

Country Status (2)

Country Link
JP (1) JP2023089729A (ja)
WO (1) WO2023112384A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763312A (zh) * 2023-08-21 2023-09-19 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016165373A (ja) * 2015-03-10 2016-09-15 日本電信電話株式会社 センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム
CN112006665A (zh) * 2019-05-30 2020-12-01 辽宁工程技术大学 一种基于物联网的景区智能综合服务可穿戴系统
KR20210034724A (ko) * 2019-09-20 2021-03-31 삼성전자주식회사 생체 신호를 추정하는 전자 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016165373A (ja) * 2015-03-10 2016-09-15 日本電信電話株式会社 センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム
CN112006665A (zh) * 2019-05-30 2020-12-01 辽宁工程技术大学 一种基于物联网的景区智能综合服务可穿戴系统
KR20210034724A (ko) * 2019-09-20 2021-03-31 삼성전자주식회사 생체 신호를 추정하는 전자 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116763312A (zh) * 2023-08-21 2023-09-19 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统
CN116763312B (zh) * 2023-08-21 2023-12-05 上海迎智正能文化发展有限公司 一种基于可穿戴设备的异常情绪识别方法及系统

Also Published As

Publication number Publication date
JP2023089729A (ja) 2023-06-28

Similar Documents

Publication Publication Date Title
US11553870B2 (en) Methods for modeling neurological development and diagnosing a neurological impairment of a patient
EP3367883B1 (en) Monitoring activities of daily living of a person
Kundinger et al. Assessment of the potential of wrist-worn wearable sensors for driver drowsiness detection
US20180260706A1 (en) Systems and methods of identity analysis of electrocardiograms
CN105636515B (zh) 用于自动评估失神eeg的计算机程序和评估设备
JP7293050B2 (ja) 軽度認知障害判定システム
US20180184960A1 (en) Method and system for monitoring stress conditions
US11723568B2 (en) Mental state monitoring system
EP3692546A1 (en) Continuous monitoring of a user's health with a mobile device
WO2023112384A1 (ja) 計算機システム及び情動推定方法
Mortensen et al. Multi-class stress detection through heart rate variability: A deep neural network based study
JP6767318B2 (ja) 心拍間隔モデリング装置、および異常状態判定方法
CN113598721B (zh) 可穿戴终端及其核心体温监测方法和计算机可读存储介质
KR20200072172A (ko) 인지 능력 평가 방법, 이의 시스템 및 이를 위한 웨어러블 디바이스
EP3861558A1 (en) Continuous monitoring of a user's health with a mobile device
EP3762944A1 (en) Method and apparatus for monitoring a human or animal subject
CN117355907A (zh) 主动隐藏应激源标识和通知
Zhu et al. Patient-specific physiological monitoring and prediction using structured Gaussian processes
WO2020073013A1 (en) Machine learning health analysis with a mobile device
KR102506646B1 (ko) 라이프스타일 인식을 위한 서사 생성 장치 및 그 방법
CN115496105B (zh) 睡眠预测模型训练方法、睡眠状况预测方法及相关装置
US20210196140A1 (en) Information processing apparatus and non-transitory computer readable medium
JP7322818B2 (ja) 推定システム及びシミュレーションシステム
JP7327417B2 (ja) 状態推定装置、状態推定方法、及びプログラム
US20230397890A1 (en) Fatigue level estimation apparatus, fatigue level estimation method, and computer-readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22906920

Country of ref document: EP

Kind code of ref document: A1