WO2023127930A1 - 感情推定装置及び感情推定モデル生成方法 - Google Patents

感情推定装置及び感情推定モデル生成方法 Download PDF

Info

Publication number
WO2023127930A1
WO2023127930A1 PCT/JP2022/048421 JP2022048421W WO2023127930A1 WO 2023127930 A1 WO2023127930 A1 WO 2023127930A1 JP 2022048421 W JP2022048421 W JP 2022048421W WO 2023127930 A1 WO2023127930 A1 WO 2023127930A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
index
state
determination threshold
heartbeat
Prior art date
Application number
PCT/JP2022/048421
Other languages
English (en)
French (fr)
Inventor
徹洋 加藤
君孝 村下
Original Assignee
株式会社デンソーテン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソーテン filed Critical 株式会社デンソーテン
Publication of WO2023127930A1 publication Critical patent/WO2023127930A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present invention relates to an emotion estimation device and an emotion estimation model generation method.
  • a technique for estimating the subject's emotions by applying information obtained from the subject's heart waveform (electrocardiographic waveform) to the Russell annulus model (for example, see Patent Document 1).
  • the Russell Circular Model is a model in which emotion types are arranged on a circular ring centered at the origin on a coordinate plane with arousal as the vertical axis (AROUSAL) and emotional valence (pleasure-discomfort) as the horizontal axis (VALENCE). be.
  • the emotional type of the subject is estimated by plotting the subject's arousal and emotional valence on the coordinate plane of the Russell annulus model.
  • Russell's cyclic model arousal and emotional valence are psychological constructs, and there are many issues to realize as an actual emotion estimation device.
  • Russell's cyclic model requires estimation of the arousal and emotional valence of the subject. estimating emotional valence.
  • the present invention has been made in view of the above, and aims to estimate emotions with high accuracy.
  • a model generation method is a method for generating an emotion estimation model for estimating an emotion type based on a biosignal. Acquiring the first emotion type information attached, acquiring the second emotion type information associated with the second index related to the biosignal, acquiring the first index state which is each state in the first index, and the state in the second index. Each combination index state formed by combining each state with a second index state is obtained from the first emotion type information and the second emotion type information according to the combined first index state and second index state.
  • This is a model generation method for generating an emotion estimation model associated with selected emotion types.
  • the emotion is estimated according to the state of the first index and the state of the second index based on the biological signals of the subject.
  • the state of the second index By appropriately setting the state of the second index and appropriately setting the emotion type for the combined state of the state of the first index and the state of the second index based on scientific (medical) evidence and experimental results. , it is possible to estimate emotions with high accuracy.
  • FIG. 1 is a diagram illustrating a configuration example of an estimation system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of a server according to the first embodiment;
  • FIG. 3 is a diagram showing an example of a data table that stores emotion type information.
  • FIG. 4 is a diagram for explaining a method of extracting emotion types.
  • FIG. 5 is a diagram for explaining a model generation method.
  • FIG. 6 is a diagram showing an example of the coordinate plane of the model.
  • FIG. 7 is a diagram showing an example of the coordinate plane of the model.
  • FIG. 8 is a diagram showing an example of a result display screen according to the first embodiment.
  • FIG. 9 is a flowchart showing the flow of extraction processing.
  • FIG. 10 is a flowchart showing the flow of estimation processing.
  • FIG. 10 is a flowchart showing the flow of estimation processing.
  • FIG. 11 is a diagram showing an example of an analysis support screen.
  • FIG. 12 is a diagram illustrating a method of identifying indices.
  • FIG. 13 is a diagram showing an example of a result display screen according to the second embodiment.
  • FIG. 14 is a diagram showing an example of a result display screen according to the third embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of an estimation system according to the first embodiment.
  • the estimation system 1 has a server 10, a terminal device 20, a sensor 31 and a sensor 32.
  • the estimation system 1 estimates the emotion of the subject U02.
  • Subject U02 is, for example, an e-sports player.
  • the estimation system 1 estimates the emotion of the subject U02 who is playing the video game.
  • the above e-sports application scene is assumed as an application example, and state transitions and the like are also included in the description.
  • Emotion estimation results are used, for example, for mental training of subject U02 in esports. For example, when the subject U02 feels a disadvantageous emotion (anxiety, anger, etc.) during the game play, it is determined that intensive training corresponding to the emotional state is necessary.
  • a disadvantageous emotion anxiety, anger, etc.
  • the subject U02 may be a patient at a medical institution.
  • the emotion estimated by the estimation system 1 is used for testing, treatment, and the like.
  • the staff of the medical institution can take countermeasures such as counseling.
  • the subject U02 may be a student at an educational institution.
  • the emotions estimated by the estimation system 1 are used to improve the lesson content.
  • the teacher improves the content of the class to make it more interesting to the students.
  • the subject U02 may be a driver of a vehicle.
  • the emotion estimated by the estimation system 1 is used to promote safe driving.
  • the in-vehicle device outputs a message prompting him to concentrate on driving.
  • the subject U02 may be a viewer of content such as video and music.
  • the emotions estimated by the estimation system 1 are used to create further content.
  • the video content distributor can create a highlight video by collecting scenes that the subject U02, who is a viewer, enjoyed.
  • the server 10 and the terminal device 20 are connected via a network N.
  • network N is the Internet or an intranet.
  • the terminal device 20 is a personal computer, a smart phone, a tablet computer, or the like.
  • the terminal device 20 is used by the analyst U01.
  • the sensors 31 and 32 transmit detected sensor signals to the terminal device 20 .
  • the sensor 31 is, for example, a headgear type electroencephalogram sensor.
  • the sensor 32 is, for example, a wristband-type pulse sensor.
  • the sensors 31 and 32 are connected for communication with the terminal device 20 according to communication standards such as Wi-Fi (registered trademark) and Bluetooth (registered trademark), and transmit sensor signals to the terminal device 20 .
  • communication standards such as Wi-Fi (registered trademark) and Bluetooth (registered trademark)
  • the server 10 extracts emotion types from medical evidence in advance (step S1).
  • Medical evidence is, for example, articles and books. A method for extracting the emotion type will be described later.
  • the terminal device 20 transmits index values of a plurality of indices based on biosignals to the server 10 (step S2). For example, the terminal device 20 transmits index values of two mutually different indexes relating to electroencephalograms or heartbeats.
  • the index value is the index value related to the biosignal.
  • “average heartbeat interval” and “heartbeat LF (Low Frequency) component” are indices.
  • a specific value (for example, numerical value) corresponding to each index is an index value.
  • the index value is a sensor value of each sensor or a value calculated from the sensor value.
  • the server 10 generates a model based on the extracted emotion type (step S3). At this time, the server 10 generates a model that matches the index value received from the terminal device 20 . A method of generating the model will be described later.
  • the server 10 uses the generated model to identify the emotion type from the index value (step S4).
  • the server 10 provides the terminal device 20 with the identification result of the emotion type (step S5).
  • FIG. 2 is a diagram showing a configuration example of a server according to the first embodiment.
  • the server 10 is an example of a computer that executes the generation method. Also, the server 10 is an example of an estimation device.
  • the server 10 has a communication unit 11, a storage unit 12 and a control unit 13, so-called controller 13.
  • the communication unit 11 is an interface for communicating data with other devices via the network N.
  • the communication unit 11 is, for example, a NIC (Network Interface Card).
  • the storage unit 12 and controller 13 of the server 10 are implemented by a computer or various circuits having, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), flash memory, input/output ports, etc. be.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • flash memory input/output ports, etc. be.
  • the CPU of the computer functions as the extraction unit 131, the generation unit 132, the identification unit 133, and the provision unit 134 of the controller 13 by reading and executing programs stored in the ROM, for example.
  • the storage unit 12 corresponds to a RAM or a flash memory.
  • the RAM or flash memory stores the emotion type information table 121 and the like.
  • server 10 may acquire the above-described programs and various information via other computers (servers) or portable recording media connected via a wired or wireless network.
  • the emotion type information table 121 is information that associates information about indicators with emotion types. Here, an outline of each item of the emotion type information table 121 will be described. How to create and use the emotion type information table 121 will be described later.
  • FIG. 3 is a diagram showing an example of a data table that stores emotion type information.
  • the items of the emotion type information table 121 include index ID, index name, sensor, positive/negative, description, emotion axis, and positive and negative emotion types. Emotion type information is formed.
  • the word "data” will be added to indicate the data (value) itself in each item hereinafter.
  • “index ID data” represents values such as "VS01" and "VS02".
  • the index ID of the emotion type information table 121 is a character string that functions as an ID for identifying the index (the character string is stored).
  • This index ID data is used as primary key data, that is, a record is configured for each index ID data, and index name data, sensor data, description data, emotion axis data, and positive emotion type linked to the index ID data are included in the record. data and negative emotion type data are stored.
  • Index name in the emotion type information table 121 is information (character string) representing the name of the index.
  • “Sensor” in the emotion type information table 121 is information for specifying the sensor necessary to obtain the index value of the corresponding index. For example, if the index ID is VS01 (record), the target sensor is an electroencephalogram sensor.
  • the index is used as an axis that configures the coordinate plane. Also, in this process, it is significant whether the index value is in the positive direction (larger) or in the negative direction (smaller) than the origin (determination threshold value).
  • “Positive emotion type data” and “negative emotion type data” in the emotion type information table 121 are information indicating whether data corresponding to positive and negative index values of the record are stored. is.
  • index values are standardized so that the average is 0. That is, when the biomedical signal is an average value, the standardization is performed based on the assumption that the emotion associated with the biomedical signal is not occurring (in a normal state).
  • index values can be converted to a format that is easy to handle on a coordinate plane, or a format that increases the accuracy of estimation results (e.g., correction of emotion estimation results based on evaluation results). It is good if it is done. Note that when the index value is standardized, the determination threshold for stratifying the state of the index is zero.
  • the server 10 may change the index value standardization method and conversion method according to the purpose of using the estimated emotion. For example, e-sports and car driving are affected by different emotional levels (car driving requires calmness more than e-sports from the viewpoint of safe driving), so the server 10 may reduce the excitement emotion, for example. You may change the standardization method and conversion method of an index value so that it may judge by the judgment threshold of .
  • the position of the origin of the coordinate plane may be adjusted according to the index value.
  • “Description” in the emotion type information table 121 is a description of the record. For example, it explains the relationship between the data of each item of the data.
  • the "emotion axis" of the emotion type information table 121 is a character string used as a label when the index is used as the axis of the coordinate plane.
  • the index name data indicates the meaning of the emotion axis in the case of positive/negative data in each direction.
  • “Positive side emotion type” and “Negative side emotion type” in the emotion type information table 121 are a set of keywords representing the emotion type corresponding to the record, and the index name data is a value on each side of the positive/negative data. It shows the emotion type that the subject has when it becomes.
  • the index ID data "VS01” is an index for measuring electroencephalograms using the "electroencephalogram sensor”. Then, if the measurement result (index value) is positive for ⁇ increase in ⁇ waves of brain waves relative to alpha waves'', say ⁇ fun, joy, anger, sadness, and depression'' in the ⁇ awakening'' state.
  • controller 13 The processing contents of each part of the controller 13 will be explained.
  • the subject of processing by the extraction unit 131 , the generation unit 132 , the identification unit 133 and the provision unit 134 in the following description can be rephrased as the controller 13 .
  • the extraction unit 131 extracts emotion types from medical evidence in association with indices.
  • FIG. 4 is a diagram for explaining a method of extracting emotion types.
  • the extraction unit 131 extracts information about indicators and emotion types by performing natural language analysis on texts written in papers, books, and the like.
  • the first emotion type information or the second emotion type information is generated by language analysis of a document describing medical evidence.
  • the extraction unit 131 may perform natural language analysis using an existing machine learning method. Further, the process of extracting emotion types in association with indices from medical evidence may be performed manually. In this case, the extracting unit 131 extracts information about the index and the emotion type based on the information input by the operator.
  • the extracting unit 131 extracts “joy”, “anger”, and “happiness” in response to the increase in the ⁇ wave based on the text “As the ⁇ wave increased, emotions such as joy, anger, and sadness were amplified.” ” and “sorrow” are extracted in association with each other.
  • the extraction unit 131 based on the text "A statistically significant increase in the number of people who felt anxiety or fear when the alpha wave increased," , is extracted in association with the emotion type “fear”.
  • the emotion type information table 121 is generated.
  • the index name data is "brain wave ⁇ wave/ ⁇ wave”
  • the sensor data is " Brain wave sensor”
  • explanation data "Beta wave of brain wave increases relative to ⁇ wave”
  • Emotional axis data "Arousal - Arousal”
  • Positive side emotion type data "Fun, joy, anger, sadness, depression”, and "unpleasant, anxious, fearful, relaxed, and calm” are stored as the negative emotion type data.
  • these extracted emotion types become emotion type candidates for each index such as the first index based on the ratio of ⁇ waves and ⁇ waves of brain waves set in the emotion estimation model.
  • the generation unit 132 acquires the first emotion type information associated with the first index based on the biosignal from the information extracted by the extraction unit 131, and the second emotion type information associated with the second index based on the biosignal. Get information. Then, the generation unit 132 generates a combination of the first index state, which is each state of the first index, and the second index state, which is each state of the second index.
  • An emotion estimation model (empty emotion estimation model with no emotion type set) that can associate the emotion type selected from the first emotion type information and the second emotion type information according to the first index state and the second index state. Generate.
  • the emotion estimation model generated in this way becomes the emotion estimation model shown in the emotion map in FIG.
  • the first index is the vertical axis and the second index is the horizontal axis.
  • the first index and the second index are each stratified by a threshold (0 if normalized), resulting in two stratified states each.
  • Combined states which are combinations of the stratified states of the first index and the second index, form the first to fourth quadrants of the emotion map. This corresponds to the empty emotion estimation model.
  • an emotion estimation model is formed. From now on, we will proceed with the explanation based on the imaged emotion map.
  • the generation unit 132 corresponds to each of the two or more specified indicators from the emotion type information table 121 that associates the indicators (for example, the first indicator and the second indicator) related to the biosignal with the emotion types. Acquire overlapping emotion types (for example, a first emotion type and a second emotion type).
  • the generation unit 132 generates a model (emotion estimation model) in which the acquired emotion types are arranged in each quadrant of the space defined by the axes associated with each of the two or more indices.
  • the space here means Euclidean space. That is, the space referred to here includes a two-dimensional plane and a space of three or more dimensions.
  • FIG. 5 is a diagram for explaining a model generation method.
  • ⁇ wave/ ⁇ wave of the electroencephalogram index "VS01”
  • VS02 standard deviation of the heart rate LF component
  • the generation unit 132 refers to the emotion type information table 121 and acquires various data from the record with the index ID of "VS01" and the record with the index ID of "VS02".
  • the generating unit 132 assigns the index "VS01" to the vertical axis and the index "VS02" to the horizontal axis.
  • the axis assignment may be reversed from that shown in FIG. Specifically, since the emotion axis data of the index "VS01” is "arousal - non-arousal", the vertical axis is “arousal - non-arousal (positive side - negative side)", and the emotional axis data of the index "VS02” is Since it is “strong emotion - weak emotion", the horizontal axis is "strong emotion - weak emotion (positive side - negative side)".
  • the generation unit 132 generates positive emotion type data and negative emotion type data in the index "VS01" of each emotion type, and positive emotion type data and negative emotion type data in the index "VS02" of the same emotion type. Analyze the relationship between
  • the generation unit 132 arranges each emotion type in each quadrant of a two-dimensional coordinate plane defined by the vertical axis and the horizontal axis.
  • the generation unit 132 arranges, in the first quadrant, the emotion type data that exists in common between the positive emotion type data of the index "VS01" and the positive emotion type data of the index "VS02".
  • the generation unit 132 places emotion type data common to the negative emotion type data of the index "VS01" and the positive emotion type data of the index "VS02" in the fourth quadrant.
  • the generation unit 132 arranges emotion type data common to the negative emotion type data of the index "VS01" and the negative emotion type data of the index "VS02" in the third quadrant.
  • the generation unit 132 arranges emotion type data common to the positive emotion type data of the index "VS01" and the negative emotion type data of the index "VS02" in the second quadrant.
  • the emotion type "fun” in the index “VS01” is included in the positive side emotion type data, and the emotion axis data ”.
  • the emotion type "pleasant” in the index “VS02” is included in the positive emotion type data, and the emotion axis data of the index “VS02” is "strong emotion-weak emotion (positive side-negative side)".
  • the generation unit 132 generates emotion type data not included as emotion type data in at least one of the selected two indicators, for example, emotion type "boredom" not included in the index "VS01". ” (included in “VS02”) are treated as rejects and are not placed on the coordinate plane here. In other words, only emotion type data included as emotion type data in both of the two selected indices are arranged on the coordinate plane. It should be noted that a method of arranging such rejected emotion types on a coordinate plane is also possible, but this method will be described later.
  • the generation unit 132 generates the first emotion axis associated with the index data representing the first emotion (first emotion index data) and the index data representing the second emotion (second emotion index data). and a second emotional axis associated with . Then, the generation unit 132 determines the position of each first emotion type data associated with the first emotion index data with respect to the first emotion axis (in the example of FIG. 3, the positive emotion type is the positive side/the negative emotion type is the positive ). The generation unit 132 also determines the position of each second emotion type data associated with the second emotion index data with respect to the second emotion axis. Then, the generation unit 132 creates a model in which each emotion type data is arranged in each quadrant of the formed two-dimensional coordinate plane based on the positions of each first emotion type data and each second emotion type data with respect to each emotion axis. Generate.
  • the first emotional axis for example, arousal
  • the second emotional axis for example, intensity of emotion
  • the first index or the second index may be an index representing an arousal state other than the above (VS01).
  • the first index or the second index may be an index representing the intensity of emotions other than the above (VS02).
  • Model example 1 It is known that an arousal state affects the autonomic nerves (sympathetic nerves and parasympathetic nerves) and changes the force of contraction of the heart, thereby affecting heartbeat intervals.
  • Known types of emotions in an arousal state include “fun”, “joy”, “anger”, “anxiety”, and “appropriate tension”.
  • Known types of emotions that cause unawakening include “depression”, “boredom”, “relaxation”, “calmness”, “unpleasant”, and “sadness”.
  • the emotion type information table 121 is generated from the medical evidence showing these facts.
  • This example is a record with index ID data "VS03" in the emotion type information table 121, index name data "heartbeat interval (RRI)", sensor data “heartbeat sensor”, explanation data “heartbeat interval decreased”, "Arousal-Arousal” as emotion axis data, "Fun, joy, anger, anxiety, moderate tension” as positive side emotion type data, and "Depression, boredom, relaxation, calmness, unpleasantness, sadness” as negative side emotion type data ” is stored.
  • RRI heartbeat interval
  • the standard deviation of the heart rate LF component represents the activity of the sympathetic and parasympathetic nerves.
  • the emotion type information table 121 is generated from the medical evidence showing these facts.
  • This example is a record whose index ID data is “VS02” in the emotion type information table 121, “standard deviation of heartbeat LF component” as index name data, “heartbeat sensor” as sensor data, and “sympathetic nerve activation” as descriptive data. , “strong emotion - weak emotion” as emotion axis data, “joy, joy, anger, anxiety, fear, unpleasantness, sadness” as positive side emotion type data, and “depression, boredom, relaxation,” as negative side emotion type data. "Relax” is remembered.
  • the generation unit 132 assigns "awakening-non-awakening" to the vertical axis and assigns "strong emotion-weak emotion” to the horizontal axis.
  • the generation unit 132 determines whether each emotion type in the index ID data “VS03” and “VS02” is assigned to which side, the positive side emotion type or the negative side emotion type, based on the analysis processing. Emotion types are shown in the corresponding quadrants of the two-dimensional Euclidean space, where the vertical axis is "Arousal - Non-Arousal (Positive side - Negative side)" and the horizontal axis is "Strong emotion - Weak emotion (Positive side - Negative side)”. Deploy.
  • the generation unit 132 generates "fun”, “joy”, “anger”, and “anxiety” in the first quadrant, “anxiety” and “unpleasant” in the third quadrant, and “depression”, “boredom” and “boredom” in the fourth quadrant. Emotion types such as “relaxed” and “calm” are arranged.
  • the generation unit 132 may generate a model that avoids the influence of respiration by assigning an index related to electroencephalograms to the vertical axis.
  • the emotion type information table 121 is generated from the medical evidence showing these facts.
  • This example is a record whose index ID data is “VS01” in the emotion type information table 121, “brain wave ⁇ wave/ ⁇ wave” as index name data, “brain wave sensor” as sensor data, and “brain wave ⁇ wave” as explanation data.
  • “relative increase”, “Arousal-Arousal” as emotional axis data, “Fun, Joy, Anger, Sadness, Depression” as positive side emotion type data, and "Unpleasant, Anxiety, Fear, “Relax, calm down” is remembered.
  • the generation unit 132 assigns "awakening-non-awakening" to the vertical axis and assigns "strong emotion-weak emotion” to the horizontal axis.
  • the generation unit 132 determines whether each emotion type in the index ID data “VS01” and “VS02” is assigned to which side, the positive side emotion type or the negative side emotion type, based on the analysis processing. Emotion types are shown in the corresponding quadrants of the two-dimensional Euclidean space, where the vertical axis is "Arousal - Non-Arousal (Positive side - Negative side)" and the horizontal axis is "Strong emotion - Weak emotion (Positive side - Negative side)”. Deploy.
  • the generation unit 132 assigns “joy”, “joy”, “anger”, and “sadness” to the first quadrant, “depression” to the second quadrant, “relax”, “calmness” to the third quadrant, In the fourth quadrant, emotion types such as “anxiety”, “fear”, and “unpleasant” are arranged.
  • the generation unit 132 acquires, from the emotion type information table 121, the emotion type corresponding to each of the index representing the degree of arousal based on the electroencephalogram and the index representing the intensity of emotion based on the heartbeat.
  • an electroencephalogram sensor that can estimate the arousal level based on the ⁇ / ⁇ waves of the electroencephalogram from the activation state of the cerebral neocortex.
  • FIG. 6 is a diagram showing an example of a coordinate plane of a concrete model created by this concrete example.
  • the vertical axis of the coordinate plane is the emotion axis "awakening-non-awakening" of the index ID data "VS01", and the emotion type located on the positive side of the vertical axis is the positive emotion type "fun”. , ⁇ joy'', ⁇ anger'', ⁇ sadness'', and ⁇ depression''. , and become calm.
  • the horizontal axis of the coordinate plane is the emotion axis "strong emotion-weak emotion” of the index ID data "VS02", and the emotion types located on the positive side of the vertical axis are the positive emotion types “fun” and “happy”. , “anger”, “anxiety”, “fear” and “unpleasant”, and the emotion types on the negative side of the vertical axis are “depressive”, “boredom”, “relaxed” and “calm”. ”.
  • the generation unit 132 determines whether the same emotion type is on the positive side or the negative side on the vertical axis and the horizontal axis, and determines in which quadrant of the coordinate plane of the model it should be placed based on the result. For example, the generation unit 132 determines that the emotion type “enjoyable” is located on the positive side of the vertical axis (“awakened-non-awakened”) and located on the positive side of the horizontal axis (“strong emotion-weak emotion”). It becomes "first quadrant”.
  • the area 220 of the quadrant has the emotion type of "depression”
  • the area 230 of the third quadrant has the emotion types of "relax” and "calm”
  • the area 240 of the fourth quadrant has the types of "anxiety” and “fear”. ”, and “unpleasant” are arranged.
  • the generation unit 132 may arrange the emotion types that are rejected by the method of FIG. 5 in the area between the two quadrants.
  • FIG. 7 is a diagram showing an example of the coordinate plane of the model.
  • An emotion type that is not adopted in the arrangement of the model on the coordinate plane occurs when the emotion type data does not exist in at least one of the two emotion indices selected as targets for the two axes of the model's coordinate plane. .
  • rejection was determined by the method shown in FIG. It is also possible to think that it can be judged as a type. Therefore, in the coordinate plane of this model, in addition to the four-quadrant regions, the generation unit 132 sets regions near the zero value on the vertical and horizontal axes, is placed in either the 0-value vicinity region on the vertical axis or the horizontal axis (based on the positive side and negative side positions of the emotion type in the other indices).
  • the generation unit 132 places the rejected emotion type "boredom” into the area 225 between the second and third quadrants (the emotion type "boredom” into “awakening”). - Treated as 0 (neutral) for the "non-awakening" axis).
  • the generation unit 132 generates the region 215 between the first and second quadrants and the region 215 between the second and third quadrants for the emotion types that are not adopted by the method shown in FIG.
  • the emotion types can be appropriately placed in the region 225 between, the region 235 between the third and fourth quadrants, and the region 245 between the fourth and first quadrants.
  • the identifying unit 133 identifies the emotion type of the subject using a model based on the value of the index obtained from the biological signal of the subject U02. That is, the biological signal from the sensor attached to the subject U02 is analyzed and processed into a corresponding index value. Note that two types of index values are obtained by analyzing the biological signal. Then, the index value is applied to the generated model (coordinate plane of the model), and the emotion type in the region to which the index value corresponds is specified as the subject U02's emotion type.
  • the identifying unit 133 acquires a plurality of types of first biosignals and second biosignals, converts the first biosignals into first index values that are indicators of emotions, and converts the second biosignals into emotion index values.
  • the providing unit 134 provides the terminal device 20 with the identified emotion type.
  • the identified emotion type By providing the identified emotion type to the user such as the subject U02 by displaying or the like, the user such as the subject U02 can comprehend and estimate the emotion of the subject U02, so that it can be used for the training of the subject U02. Become.
  • the providing unit 134 causes the display of the terminal device 20 (constituted by a liquid crystal display or the like) to display the result display screen.
  • FIG. 8 is a diagram showing an example of a result display screen.
  • the result display screen 301 displays the index assigned to each axis, the subject's index value, the emotion type related to the estimated emotion result, text information such as messages, and related images suggesting their contents. be done.
  • An emotion map is also displayed on the result display screen 301 . These images are generated by the controller 13 based on the calculated index values and estimated emotion results.
  • the emotion map shows the coordinates (subject's emotion coordinates) plotted with the index values obtained from the subject's U02 biosignals on the coordinate plane of the model.
  • the subject U02's emotion is presumed to be "fun”, “joy”, “anger”, or "sadness”. It is also possible to estimate the strength of the emotion type to some extent based on the positions plotted on the emotion map (the farther from the origin, the stronger the emotion of the emotion type is estimated). Alternatively, it is also possible to estimate the accuracy of emotion determination based on the positions plotted on the emotion map (it is estimated that the greater the distance from the origin, the higher the accuracy of determination for the emotion type).
  • the generation unit 132 arranges the emotion type in one of eight quadrants (three-dimensional space).
  • a coordinate space is defined with the emotion axes of index ID data "VS01”, “VS02”, and “VS03" as the vertical axis, horizontal axis, and depth axis, the so-called XYZ three-dimensional axes.
  • the specifying unit 133 plots the three index values based on each biosignal in the coordinate space, and specifies the emotion type arranged in the space of the region where the plotted points are located as the subject's emotion.
  • the first index based on the ratio of ⁇ waves and ⁇ waves of electroencephalograms may be stratified by two determination thresholds, and the first index may be stratified into three states (electroencephalogram states) based on the first index.
  • the number of regions in which emotion types are arranged increases, and the types of indicators used also increase, so more detailed emotion determination becomes possible.
  • FIG. 9 is a flowchart showing the flow of extraction processing performed by the controller 13 (extraction unit 131). This extraction process is performed, for example, based on a user's start instruction, but the user needs to execute this process before estimating the emotion.
  • FIG. 10 is a flowchart which shows the flow of an estimation process. This estimation processing is performed, for example, based on a user's start command when the user desires the emotion estimation result.
  • step S101 the controller 13 (extraction unit 131) substitutes 1 for n, and proceeds to step S102.
  • n is a number that identifies an index to be extracted.
  • X is the number of indices to be extracted. X is set by the user as required, but the minimum number is two.
  • step S102 the controller 13 (extraction unit 131) extracts the n-th index based on the biosignal, and proceeds to step S103.
  • step S103 the controller 13 (extraction unit 131) extracts data such as the emotion type specified by the extracted index, stores the emotion type information as shown in FIG. move to
  • controller 13 extracts index data and emotion type data by, for example, performing natural language analysis on medical papers and books.
  • the controller 13 may store corresponding data input by a human using an input operation device such as a keyboard as emotion type information, or may retrieve corresponding data from a socially shared database such as a medical database. It may be captured and stored as emotion type information.
  • step S104 the controller 13 (extraction unit 131) determines whether the number n of indices from which emotion type information has been extracted has reached the set number X. If the set number has been reached, the process is terminated. If not, the process moves to step S105.
  • step S105 the controller 13 (extraction unit 131) adds 1 to the counter value n indicating the number of indices from which emotion type information has been extracted, and returns to step S102. In other words, until the number n of indexes from which emotion type information is extracted reaches the set number X, the processes of steps S102 and S103 are repeated.
  • the controller 13 determines a plurality of index values used for emotion estimation in step S201, and proceeds to step S202.
  • the controller 13 providing unit 134) provides the user with index information necessary for estimating the emotion that the user wants to estimate, and the controller 13 (generating unit 134) provides the index selected by the user through a selection operation. 132) takes in.
  • the controller 13 (generating unit 132) generates a model corresponding to the determined index value in step S202, and proceeds to step S203. Note that the controller 13 (generating unit 132) can generate a model by the method shown in FIG. 5 or the like.
  • step S203 the controller 13 (generation unit 132) acquires a biological signal corresponding to the determined index value from a sensor or the like worn by the user, and proceeds to step S204. Note that the controller 13 (generation unit 132) processes the acquired biosignal as necessary to convert it into an index value.
  • the controller 13 (providing unit 134) assists the user in preparation by providing the user with information such as sensors that the user needs to wear and guidance to start emotion estimation.
  • step S204 the controller 13 (generating unit 132) applies the index value based on the acquired biological signal to the generated model, and calculates the emotion corresponding to the index value based on the emotion estimation method described with reference to FIG. Identify the type and end the process. For example, the controller 13 (generating unit 132) identifies the emotion type based on which quadrant the emotion coordinates obtained by plotting the index values on the coordinate plane of the model are located.
  • the biosignal index to be used is an index based on the ratio of ⁇ waves and ⁇ waves of brain waves (first index: arousal) and an index based on the low-frequency component of heartbeat (second index: emotional intensity)
  • these (operation of the emotion estimating device) is represented by the configuration of the emotion estimating model (emotion map) of the emotion estimating device and the processing performed by the controller as follows.
  • the emotion estimation model includes two electroencephalogram states (awakening-non-arousal) obtained by stratifying the first index based on the ratio of ⁇ waves and alpha waves of electroencephalograms with the first judgment threshold, and the second based on the low frequency component of the heartbeat.
  • Four combination states (first quadrant to fourth quadrant) are formed by combining the index with two heartbeat states (strong emotion-weak emotion) stratified by the second judgment threshold.
  • each emotion type (1st quadrant: “fun”, “joy”, “anger”, “sadness”, 2nd quadrant: “depression”, 3rd quadrant: “relax”, “ Calm”, 4th quadrant: "Anxiety”, “Fear”, “Unpleasant" are set.
  • the controller determines the electroencephalogram state (awakening-non-awakening) by stratifying the first index calculated based on the electroencephalogram obtained from the subject with a first determination threshold, and determines the electroencephalogram state (awakening-non-awakening) calculated based on the heartbeat obtained from the subject.
  • the second index is stratified by a second determination threshold to determine the heartbeat state (strong emotion-weak emotion), and the combined state (eg, first quadrant) in the model corresponding to the determined electroencephalogram state and the heartbeat state is determined, and the emotion type (eg, “fun”) corresponding to the determined combination state (eg, the first quadrant) is set as an estimated emotion (eg, “fun”).
  • the server 10 may accept designation of the emotion type instead of the index, and generate a model from the designated emotion type. That is, for example, this method is used when the user wants to know the state of a certain emotion type (whether or not it occurs and its intensity).
  • the controller 13 selects two or more emotion types corresponding to the designated emotion type (including the emotion type designated as the positive side emotion type or the negative side emotion type) from the emotion type information table 121. Get the index of The controller 13 (generating unit 132) also generates a model in which emotion types are arranged in each quadrant of the space defined by the axes associated with the two or more indices. Then, the subject wears necessary sensors based on the emotion type information table 121, and the controller 13 acquires biometric data from the sensors. After that, based on the biometric information, the subject's emotion is estimated by the same method as described above.
  • FIG. 11 is a diagram showing an example of an analysis support screen. As shown in FIG. 11, the analysis support screen 302 displays a message "Please select an emotion type and press the search button" along with a group of check boxes that allow multiple selection of emotion types.
  • the emotion type displayed together with the check box is the emotion type data included in the positive side emotion type or the negative side emotion type in the emotion type information table 121 .
  • the providing unit 134 identifies a combination of indicators that allow estimation of the emotion type selected by the check box, and displays information about the identified combination as a search result.
  • the providing unit 134 provides sensor information necessary to obtain the index displayed as the search result.
  • the analyst U01 has selected the emotion types "fun” and "boring". Then, based on each data of the emotion type information table 121 shown in FIG. 3, the emotion types of "pleasant” and “boring” are included (search for the positive side emotion type or the negative side emotion type in the emotion type information table 121). The indices "standard deviation of heart rate LF component of VS02" and “beat interval (RRI) of VS03" are retrieved.
  • the analysis support screen 302 shows a “heartbeat sensor” that is a sensor necessary when performing analysis using a combination of the standard deviation of the heartbeat LF component and the heartbeat interval (RRI). The user confirms this screen, prepares the "heartbeat sensor", and performs emotion estimation.
  • FIG. 12 is a diagram explaining a method of specifying an index. Note that the example of FIG. 12 is for a case where the analyst U01 designates the analysis of the emotions of "pleasant" and "boredom". As shown in FIG. 12, the providing unit 134 refers to the emotion type information table 121 to determine whether the emotion type of each index includes "pleasant" and "boring" selected by the analyst U01 ( Yes or No).
  • the providing unit 134 identifies (adopts) a combination of indices that allow both “fun” and “boring”, and provides information on these identified indices and sensor information for calculating the indices to the analyst. Provide to U01 or the subject.
  • the providing unit 134 automatically identifies a combination of indicators based on a predetermined criterion. For example, the providing unit 134 identifies a combination of indicators that have been selected in the past with a large number of achievements, identifies a combination of indicators that is estimated to be highly accurate, or identifies a combination of indicators that has a high penetration rate of the necessary sensors. , to specify a combination of indicators with as many identifiable emotion types as possible.
  • the providing unit 134 may recommend a combination of possible indices to the analyst U01, and the analyst U01 may adopt the combination of indices selected therefrom.
  • the emotion type information table 121 may include emotion types corresponding to indices obtained from biosignals such as body surface temperature, facial images, and pupil dilation.
  • the arousal level may be, for example, body temperature, body surface temperature, pupil diameter, brain wave fluctuation, degree of drowsiness measured by image recognition, and the like.
  • the terminal device 20 is provided with a configuration that realizes functions equivalent to those of the extraction unit 131, the generation unit 132, the identification unit 133, and the provision unit 134 of the server 10 (functions realized by the controller 13). It is also possible to perform the emotion estimation operation performed by the server 10 . In that case, the terminal device 20 has a configuration equivalent to that of the server 10 described above.
  • the controller 13 of the server 10 acquires the first emotion type information associated with the first biosignal-related first index, and obtains the first emotion type information associated with the biosignal-related second index.
  • 2 Emotion type information is acquired, and each combination index state composed of a combination of a first index state, which is each state of the first index, and a second index state, which is each state of the second index, is added to the combined emotion type information.
  • An emotion estimation model is generated that associates emotion types selected from the first emotion type information and the second emotion type information according to the first index state and the second index state.
  • the emotion can be estimated with high accuracy based on the biosignal.
  • the emotion type information table 121 is based on medical evidence, it is possible to reduce the error (degree of deviation) in associating biosignals and emotions.
  • the emotion type information table 121 can be updated at any time with information extracted from medical evidence. By updating the emotion type information table 121 in this way, the learning of the model progresses and the estimation accuracy is further improved.
  • FIG. 13 is a diagram showing an example of the result display screen of the second embodiment. As in FIG. 8, in FIG. 13, the vertical axis is assigned the index value of the index representing the arousal state, and the horizontal axis is assigned the index value of the index representing the intensity of emotion.
  • the controller 13 indicates on the result display screen 301 whether the subject's emotions are stable (calm (normal) state). Specifically, the controller 13 (providing unit 134) displays a rectangular frame graphic 3011 surrounded by dashed lines indicating a stable region of emotion, and determines whether the coordinates of the subject's estimated emotion exist within the frame graphic 3011. It indicates whether or not the subject's emotions are stable depending on whether or not (the area inside the frame graphic 3011 is the stable state determination area).
  • the emotional stability region is limited by, for example, a value obtained by multiplying the maximum and minimum values of the vertical axis index value and the horizontal axis index value by a predetermined coefficient (regulating the maximum and minimum values on the vertical and horizontal axes). Then, the predetermined coefficient is set to an appropriate value based on experiments or the like.
  • the coefficient is set to an appropriate numerical value of 1 or less, such as 0.2.
  • the coordinates of the four vertices of the frame graphic 3011 are (0.2,0.2), (-0.2,0.2), (0.2,-0.2), (-0.2). , -0.2).
  • the controller 13 sets the emotion coordinates indicating the estimated emotion within the frame graphic 3011 of the stable emotion region. Marks of estimated emotions (stars in the example of FIG. 10) are displayed. Further, the controller 13 (providing unit 134) displays the message "The subject's emotions seem to be stable.” Thus, according to the second embodiment, it is possible to explicitly indicate whether or not the subject's emotions are in a stable state.
  • the appropriate position and size of the frame graphic 3011 can be defined by a method such as setting the range of emotion coordinates corresponding to the state to be confirmed based on experiments or the like. For example, when the test subject is a worker in a factory, the frame graphic 3011 is set as the emotional state range in which the test subject can be considered to be concentrating on the work. Also, for example, if the subject is a driver of a vehicle, a frame figure 3011 is set as a range of emotional states in which the subject can be considered to be driving calmly.
  • the controller 13 may change the scale of the axis to an appropriate format.
  • the controller 13 provides a non-linear scale such that the smaller the index value, the smaller the scale.
  • the position (origin) of the emotion axis (both or one of the vertical and horizontal axes) is moved to change the range of each quadrant for emotion determination.
  • the vertical axis 3012a and the horizontal axis 3013a use emotion maps that intersect at the position where each index value is 0, that is, at the origin. It should be noted that the vertical axis 3012a and the horizontal axis 3013a are for explanation, and are not actually displayed on the result display screen 301 in the third actual result form.
  • the controller 13 uses the vertical axis position and the horizontal axis position when the vertical axis index value and the horizontal axis index value are standardized with the maximum value of 1 and the minimum value of ⁇ 1. Depending on the purpose, it is moved to the negative side by, for example, 0.2 and displayed on the emotion map of the result display screen 301 .
  • the horizontal axis is the position of the arousal level -0.2 (horizontal line passing through the coordinates (0,-0.2)), and the vertical axis is the position of the emotion intensity +0.2 (passing the coordinates (0.2,0) vertical line)) (intersection coordinates are (0.2, -0.2)).
  • the controller 13 displays a mark (for example, a star) at the coordinate position of each index value based on the biological signal of the subject.
  • the emotion coordinates of the subject are located in the fourth quadrant when the vertical axis 3012a and the horizontal axis 3013a are used as references (before the axis movement). Therefore, in this case, it is presumed that the subject feels fear.
  • the subject's emotional coordinates are located in the second quadrant when the vertical axis 3012b and the horizontal axis 3013b are used as references (after axis movement).
  • the controller 13 provides a message on the result display screen 301, "It is estimated that the subject does not feel fear sufficiently.”
  • the area of each quadrant can be adjusted by moving the positions of the vertical and horizontal axes according to the intended use of the estimated emotion.
  • the emotion type information table 121 shown in FIG. 3 may be updated as appropriate.
  • the keyword "boredom” is not included in the "positive emotion type” and "negative emotion type” of the record whose index ID data is "VS01".
  • the index will be used based on the content of such medical evidence and experiments.
  • the keyword “boredom” may be added to the corresponding side of the "positive side emotion type” or “negative side emotion type” of the record whose ID data is "VS01".
  • a new index suitable for emotion estimation is discovered based on medical evidence, etc.
  • a new data record is generated for the index, and sensor type, explanation, emotion axis, etc. corresponding to the use are created.
  • Each data may be stored.

Abstract

本発明に係る感情推定装置は、感情を推定するための感情推定装置であって、コントローラと感情推定モデルとを備え、前記感情推定モデルは、脳波のβ波とα波の比に基づく第１指標を第１判定閾値で層別した２つの脳波状態と、心拍の低周波成分に基づく第２指標を第２判定閾値で層別した２つの心拍状態とで組み合わされた４つの組合状態が形成され、当該４つの組合状態のそれぞれに感情種別が設定されており、前記コントローラは、被験者から取得した脳波に基づき算出した前記第１指標を第１判定閾値で層別して前記脳波状態を決定し、被験者から取得した心拍に基づき算出した前記第２指標を第２判定閾値で層別して前記心拍状態を決定し、決定した前記脳波状態と前記心拍状態に該当する前記モデルにおける前記組合状態を判定し、判定した当該組合状態に対応する感情種別を推定感情とする。

Description

感情推定装置及び感情推定モデル生成方法
　本発明は、感情推定装置及び感情推定モデル生成方法に関する。
　被験者の心臓の波形（心電波形）から得られる情報をラッセル円環モデルに当てはめ、被験者の感情を推定する技術が知られている（例えば、特許文献１を参照）。
特開２０１９－６３３２４号公報
　しかしながら、従来の技術には、生体信号に基づき高精度に感情を推定することが難しいという問題がある。
　ラッセル円環モデルは、覚醒度を縦軸（AROUSAL）、快感－不快感という感情価を横軸（VALENCE）とする座標平面において、原点を中心とする円環上に感情種別を配置したモデルである。
　このラッセル円環モデルでは、被験者の覚醒度と感情価のラッセル円環モデルの座標平面にプロットすることにより、被験者の感情種別が推定される。
　ラッセルの円環モデルにおける、覚醒度と感情価は心理学上の構成概念であり、実際の感情推定装置として実現するには課題が多い。例えば、ラッセルの円環モデルには被験者の覚醒度と感情価を推定する必要があるが、感情推定装置として実現する場合には、被験者から何らかの生体信号を計測し、当該計測値から覚醒度と感情価を推定することになる。しかし、被験者のどのような生体信号をどう処理して、これら覚醒度と感情価を推定するかと言った点に関しては確立されておらず、感情推定装置の実現に対して、大きな課題となっている。
　このため、従来からラッセル円環モデルに基づく感情推定装置の提案がなされているが、被験者の感情の高精度な推定は困難なものとなっている。
　本発明は、上記に鑑みてなされたものであって、高精度に感情を推定することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係るモデル生成方法は、生体信号に基づき感情種別を推定する感情推定モデルの生成方法であって、生体信号に関する第１指標に関連付いた第１感情種別情報を取得し、生体信号に関する第２指標に関連付いた第２感情種別情報を取得し、前記第１指標における各状態である第１指標状態と、前記第２指標における各状態である第２指標状態との組み合わせで構成される各組合指標状態に、前記組み合わせた第１指標状態と第２指標状態に応じて前記第１感情種別情報と前記第２感情種別情報から選択された感情種別を関連づけた感情推定モデルを生成するモデル生成方法である。
　本発明によれば、被験者の生体信号に基づく第１指標の状態と第２指標の状態に応じて感情を推定するので、科学的（医学的）エビデンスや実験結果に基づき第１指標の状態と第２指標の状態を適当なものに設定し、また第１指標の状態と第２指標の状態の組み合わせ状態に対する感情種別を科学的（医学的）エビデンスや実験結果に基づき適当に設定することにより、精度良く感情を推定することが可能となる。
図１は、第１の実施形態に係る推定システムの構成例を示す図である。 図２は、第１の実施形態に係るサーバの構成例を示す図である。 図３は、感情種別情報を記憶するデータテーブルの一例を示す図である。 図４は、感情種別の抽出方法を説明する図である。 図５は、モデルの生成方法を説明する図である。 図６は、モデルの座標平面の一例を示す図である。 図７は、モデルの座標平面の一例を示す図である。 図８は、第１の実施形態の結果表示画面の一例を示す図である。 図９は、抽出処理の流れを示すフローチャートである。 図１０は、推定処理の流れを示すフローチャートである。 図１１は、分析支援画面の一例を示す図である。 図１２は、指標を特定する方法を説明する図である。 図１３は、第２の実施形態の結果表示画面の一例を示す図である。 図１４は、第３の実施形態の結果表示画面の一例を示す図である。
　以下、添付図面を参照して、本願の開示するモデル生成方法及び推定装置の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。
［第１の実施形態］
　まず、図１を用いて、第１の実施形態に係る推定システムについて説明する。図１は、第１の実施形態に係る推定システムの構成例を示す図である。
　図１に示すように、推定システム１は、サーバ１０、端末装置２０、センサ３１及びセンサ３２を有する。推定システム１は、被験者Ｕ０２の感情を推定する。
　被験者Ｕ０２は、例えばｅスポーツのプレイヤーである。推定システム１は、ビデオゲームをプレイしている被験者Ｕ０２の感情を推定する。本実施形態の説明では、説明を具体化して分かりやすくするため、一適用例として上記のｅスポーツでの適用場面を想定し、状態遷移等も交えて説明する。
　感情の推定結果は、例えばｅスポーツにおける被験者Ｕ０２のメンタルトレーニングに利用される。例えば、ビデオゲームのプレイ中に、被験者Ｕ０２が勝負において不利な感情（不安、怒り等）を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。
　なお、他の適用例としては、被験者Ｕ０２は、医療機関における患者であってもよい。この場合、推定システム１によって推定された感情は、検査及び治療等に利用される。
　例えば、医療機関のスタッフは、患者である被験者Ｕ０２が不安を感じている場合、カウンセリング等の対応策を施すことができる。
　また、被験者Ｕ０２は、教育機関における生徒であってもよい。この場合、推定システム１によって推定された感情は、授業内容の改善に利用される。
　例えば、教師は、生徒である被験者Ｕ０２が授業を退屈に感じている場合、当該授業の内容をより生徒が興味を引くようなものに改善する。
　また、被験者Ｕ０２は、車両のドライバであってもよい。この場合、推定システム１によって推定された感情は、安全運転の促進に利用される。
　例えば、ドライバである被験者Ｕ０２が運転中に適度な緊張を感じていない場合、車載装置は、運転に集中することを促すメッセージを出力する。
　また、被験者Ｕ０２は、映像及び音楽といったコンテンツの視聴者であってもよい。この場合、推定システム１によって推定された感情は、さらなるコンテンツの作成に利用される。
　例えば、映像コンテンツの配信者は、視聴者である被験者Ｕ０２が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。
　サーバ１０と端末装置２０は、ネットワークＮを介して接続されている。例えば、ネットワークＮはインターネット又はイントラネットである。
　例えば、端末装置２０は、パーソナルコンピュータ、スマートフォン及びタブレット型コンピュータ等である。端末装置２０は、分析者Ｕ０１によって使用される。
　センサ３１及びセンサ３２は、検出したセンサ信号を端末装置２０に送信する。
　センサ３１は、例えば、ヘッドギア型の脳波センサである。また、センサ３２は、例えば、リストバンド型の脈拍センサである。
　例えば、センサ３１及びセンサ３２は、Wi-Fi（登録商標）及び、Bluetooth（登録商標）等の通信規格に従って端末装置２０と通信接続され、端末装置２０にセンサ信号を送信する。
　図１を用いて、推定システム１の処理の流れを説明する。
　サーバ１０は、事前に医学的エビデンスから感情種別を抽出しておく（ステップＳ１）。医学的エビデンスは、例えば論文及び書籍である。感情種別の抽出方法については後述する。
　端末装置２０は、生体信号に基づく複数の指標の指標値をサーバ１０に送信する（ステップＳ２）。例えば、端末装置２０は、脳波又は心拍に関する互いに異なる２つの指標の指標値を送信する。
　ここで、指標値（index　value）は、生体信号に関する指標（index）の値である。例えば、「心拍間隔の平均」及び「心拍ＬＦ（Low　Frequency：低周波）成分」は指標である。また、各指標に対応する具体的な値（例えば数値）が指標値である。なお、指標値は、各センサのセンサ値、又はセンサ値から計算された値である。
　サーバ１０は、抽出済みの感情種別を基にモデルを生成する（ステップＳ３）。このとき、サーバ１０は、端末装置２０から受信した指標値に合ったモデルを生成する。モデルの生成方法については後述する。
　そして、サーバ１０は、生成したモデルを用いて、指標値から感情種別を特定する（ステップＳ４）。サーバ１０は、感情種別の特定結果を端末装置２０に提供する（ステップＳ５）。
　図２は、第１の実施形態に係るサーバの構成例を示す図である。サーバ１０は、生成方法を実行するコンピュータの一例である。また、サーバ１０は、推定装置の一例である。
　図２に示すように、サーバ１０は、通信部１１、記憶部１２及び制御部１３、所謂コントローラ１３を有する。
　通信部１１は、ネットワークＮを介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network　Interface　Card）である。
　サーバ１０の記憶部１２及びコントローラ１３は、例えばＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。
　コンピュータのＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、コントローラ１３の抽出部１３１、生成部１３２、特定部１３３及び提供部１３４として機能する。
　また、記憶部１２は、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、感情種別情報テーブル１２１等を記憶する。
　なお、サーバ１０は、有線や無線のネットワークで接続された他のコンピュータ（サーバ）や可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
　感情種別情報テーブル１２１は、指標に関する情報と感情種別とを対応付けた情報である。ここでは、感情種別情報テーブル１２１の各項目の概要を説明する。感情種別情報テーブル１２１の作成方法及び使用方法については後述する。
　図３は、感情種別情報を記憶するデータテーブルの一例を示す図である。図３に示すように、感情種別情報テーブル１２１の項目には、指標ＩＤ、指標名称、センサ、正／負、説明、感情軸、正側及び負側の感情種別が含まれ、これらのデータで感情種別情報が形成される。なお、説明を分かりやすくするため、以降、各項目におけるデータ（値）自体を示す場合は「データ」の語を付加して表現する。例えば、「指標ＩＤデータ」は、「ＶＳ０１」、「ＶＳ０２」等の値自体を表している。
　感情種別情報テーブル１２１の指標ＩＤは、指標を識別するためのＩＤとして機能する文字列である（文字列が記憶される）。この指標ＩＤのデータを主キーデータとして、つまり指標ＩＤデータ毎にレコードが構成され、当該レコードに指標ＩＤデータに紐づいた指標名称データ、センサデータ、説明データ、感情軸データ、正側感情種別データ、及び負側感情種別データが記憶されることになる。
　感情種別情報テーブル１２１の「指標名称」は、指標の名称を表す情報（文字列）である。
　感情種別情報テーブル１２１の「センサ」は、対応する指標の指標値を得るために必要なセンサを特定するための情報である。例えば、指標ＩＤがＶＳ０１の（レコード）場合は、対象のセンサは脳波センサである。
　ここで、後述の処理において、指標は座標平面を構成する軸として用いられる。また、当該処理においては、指標値が原点（判定閾値）より正の方向にあるか（大きいか）、負の方向（小さいか）にあるかが意味を持つ。
　感情種別情報テーブル１２１の「正側感情種別データ」及び「負側感情種別データ」は、それぞれ当該レコードの指標値が正の場合と負の場合とに対応したデータを記憶しているかを示す情報である。
　このため、指標値に対しては、平均が０となるように標準化がされているものとする。つまり、生体信号が平均値の場合、当該生体信号に関連付けられた感情が発生していない（平常状態にある）との推定に基づき、上記標準化が行われる。なお、指標値に対しては、上記の標準化に限らず、座標平面で扱いやすい形式、あるいは推定結果の精度が高くなるような形式（感情推定結果の評価結果による補正等）等への変換が行われていればよい。なお、指標値が標準化されている場合、指標の状態を層別する判定閾値は０となる。
　また、サーバ１０は、推定した感情を利用する目的等に応じて、指標値の標準化方法や変換方法を変更してもよい。例えば、ｅスポーツと自動車運転の場面では、影響を受ける感情のレベルが異なる（自動車運転では、安全運転に観点から、ｅスポーツより冷静さが求められる）ので、サーバ１０は、例えば興奮感情を低めの判定閾値で判断するように、指標値の標準化方法や変換方法を変更してもよい。
　また、指標値の形式を変換する代わりに、座標平面の原点の位置を指標値に合わせて調整してもよい。
　感情種別情報テーブル１２１の「説明」は、当該レコードに関する説明文である。例えば、当該データの各項目のデータの関係性を説明したものとなっている。
　感情種別情報テーブル１２１の「感情軸」は、指標が座標平面の軸として利用されるときのラベルとして用いられる文字列である。図３で示された例では、指標名称データは、正／負データの各方向側の値となった場合の感情軸の意味を示すものとなっている。
　感情種別情報テーブル１２１の「正側感情種別」及び「負側感情種別」は、当該レコードに対応する感情種別を表すキーワードの集合であり、指標名称データが正／負データの各方向側の値となった場合の被験者が持つ感情種別を示すものである。
　例えば、図３の感情種別情報テーブル１２１の１行目のレコード（指標ＩＤデータが「ＶＳ０１」のレコード）には、指標名称データとして「脳波のβ波／α波」、当該指標の指標値を得るためのセンサ種別データとして「脳波センサ」、正側の説明データとして「脳波のβ波がα波に対して相対的に増大」（正側）、感情軸データとして「覚醒－不覚醒」、そして正側の感情種別データとして「楽しい、喜ぶ、怒り、悲しみ、憂鬱」、そして負側の感情種別データとして「不愉快、不安、恐怖、リラックス、落ち着き」が記憶されている。
　換言すれば、指標ＩＤデータが「ＶＳ０１」は、「脳波センサ」を用いて脳波を測定するための指標である。そして、測定結果（指標値）が「脳波のβ波がα波に対して相対的に増大する」が正であれば、「覚醒」状態で「楽しい、喜ぶ、怒り、悲しみ、憂鬱」と言った感情が生じている可能性があると推定される。また、測定結果（指標値）が「脳波のβ波がα波に対して相対的に増大する」が否（負）であれば、「不覚醒」状態で「不愉快、不安、恐怖、リラックス、落ち着き」と言った感情が生じている可能性があると推定される。」と言った意味となる。
　コントローラ１３の各部の処理内容を説明する。以降の説明における抽出部１３１、生成部１３２、特定部１３３及び提供部１３４による処理の主体は、コントローラ１３と言い換えることができる。
　抽出部１３１は、医学的エビデンスから指標と対応付けて感情種別を抽出する。図４は、感情種別の抽出方法を説明する図である。
　図４に示すように、抽出部１３１は、論文及び書籍等に書かれたテキストに対して自然言語解析を行うことにより、指標及び感情種別に関する情報を抽出する。例えば、第１感情種別情報又は第２感情種別情報は、医学的エビデンスが記載された文書の言語解析により生成される。
　抽出部１３１は、既存の機械学習手法により自然言語解析を行ってもよい。また、医学的エビデンスから指標と対応付けて感情種別を抽出する処理は、人手により行われてもよい。この場合、抽出部１３１は、作業者による入力情報に基づき、指標及び感情種別に関する情報を抽出することとなる。
　図４の例では、抽出部１３１は、「β波が大きくなるに従って、楽しさ、怒り、悲しみといった感情が増幅した。」というテキストを基に、β波の増大に対し「楽しい」、「怒り」、「悲しみ」という感情種別を対応付けて抽出している。
　また、図４の例では、抽出部１３１は、「α波が大きくなると、不安や恐怖を感じる人が統計上有意に多かった。」というテキストを基に、α波の増大に対し「不安」、「恐怖」という感情種別を対応付けて抽出している。
　また、エビデンス例は省略するが、上記と同様に、例えば「覚醒状態では、脳波のβ波がα波に比して大きくなる。」というテキストを基に、感情軸に対し「覚醒」を対応付けて抽出する。
　なお、β波とα波のいずれが増大するかは、生体情報の１つである脳波に基づく指標の一例である。また、抽出部１３１によって抽出されたこのような情報を基に、感情種別情報テーブル１２１が生成される。上述の例では、指標ＩＤデータ「ＶＳ０１」（指標ＩＤデータは同じ値が存在しないように適宜設定される）のレコードに、指標名称データとして「脳波のβ波／α波」、センサデータとして「脳波センサ」、説明データとして「脳波のβ波がα波に対して相対的に増大」、感情軸データとして「覚醒－不覚醒」、正側感情種別データとして「楽しい、喜び、怒り、悲しみ、憂鬱」、そして負側感情種別データとして「不愉快、不安、恐怖、リラックス、落ち着き」が記憶されることになる。つまり、これらの抽出された感情種別が、感情推定モデルに設定される脳波のβ波とα波の比に基づく第１指標等の各指標に対する感情種別候補となる。
　生成部１３２は、抽出部１３１が抽出した情報から、生体信号に基づく第１指標に関連付いた第１感情種別情報を取得し、また生体信号に基づく第２指標に関連付いた第２感情種別情報を取得する。そして生成部１３２は、第１指標における各状態である第１指標状態と、第２指標における各状態である第２指標状態との組み合わせで構成される各組合状態に応じて、つまり組み合わせた第１指標状態と第２指標状態に応じて第１感情種別情報と第２感情種別情報から選択された感情種別を関連づけることができる感情推定モデル（感情種別が設定されていない空感情推定モデル）を生成する。
　このように生成される感情推定モデルをイメージ化すると、図６の感情マップで示される感情推定モデルとなる。図６において、第１指標は縦軸、第２指標は横軸となる。第１指標および第２指標はそれぞれ閾値（規格化されている場合０）で層別され、各々２つの層別状態となる。そして、第１指標および第２指標の各層別状態の組み合わせである組合状態が、感情マップの第１から第４象限となり。これが空感情推定モデルに対応する。そして、これら各象限に対応する感情候補を配置（設定）することにより、感情推定モデルが形成される。以降、イメージ化した感情マップに基づき説明を進める。
　生成部１３２は、生体信号に関する指標（例えば、第１指標及び第２指標）と感情種別とを対応付けた感情種別情報テーブル１２１から、指定された２つ以上の指標のそれぞれに対応する、つまり重複する感情種別（例えば、第１感情種別と第２感情種別）を取得する。
　そして、生成部１３２は、２つ以上の指標のそれぞれに対応付けられた軸によって定義される空間の各象限に、上記取得された感情種別を配置したモデル（感情推定モデル）を生成する。
　ここでいう空間は、ユークリッド空間を意味する。すなわち、ここでいう空間には、２次元の平面及び３次元以上の空間が含まれる。
　図５を用いて、生成部１３２によるモデルの生成方法を具体的に説明する。図５は、モデルの生成方法を説明する図である。
　ここでは、指標として、脳波のβ波／α波（指標「ＶＳ０１」）、及び心拍ＬＦ成分の標準偏差（指標「ＶＳ０２」）が指定されたこととする。
　生成部１３２は、感情種別情報テーブル１２１を参照し、指標ＩＤが「ＶＳ０１」のレコード、及び指標ＩＤが「ＶＳ０２」のレコードのそれぞれから各種データを取得する。
　そして、図５に示すように、生成部１３２は、指標「ＶＳ０１」を縦軸に割り当て、指標「ＶＳ０２」を横軸に割り当てるものとする。なお、軸の割り当ては、図５に示すものと逆であってもよい。具体的には、指標「ＶＳ０１」の感情軸データは「覚醒－不覚醒」であるので縦軸は「覚醒－不覚醒（正側-負側）」となり、指標「ＶＳ０２」の感情軸データは「強い感情－弱い感情」であるので横軸は「強い感情－弱い感情（正側-負側）」となる。
　次に、生成部１３２は、各感情種別の指標「ＶＳ０１」における正側感情種別データと負側感情種別データと、同じ感情種別の指標「ＶＳ０２」における正側感情種別データと負側感情種別データとの関係を解析する。
　そして、生成部１３２は、解析した関係を基に、縦軸と横軸で定義される２次元の座標平面の各象限に各感情種別を配置する。
　具体的には、生成部１３２は、指標「ＶＳ０１」における正側感情種別データと、指標「ＶＳ０２」における正側感情種別データとで、共通に存在する感情種別データを第１象限に配置する。
　また、生成部１３２は、指標「ＶＳ０１」における負側感情種別データと、指標「ＶＳ０２」における正側感情種別データとで、共通に存在する感情種別データを第４象限に配置する。
　また、生成部１３２は、指標「ＶＳ０１」における負側感情種別データと、指標「ＶＳ０２」における負側感情種別データとで、共通に存在する感情種別データを第３象限に配置する。
　また、生成部１３２は、指標「ＶＳ０１」における正側感情種別データと、指標「ＶＳ０２」における負側感情種別データとで、共通に存在する感情種別データを第２象限に配置する。
　例えば、図３に示すように、指標「ＶＳ０１」における感情種別「楽しい」は正側感情種別データに含まれ、指標「ＶＳ０１」の感情軸データは「覚醒－不覚醒（正側－負側）」である。また、指標「ＶＳ０２」における感情種別「楽しい」は正側感情種別データに含まれ、指標「ＶＳ０２」の感情軸データは「強い感情－弱い感情（正側－負側）」である。
　このため、生成部１３２は、図６に示すように、縦軸が「覚醒－不覚醒（正側－負側）」、横軸が「強い感情－弱い感情（正側－負側）」で形成される２次元ユークリッド空間において、感情種別「楽しい」を第１象限に配置する。
　なお、図５に示すように、生成部１３２は、選択した２種の指標の少なくとも一方の指標における感情種別データとして含まれない感情種別データ、例えば指標「ＶＳ０１」に含まれない感情種別「退屈」（「ＶＳ０２」には含まれる）は不採用として扱い、ここでは座標平面に配置しない。換言すれば、選択した２種の指標の両方で感情種別データとして含まれる感情種別データだけを座標平面に配置する。なお、このような不採用となる感情種別を座標平面に配置する方法も可能であるが、その方法については後述する。
　このように、生成部１３２は、第１の感情を表す指標データ（第１感情指標データ）に対応付けられた第１感情軸と、第２の感情を表す指標データ（第２感情指標データ）に対応付けられた第２感情軸と、によって定義される２次元の座標平面を形成する。そして、生成部１３２は、第１感情指標データに関連付けられた各第１感情種別データの第１感情軸に対する位置（図３の例では正側感情種別は正側／負側感情種別は正側）を判断する。また、生成部１３２は、第２感情指標データに関連付けられた各第２感情種別データの第２感情軸に対する位置を判断する。そして、生成部１３２は、各第１感情種別データ及び各第２感情種別データの各感情軸に対する位置に基づき、形成した２次元の座標平面の各象限に、各感情種別データを配置したモデルを生成する。
　これにより、第１感情軸（たとえば覚醒度）と第２感情軸（たとえば感情の強度）という異なる感情軸による感情種別の特定が可能なモデルを生成することができる。
　第１指標又は第２指標は、上記（ＶＳ０１）以外の覚醒状態を表す指標であってよい。第１指標又は第２指標は、上記（ＶＳ０２）以外の感情の強度を表す指標であってよい。
（モデルの例１）
　覚醒状態が、自律神経（交感神経及び副交感神経）に影響し、心臓の収縮力を変動させることで、心拍間隔にその影響が現れることが知られている。そして覚醒状態となる感情種別としては、「楽しい」、「喜び」、「怒り」、「不安」、「適度な緊張」が知られている。また不覚醒状態となる感情種別としては、「憂鬱」、「退屈」、「リラックス」、「落ち着き」、「不愉快」、「悲しみ」が知られている。これらの事実を示す医学的エビデンスにより感情種別情報テーブル１２１が生成される。
　この例が感情種別情報テーブル１２１における指標ＩＤデータが「ＶＳ０３」のレコードで、指標名称データとして「心拍間隔（ＲＲＩ）」、センサデータとして「心拍センサ」、説明データとして「心拍間隔が減少」、感情軸データとして「覚醒-不覚醒」、正側感情種別データとして「楽しい、喜び、怒り、不安、適度な緊張」、そして負側感情種別データとして「憂鬱、退屈、リラックス、落ち着き、不愉快、悲しみ」が記憶されている。
　他方、心拍ＬＦ成分の標準偏差が、交感神経及び副交感神経の活性度を表すことが知られている。
　交感神経の活性は強い感情と相関があり、副交感神経の活性は弱い感情と相関があることが知られている。そして強い感情となる感情種別としては、「楽しい」、「喜び」、「怒り」、「不安」、「恐怖」、「不愉快」、「楽しみ」が知られている。また、弱い感情となる感情種別としては、「憂鬱」、「退屈」、「リラックス」、「落ち着き」が知られている。これらの事実を示す医学的エビデンスにより感情種別情報テーブル１２１が生成される。
　この例が感情種別情報テーブル１２１における指標ＩＤデータが「ＶＳ０２」のレコードで、指標名称データとして「心拍ＬＦ成分の標準偏差」、センサデータとして「心拍センサ」、説明データとして「交感神経が活性化」、感情軸データとして「強い感情-弱い感情」、正側感情種別データとして「楽しい、喜び、怒り、不安、恐怖、不愉快、悲しみ」、そして負側感情種別データとして「憂鬱、退屈、リラックス、落ち着き」が記憶されている。
　そこで、生成部１３２は、「覚醒-不覚醒」を縦軸に割り当て、「強い感情－弱い感情」を横軸に割り当てる。
　そして、生成部１３２は、指標ＩＤデータ「ＶＳ０３」及び「ＶＳ０２」における各感情種別が、正側感情種別あるいは負側感情種別のどちら側に割り当てられているか、と言った解析処理に基づき、各感情種別を縦軸が「覚醒－不覚醒（正側－負側）」、横軸が「強い感情－弱い感情（正側－負側）」で形成される２次元ユークリッド空間の対応する象限に配置する。
　生成部１３２は、第１象限に「楽しい」、「喜び」、「怒り」、「不安」、第３象限に「不安」、「不愉快」、そして第４象限に「憂鬱」、「退屈」、「リラックス」、「落着き」といった感情種別を配置する。
（モデルの例２）
　心拍間隔は、呼吸の影響を大きく受けるため、モデルの精度が低下する場合がある。そこで、生成部１３２は、縦軸に脳波に関する指標を割り当てることで、呼吸の影響を回避したモデルを生成してもよい。
　脳波の影響により覚醒状態となる感情種別としては、「楽しい」、「喜び」、「怒り」、「悲しみ」、「憂鬱」が知られている。また脳波の影響で不覚醒状態となる感情種別としては、「憂鬱」、「退屈」、「リラックス」、「落ち着き」が知られている。これらの事実を示す医学的エビデンスにより感情種別情報テーブル１２１が生成される。
　この例が感情種別情報テーブル１２１における指標ＩＤデータが「ＶＳ０１」のレコードで、指標名称データとして「脳波のβ波／α波」、センサデータとして「脳波センサ」、説明データとして「脳波のβ波が相対的に増大」、感情軸データとして「覚醒-不覚醒」、正側感情種別データとして「楽しい、喜び、怒り、悲しみ、憂鬱」、そして負側感情種別データとして「不愉快、不安、恐怖、リラックス、落ち着き」が記憶されている。
　そこで、生成部１３２は、「覚醒-不覚醒」を縦軸に割り当て、「強い感情－弱い感情」を横軸に割り当てる。
　そして、生成部１３２は、指標ＩＤデータ「ＶＳ０１」及び「ＶＳ０２」における各感情種別が、正側感情種別あるいは負側感情種別のどちら側に割り当てられているか、と言った解析処理に基づき、各感情種別を縦軸が「覚醒－不覚醒（正側－負側）」、横軸が「強い感情－弱い感情（正側－負側）」で形成される２次元ユークリッド空間の対応する象限に配置する。
　具体的には、生成部１３２は、第１象限に「楽しい」、「喜び」、「怒り」、「悲しみ」、第２象限に「憂鬱」、第３象限に「リラックス」、「落ち着き」、そして第４象限に「不安」、「恐怖」、「不愉快」といった感情種別を配置する。
　このように、生成部１３２は、感情種別情報テーブル１２１から、脳波に基づき覚醒度を表す指標と、心拍に基づき感情の強度を表す指標と、のそれぞれに対応する感情種別を取得する。
　これにより、大脳新皮質の活性状態から脳波のβ波／α波に基づく覚醒度を推定可能な脳波センサを用いることで、呼吸の影響が回避される。
　上記にモデルの生成方法を説明したが、図５に示す具体例により、具体的データをあげて説明する。図６は、この具体例により作成される具体的モデルの座標平面の一例を示す図である。
　図５に示すように、座標平面の縦軸は指標ＩＤデータ「ＶＳ０１」の感情軸「覚醒-不覚醒」で、当該縦軸の正側に位置する感情種別は正側感情種別の「楽しい」、「喜ぶ」、「怒り」、「悲しみ」、「憂鬱」となり、また当該縦軸の負側に位置する感情種別は負側感情種別の「不愉快」、「不安」、「恐怖」、「リラックス」、「落ち着き」となる。
　他方、座標平面の横軸は指標ＩＤデータ「ＶＳ０２」の感情軸「強い感情-弱い感情」で、当該縦軸の正側に位置する感情種別は正側感情種別の「楽しい」、「喜ぶ」、「怒り」、「不安」、「恐怖」、「不愉快」となり、また当該縦軸の負側に位置する感情種別は負側感情種別の「憂鬱」、「退屈」、「リラックス」、「落ち着き」となる。
　なお、これらは図３に示した感情種別情報に基づき決定される。
　生成部１３２は、次に同じ感情種別が、縦軸及び横軸において、正側、負側のどちらにあるかを判定し、その結果によりモデルの座標平面のどの象限に配置するか決定する。例えば、生成部１３２は、感情種別「楽しい」は、縦軸（「覚醒-不覚醒」）の正側に位置し、横軸（「強い感情-弱い感情」）の正側に位置するので、「第１象限」となる。
　このような処理を各感情種別で行うことにより、図６に示すように、第１象限の領域２１０には「楽しい」、「喜び」、「怒り」、「悲しみ」の感情種別が、第２象限の領域２２０には「憂鬱」の感情種別が、第３象限の領域２３０には「リラックス」、「落着き」の感情種別が、また、第４象限の領域２４０には「不安」、「恐怖」、「不愉快」の感情種別が配置される。
　さらに、図７に示すように、生成部１３２は、図５の方法で不採用となった感情種別を、２つの象限の間の領域に配置してもよい。図７は、モデルの座標平面の一例を示す図である。
　モデルの座標平面への配置で不採用となった感情種別は、モデルの座標平面の２軸の対象として選択された２つの感情指標の少なくとも一方において、当該感情種別データが存在しない場合に発生する。この場合、図５で示した方法では不採用と決定したが、別の考え方として、ある感情指標に相関性がない（正側及び負側感情種別が存在しない）場合は、０位置にある感情種別と判断できると言う考え方もできる。そこで本モデルの座標平面では、生成部１３２は、４象限の領域に加え、縦軸、横軸の０値近傍に領域を設定して、図５で示した方法では不採用と決定した感情種別を当該縦軸、横軸の０値近傍領域のいずれか（他指標における感情種別の正側及び負側位置に基づく）に配置する。
　前述の例では、図７に示すように、生成部１３２は、不採用となった感情種別「退屈」を、第２象限と第３象限の間の領域２２５（感情種別「退屈」を「覚醒－不覚醒」軸に対しては０（中立）として扱う）に配置する。
　このような方法によれば、図５で示した方法では不採用となる感情種別についても、生成部１３２は、第１象限と第２象限の間の領域２１５、第２象限と第３象限の間の領域２２５、第３象限と第４象限の間の領域２３５、第４象限と第１象限の間の領域２４５に感情種別を適切に配置することができる。
　なお、上述の説明では、医学的エビデンスの言語解析処理等により感情種別を各象限に配置する方法を提示したが、開発者等によるマニュアルにより感情種別を各象限に配置することも可能である。例えば、いろいろな状況下で被験者の生体信号を測定するとともに、抱く感情種別のアンケート調査を行う。そして、各状況下において、測定した生体信号に基づき感情マップの象限を算出し、当該算出した象限にアンケート結果の感情種別を配置する。このような方法により、感情マップの各象限に対して感情種別を設定することができる。
　特定部１３３は、被験者Ｕ０２の生体信号から得られた指標の値を基に、モデルを用いて被験者の感情種別を特定する。つまり、被験者Ｕ０２に装着されたセンサからの生体信号を解析処理して、対応する指標値に加工する。なお、生体信号を解析処理して、２種類の指標値を得ることになる。そして、当該指標値を生成したモデル（モデルの座標平面）に当てはめて、当該指標値が該当する領域の感情種別を被験者Ｕ０２の感情種別として特定する。
　このように、特定部１３３は、複数種の第１生体信号と第２生体信号を取得し、第１生体信号を感情の指標である第１指標値に変換し、第２生体信号を感情の指標である第２指標値に変換し、第１指標値と第２指標値の組み合わせで感情推定値が決定される感情モデルに、第１生体信号及び第２生体信号から変換された第１指標値及び第２指標値を適用して感情推定値を推定感情として決定する。
　提供部１３４は、特定した感情種別を端末装置２０に提供する。そして、特定された感情種別を被験者Ｕ０２等のユーザに表示等により提供することにより、被験者Ｕ０２等のユーザは被験者Ｕ０２の感情の把握、推定が可能となり、被験者Ｕ０２のトレーニング等に利用できるようになる。
　例えば、提供部１３４は、結果表示画面を端末装置２０のディスプレイ（液晶表示器等で構成）に表示させる。図８は、結果表示画面の一例を示す図である。
　図８に示すように、結果表示画面３０１には、各軸に割り当てられた指標、被験者の指標値、推定感情結果に関する感情種別、メッセージ等のテキスト情報やそれら内容を示唆する関連画像等が表示される。また、結果表示画面３０１には、感情マップが表示される。なお、これらの画像は、算出した指標値や推定感情結果に基づきコントローラ１３が生成する。
　感情マップは、モデルの座標平面に、被験者Ｕ０２の生体信号から得られた指標値をプロットした座標（被験者の感情座標）を示したものである。
　図８の例では、感情座標は第１象限にあるため、被験者Ｕ０２の感情は、「楽しい」、「喜び」、「怒り」、「悲しみ」のいずれかであると推定される。また、感情マップにプロットした位置に基づき、感情種別の強さをある程度、推定することも可能となる（原点から遠い程、当該感情種別の感情が強いと推定される）。あるいは、感情マップにプロットした位置に基づき、感情判定の精度を推定することも可能となる（原点から遠い程、当該感情種別に対する判定精度が高いと推定される）。
　ここでは、２つの指標が指定される場合の例について説明を行った。一方で、指定される指標は３つ以上であってもよい。例えば、３つの指標が指定された場合、生成部１３２は、感情種別を８個の象限（３次元空間）のいずれかに配置する。
　例えば、指標ＩＤデータが「ＶＳ０１」、「ＶＳ０２」、「ＶＳ０３」の感情軸を縦軸、横軸、奥行軸、所謂ＸＹＺの３次元軸として座標空間を定義する。そして、特定部１３３は、各生体信号に基づく３つの指標値を用いて当該座標空間にプロットし、当該プロットした点が位置する領域の空間に配置された感情種別を被験者の感情として特定する。
　また、上述の例において、２つの指標に対する判定閾値は各々１つであったが、２つ以上の判定閾値を用いても良い。例えば、脳波のβ波とα波の比に基づく第１指標を２つの判定閾値で層別して、第１指標に基づき３つの状態（脳波状態）に第１指標を層別しても良い。
　以上のような方法によれば、感情種別が配置される領域数が増加し、また使用する指標の種類も増加するので、より詳細な感情判定が可能となる。
　図９及び図１０を用いて、サーバ１０の実行する処理の流れを説明する。図９は、コントローラ１３（抽出部１３１）の行う抽出処理の流れを示すフローチャートである。この抽出処理は、例えばユーザの開始指令に基づき行われるが、ユーザは感情の推定を行う前にこの処理を実行させておく必要がある。また、図１０は、推定処理の流れを示すフローチャートである。この推定処理は、例えば、ユーザが感情の推定結果を欲する際のユーザの開始指令に基づき行われる。
　図９に示すように、ステップＳ１０１において、コントローラ１３（抽出部１３１）は、ｎに１を代入し、ステップＳ１０２に移る。ｎは、抽出対象の指標を識別する番号である。また、Ｘは抽出する指標の数である。Ｘは、ユーザが必要に応じて設定するが最低数は２となる。
　ステップＳ１０２において、コントローラ１３（抽出部１３１）は、生体信号に基づくｎ番目の指標を抽出し、ステップＳ１０３に移る。ステップＳ１０３において、コントローラ１３（抽出部１３１）は、抽出した指標によって特定される感情種別等のデータを抽出し、図３に示すような感情種別情報として指標ＩＤに紐づけて記憶し、ステップＳ１０４に移る。
　なお、コントローラ１３（抽出部１３１）は、例えば、医学に関する論文及び書籍に対して自然言語解析を行うことにより指標データ及び感情種別データを抽出する。
　また、コントローラ１３（抽出部１３１）は、人間がキーボード等の入力操作装置により入力した該当データを感情種別情報として記憶してもよく、あるいは医学データベースと言った社会的共用データベースから該当のデータを取り込み、感情種別情報として記憶してもよい。
　そして、ステップＳ１０４において、コントローラ１３（抽出部１３１）は、感情種別情報を抽出した指標の数ｎが設定数Ｘに達したか判定し、設定した数に達していれば処理を終え、達していなければ、ステップＳ１０５に移る。ステップＳ１０５において、コントローラ１３（抽出部１３１）は、感情種別情報を抽出した指標の数を示すカウンタ値ｎに１を加算してステップＳ１０２に戻る。つまり、感情種別情報を抽出した指標の数ｎが設定数Ｘに達するまで、ステップＳ１０２とステップＳ１０３の処理が繰り返されることになる。
　また、図１０に示すように、コントローラ１３（生成部１３２）は、ステップＳ２０１において、感情推定に用いる複数の指標値を決定し、ステップＳ２０２に移る。この決定は、たとえば、ユーザが推定を欲した感情を推定するのに必要な指標情報をコントローラ１３（提供部１３４）がユーザに提供し、ユーザが選択操作により選択した指標をコントローラ１３（生成部１３２）が取り込むことにより決定する。
　コントローラ１３（生成部１３２）は、ステップＳ２０２において、決定した指標値に対応するモデルを生成し、ステップＳ２０３に移る。なお、コントローラ１３（生成部１３２）は、図５に示す方法等によってモデルを生成することができる。
　コントローラ１３（生成部１３２）は、ステップＳ２０３において、決定した指標値に対応する生体信号をユーザに装着されたセンサ等から取得し、ステップＳ２０４に移る。なお、コントローラ１３（生成部１３２）は、取得した生体信号を必要に応じて加工処理して指標値に変換する。
　また、コントローラ１３（提供部１３４）はそれに先立ち、ユーザに装着する必要のあるセンサや、感情推定開始の案内等の情報をユーザに提供して、ユーザの準備を援助する。
　そして、コントローラ１３（生成部１３２）は、ステップＳ２０４において、取得した生体信号に基づく指標値を生成したモデルに適用し、図６等で説明した感情の推定方法に基づき、指標値に対応する感情種別を特定し、処理を終える。例えば、コントローラ１３（生成部１３２）は、モデルの座標平面に指標値をプロットした感情座標がどの象限に位置するかにより感情種別を特定する。
　使用する生体信号の指標を、脳波のβ波とα波の比に基づく指標（第１指標：覚醒度）と心拍の低周波成分に基づく指標（第２指標：感情強度）とした場合、これらの動作（感情推定装置の動作）を、感情推定装置の持つ感情推定モデル（感情マップ）の構成とコントローラの行う処理で表すと次のようになる。
　前記感情推定モデルは、脳波のβ波とα波の比に基づく第１指標を第１判定閾値で層別した２つの脳波状態（覚醒－不覚醒）と、心拍の低周波成分に基づく第２指標を第２判定閾値で層別した２つの心拍状態（強い感情－弱い感情）とで組み合わされた４つの組合状態（第１象限から第４象限）が形成され、当該４つの組合状態（第１象限から第４象限）のそれぞれに感情種別（第１象限：「楽しい」，「喜び」，「怒り」，「悲しみ」、第２象限：「憂鬱」、第３象限：「リラックス」，「落ち着き」、第４象限：「不安」，「恐怖」，「不愉快」）が設定されている。
　そして、前記コントローラは、被験者から取得した脳波に基づき算出した前記第１指標を第１判定閾値で層別して前記脳波状態（覚醒－不覚醒）を決定し、被験者から取得した心拍に基づき算出した前記第２指標を第２判定閾値で層別して前記心拍状態（強い感情－弱い感情）を決定し、決定した前記脳波状態と前記心拍状態に該当する前記モデルにおける前記組合状態（例えば、第１象限）を判定し、判定した当該組合状態（例えば、第１象限）に対応する感情種別（例えば、「楽しい」）を推定感情（例えば、「楽しい」）とする。
　サーバ１０は、指標の代わりに感情種別の指定を受け付け、指定された感情種別からモデルを生成してもよい。つまり、たとえば、ユーザがある感情種別の状態（発生に有無やその強さ）を知りたい場合に利用される方法である。
　このとき、コントローラ１３（生成部１３２）は、感情種別情報テーブル１２１から、指定された感情種別に対応する（正側感情種別あるいは負側感情種別に指定された感情種別が含まれる）２つ以上の指標を取得する。また、コントローラ１３（生成部１３２）は、２つ以上の指標のそれぞれに対応付けられた軸で定義される空間の各象限に、感情種別を配置したモデルを生成する。そして、被験者は感情種別情報テーブル１２１に基づく必要なセンサを装着し、コントローラ１３は当該センサから生体データを取得する。その後、生体情報に基づき、上述の方法と同様の方法で被験者の感情が推定されることとなる。
　これにより、分析者Ｕ０１が指標に関する十分な知見を持たない場合であっても、所望する感情種別の状態を推定した情報を得ることができる。
　このような感情推定装置のユーザインターフェイス例について説明する。図１１は、分析支援画面の一例を示す図である。図１１に示すように、分析支援画面３０２には、「感情種別を選択して検索ボタンを押してください。」というメッセージとともに、感情種別を複数選択可能なチェックボックス群が表示される。
　チェックボックスとともに表示される感情種別は、感情種別情報テーブル１２１における正側感情種別又は負側感情種別に含まれている感情種別のデータである。
　検索ボタンが押下されると、提供部１３４は、チェックボックスにより選択された感情種別の推定が可能な指標の組み合わせを特定し、特定した組み合わせに関する情報を検索結果として表示する。
　さらに、提供部１３４は、検索結果として表示した指標を得るために必要なセンサに関する情報を提供する。
　例えば、図１１で示すように、分析支援画面３０２において、分析者Ｕ０１は、「楽しい」及び「退屈」という感情種別を選択したものとする。すると、図３に示した感情種別情報テーブル１２１の各データに基づき、「楽しい」及び「退屈」という感情種別が含まれる（感情種別情報テーブル１２１における正側感情種別又は負側感情種別を検索）指標である「ＶＳ０２の心拍ＬＦ成分の標準偏差」と「ＶＳ０３の心拍間隔（ＲＲＩ）」が検索される。
　そして、分析支援画面３０２には、検索結果として、「心拍ＬＦ成分の標準偏差」と「心拍間隔（ＲＲＩ）」との組み合わせが表示される。また、分析支援画面３０２には、心拍ＬＦ成分の標準偏差と心拍間隔（ＲＲＩ）との組み合わせで分析を実施する場合に必要なセンサである「心拍センサ」が示される。ユーザはこの画面を確認して、「心拍センサ」を準備し、感情推定を行うことになる。
　図１２は、指標を特定する方法を説明する図である。なお、図１２の例は、分析者Ｕ０１が「楽しい」及び「退屈」の感情の分析を指定した場合のものである。図１２に示すように、提供部１３４は、感情種別情報テーブル１２１を参照し、各指標の感情種別に、分析者Ｕ０１によって選択された「楽しい」及び「退屈」が含まれているか否か（可又は不可）を確認する。
　そして、提供部１３４は、「楽しい」及び「退屈」の両方が可である指標の組み合わせを特定（採用）し、これら特定した指標に関する情報、および当該指標算出のためのセンサの情報を分析者Ｕ０１あるいは被験者に提供する。
　なお、採用数以上の指標が採用条件を満たす場合、提供部１３４は、あらかじめ決められた基準により自動的に指標の組み合わせを特定する。例えば、提供部１３４は、過去に選択された実績が多い指標の組み合わせを特定する、精度の高いと推定される指標の組み合わせを特定する、必要なセンサの普及率が高い指標の組み合わせを特定する、特定可能な感情種別がなるべく多い指標の組み合わせを特定する、と言った基準を設定すれば良い。
　また、提供部１３４は、組み合わせ可能な指標の組み合わせを分析者Ｕ０１に推薦し、分析者Ｕ０１がそこから選択した指標の組み合わせを採用するようにしてもよい。
　第１の実施形態で使用可能な生体信号は、これまでの説明で挙げられたものに限られない。例えば、感情種別情報テーブル１２１には、体表面温度、顔画像、瞳孔の開き具合といった生体信号から得られる指標に対応する感情種別が含まれていてもよい。覚醒度は、例えば体温、体表面温度、瞳孔径、脳波のゆらぎ、画像認識によって測定された眠気の度合い等であってもよい。
　また、端末装置２０に、サーバ１０の抽出部１３１、生成部１３２、特定部１３３及び提供部１３４と同等の機能（コントローラ１３が実現する機能）を実現する構成を設け、端末装置２０が上述のサーバ１０が行う感情推定動作を行うようにしても可能である。その場合、端末装置２０は、上述のサーバ１０と同等の構成となる。
　上述してきたように、第１の実施形態に係るサーバ１０のコントローラ１３は、生体信号に関する第１指標に関連付いた第１感情種別情報を取得し、生体信号に関する第２指標に関連付いた第２感情種別情報を取得し、第１指標における各状態である第１指標状態と、第２指標における各状態である第２指標状態との組み合わせで構成される各組合指標状態に、組み合わせた第１指標状態と第２指標状態に応じて第１感情種別情報と第２感情種別情報から選択された感情種別を関連づけた感情推定モデルを生成する。
　このように、生体信号に関する指標と感情種別とを対応付けた情報（感情種別情報テーブル１２１）に従ってモデルを生成することにより、生体信号に基づき高精度に感情を推定することができる。
　特に、感情種別情報テーブル１２１が医学的エビデンスに基づくものであれば、生体信号と感情との関連付けにおける誤差（かい離度合い）を小さくすることができる。
　また、感情種別情報テーブル１２１は、医学的エビデンスから抽出された情報により随時アップデート可能である。このように、感情種別情報テーブル１２１がアップデートされることにより、モデルの学習が進み、推定精度がさらに向上する。
［第２の実施形態］
　図８を用いて感情推定の結果表示画面の一例を説明したが、結果表示画面の表示形態はその利用形態によって適切なものとするのが好ましい。そこで、次に結果表示画面における他の表示形態に説明する。
　図１３は、第２の実施形態の結果表示画面の一例を示す図である。図８と同様に、図１３では、縦軸に覚醒状態を表す指標の指標値が割り当てられ、また横軸に感情の強度を表す指標の指標値が割り当てられている。
　コントローラ１３（提供部１３４）は、結果表示画面３０１において、被験者の感情が安定している（平静（通常）の状態）状態にあるかを示す。具体的には、コントローラ１３（提供部１３４）は、感情の安定領域を示す破線で囲まれた矩形の枠図形３０１１を表示し、被験者の推定感情の座標が当該枠図形３０１１内に存在するか否かにより、被験者の感情が安定しているか否かを示している（枠図形３０１１内が安定状態判定領域）。
　感情の安定領域は、例えば縦軸指標値および横軸指標値における最大値および最小値の所定係数を積算した値で制限される（縦軸、横軸における各最大値・最小値を規定）領域で、所定係数は実験等に基づき適切な値に設定される。
　例えば、縦軸指標値および横軸指標値が最大値を１、最小値が－１で規格化した場合は、前記係数は例えば０．２と言った１以下の適当な数値で設定される。この場合、枠図形３０１１の４頂点の座標は、（０．２,０．２）、（－０．２,０．２）、（０．２,－０．２）、（－０．２,－０．２）となる。
　そして、例えば、各指標値がいずれも－０．２～０．２の範囲内であれば、コントローラ１３（提供部１３４）は、感情安定領域の枠図形３０１１内に推定感情を示す感情座標に推定感情のマーク（図１０の例では星印）が表示する。さらにコントローラ１３（提供部１３４）は、「被験者の感情は安定しているようです。」というメッセージを表示する。このように、第２の実施形態によれば、被験者の感情が安定した状態にあるか否かを明示的に示すことが可能になる。
　なお、上述の例では、被験者の感情が安定した状態である旨を示唆するようにしたが、枠図形３０１１の位置および大きさを適当に設定することにより特定の感情状態にあるか否かを示唆することが可能となる。枠図形３０１１の適当な位置および大きさについては、確認したい状態に対応する感情座標の範囲を実験等等に基づき設定する等の方法により、規定することができる。例えば、工場における作業者を被験者とする場合、被験者が作業に集中しているとみなすことができる感情状態の範囲を枠図形３０１１として設定する。また、例えば、車両の運転者が被験者である場合、被験者が冷静に運転をしているとみなすことができる感情状態の範囲を枠図形３０１１として設定する。
　さらに、コントローラ１３（提供部１３４）は、軸のスケールを適当な形式に変化させてもよい。例えば、コントローラ１３（提供部１３４）は、指標値が小さいほどスケールを小さくするような非線形のスケールにすることで、感情座標の特定の範囲を詳細に示唆する等、利用目的や、推定感情種別あるいは指標種別の特性に応じた視認性の良い表示を行うことができる。
［第３の実施形態］
　推定感情の利用目的に応じて、感情の推定基準（閾値）を変化させる方が適切な場合がある。例えば、ホラー映画に対する評価について推定感情情報を使用する場合、狙いとする恐怖レベルに合わせて恐怖感情の閾値を変化させる、ホラー映画の視聴者の年齢に応じて恐怖感情の閾値を変化させる等の方法により、推定感情を用いた映画の評価が適切に行えると言ったことが考えられる。
　そこで、本第３の実施形態では、図１４に示すように、感情軸（縦軸、横軸の両方あるいは一方）の位置（原点）を移動し、感情判定の各象限の範囲を変更する。
　通常の感情判定では、縦軸３０１２ａ及び横軸３０１３ａは、各指標値が０である位置、すなわち原点で交差する感情マップを使用する。なお、縦軸３０１２ａ及び横軸３０１３ａは、説明のためのものであり、本実績形態３において実際には結果表示画面３０１に表示されない。
　しかし、上述のようなホラー映画において、より高い恐怖感を目標とする映画に対する評価の場合、通常より強い恐怖感に対応する閾値を用いた方が適切な評価が行えることになる。つまり、使用目的によっては感情マップにおける縦軸および横軸の位置を移動した方が適切な感情推定を行える場合がある。そこで、本実績形態３では、推定感情の利用目的に応じて、具体的には、推定感情を利用する装置に種別や、ユーザによる利用目的の入力、あるいはユーザによる感情軸位置調整操作に基づき、感情軸の位置（感情判定の判定閾値）を変更する。
　具体的には、コントローラ１３（提供部１３４）は、縦軸指標値および横軸指標値が最大値を１、最小値が－１で規格化した場合は、縦軸位置および横軸位置を利用目的に応じて、例えば０．２だけ負側に移動し、結果表示画面３０１の感情マップに表示する。つまり、横軸を覚醒度－０．２の位置（座標（０,－０．２）を通る水平線）に、縦軸を感情強度＋０．２の位置（座標（０.２,０）を通る垂直線））に移動する（交点座標は（０．２，－０．２）となる）。
　そして、コントローラ１３（提供部１３４）は、被験者の生体信号に基づく各指標値の座標位置にマーク（例えば、星印）を表示する。被験者の感情座標は、縦軸３０１２ａ及び横軸３０１３ａを基準とした場合（軸移動前）、第４象限に位置する。従って、この場合、被験者は恐怖を感じていることが推定される。
　他方、被験者の感情座標は、縦軸３０１２ｂ及び横軸３０１３ｂを基準とした場合（軸移動後）、第２象限に位置する。この場合、被験者は狙いとする強度の恐怖を感じていないことが推定される。この場合、例えば、コントローラ１３（提供部１３４）は、「被験者は、十分に恐怖を感じていないことが推定されます。」というメッセージを結果表示画面３０１に表示する。
　このように、縦軸及び横軸の位置を、推定感情の利用目的等に応じて移動させることにより、各象限の領域を調整することができる。つまり、推定感情の利用目的等に応じて感情の推定結果を調整することができる。例えば、ホラー映画のようなコンテンツの評価において、作成が目標とする視聴者に与える恐怖のレベルに応じた感情（恐怖）の評価が可能となる。
［感情種別情報について］
　図３に示す感情種別情報テーブル１２１は、適宜更新されてもよい。例えば、図３の感情種別情報テーブル１２１において、指標ＩＤデータが「ＶＳ０１」のレコードの「正側感情種別」及び「負側感情種別」には、「退屈」というキーワードが含まれていない。
　この場合、「退屈」という感情と脳波の関係に関し、医学的エビデンスが新たに発見されれば、あるいは実験等により証明等がなされれば、当該医学的エビデンスや実験等の内容を基に、指標ＩＤデータが「ＶＳ０１」のレコードの「正側感情種別」あるいは「負側感情種別」の該当する側にキーワード「退屈」が追加してもよい。
　また、医学的エビデンス等に基づき、感情推定に適した新たな指標が発見された場合には、当該指標について新たなデータレコードを生成し、当該使用に対応するセンサ種別、説明、感情軸等の各データを記憶してもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　Ｎ　ネットワーク
　Ｕ０１　分析者
　Ｕ０２　被験者
　１　推定システム
　１０　サーバ
　１１　通信部
　１２　記憶部
　１３　コントローラ
　２０　端末装置
　３１、３２　センサ
　１２１　感情種別情報テーブル
　１３１　抽出部
　１３２　生成部
　１３３　特定部
　１３４　提供部
　２１０、２１５、２２０、２２５、２３０、２３５、２４０、２４５　領域
　３０１　結果表示画面
　３０２　分析支援画面

Claims (10)

  1. 　感情を推定するための感情推定装置であって、コントローラと感情推定モデルとを備え、
    　前記感情推定モデルは、
    　　脳波のβ波とα波の比に基づく第１指標を第１判定閾値で層別した２つの脳波状態と、心拍の低周波成分に基づく第２指標を第２判定閾値で層別した２つの心拍状態とで組み合わされた４つの組合状態が形成され、当該４つの組合状態のそれぞれに感情種別が設定されており、
    　前記コントローラは、
    　　被験者から取得した脳波に基づき算出した前記第１指標を前記第１判定閾値で層別して前記脳波状態を決定し、
    　　被験者から取得した心拍に基づき算出した前記第２指標を前記第２判定閾値で層別して前記心拍状態を決定し、
    　　決定した前記脳波状態と前記心拍状態に該当する前記感情推定モデルにおける前記組合状態を判定し、判定した当該組合状態に対応する感情種別を推定感情とする
    　感情推定装置。
  2. 　前記感情推定モデルは、
    　前記第１指標が前記第１判定閾値より大きく、前記第２指標が前記第２判定閾値より大きい前記組合状態には、「楽しい」、「喜び」、「怒り」、または「悲しみ」の感情種別が設定され、
    　前記第１指標が前記第１判定閾値より大きく、前記第２指標が前記第２判定閾値より小さい前記組合状態には、「憂鬱」の感情種別が設定され、
    　前記第１指標が前記第１判定閾値より小さく、前記第２指標が前記第２判定閾値より小さい前記組合状態には、「リラックス」、または「落ち着き」の感情種別が設定され、
    　前記第１指標が前記第１判定閾値より小さく、前記第２指標が前記第２判定閾値より大きい前記組合状態には、「不安」、「恐怖」、または「不愉快」の感情種別が設定された
    　請求項１に記載の感情推定装置。
  3. 　前記コントローラは、
    　調整操作入力に基づき前記第１判定閾値または前記第２判定閾値を調整する
    　請求項１に記載の感情推定装置。
  4. 　前記コントローラは、
    　推定感情の利用目的を推定し、
    　推定した前記利用目的に基づき前記第１判定閾値または前記第２判定閾値を調整する
    　請求項１に記載の感情推定装置。
  5. 　前記コントローラは、
    　前記第１指標または前記第２指標として使用する指標種別を選択する選択操作を入力し、
    　前記選択操作により選択された前記指標種別に対応する種別の生体センサ種別を報知する
    　請求項１に記載の感情推定装置。
  6. 　前記コントローラはディスプレイに、
    　　前記第１指標を縦軸、前記第２指標を横軸とする感情マップを表示し、
    　　前記感情マップにおける、生体信号に基づき算出された前記第１指標と前記第２指標からなる座標位置にマーク画像を表示し、
    　　推定した感情に関するテキスト情報を表示する
    　請求項１に記載の感情推定装置。
  7. 　感情を推定するための感情推定装置であって、コントローラと感情推定モデルとを備え、
    　前記感情推定モデルは、
    　　心拍の間隔に基づく第１指標を第１判定閾値で層別した２つの心拍間隔状態と、心拍の低周波成分に基づく第２指標を第２判定閾値で層別した２つの心拍低周波状態とで組み合わされた４つの組合状態が形成され、当該４つの組合状態のそれぞれに感情種別が設定されており、
    　前記コントローラは、
    　　被験者から取得した脳波に基づき算出した前記第１指標を前記第１判定閾値で層別して前記心拍間隔状態を決定し、
    　　被験者から取得した心拍に基づき算出した前記第２指標を前記第２判定閾値で層別して前記心拍低周波状態を決定し、
    　　決定した前記心拍間隔状態と前記心拍低周波状態に該当する前記感情推定モデルにおける前記組合状態を判定し、判定した当該組合状態に対応する感情種別を推定感情とする
    　感情推定装置。
  8. 　前記感情推定モデルは、
    　前記第１指標が前記第１判定閾値より大きく、前記第２指標が前記第２判定閾値より大きい前記組合状態には、「楽しい」、「喜び」、「怒り」、または「不安」の感情種別が設定され、
    　前記第１指標が前記第１判定閾値より小さく、前記第２指標が前記第２判定閾値より小さい前記組合状態には、「憂鬱」、「退屈」、「リラックス」、または「落ち着き」の感情種別が設定され、
    　前記第１指標が前記第１判定閾値より小さく、前記第２指標が前記第２判定閾値より大きい前記組合状態には、「不愉快」、または「悲しみ」の感情種別が設定された
    　請求項７に記載の感情推定装置。
  9. 　感情を推定するための感情推定モデルの生成方法であって、
    　前記感情推定モデルは、
    　　脳波のβ波とα波の比に基づく第１指標を第１判定閾値で層別した２つの脳波状態と、心拍の低周波成分に基づく第２指標を第２判定閾値で層別した２つの心拍状態とで組み合わされた４つの組合状態の組合状態のそれぞれに推定結果として出力する感情種別を設定可能な空モデルを形成し、
    　外部情報から、前記２つの各脳波状態において抱く感情の種別である第１感情候補を抽出し、
    　　外部情報から、前記２つの各心拍状態において抱く感情の種別である第２感情候補を抽出し、
    　前記第１感情候補と前記第２感情候補において重複する重複感情種別と、当該重複感情種別が前記第１感情候補と前記第２感情候補として含まれる前記脳波状態と前記心拍状態を抽出し、
    　抽出した前記各脳波状態と前記心拍状態に対応する前記空モデルの組合状態に対して該当の前記重複感情種別を設定する
    　感情推定モデル生成方法。
  10. 　前記第１指標は、外部情報から抽出された脳波のβ波とα波の比と感情の関係に関する情報に基づき決定され、
    　前記第２指標は、外部情報から抽出された心拍の低周波成分と感情の関係に関する情報に基づき決定される
    　請求項９に記載の感情推定モデル生成方法。
PCT/JP2022/048421 2021-12-28 2022-12-27 感情推定装置及び感情推定モデル生成方法 WO2023127930A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021214570 2021-12-28
JP2021-214570 2021-12-28

Publications (1)

Publication Number Publication Date
WO2023127930A1 true WO2023127930A1 (ja) 2023-07-06

Family

ID=86999134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/048421 WO2023127930A1 (ja) 2021-12-28 2022-12-27 感情推定装置及び感情推定モデル生成方法

Country Status (1)

Country Link
WO (1) WO2023127930A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146173A (ja) * 2015-01-30 2016-08-12 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2017042544A (ja) * 2015-08-28 2017-03-02 シャープ株式会社 着座姿勢調整装置
JP2020185138A (ja) * 2019-05-14 2020-11-19 学校法人 芝浦工業大学 感情推定システム、および感情推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146173A (ja) * 2015-01-30 2016-08-12 パナソニック株式会社 刺激提示システム、刺激提示方法、コンピュータ、および制御方法
JP2017042544A (ja) * 2015-08-28 2017-03-02 シャープ株式会社 着座姿勢調整装置
JP2020185138A (ja) * 2019-05-14 2020-11-19 学校法人 芝浦工業大学 感情推定システム、および感情推定装置

Similar Documents

Publication Publication Date Title
Marinescu et al. Physiological parameter response to variation of mental workload
EP3384437B1 (en) Systems, computer medium and methods for management training systems
Arguel et al. Inside out: detecting learners’ confusion to improve interactive digital learning environments
Islam et al. Automatic detection and prediction of cybersickness severity using deep neural networks from user’s physiological signals
JP2020500360A (ja) バイオマーカーまたは他のタイプのマーカーとして構成される認知プラットフォーム
JP2021516099A (ja) 免疫介在性および神経変性障害をターゲットとする認知スクリーン、モニタ、および認知治療
CA2950906A1 (en) Multimodal health assessment with neuro-opthalmological saccade tests
US20140114212A1 (en) Apparatus and method for the assessment of neurodevelopmental disorders
Lazzeri et al. Can a humanoid face be expressive? A psychophysiological investigation
JP7442596B2 (ja) ナビゲーション課題を使用するバイオマーカーの識別およびナビゲーション課題を使用する治療のためのプラットフォーム
US20200402643A1 (en) Cognitive screens, monitor and cognitive treatments targeting immune-mediated and neuro-degenerative disorders
CN109152559A (zh) 用于定量评估视觉运动神经响应的方法和系统
Liu Investigating the impact of cognitive style on multimedia learners’ understanding and visual search patterns: an eye-tracking approach
CN113192600A (zh) 基于虚拟现实和眼动追踪的认知评估与矫正训练系统
Auccahuasi et al. Analysis of the comparison of the levels of concentration and meditation in the realization of academic activities and activities related to videogames, based on brain computer interface
López et al. Data analysis from cognitive games interaction in Smart TV applications for patients with Parkinson's, Alzheimer's, and other types of dementia
WO2023127930A1 (ja) 感情推定装置及び感情推定モデル生成方法
Yadav et al. Cradle: An IOMT psychophysiological analytics platform
US10395548B1 (en) Computer-based system for relational modality assessment with projective testing
Sharifara et al. A robot-based cognitive assessment model based on visual working memory and attention level
Destyanto Emotion Detection Research: A Systematic Review Focuses on Data Type, Classifier Algorithm, and Experimental Methods
JP2023178077A (ja) 感情推定装置、感情推定方法及び感情推定システム
Felisatti et al. Experimental methods in embodied cognition: How cognitive psychologists approach embodiment
Ji et al. Diagnostic and rehabilitation system for Alzheimer’s disease based on virtual reality technology in rehabilitation rooms
US20240032833A1 (en) Systems and methods for assessment in virtual reality therapy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916152

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023571085

Country of ref document: JP