WO2023233979A1 - 気分推定プログラム - Google Patents

気分推定プログラム Download PDF

Info

Publication number
WO2023233979A1
WO2023233979A1 PCT/JP2023/018025 JP2023018025W WO2023233979A1 WO 2023233979 A1 WO2023233979 A1 WO 2023233979A1 JP 2023018025 W JP2023018025 W JP 2023018025W WO 2023233979 A1 WO2023233979 A1 WO 2023233979A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
mood
brain wave
score
electroencephalogram
Prior art date
Application number
PCT/JP2023/018025
Other languages
English (en)
French (fr)
Inventor
宏樹 渡部
綾 井原
康 成瀬
幸平 伏田
Original Assignee
国立研究開発法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人情報通信研究機構 filed Critical 国立研究開発法人情報通信研究機構
Publication of WO2023233979A1 publication Critical patent/WO2023233979A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a mood estimation program.
  • Non-Patent Document 1 brain waves are measured while a subject is performing a task with auditory stimulation, and the latency, amplitude, etc. of event-related potential components (N1, P300) are used as feature quantities. , a method for identifying whether or not someone has major depression has been disclosed.
  • the above-mentioned conventional technology measures brain waves under a special condition in which a task is performed in response to a simple sound stimulus (a sound stimulus delivered at a fixed stimulus interval of 2000 milliseconds at 85 [decibels]). It does not use brain waves in response to audio information heard during the day to estimate mood.
  • One aspect of the present invention has been made in view of these circumstances, and its purpose is to estimate an individual's mental state, particularly the level of depression, from the brain's response to everyday audio information.
  • the purpose of the present invention is to provide an estimation device etc. that
  • the present invention adopts the following configuration in order to solve the above-mentioned problems.
  • the mood estimation program includes a step of acquiring a subject's brain waves, which are brain waves of the subject while listening to the voice uttering the sentence, and a step of acquiring the subject's brain waves, which are the brain waves of the subject while listening to the voice uttering the sentence; an electroencephalogram encoding step of generating an electroencephalogram feature quantity from a human's brain waves while listening, the electroencephalogram encoding step generating a subject electroencephalogram feature quantity as the electroencephalogram feature quantity from the subject brainwave, and at least the electroencephalogram feature quantity; is an estimation model that receives as input and estimates a mood score indicating the level of depressed mood of the human, the estimation model is generated by performing machine learning using a plurality of learning data sets, and is generated by performing machine learning using a plurality of learning data sets.
  • Each of the sets includes at least the height of the depressive mood of the learning subject with respect to the subject's brain wave feature quantity, which is the brain wave feature quantity generated from the brain waves of the learning subject while listening to the voice of the learning subject speaking the sentence.
  • the subject mood score which is the mood score indicated, is configured by being associated with each other, and the machine learning is performed when the subject brain wave feature amount is received as input for each of the plurality of learning data sets.
  • the method includes a training step of training the estimation model so that the mood score estimated by the estimation model matches the subject mood score. estimating the subject's mood score, which is the mood score indicating the height of the subject's depressed mood.
  • the mood estimation program is configured to calculate the mood estimation program from the target person's brain wave feature amount generated from the target person's brain waves while listening to “sounds of uttering sentences” such as news sounds and conversation sounds. , the subject's mood score indicating the level of the subject's depressed mood is estimated.
  • the mood estimation program inputs the subject's brain wave feature amount into the estimation model generated by performing the machine learning using the plurality of learning data sets in a computer. Have them estimate their mood score.
  • the learning data set is configured to at least evaluate the depressive mood of the human being (the learning subject) with respect to the brain wave feature amount (subject brain wave feature amount) generated from the brain waves of the person (the learning subject) while listening to the audio of the person uttering a sentence. It is configured by associating mood scores (subject mood scores) that indicate height. Furthermore, performing the machine learning may include, for each of the plurality of learning data sets, adjusting the estimated mood score such that the mood score estimated by the estimation model from the subject brain wave feature amount matches the subject mood score. Includes a training step to train the model.
  • the present inventors have proposed that the data generated by performing the machine learning using the plurality of learning data sets, each of which is configured by associating the subject's mood score with the subject's brain wave feature, are The estimation accuracy of the estimation model was verified and the following verification results were obtained. That is, it was confirmed that the AUC (Area Under the Roc Curve) of the estimated model was "0.73". Additionally, the estimation model identified 66% of people with a high depressive mood (those with a BDI score of 14 or higher calculated from responses to the Beck Depression Inventory) as having a high depressive mood. .
  • the computer inputs the subject's brain wave feature amount generated from the subject's brain waves while listening to "sounds of uttering sentences" such as news sounds and conversation sounds into the estimation model. , the subject mood score can be estimated with high accuracy.
  • the computer classifies the computer into at least one of three categories: negative, neutral, and positive in the electroencephalogram encoding step. Based on the brain waves of a person while listening to the audio of the sentence being uttered and the information indicating which of the at least three categories the sentence is classified into, the brain wave feature amount corresponding to the category into which the sentence is classified is determined. is generated as the electroencephalogram feature, and when the estimation model receives an electroencephalogram feature corresponding to the category into which the sentence is classified as the electroencephalogram feature, the estimation model estimates the mood score and calculates the subject's electroencephalogram.
  • the feature amount is an electroencephalogram corresponding to the negative category, which is generated from the average of a plurality of brain waves of the learning subject while listening to audio uttering sentences each classified into the negative category.
  • a second brain wave feature of the subject which is a brain wave feature corresponding to the neutral category, and a plurality of brain waves of the learning subject, each of which is the brain wave of the learning subject while listening to a voice uttering a sentence classified into the positive category.
  • a third brain wave feature of the subject which is a brain wave feature corresponding to the positive category, generated from the average of the brain waves
  • performing the machine learning includes, for each of the plurality of learning data sets, Training the estimation model so that the mood score estimated by the estimation model when the subject first brain wave feature is input as the brain wave feature corresponding to the negative category matches the subject mood score. and a first training step in which the mood score estimated by the estimation model when the subject second brain wave feature is input as the brain wave feature corresponding to the neutral category matches the subject mood score.
  • the subject mood score may be estimated by inputting it into the estimation model as a quantity.
  • the learning data set includes brain wave features (the subject's first brain wave feature, the subject's second brain wave feature, and the subject's third brain wave feature) corresponding to each of at least three categories of negative, neutral, and positive. It is constructed by associating the subject's mood score with the feature quantity).
  • the estimated model is generated by performing the machine learning including the first training step, the second training step, and the third training step using the learning data set. . Therefore, the estimation model can estimate the mood score indicating the degree of depression of the person from the electroencephalogram feature amount corresponding to each category.
  • the computer executes a classification information acquisition step of acquiring the classification information.
  • the classification information may be obtained from outside the computer.
  • the computer may generate the classification information and acquire the generated classification information in the classification information acquisition step.
  • the classification information may be generated analogously (for example, by a human classifying the text into one of the at least three categories).
  • a classification model generated by implementing machine learning using multiple learning datasets each composed of a combination of a sentence and a classification result, the sentence can be classified into any of the at least three categories.
  • the classification information may be generated by classifying the information.
  • the classification information may be generated on a rule basis or on a model basis.
  • the computer determines the subject's brain waves corresponding to the category indicated by the classification information from the subject's brain waves while listening to the speech of the subject speaking sentences classified into the category indicated by the classification information. Generate features. Then, the computer estimates the subject mood score by inputting the subject brain wave feature amount corresponding to the category indicated by the classification information into the estimation model.
  • the computer analyzes the brain waves of the subject while listening to the audio of the sentence being uttered, and the classification indicating whether the sentence is classified into at least three categories: negative, neutral, or positive. From the information, the subject's mood score indicating the level of depressed mood of the subject can be estimated.
  • the mood estimation program according to the third aspect is the mood estimation program according to the first or second aspect, in which, in the electroencephalogram encoding step, the brainwaves of a human being listening to a voice uttering a sentence are transmitted to the computer. and the start time of each word included in the sentence that the person is listening to as audio, at least one of the peak latency and the average amplitude before and after the peak of a predetermined component in the brain wave response of the person to the word,
  • the subject's brain wave feature is generated as the brain wave feature, and the subject's brain wave feature is a combination of the brain waves of the learning subject while listening to the audio of the sentence being uttered, and the words of each word included in the sentence that the learning subject was listening to as audio.
  • the subject mood score may be estimated by inputting the subject brain wave feature amount to the estimation model.
  • the electroencephalogram feature amount is at least one of a peak latency and an average amplitude before and after the peak of the predetermined component in an electroencephalogram response to a word included in a sentence.
  • the predetermined component is, for example, at least one component that has a peak around 100 milliseconds, around 200 milliseconds, and around 400 milliseconds after presentation of the word.
  • the learning data set is configured by associating the subject's mood score with at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response to the learning subject's words.
  • the estimated model is generated by performing the machine learning using the learning data set.
  • the estimation model estimates the mood score indicating the height of a human's depressed mood from at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the electroencephalogram response to words included in the sentence. be able to.
  • the computer executes an onset information acquisition step of acquiring the onset information.
  • the computer calculates at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response to the word of the subject from the subject's brain wave and the onset information, and calculates the subject's brain wave feature amount. Generate as.
  • the computer estimates the subject's mood score by inputting at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response to the subject's words into the estimation model. let
  • the computer determines the subject's depressive mood based on the brain waves of the subject while listening to the audio of the sentence being uttered and the onset information indicating the start time of each word included in the sentence. It is possible to estimate the subject's mood score, which indicates the height of the subject's mood.
  • the mood estimation program according to the fourth aspect is configured to cause the computer, in the electroencephalogram encoding step, to record a message when listening to a voice uttering a sentence. From the human's brain waves and the voice envelope of the voice that the human is listening to, at least one of the peak latency and the average amplitude before and after the peak of a predetermined component in the brain wave response that follows the human's voice envelope is calculated. Generated as an electroencephalogram feature quantity, and the subject electroencephalogram feature quantity is generated from the brain waves of the learning subject when listening to the voice uttering the sentence and the audio envelope of the voice that the learning subject was listening to.
  • the subject mood score may be estimated.
  • the electroencephalogram feature amount is at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the electroencephalogram response that follows the audio envelope of the audio being listened to.
  • the predetermined component is, for example, at least one component having a peak around 50 milliseconds, around 150 milliseconds, or around 250 milliseconds in an electroencephalogram response analyzed based on a voice envelope.
  • the learning data set is configured by associating the subject's mood score with at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response that follows the speech envelope of the learning subject. be done.
  • the estimated model is generated by performing the machine learning using the learning data set.
  • the estimation model estimates the mood score indicating the height of a human's depressed mood from at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the electroencephalogram response that follows the speech envelope. I can do it.
  • the computer executes an envelope information acquisition step of acquiring the envelope information.
  • the computer calculates at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response that follows the speech envelope of the subject based on the subject's brain wave and the envelope information. Generate as a feature.
  • the computer inputs at least one of the peak latency and the average amplitude before and after the peak of the predetermined component in the brain wave response that follows the speech envelope of the subject into the estimation model, thereby determining the subject's mood. Have them estimate the score.
  • the computer determines the degree of depressive mood of the subject based on the brain waves of the subject while listening to the voice uttering a sentence and the envelope information indicating the audio envelope of the voice.
  • Subject mood scores can be estimated.
  • a mood estimation program is a mood estimation program according to any one of the first to fourth aspects, in which the estimation model further listens to audio of the sentence being uttered in addition to the electroencephalogram feature amount.
  • a subjective score indicating the subjective evaluation of the human being regarding the sentence is accepted as input
  • the mood score is estimated from the inputted electroencephalogram feature amount and the subjective score
  • the plurality of learning data sets are , respectively, for the subject's electroencephalogram feature amount and the subject's subjective score, which is the subjective score indicating the subjective evaluation that the learning subject felt about the sentence after listening to the voice uttering the sentence.
  • the machine learning is configured by associating subject mood scores, and performing the machine learning means that when the subject brain wave feature amount and the subject subjective score are inputted, the estimation model a training step of training the estimation model so that the mood score estimated by the subject matches the subject's mood score;
  • a subject subjective score acquisition step is further executed to obtain a subject subjective score, which is the subjective score indicating the subjective evaluation felt by the subject, and in the estimation step, the subject brain wave feature amount and the subject subjective score are
  • the subject mood score may be estimated by inputting the above into the estimation model.
  • the learning data set includes the subject's brain wave feature amount and the subjective score (subject's subjective score) indicating the subjective evaluation felt by the learning subject regarding the text listened to as audio. It is constructed by associating subject mood scores. Furthermore, performing the machine learning means that, for each of the plurality of learning data sets, the mood score estimated by the estimation model when the subject electroencephalogram feature amount and the subject subjective score are inputted is the subject's mood score. a training step of training the estimated model to match a mood score. Therefore, the estimation model calculates the mood score, which indicates the degree of depression of the human, from the electroencephalogram feature amount and the subjective score, which indicates the subjective evaluation that the human felt about the text heard as audio. can be estimated.
  • the present inventors have proposed that the machine learning is carried out using the plurality of learning data sets configured by associating the subject's mood score with the subject's electroencephalogram feature and the subject's subjective score, respectively.
  • the estimation accuracy of the estimation model generated by this method was verified, and the following verification results were obtained. That is, it was confirmed that the AUC of the estimated model was "0.83".
  • the estimation model identified 78% of the people with a high depressive mood as having a high depressive mood.
  • the computer executes a subject subjective score acquisition step of acquiring the subject subjective score.
  • the computer estimates the subject's mood score by inputting the subject's brain waves and the subject's subjective score into the estimation model.
  • the computer calculates the subject's subjective score based on the subject's brain waves while listening to the voice uttering the sentence and the subject's subjective score indicating the subjective evaluation that the subject felt about the sentence.
  • the subject's mood score which indicates the level of the subject's depressed mood, can be estimated with high accuracy.
  • a mood estimation program is a mood estimation program according to any one of the first to fifth aspects, which causes the computer to send information corresponding to the subject mood score estimated in the estimation step. , you may further perform an output step of outputting to the target person.
  • the computer outputs (for example, notifies) information corresponding to the subject mood score to the subject.
  • the information corresponding to the subject mood score may be the subject mood score itself.
  • the information corresponding to the subject's mood score may be information indicating the level of the subject's depressed mood, which is indicated by the subject's mood score.
  • the information corresponding to the subject mood score may be information including advice to the subject corresponding to the subject mood score.
  • the computer may output the subject mood score to the subject, thereby making the subject aware of his or her own state of mind, such as depression.
  • the computer outputs to the target person information that corresponds to the target person's mood score and includes advice to the target person, thereby providing the target person with information such as blocking information that is mentally burdensome. , can encourage actions to maintain good mental health.
  • the information corresponding to the subject mood score may be information that relaxes the subject, for example, relaxes the subject. It may be music, video, etc.
  • the computer can output information corresponding to the degree of depression of the subject indicated by the subject's mood score to the subject as "information corresponding to the subject's mood score.”
  • the computer does not emit unusual (special) sounds as described in Non-Patent Document 1, but rather sounds that the target person hears on a daily basis, such as news sounds and conversational sounds, such as "sentence utterances".
  • the subject's mood score is estimated from the subject's brain waves while listening to ⁇ . Therefore, the computer estimates the subject's mood score from the subject's brain waves in response to everyday audio information, and outputs the estimated subject's mood score to the subject, thereby making the subject feel It can make the subject aware of his or her state of mind, encourage action, and relax the subject.
  • one aspect of the present invention may be a computer or other device that executes the mood estimation program according to each of the above aspects, or a mood estimation program according to each of the above aspects. It may be a storage medium that stores the estimation program and is readable by a computer, other device, machine, or the like.
  • a computer-readable storage medium is a medium that stores information such as programs through electrical, magnetic, optical, mechanical, or chemical action.
  • an estimation device and the like that estimates an individual's mental state, especially the height of a depressed mood, from the brain's response to everyday audio information.
  • FIG. 1 schematically illustrates an example of a scene to which the present invention is applied.
  • FIG. 2 schematically illustrates an example of the hardware configuration of the model generation device according to the embodiment.
  • FIG. 3 schematically illustrates an example of the hardware configuration of the estimation device according to the embodiment.
  • FIG. 4 schematically illustrates an example of the software configuration of the model generation device according to the embodiment.
  • FIG. 5 schematically illustrates an example of each process of feature amount generation processing and learning processing executed by the model generation device according to the embodiment.
  • FIG. 6 schematically illustrates an example of the software configuration of the estimation device according to the embodiment.
  • FIG. 7 schematically illustrates an example of each process of the feature amount generation process and the mood estimation process executed by the estimation device according to the embodiment.
  • FIG. 8 illustrates an example of a processing procedure of the model generation device according to the embodiment.
  • FIG. 9 illustrates an example of a processing procedure of the estimation device according to the embodiment.
  • this embodiment is merely an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the invention. That is, in implementing the present invention, specific configurations depending on the embodiments may be adopted as appropriate. Although the data that appears in this embodiment is explained using natural language, more specifically, it is specified using pseudo language, commands, parameters, machine language, etc. that can be recognized by a computer.
  • FIG. 1 schematically illustrates an example of a scene to which the present invention is applied.
  • a mood estimation system 100 includes a model generation device 1 and an estimation device 2.
  • the model generation device 1 is a computer configured to perform machine learning of the estimation model 3.
  • the model generation device 1 performs machine learning of the estimated model 3 using the plurality of learning data sets 120.
  • Estimation model 3 indicates the level of a human's depressed mood, at least given the brain wave feature amount Fw generated from the brain waves of a human (learning subject and target person) while listening to the audio of a sentence being uttered. It is configured to perform an estimation task of estimating the mood score Sm (in other words, output an output value corresponding to the result of performing the estimation task).
  • the estimation model 3 calculates, in addition to the brain wave feature amount Fw generated from the brain waves of a person while listening to the audio of the sentence being uttered, the subjective evaluation that the person felt about the sentence after listening to it.
  • the subjective score Ss shown is received, and the mood score Sm is estimated from the electroencephalogram feature amount Fw and the subjective score Ss.
  • the "sound uttering a sentence” may be, for example, the voice uttering news (news voice), or the voice uttering the content of the conversation (conversation text) by the other party in the conversation (conversation voice). good. "Sounds uttering sentences” can be any sounds that are uttered by humans, machines, etc. other than the "human being whose brain waves are being measured,” and include sounds that humans hear on a daily basis (everyday sounds). It is. In this embodiment, news audio is used as the "audio that utters the text.”
  • sentences for example, news
  • sentences that humans listen to as audio are classified into at least three categories: negative, neutral, and positive.
  • Sentences that humans listen to as audio can at least give rise to negative, neutral, or positive emotions.
  • negative, neutral, and positive may be abbreviated as “Ng”, “Nt”, and “Ps”, respectively.
  • the classification of sentences that humans listen to as audio may be performed in an analog manner, for example, by statistically processing "categories into which the sentences have been classified by multiple people other than the person who listens to the audio of the sentences being uttered.” This may be used as a classification into which such sentences are classified. Furthermore, the classification of sentences may be automatically or semi-automatically performed by a classification device or the like. For example, by using a classification model generated by implementing machine learning using multiple learning datasets, each consisting of a combination of sentences and classification results (classifications), we can analyze sentences that humans listen to as speech. It may be classified into any of the at least three categories mentioned above. Sentence classification may be performed on a rule-based basis or on a model-based basis.
  • the brain waves may be those of a human while listening to the voice of a person speaking a sentence.
  • brain waves are identified from brain waves measured at each of a plurality of (for example, three) brain wave measurement points for a person while listening to the voice of the person speaking a sentence.
  • the electroencephalogram may be an electroencephalogram measured at one electroencephalogram measurement point for a person while listening to the human uttering a sentence.
  • Brain wave feature amounts Fw corresponding to each of the at least three categories are generated.
  • a first brain wave feature amount Fw(1) corresponding to the "Ng” category is generated from a human's brain waves while listening to a voice uttering a sentence classified in the "Ng” category.
  • a second brain wave feature amount Fw(2) corresponding to the "Nt” category is generated from the brain waves of a person while listening to the voice of a person speaking a sentence classified in the "Nt" category.
  • the third brain wave feature Fw(3) corresponding to the "Ps" category is generated from the brain waves of a human while listening to the speech of a sentence classified into the "Ps" category.
  • the estimation model 3 estimates the mood score Sm when given at least one of the first brain wave feature amount Fw (1), the second brain wave feature amount Fw (2), and the third brain wave feature amount Fw (3). (Output).
  • the first electroencephalogram feature Fw(1), the second electroencephalogram feature Fw(2), and the third electroencephalogram feature Fw(3) are not particularly distinguished from each other, they will be collectively referred to as " It is sometimes called "brain wave feature amount Fw".
  • the electroencephalogram feature amount Fw is at least one of the peak latency and the average amplitude before and after the peak of a predetermined component Pc of a human brain wave (electroencephalogram response) when listening to the voice of a person speaking a sentence.
  • a predetermined component Pc at least one of the peak latency and the average amplitude before and after the peak of a predetermined component Pc
  • a component feature amount Ifa at least one of the peak latency and the average amplitude before and after the peak of a predetermined component Pc
  • “brainwaves of a human while listening to the audio of a sentence being uttered” are defined as "brainwave responses to words (each word) included in the sentence that the human is listening to as audio” and "the audio envelope of the speech.”
  • At least one of the following is an electroencephalogram response that follows
  • the "predetermined component Pc" may be, for example, at least one component having a peak around 100 milliseconds, around 200 milliseconds, or around 400 milliseconds after presentation of the word.
  • the "predetermined component Pc" is, for example, around 50 milliseconds (or around 100 milliseconds), around 150 milliseconds (or around 200 milliseconds), or 250 milliseconds in the electroencephalogram response analyzed based on the speech envelope. It may be at least one component having a peak around (or around 400 milliseconds).
  • the subjective score Ss is a five-level evaluation of each of the difficulty level, interest level, emotional value, and arousal level that a person feels about the text (audio) after listening to the audio uttering the text. This is the information that it contains.
  • "Difficulty level” is a five-level evaluation of the perceived difficulty of the text (audio) heard.
  • the "interest level” indicates the level of interest felt in the text (audio) that the user has listened to, on a five-point scale.
  • “Emotional valence” is a 5-point evaluation that indicates whether the text (audio) heard was perceived as positive or negative.
  • Arousal degree indicates the degree to which emotions are aroused (from “strongly aroused” to "weakly aroused”) on a five-point scale.
  • the subjective score Ss is not limited to a 5-level evaluation of each of difficulty, interest, emotional valence, and arousal. It is acceptable as long as it indicates a subjective evaluation.
  • the mood score Sm may be, for example, a BDI score calculated from responses to a human Beck Depression Inventory (BDI). Moreover, the mood score Sm may indicate whether the human is in a high depressed mood, for example, it may indicate whether the BDI score is "14" or higher. However, the mood score Sm is not limited to these examples, and may be anything that can indicate the degree of depression in a person.
  • BDI Beck Depression Inventory
  • Each learning data set 120 used for machine learning of the estimation model 3 is composed of a combination of a subject's electroencephalogram feature amount 121, a subject's subjective score 122, and a subject's mood score 123.
  • the subject brain wave feature quantity 121 is an electroencephalogram feature quantity Fw generated from the brain waves of the learning subject while listening to the voice uttering the sentence.
  • the subject subjective score 122 is a subjective score Ss that indicates the subjective evaluation that the learning subject felt about the sentence after listening to the voice uttering the sentence.
  • the subject mood score 123 is a mood score Sm indicating the level of depressive mood of the learning subject, and indicates the correct answer of the estimation task for the subject electroencephalogram feature amount 121 and the subject subjective score 122.
  • Implementing machine learning in this embodiment includes the following training steps. That is, for each learning data set 120, when the subject's electroencephalogram feature amount 121 and the subject's subjective score 122 are given to the estimation model 3, the result (mood score Sm) of performing the estimation task of the estimation model 3 is the subject's mood score 123. includes a training step of training the estimated model 3 to match (match) the estimated model 3.
  • the model generation device 1 may learn the estimation model 3 by, for example, machine learning using a support vector machine (linear support vector machine).
  • the estimation model 3 generated by performing machine learning using a linear support vector machine can estimate whether a person is in a high depressed mood (for example, whether the BDI score is "14" or higher).
  • the estimation device 2 is an example of a computer that executes a mood estimation program (mood estimation program 82) according to the present invention, and uses a trained machine learning model (estimation model 3) generated by the model generation device 1. , a computer configured to perform an estimation task.
  • the estimation device 2 uses the trained estimation model 3 to perform an estimation task for the subject's electroencephalogram feature amount 221 and the subject's subjective score 9 (indicating the level of the subject's depressed mood).
  • the subject brain wave feature quantity 221 is an electroencephalogram feature quantity Fw generated from the subject's brain waves while listening to the voice of the subject speaking a sentence.
  • the subject subjective score 9 is a subjective score Ss indicating the subjective evaluation that the subject felt about the sentence after listening to the voice uttering the sentence.
  • each learning data set 120 may be configured by associating at least a subject mood score 123 with a subject electroencephalogram feature amount 121.
  • the training step includes estimating the mood score Sm estimated by the estimation model 3 so that it matches the subject mood score 123 when the subject brain wave feature amount 121 is given to the estimation model 3 for each learning data set 120. Any method that trains Model 3 may be used.
  • the estimation device 2 provides only the subject brain wave feature 221 to the estimation model 3. A person's mood score 223 can be estimated.
  • the model generation device 1 and the estimation device 2 are connected to each other via a network.
  • the type of network may be appropriately selected from, for example, the Internet, a wireless communication network, a mobile communication network, a telephone network, a dedicated network, and the like.
  • the method of exchanging data between the model generation device 1 and the estimation device 2 does not need to be limited to such an example, and may be appropriately selected depending on the embodiment.
  • data may be exchanged between the model generation device 1 and the estimation device 2 using a storage medium.
  • the model generation device 1 and the estimation device 2 are each configured by separate computers.
  • the configuration of the mood estimation system 100 according to the present embodiment does not need to be limited to such an example, and may be determined as appropriate according to the embodiment.
  • the model generation device 1 and the estimation device 2 may be an integrated computer.
  • at least one of the model generation device 1 and the estimation device 2 may be configured by a plurality of computers.
  • FIG. 2 schematically illustrates an example of the hardware configuration of the model generation device 1 according to this embodiment.
  • a control unit 11 a storage unit 12, a communication interface 13, an external interface 14, an input device 15, an output device 16, and a drive 17 are electrically connected.
  • the communication interface and external interface are described as "communication I/F” and "external I/F.” Similar notation is used in FIG. 3, which will be described later.
  • the control unit 11 includes a CPU (Central Processing Unit) that is a hardware processor, a RAM (Random Access Memory), a ROM (Read Only Memory), etc., and is configured to execute information processing based on programs and various data. Ru.
  • a CPU is an example of a processor resource.
  • a GPU Graphics Processing Unit
  • the storage unit 12 is an example of a memory resource, and includes, for example, a hard disk drive, a solid state drive, or the like. In this embodiment, the storage unit 12 stores various information such as a model generation program 81, a plurality of learning data sets 120, and learning result data 129.
  • the model generation program 81 is a program for causing the model generation device 1 to execute information processing (FIG. 5), which will be described later, regarding machine learning etc. of the estimated model 3, and includes a series of instructions for the information processing.
  • the plurality of learning data sets 120 are used for machine learning of the estimation model 3.
  • the learning result data 129 indicates information regarding the result of machine learning (in this embodiment, the trained estimation model 3 generated by machine learning). In this embodiment, the learning result data 129 is generated as a result of executing the model generation program 81.
  • the communication interface 13 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via a network.
  • the model generation device 1 may use this communication interface 13 to perform data communication with other information processing devices via a network.
  • the external interface 14 is, for example, a USB (Universal Serial Bus) port, a dedicated port, or the like, and is an interface for connecting to an external device.
  • the type and number of external interfaces 14 may be selected as appropriate depending on the type and number of external devices to be connected.
  • the model generation device 1 may be connected to the target detection device via at least one of the communication interface 13 and the external interface 14.
  • the input device 15 is, for example, a device for performing input such as a mouse or a keyboard.
  • the output device 16 is, for example, a device for outputting, such as a display or a speaker. An operator such as a user can operate the model generation device 1 by using the input device 15 and the output device 16.
  • the drive 17 is, for example, a CD drive, a DVD drive, etc., and is a drive device for reading various information such as programs stored in the storage medium 91.
  • the storage medium 91 stores information such as programs through electrical, magnetic, optical, mechanical, or chemical action so that computers, other devices, machines, etc. can read various information such as stored programs. It is a medium that accumulates by At least one of the model generation program 81 and the plurality of learning data sets 120 may be stored in the storage medium 91.
  • the model generation device 1 may acquire at least one of the model generation program 81 and the plurality of learning data sets 120 from the storage medium 91.
  • a disk-type storage medium such as a CD or a DVD is illustrated as an example of the storage medium 91.
  • the type of storage medium 91 is not limited to the disk type, and may be other than the disk type.
  • An example of a storage medium other than a disk type is a semiconductor memory such as a flash memory.
  • the type of drive 17 may be arbitrarily selected depending on the type of storage medium 91.
  • processor resources may include multiple hardware processors.
  • the hardware processor may include a microprocessor, a field-programmable gate array (FPGA), a digital signal processor (DSP), and the like.
  • the storage unit 12 may be configured by a RAM and a ROM included in the control unit 11. At least one of the communication interface 13, external interface 14, input device 15, output device 16, and drive 17 may be omitted.
  • the model generation device 1 may be composed of multiple computers. In this case, the hardware configurations of the computers may or may not match. Further, the model generation device 1 may be an information processing device designed exclusively for the provided service, or may be a general-purpose server device, a PC (Personal Computer), or the like.
  • FIG. 3 schematically illustrates an example of the hardware configuration of the estimation device 2 according to this embodiment.
  • a control section 21, a storage section 22, a communication interface 23, an external interface 24, an input device 25, an output device 26, and a drive 27 are electrically connected. It is a computer.
  • the control unit 21 to drive 27 and storage medium 92 of the estimation device 2 may be configured similarly to the control unit 11 to drive 17 and storage medium 91 of the model generation device 1, respectively.
  • the control unit 21 includes a CPU, which is a hardware processor, a RAM, a ROM, etc., and is configured to execute various information processing based on programs and data.
  • the control unit 21 may use a GPU instead of the CPU or together with the CPU.
  • the storage unit 22 includes, for example, a hard disk drive, a solid state drive, or the like.
  • the storage unit 22 stores various information such as a mood estimation program 82 and learning result data 129.
  • the mood estimation program 82 uses a trained machine learning model (in this embodiment, estimation model 3) to perform information processing (described later) to perform a predetermined estimation task on at least the subject brain wave feature amount 221. This is a program for causing the estimation device 2 to execute 7).
  • the mood estimation program 82 includes a series of instructions for the information processing. At least one of the mood estimation program 82 and the learning result data 129 may be stored in the storage medium 92. Further, the estimation device 2 may acquire at least one of the mood estimation program 82 and the learning result data 129 from the storage medium 92.
  • the processor resources of estimation device 2 may include multiple hardware processors.
  • the hardware processor may be comprised of a microprocessor, FPGA, DSP, or the like.
  • the storage unit 22 may be configured by a RAM and a ROM included in the control unit 21. At least one of the communication interface 23, external interface 24, input device 25, output device 26, and drive 27 may be omitted.
  • the estimation device 2 may be composed of a plurality of computers. In this case, the hardware configurations of the computers may or may not match. Further, the estimation device 2 may be an information processing device designed exclusively for the provided service, or may be a general-purpose server device, a general-purpose PC, or the like.
  • FIG. 4 schematically illustrates an example of the software configuration of the model generation device 1 according to this embodiment.
  • the control unit 11 of the model generation device 1 loads the model generation program 81 stored in the storage unit 12 into the RAM.
  • the control unit 11 uses the CPU to interpret and execute instructions included in the model generation program 81 expanded to the RAM, thereby controlling each component.
  • the model generation device 1 according to the present embodiment includes the subject brain wave acquisition unit 111, the basic information acquisition unit 112, the subject subjective score acquisition unit 113, the subject mood score acquisition unit 114, the coding unit 115, and the learning It operates as a computer including a processing section 116 and a storage processing section 117 as software modules. That is, in this embodiment, each software module of the model generation device 1 is realized by the control unit 11 (CPU).
  • the subject brain wave acquisition unit 111 acquires subject brain waves 4, which are the brain waves of the learning subject measured while listening to the audio of the subject speaking the sentence.
  • the subject brain wave acquisition unit 111 acquires the subject brain waves 4 of each of a plurality of learning subjects (in this embodiment, "135 learning subjects").
  • the subject brain wave acquisition unit 111 acquires a plurality of subject brain waves 4 of each learning subject for each category of "Ng", "Nt", and "Ps".
  • the subject brain wave acquisition unit 111 includes a subject first brain wave acquisition unit 111(1), a subject second brain wave acquisition unit 111(2), and a subject third brain wave acquisition unit 111(3). May contain.
  • the first subject brain wave acquisition unit 111(1) collects the brain waves of each learning subject while listening to the audio of each of a plurality of sentences (for example, five) uttered in the "Ng" category.
  • a plurality of (for example, five) subject first brain waves 4(1) of the subject are acquired.
  • the plurality of subject first brain waves 4(1) of each learning subject are the brain waves of each learning subject who was listening to a voice uttering a sentence classified into the "Ng" category.
  • the subject second brain wave acquisition unit 111(2) collects the brain waves of each learning subject while listening to the audio of each of the plurality of sentences (for example, five) uttered in each category of "Nt".
  • a plurality of (for example, five) subject second brain waves 4(2) of the subject are acquired.
  • the plurality of subject second brain waves 4(2) of each learning subject are the brain waves of each learning subject who was listening to a voice uttering a sentence classified into the "Nt" category.
  • the third subject brainwave acquisition unit 111(3) collects brainwaves from each learning subject while listening to audio of each of the learning subjects uttering each of a plurality of sentences (for example, five) classified into the "Ps" category.
  • a plurality of (for example, five) subject third brain waves 4 (3) are obtained from the subject.
  • the plurality of subject third brain waves 4(3) of each learning subject are the brain waves of each learning subject who was listening to a voice uttering a sentence classified into the "Ps" category.
  • the subject brain wave acquisition unit 111 acquires the plurality of subject first brain waves 4 (1) of each learning subject, the plurality of subject second brain waves 4 (2) of each learning subject, and the plurality of subject second brain waves 4 (2) of each learning subject. 3 brain waves 4(3) are notified to the encoding unit 115.
  • the basic information acquisition unit 112 acquires basic information used when generating an electroencephalogram feature amount Fw from a human's electroencephalogram while listening to the voice of a person speaking a sentence.
  • the basic information acquired by the basic information acquisition unit 112 is at least one of onset information 5 and envelope information.
  • the onset information 5 is information indicating the start time of each word included in the sentence that the learning subject was listening to as audio.
  • Envelope information is information indicating the audio envelope of the audio that a person is listening to.
  • the basic information acquisition unit 112 acquires, as basic information, onset information 5 indicating the start time of each word included in the sentence that the learning subject was listening to as audio.
  • the basic information acquisition unit 112 notifies the encoding unit 115 of the acquired onset information 5.
  • the subject subjective score acquisition unit 113 acquires, as the subjective score Ss of each learning subject, a subject subjective score 122 indicating the subjective evaluation that each learning subject felt about the sentence after listening to the audio uttering the sentence.
  • the subject subjective score acquisition unit 113 stores the acquired subject subjective score 122 of each learning subject in the learning data set 120 of the storage unit 12.
  • the subject mood score acquisition unit 114 acquires a subject mood score 123 indicating the level of depressive mood of each learning subject as the mood score Sm of each learning subject.
  • the subject mood score acquisition unit 114 stores the acquired subject mood score 123 of each learning subject in the learning data set 120 of the storage unit 12.
  • the encoding unit 115 generates an electroencephalogram feature quantity Fw from the electroencephalogram of a person while listening to the voice of a person speaking a sentence.
  • the encoding unit 115 generates the subject brain wave feature amount 121 from the brain waves of the learning subject (that is, the subject brain waves 4) while listening to the voice uttering the sentence.
  • the encoding unit 115 statistically calculates the brain waves 4 of each learning subject while listening to voices uttering sentences classified into "Ng", “Nt", and “Ps". (for example, on average) to generate subject brain wave feature amounts 121 of each learning subject corresponding to each category of "Ng", "Nt", and "Ps". Specifically, the encoding unit 115 uses the subject of each learning subject as the first brain wave feature Fw(1), second brain wave feature Fw(2), and third brain wave feature Fw(3) of each learning subject. A first brain wave feature quantity 121(1), a subject second brain wave feature quantity 121(2), and a subject third brain wave feature quantity 121(3) are generated.
  • FIG. 5 schematically illustrates an example of each process of the feature amount generation process and the learning process executed by the model generation device 1 in this embodiment.
  • the encoding unit 115 statistically processes the plurality of subject first brain waves 4(1) of each learning subject, and generates subject brain wave features corresponding to the "Ng" classification of each learning subject.
  • a subject first electroencephalogram feature quantity 121(1) of each learning subject is generated.
  • the encoding unit 115 statistically processes the plurality of subject second brain waves 4(2) of each learning subject, and calculates each learning subject's brain wave feature amount 121 corresponding to the "Nt" classification of each learning subject.
  • a subject second brain wave feature amount 121(2) of the subject is generated.
  • the encoding unit 115 statistically processes the plurality of subject third brain waves 4(3) of each learning subject, and calculates each learning subject's brain wave feature amount 121 corresponding to the "Ps" category of each learning subject. A subject third brain wave feature amount 121(3) of the subject is generated.
  • the encoding unit 115 statistically processes a plurality of "component features Ifa in the "electroencephalogram response to words" of each learning subject” for each category of "Ng", “Nt”, and “Ps” (for example, the subject brain wave feature amount 121 of each learning subject is generated for each category of "Ng", “Nt", and “Ps" (on average).
  • the code unit 115 transmits (A) the plurality of subject first brain waves 4(1) of each learning subject, and (B) each of the plurality of sentences classified as "Ng" that each learning subject is listening to. From the onset information 5 indicating the start time of each included word, (C) a component feature amount Ifa(1) of "electroencephalogram response to a word" of each learning subject is generated for each of the plurality of sentences. Then, the encoding unit 115 statistically calculates a plurality of component features Ifa(1), which are "component features Ifa of each learning subject's 'electroencephalogram response to words'" for sentences classified as "Ng". to generate a subject first electroencephalogram feature amount 121(1) of each learning subject.
  • the code section 115 includes (A) a plurality of subject second brain waves 4(2) of each learning subject, and (B) each of a plurality of sentences classified as "Nt" that each learning subject is listening to. From the onset information 5 indicating the start time of each word included in (C), a component feature amount Ifa(2) of the "electroencephalogram response to a word" of each learning subject is generated for each of the plurality of sentences. Then, the encoding unit 115 statistically calculates a plurality of component features Ifa(2), which are "component features Ifa of each learning subject's 'electroencephalogram response to words'" for sentences classified as "Nt". The second brain wave feature amount 121(2) of each learning subject is generated.
  • the code unit 115 also transmits (A) the plurality of subject third brain waves 4(3) of each learning subject, and (B) each of the plurality of sentences classified as "Ps" that each learning subject is listening to. From the onset information 5 indicating the start time of each included word, (C) a component feature amount Ifa(3) of "electroencephalogram response to a word" of each learning subject is generated for each of the plurality of sentences. Then, the coding unit 115 statistically calculates a plurality of component features Ifa(3), which are "component features Ifa of each learning subject's "electroencephalogram response to words" for sentences classified as "Ps". and generates the subject third electroencephalogram feature amount 121(3) of each learning subject.
  • the encoding unit 115 stores the generated subject first brain wave feature quantity 121 (1), subject second brain wave feature quantity 121 (2), and subject third brain wave feature quantity 121 (3) of each learning subject in the learning memory unit 12.
  • the information is stored in the data set 120.
  • the learning processing unit 116 performs machine learning of the estimated model 3 using the plurality of learning data sets 120 stored in the storage unit 12.
  • the encoding unit 115 stores the subject brain wave feature amount 121 of each learning subject in each learning data set 120
  • the subject mood score acquisition unit 114 stores the subject mood score 123 of each learning subject.
  • the data is stored in the learning data set 120. Therefore, each learning data set 120 is configured by associating at least the subject mood score 123 of each learning subject with the subject brain wave feature amount 121 of each learning subject.
  • the machine learning performed by the learning processing unit 116 includes at least the following training steps. That is, for each learning data set 120, a training step of training the estimation model 3 so that the subjective score Ss estimated by the estimation model 3 when receiving the subject's electroencephalogram feature quantity 121 as input matches the subject's mood score 123. including.
  • each learning data set 120 further stores the subject subjective score 122 of each learning subject by the subject subjective score acquisition unit 113. That is, in each learning data set 120, the subject mood score 123 of each learning subject is associated with the subject electroencephalogram feature amount 121 and subject subjective score 122 of each learning subject. Therefore, the machine learning performed by the learning processing unit 116 in this embodiment includes the following training steps. That is, for each learning data set 120, the estimation model 3 is configured such that the subjective score Ss estimated by the estimation model 3 when the subject's electroencephalogram feature quantity 121 and the subject's subjective score 122 are input matches the subject's mood score 123. Includes training steps to train.
  • the coding unit 115 sets the subject first brain wave feature 121 (1), the subject second brain wave feature 121 ( 2) and the subject's third electroencephalogram feature amount 121(3) are stored. That is, in each learning data set 120, the subject first brain wave feature 121(1), the subject second brain wave feature 121(2), the subject third brain wave feature 121(3), and the subject The subject mood score 123 of each learning subject is associated with the subjective score 122.
  • the machine learning performed by the learning processing unit 116 in this embodiment includes the following first training step, second training step, and third training step.
  • the estimation model 3 estimates a subjective score Ss when at least the first brain wave feature Fw(1) of the learning subject (subject first brain wave feature 121(1)) is input. is trained to match the subject's mood score 123.
  • the estimation model 3 estimates a subjective score Ss when at least the learning subject's second brain wave feature Fw(2) (subject second brain wave feature 121(2)) is input. is trained to match the subject's mood score 123.
  • the estimation model 3 estimates a subjective score Ss when at least the learning subject's third brain wave feature Fw(3) (subject third brain wave feature 121(3)) is input. is trained to match the subject's mood score 123.
  • the estimation model 3 estimates when the subject's first electroencephalogram feature amount 121 (1) and the subject's subjective score 122 are input.
  • the subjective score Ss is trained to match the subject mood score 123.
  • the estimation model 3 is configured so that the subjective score Ss estimated by the estimation model 3 when the subject's second brain wave feature amount 121 (2) and the subject's subjective score 122 are inputted matches the subject's mood score 123. be trained.
  • the estimation model 3 is configured so that the subjective score Ss estimated by the estimation model 3 when the subject's third electroencephalogram feature quantity 121 (3) and the subject's subjective score 122 are input matches the subject's mood score 123. be trained.
  • the storage processing unit 117 generates information indicating the structure of the trained estimation model 3 and the values of calculation parameters as learning result data 129.
  • the structure may be specified by, for example, the number of layers from the input layer to the output layer in the neural network, the type of each layer, the number of neurons included in each layer, the connection relationship between neurons in adjacent layers, and the like.
  • the structure of the model (estimated model 3) is shared within the mood estimation system 100, information regarding this structure may be omitted from the learning result data 129. Furthermore, information that is not used in the usage situation may be omitted from the learning result data 129.
  • the storage processing unit 117 stores the generated learning result data 129 in a predetermined storage area (in the present embodiment, the storage unit 12).
  • FIG. 6 schematically illustrates an example of the software configuration of the estimation device 2 according to this embodiment.
  • the control unit 21 of the estimation device 2 loads the mood estimation program 82 stored in the storage unit 22 into the RAM.
  • the control unit 21 then uses the CPU to interpret and execute instructions included in the mood estimation program 82 loaded in the RAM, thereby controlling each component.
  • the estimation device 2 according to the present embodiment includes a subject brain wave acquisition unit 211, a classification information acquisition unit 212, a basic information acquisition unit 213, a subject subjective score acquisition unit 214, a coding unit 215, and an estimation unit illustrated in FIG.
  • the computer operates as a computer including a section 216 and an output section 217 as software modules. That is, in the present embodiment, each software module of the estimation device 2 is realized by the control unit 21 (CPU) similarly to the model generation device 1 described above.
  • the subject brain wave acquisition unit 211 is an example of a software module that executes the "subject brain wave acquisition step" of the present invention.
  • the subject brain wave acquisition unit 211 acquires subject brain waves 6, which are brain waves of the subject measured while listening to the voice uttering a sentence.
  • the subject brain wave acquisition unit 211 notifies the code unit 215 of the acquired subject brain wave 6.
  • the classification information acquisition unit 212 is an example of a software module that executes the "classification information acquisition step" of the present invention.
  • the classification information acquisition unit 212 acquires classification information 7 indicating which of at least three categories, "Ng", “Nt”, and "Ps", the text that the subject is listening to as audio is classified into.
  • the classification information acquisition unit 212 notifies the encoding unit 215 of the acquired classification information 7.
  • the basic information acquisition unit 213 is an example of a software module that executes at least one of the "onset information acquisition step" and the "envelope information acquisition step” of the present invention.
  • the basic information acquisition unit 213 acquires basic information similarly to the basic information acquisition unit 112, and specifically indicates the start time of each word included in the sentence that the subject was listening to as audio.
  • the basic information acquisition unit 213 notifies the encoding unit 215 of the acquired onset information 8.
  • the basic information acquisition unit 213 acquires envelope information indicating the audio envelope of the audio that the target person is listening to, instead of or in addition to the onset information 8. You may.
  • the subject subjective score acquisition unit 214 is an example of a software module that executes the "subject subjectivity score acquisition step" of the present invention.
  • the subject subjective score obtaining unit 214 obtains, as the subject's subjective score Ss, the subject's subjective score 9, which indicates the subjective evaluation that the subject felt about the sentence after listening to the voice uttering the sentence.
  • the subject subjective score acquisition unit 214 notifies the estimation unit 216 of the acquired subject subjective score 9.
  • the encoding unit 215 is an example of a software module that executes the "electroencephalogram encoding step" of the present invention.
  • the encoding unit 215 generates a subject brain wave feature quantity 221 from the subject brain wave 6 .
  • the encoding unit 215 generates a subject brain wave feature amount 221(x) corresponding to the category (x) indicated by the classification information 7 from the subject brain wave 6 and the classification information 7.
  • "x" is an integer greater than or equal to "1"; for example, category (1) corresponds to "Ng", category (2) to "Nt", and category (3) to "Ps", respectively.
  • the coding unit 215 sets the first brain wave feature Fw(1) of the subject as , generates a subject electroencephalogram feature amount 221(1). Further, when the classification information 7 indicates that the sentence that the subject is listening to as audio is classified as "Nt", the coding unit 215 sets the subject's second brain wave feature Fw (2) as the subject's An electroencephalogram feature amount 221(2) is generated. Furthermore, when the classification information 7 indicates that the sentence that the subject is listening to as audio is classified as "Ps", the coding unit 215 sets the subject's third brain wave feature amount Fw(3) as An electroencephalogram feature amount 221(3) is generated. In the following description, if the subject brain wave feature amounts 221(1), 221(2), and 221(3) are not particularly distinguished from each other, they may be referred to as "subject person brain wave feature amount 221.”
  • the encoding unit 215 generates a component feature amount Ifa in the subject's "brain wave response to words" from the subject's brain wave 6 and onset information 8 as the brain wave feature amount Fw.
  • the encoding unit 215 can generate the component feature amount Ifa in the subject's "electroencephalogram response to words" for each category of "Ng”, “Nt”, and “Ps”, that is, “Ng ”, “Nt”, and “Ps”, the subject's brain wave feature amount Fw can be generated.
  • the encoding unit 215 uses the subject's brain waves 6, classification information 7, and onset information 8 to determine the subject's "words included in sentences classified into category (x) indicated by classification information 7."
  • the component feature amount Ifa(x) in "electroencephalogram response" is generated as the subject electroencephalogram feature amount 221(x) corresponding to the category (x) indicated by the classification information 7.
  • the code unit 215 stores the subject's "words included in the text classified as "Ng”".
  • the component feature amount Ifa(1) in "Brain wave response to” is generated as the subject brain wave feature amount 221(1) corresponding to "Ng”.
  • the code unit 215 stores the subject's "words included in the text classified as "Nt””.
  • the component feature amount Ifa(2) in the "electroencephalogram response to” is generated as the subject electroencephalogram feature amount 221(2) corresponding to "Nt".
  • the code unit 215 stores the subject's "words included in the text classified as "Ps”".
  • the component feature amount Ifa(3) in "Brain wave response to” is generated as the subject brain wave feature amount 221(3) corresponding to "Ps".
  • the estimation unit 216 is an example of a software module that executes the "estimation step" of the present invention.
  • the estimation unit 216 uses the trained machine learning model (that is, the estimation model 3) generated by the model generation device 1 to perform an estimation task on at least the subject brain wave feature amount 221.
  • the person's mood score 223 is estimated.
  • the estimation unit 216 includes the trained estimation model 3 generated by the model generation device 1 by holding the learning result data 129.
  • the estimation unit 216 estimates the subject's mood score 223 from at least the subject's electroencephalogram feature amount 221 using the trained estimation model 3 .
  • the subject brain wave feature amount 221 is the subject brain wave feature amount 221(x) corresponding to the category (x) indicated by the classification information 7, and in particular, the subject's "category indicated by the classification information 7".
  • (x) is the component feature amount Ifa(x) in "electroencephalogram response to words included in sentences classified as (x)".
  • the trained estimation model 3 is based on the subject EEG feature amount 121 (subject first EEG feature amount 121 (1), subject second EEG feature amount 121(1), subject second EEG feature amount
  • the subjective score Ss estimated by the estimation model 3 when inputting the subject's third brain wave feature amount 121(2) and subject's third brain wave feature quantity 121(3)) is trained so as to match the subject's mood score 123.
  • the subject first brain wave feature amount 121(1) is the average of the component feature amount Ifa(1) in the "brain wave response to words included in sentences classified as "Ng"" of each learning subject.
  • the subject second brain wave feature amount 121(2) is the average of the component feature amount Ifa(2) in the "brain wave response to words included in sentences classified as "Nt”" of each learning subject.
  • the subject third brain wave feature amount 121(3) is the average of the component feature amount Ifa(3) in the "brain wave response to words included in sentences classified as "Ps”” of each learning subject. Therefore, the estimation unit 216 calculates the component feature amount Ifa(x) in the subject's "electroencephalogram response to the word included in the sentence classified into category (x) indicated by the classification information 7" using the trained estimation model 3. By giving , the subject mood score 223 can be estimated.
  • the estimation unit 216 estimates the subject's mood score 223 from the subject's electroencephalogram feature amount 221 and the subject's subjective score 9.
  • the trained estimation model 3 is trained so that the subjective score Ss estimated by the estimation model 3 when the subject's electroencephalogram feature amount 121 and the subject's subjective score 122 are input matches the subject's mood score 123. ing. Therefore, the estimation unit 216 can estimate the subject mood score 223 by providing the subject electroencephalogram feature amount 221 and the subject subjective score 9 to the trained estimation model 3.
  • the estimation unit 216 calculates the component feature amount Ifa(1) in the subject's "electroencephalogram response to a word included in a sentence classified as 'Ng'" (the subject's electroencephalogram feature quantity 221(1) corresponding to "Ng”). )) and the subject's subjective score 9 to the trained estimation model 3, the subject's mood score 223 is estimated.
  • the estimation unit 216 calculates the component feature amount Ifa(2) in the subject's "electroencephalogram response to words included in sentences classified as 'Nt'" (the subject's electroencephalogram feature quantity 221(2) corresponding to "Nt”). )) and the subject's subjective score 9 to the trained estimation model 3, the subject's mood score 223 is estimated.
  • the estimation unit 216 calculates the component feature amount Ifa(3) in the subject's "electroencephalogram response to words included in sentences classified as 'Ps'" (the subject's electroencephalogram feature quantity 221(3) corresponding to "Ps"). )) and the subject's subjective score 9 to the trained estimation model 3, the subject's mood score 223 is estimated.
  • FIG. 7 schematically illustrates an example of each process of the feature amount generation process and the mood estimation process executed by the estimation device 2.
  • the code unit 215 determines, based on the subject's electroencephalogram 6, classification information 7, and onset information 8, that the subject's ⁇ sentences included in the sentences classified into category (x) indicated by the classification information 7'' Component feature amount Ifa(x) (subject person electroencephalogram feature amount 221(x) corresponding to category (x) indicated by classification information 7) in "brain wave response to word" is generated.
  • the encoding unit 215 selects the subject brain wave feature amount 221(1), which is the first brain wave feature amount Fw(1) of the subject, and the second brain wave feature amount of the subject, according to the classification indicated by the classification information 7. Either the subject brain wave feature amount 221(2), which is Fw(2), or the subject person brain wave feature amount 221(3), which is the third brain wave feature amount Fw(3) of the subject, is generated. Then, the trained estimation model 3 is calculated from the subject brain wave feature amount 221 (especially the subject brain wave feature amount 221 (x) corresponding to the category (x) indicated by the classification information 7) and the subject subjective score 9. The subject mood score 223 is estimated (output).
  • the output unit 217 is an example of a software module that executes the "output step" of the present invention.
  • the output unit 217 outputs information corresponding to the subject mood score 223 estimated in the estimation step to the subject.
  • the estimation device 2 outputs (for example, notifies) information corresponding to the subject mood score 223 to the subject.
  • the information corresponding to the subject mood score 223 may be the subject mood score 223 itself. Further, the information corresponding to the subject mood score 223 may be information indicating the level of the subject's depressed mood, which is indicated by the subject mood score 223. Further, the information corresponding to the subject mood score 223 may be information corresponding to the subject mood score 223 and including advice to the subject. For example, by outputting the subject mood score 223 to the subject, the estimation device 2 can make the subject aware of his/her own state of mind, such as depression. For example, the estimation device 2 outputs information including advice to the subject corresponding to the subject's mood score 223 to the subject, thereby providing the subject with mental health advice such as blocking out information that is mentally burdensome. It can encourage actions to maintain good health.
  • the information corresponding to the subject's mood score 223 may be information that relaxes the subject, such as music or video that relaxes the subject. etc. may be used.
  • the estimation device 2 can output information corresponding to the degree of depression of the subject indicated by the subject mood score 223 to the subject as "information corresponding to the subject mood score 223.”
  • the estimation device 2 listens to the speech of sentences such as news speech that the subject hears on a daily basis, rather than the unusual (special) sounds described in Non-Patent Document 1.
  • the subject's mood score 223 is estimated from the subject's brain waves when the subject is present. Therefore, the estimation device 2 estimates the subject's mood score 223 from the subject's brain waves in response to everyday audio information, and outputs information corresponding to the estimated subject's mood score 223 to the subject. It can make people aware of their own mental state, encourage them to take actions to maintain good mental health, and help them relax.
  • each software module of the model generation device 1 and the estimation device 2 will be explained in detail in the operation example described later. Note that in this embodiment, an example is described in which each software module of the model generation device 1 and the estimation device 2 is both implemented by a general-purpose CPU. However, some or all of the software modules may be implemented by one or more dedicated processors. For example, some or all of the software modules may be processed by a graphics processing unit. Further, regarding the software configurations of the model generation device 1 and the estimation device 2, software modules may be omitted, replaced, or added as appropriate depending on the embodiment.
  • FIG. 8 is a flowchart showing an example of the processing procedure of the model generation device 1 according to the present embodiment.
  • the processing procedure described below is only an example, and each step may be changed as much as possible. Furthermore, steps may be omitted, replaced, or added as appropriate in the processing procedure described below, depending on the embodiment.
  • Step S101 the control unit 11 operates as the subject brain wave acquisition unit 111, and acquires a plurality of subject brain waves 4 of each learning subject for each category of "Ng", “Nt", and "Ps". That is, the control unit 11 acquires a plurality of subject first brain waves 4 (1), subject second brain waves 4 (2), and subject third brain waves 4 (3) of each learning subject.
  • Step S102 the control unit 11 operates as the basic information acquisition unit 112, and in this embodiment, acquires onset information 5 indicating the start time of each word included in the sentence that the learning subject was listening to as audio. .
  • Step S103 the control unit 11 operates as the subject subjective score acquisition unit 113, and acquires the subject subjective score 122 indicating the subjective evaluation that each learning subject felt about the sentence after listening to the voice uttering the sentence. do.
  • the control unit 11 stores the acquired subject subjective score 122 of each learning subject in the learning data set 120 of the storage unit 12.
  • Step S104 the control unit 11 operates as the subject mood score acquisition unit 114, and acquires the subject mood score 123 indicating the level of depressive mood of each learning subject.
  • the control unit 11 stores the acquired subject mood score 123 of each learning subject in the learning data set 120 of the storage unit 12.
  • Step S105 the control unit 11 operates as the encoding unit 115, and extracts data from the plurality of subject brain waves 4 and basic information (onset information 5) for each category of "Ng", "Nt", and "Ps".
  • a brain wave feature amount 121 is generated. That is, the control unit 11 calculates each learning subject's ⁇ electroencephalogram responses to words included in sentences classified as ⁇ Ng'' based on the plurality of subject first brain waves 4(1) of each learning subject and the onset information 5. ” is generated as the subject first electroencephalogram feature 121(1) of each learning subject.
  • control unit 11 calculates each learning subject's ⁇ electroencephalogram responses to words included in sentences classified as ⁇ Nt'' from the plurality of subject second brain waves 4(2) of each learning subject and the onset information 5. ” is generated as the subject second electroencephalogram feature 121(2) of each learning subject. Further, the control unit 11 determines, based on the plurality of subject third brain waves 4 (3) of each learning subject and the onset information 5, each learning subject's ⁇ electroencephalogram response to words included in sentences classified as "Ps". ” is generated as the subject third electroencephalogram feature quantity 121(3) of each learning subject.
  • Step S106 the control unit 11 operates as the encoding unit 115, and each of the control unit 11 operates as the encoding unit 115, and each of them corresponds to the subject's mood in relation to the "subject electroencephalogram feature amount 121 and subject subjective score 122 for each category of 'Ng', 'Nt', and 'Ps'".
  • a plurality of learning data sets 120 are prepared by associating scores 123 with each other. As described above, in S103, each learning data set 120 stores the subject subjective score 122 of each learning subject. Further, in S104, each learning data set 120 stores the subject mood score 123 of each learning subject.
  • step S106 the control unit 11 controls the subject first brain wave feature amount 121(1), the subject second brain wave feature amount 121(2), and the subject third brain wave feature amount 121() of each learning subject, which were generated in step S105. 3) is stored in each learning data set 120.
  • the subject brain wave feature amount 121 (subject first brain wave feature amount 121 (1), subject second brain wave feature amount 121 (2), subject third brain wave feature amount 121 (3)) of each learning subject and the subject
  • a plurality of learning data sets 120 are prepared in which subject mood scores 123 of each learning subject are associated with subjective scores 122 .
  • Step S107 the control unit 11 operates as the learning processing unit 116, and uses the plurality of learning data sets 120 to perform machine learning of the learning model (that is, the estimated model 3).
  • Executing machine learning means that for each of the plurality of learning data sets 120, the subjective score Ss estimated by the estimation model 3 when receiving at least the subject's brain wave feature amount 121 as input matches the subject's mood score 123. includes a training step of training the estimation model 3.
  • Executing machine learning in this embodiment means that, for each learning data set 120, subject electroencephalogram feature quantity 121 (subject first electroencephalogram feature quantity 121(1), subject second electroencephalogram feature quantity 121(2), subject third electroencephalogram feature quantity 121(1), subject third includes a training step of training the estimation model 3 so that the subjective score Ss estimated by the estimation model 3 when inputted with the electroencephalogram feature amount 121(3)) and the subject subjective score 122 matches the subject mood score 123. .
  • implementing machine learning includes the following first training step, second training step, and third training step.
  • the estimation model 3 is configured so that the subjective score Ss estimated by the estimation model 3 when the subject's first electroencephalogram feature quantity 121(1) and the subject's subjective score 122 are input matches the subject's mood score 123. be trained.
  • the estimation model 3 is configured so that the subjective score Ss estimated by the estimation model 3 when the subject's second electroencephalogram feature quantity 121 (2) and the subject's subjective score 122 are input matches the subject's mood score 123. be trained.
  • the estimation model 3 is configured so that the subjective score Ss estimated by the estimation model 3 when the subject's third electroencephalogram feature quantity 121 (3) and the subject's subjective score 122 are input matches the subject's mood score 123. be trained.
  • the neural network that constitutes the estimation model 3 to be processed by machine learning may be prepared as appropriate.
  • the structure of the estimation model 3 (for example, the number of layers, the number of neurons included in each layer, the connection relationship between neurons in adjacent layers, etc.), the initial value of the connection weight between each neuron, and the initial threshold value of each neuron.
  • the value may be provided by a template or by operator input.
  • the control unit 11 may prepare the estimation model 3 based on learning result data obtained by performing past machine learning. For example, a batch gradient descent method, a stochastic gradient descent method, a mini-batch gradient descent method, etc. may be used for this machine learning training process.
  • control unit 11 calculates, for each learning data set 120, the error between the output value obtained from the estimation model 3 and the "subject mood score 123" which is the correct data.
  • the control unit 11 uses, for example, the error gradient calculated by the error back propagation method to calculate each calculation parameter (the weight of the connection between each neuron, the threshold value of each neuron, etc.) of the estimation model 3. Calculate the error of the value.
  • the control unit 11 updates the value of each calculation parameter of the estimation model 3 based on each calculated error.
  • the degree to which the value of each calculation parameter is updated may be adjusted by the learning rate.
  • the learning rate may be specified by the operator or may be provided as a set value within the program.
  • the control unit 11 adjusts the values of each calculation parameter of the estimation model 3 through the series of update processes described above so that the sum of the calculated errors becomes small. For example, the control unit 11 may repeat the adjustment of the value of each calculation parameter through the series of processes described above until a predetermined condition is satisfied, such as executing the process a specified number of times or the sum of the calculated errors being equal to or less than a threshold value. As a result, the control unit 11 provides the estimation model 3 with the subject's electroencephalogram feature amount 121 and the subject's subjective score 122 for each learning data set 120, so that the estimation task execution result obtained from the estimation model 3 is correct data (subject's mood). Estimated model 3 can be trained to fit the score 123). When the training process in step S107 is completed, the control unit 11 advances the process to the next step S108.
  • Step S108 the control unit 11 operates as the storage processing unit 117 and stores the machine learning results, that is, stores the learning result data 129 indicating the structure and calculation parameter values of the trained estimation model 3 in a predetermined manner. Save to storage area.
  • FIG. 9 is a flowchart showing an example of the processing procedure of the estimation device 2 according to the present embodiment.
  • the processing procedure described below is only an example, and each step may be changed as much as possible. Furthermore, steps may be omitted, replaced, or added as appropriate in the processing procedure described below, depending on the embodiment.
  • Step S201 subject brain wave acquisition step
  • the control unit 21 operates as the subject brain wave acquisition unit 211 and acquires the subject's brain waves (subject brain wave 6) while listening to the voice of the subject speaking the sentence.
  • Step S202 classification information acquisition step
  • the control unit 21 operates as the classification information acquisition unit 212, and determines which of at least three categories "Ng", “Nt", and "Ps" the text that the subject is listening to is classified.
  • the classification information 7 indicating whether the
  • Step S203 onset information acquisition step
  • the control unit 21 operates as the basic information acquisition unit 213, and acquires, as basic information, onset information 8 indicating the start time of each word included in the sentence that the subject was listening to as audio.
  • Step S204 subject subjective score acquisition step
  • the control unit 21 operates as the subject subjective score acquisition unit 214, and obtains the subject subjective score 9 indicating the subjective evaluation that the subject felt about the sentence after listening to the voice uttering the sentence. get.
  • Step S205 electroencephalogram code step
  • the control unit 21 operates as the encoding unit 215 and generates the subject brain wave feature amount 221 from the subject brain wave 6.
  • the control unit 21 generates a subject brain wave feature amount 221(x) corresponding to the category (x) indicated by the classification information 7 from the subject brain wave 6, onset information 8, and classification information 7.
  • the control unit 21 converts the component feature amount Ifa(x) in the subject's "electroencephalogram response to a word included in a sentence classified into category (x) indicated by classification information 7" into classification information 7. It is generated as a subject electroencephalogram feature amount 221(x) corresponding to the category (x) indicated by .
  • Step S206 estimation step
  • the control unit 21 operates as the estimation unit 216 and estimates the subject mood score 223 by inputting at least the subject brain wave feature amount 221 to the trained estimation model 3.
  • the control unit 21 uses the "subject person electroencephalogram feature amount 221(x) corresponding to the category (x) indicated by the classification information 7" generated in step S205 and the subject subjective score 9 after training. is input into the estimation model 3 to perform the estimation task. That is, the control unit 21 inputs "the subject's electroencephalogram feature amount 221 (x) corresponding to the category (x) indicated by the classification information 7" and the subject's subjective score 9 to the trained estimation model 3. Then, the subject's mood score 223 is estimated (output).
  • Step S207 output step
  • the control unit 21 operates as the output unit 217 and outputs information regarding the performance result of the estimation task in step S206, that is, the information corresponding to the subject mood score 223 estimated in the estimation step is output to the subject. output to the person.
  • the mood estimation program 82 causes the estimation device 2 (computer) to execute the subject brain wave acquisition step (S201), the brain wave encoding step (S205), and the estimation step (S206).
  • the estimation device 2 acquires subject brain waves 6, which are brain waves of the subject while listening to the voice uttering the sentence.
  • the estimation device 2 generates an electroencephalogram feature quantity Fw from the electroencephalogram of the human while listening to the voice of the person speaking the sentence.
  • the estimation device 2 generates the subject brain wave feature amount 221 from the subject brain wave 6 as the "subject person's brain wave feature amount Fw".
  • the estimation device 2 inputs the subject's electroencephalogram feature amount 221 into the trained estimation model 3 to obtain the subject's mood score 223, which is the mood score Sm indicating the level of the subject's depressed mood.
  • the estimation model 3 receives at least the electroencephalogram feature amount Fw as input, estimates the mood score Sm indicating the height of the human's depressed mood, and may be configured as, for example, a linear support vector machine.
  • the estimated model 3 is generated by performing machine learning using a plurality of learning data sets 120.
  • Each of the plurality of learning data sets 120 has at least a subject brain wave feature quantity 121 that is a brain wave feature quantity Fw generated from the brain waves of the learning subject (subject brain wave 4) while listening to the voice uttering a sentence.
  • the subject mood score 123 which is the mood score Sm indicating the level of the learning subject's depressed mood, are configured by being associated with each other.
  • Executing machine learning means that the mood score Sm estimated by the estimation model 3 when receiving the subject electroencephalogram feature amount 121 as input matches the subject mood score 123 for each of the plurality of learning data sets 120. , including a training step of training the estimation model 3.
  • the mood estimation program 82 causes the estimation device 2 to determine the target person's mood based on the target person's brain wave feature amount 221 generated from the target person's brain waves 6 while listening to the voice of the target person speaking the sentence.
  • the subject's mood score 223, which indicates the level of depressed mood of the subject, is estimated.
  • the mood estimation program 82 inputs the subject brain wave feature quantity 221 into the estimation model 3 generated by performing machine learning using a plurality of learning data sets 120 in the estimation device 2.
  • a mood score 223 is estimated.
  • the learning data set 120 at least evaluates the depressive mood of a human (learning subject) with respect to the brain wave feature amount Fw (subject brain wave feature amount 121) generated from the brain waves of the person (learning subject) while listening to the voice of the person speaking the sentence.
  • a mood score Sm (subject mood score 123) indicating the height of the subject's mood is associated with each other.
  • performing machine learning means that the estimation model 3 is configured to perform machine learning so that the mood score Sm estimated by the estimation model 3 from the subject brain wave feature amount 121 matches the subject mood score 123 for each of the plurality of learning data sets 120. including a training step to train the .
  • the inventors of the present invention have obtained estimates generated by performing machine learning using a plurality of learning data sets 120, each of which is configured by associating a subject's mood score 123 with a subject's brain wave feature quantity 121.
  • Model 3 we verified the estimation accuracy and obtained the following verification results. That is, it was confirmed that the AUC (Area Under the Roc Curve) of the estimation model 3 was "0.73". Furthermore, estimated model 3 identified 66% of people with a high depressive mood (people with a BDI score of 14 or higher) as having a high depressive mood. Therefore, the estimation device 2 inputs into the estimation model 3 the subject brain wave feature amount 221 generated from the subject's brain waves while listening to "sounds of uttering sentences" such as news sounds and conversation sounds. Accordingly, the subject mood score 223 can be estimated with high accuracy.
  • the estimation device 2 has the effect of being able to estimate the subject's mood score 223, which indicates the level of the subject's depressed mood, from the subject's brain waves (brain response) to such everyday voice information. play.
  • the mood estimation program 82 causes the estimation device 2 to generate electroencephalogram feature amounts Fw for at least three categories of "Ng", "Nt", and "Ps" in the electroencephalogram encoding step. That is, in the electroencephalogram encoding step, the estimation device 2 calculates the brain waves of a person while listening to a voice uttering a sentence classified into one of the at least three categories, and information indicating the category into which the sentence is classified. Based on this, an electroencephalogram feature amount Fw corresponding to the classification into which the text is classified is generated as the above-mentioned electroencephalogram feature amount Fw.
  • the Estimation Model 3 When the Estimation Model 3 receives, as the EEG feature Fw, the EEG feature Fw that corresponds to the classification into which the text that the person is listening to as audio is classified, the Estimation Model 3 calculates a mood score Sm indicating the level of the person's depressed mood. Estimate. For example, the estimation model 3 includes a first electroencephalogram feature Fw(1) corresponding to the "Ng" category, a second electroencephalogram feature Fw(2) corresponding to the "Nt" category, and a "Ps" category. When any of the third electroencephalogram feature amounts Fw(3) corresponding to is input, the mood score Sm is estimated.
  • the subject brain wave feature quantity 121 includes a subject first brain wave feature quantity 121(1), a subject second brain wave feature quantity 121(2), and a subject third brain wave feature quantity 121(3).
  • the subject first brain wave feature amount 121(1) is the brain wave of a plurality of subjects' first brain waves 4(1), which are the brain waves of the learning subject while listening to the voice speaking sentences classified into the "Ng" category.
  • the subject second brain wave feature quantity 121(2) is the brain wave of a plurality of subjects' second brain waves 4(2), which are the brain waves of the learning subject while listening to the voice uttering sentences classified into the "Nt" category.
  • the subject third brain wave feature amount 121(3) is the brain wave of a plurality of subjects' third brain waves 4(3), which are the brain waves of the learning subject while listening to the voice uttering sentences classified into the "Ps" category.
  • the third electroencephalogram feature amount Fw(3) generated by statistically processing.
  • Implementing machine learning includes a first training step, a second training step, and a third training step.
  • first training step for each of the plurality of learning data sets 120, when the subject's first brain wave feature 121(1) is input as the first brain wave feature Fw(1) corresponding to the "Ng" category, The estimation model 3 is trained so that the mood score Sm estimated by the estimation model 3 matches the subject mood score 123.
  • second training step for each of the plurality of learning data sets 120, when the subject's second brain wave feature 121(2) is input as the second brain wave feature Fw(2) corresponding to the "Nt" classification, The estimation model 3 is trained so that the mood score Sm estimated by the estimation model 3 matches the subject mood score 123.
  • the estimation model 3 is trained so that the mood score Sm estimated by the estimation model 3 matches the subject mood score 123.
  • the mood estimation program 82 sends the estimation device 2 to a classification information acquisition step (S202) in which the classification information 7 indicating which of the at least three classifications the text that the subject is listening to as audio is classified into is classified into. to be executed further.
  • the mood estimation program 82 then sends to the estimation device 2, in the electroencephalogram encoding step, the subject's brain waves 6 while listening to the speech of the subject uttering a sentence classified into category (x) indicated by the classification information 7. and the classification information 7, the subject brain wave feature amount 221(x) corresponding to the category (x) indicated by the classification information 7 is generated.
  • the mood estimation program 82 sends the subject brain wave feature amount 221(x) generated in the electroencephalogram code step to the estimation device 2 as the brain wave feature amount Fw corresponding to the category (x) indicated by the classification information 7. , to the estimation model 3 to execute the process of estimating the subject mood score 223.
  • the learning data set 120 includes electroencephalogram features Fw (subject first electroencephalogram feature 121(1), subject second It is configured by associating the subject mood score 123 with the electroencephalogram feature quantity 121(2) and the subject third electroencephalogram feature quantity 121(3)).
  • the estimated model 3 is generated by performing machine learning using the learning data set 120 and including the above-described first training step, second training step, and third training step. Therefore, the estimation model 3 uses the electroencephalogram features Fw (the first electroencephalogram feature Fw(1), the second electroencephalogram feature Fw(2), and , the third electroencephalogram feature Fw(3)), it is possible to estimate a mood score Sm indicating the height of a person's depressed mood.
  • the estimation device 2 executes a classification information acquisition step of acquiring classification information 7.
  • the classification information 7 may be acquired from outside the estimation device 2.
  • the estimation device 2 may generate the classification information 7 and acquire the generated classification information 7 in the above-mentioned classification information acquisition step.
  • the classification information 7 may be generated on a rule basis or on a model basis.
  • the estimation device 2 calculates the classification (x) indicated by the classification information 7 from the subject's brain waves 6 of the subject while listening to the voice of the subject speaking the sentence classified into the classification (x) indicated by the classification information 7. A corresponding subject electroencephalogram feature amount 221(x) is generated. Then, the estimation device 2 inputs the subject brain wave feature amount 221(x) into the estimation model 3 to estimate the subject mood score 223.
  • the estimation device 2 uses the brain waves of the subject while listening to the audio of the sentence being uttered to determine whether the sentence is classified into one of at least three categories: "Ng", "Nt", and "Ps".
  • the subject mood score 223 indicating the level of the subject's depressive mood can be estimated from the classification information 7 indicating the subject's level of depression.
  • the mood estimation program 82 instructs the estimation device 2, in the electroencephalogram encoding step, to calculate the component feature amount Ifa in the human's "electroencephalogram response to words included in the text" from the brain waves of the person while listening to the voice uttering the text. may be generated as the electroencephalogram feature amount Fw.
  • the estimation device 2 (in particular, the code unit 215) calculates the human's "brain wave response to words" based on the human's brain waves while listening to the audio of reading a sentence and the start time of each word included in the sentence.
  • the component feature amount Ifa in is generated as the electroencephalogram feature amount Fw.
  • the subject brain wave feature quantity 121 is the learning subject's "brain wave response to words" generated from the subject's brain waves 4 of the learning subject while listening to the voice uttering the sentence and the starting point of each word included in the sentence. ” is the component feature amount Ifa.
  • the mood estimation program 82 causes the estimation device 2 to further execute an onset information acquisition step (S203) of acquiring onset information 8 indicating the start time of each word included in the sentence that the subject is listening to as audio.
  • the mood estimation program 82 then informs the estimation device 2, in the electroencephalogram encoding step, of the "start time of each word included in the sentence that the subject is listening to as audio," which is indicated by the subject's brain waves 6 and the onset information 8. From this, the component feature amount Ifa in the subject's "electroencephalogram response to words" is generated as the subject's electroencephalogram feature amount 221.
  • the mood estimation program 82 inputs the component feature amount Ifa of the subject's "electroencephalogram response to words" into the estimation model 3 as the subject's electroencephalogram feature amount 221, so that the mood estimation program 82 determines the subject's mood.
  • the process of estimating the score 223 is executed.
  • the electroencephalogram feature quantity Fw is the component feature quantity Ifa in "electroencephalogram response to words included in a sentence".
  • the learning data set 120 is configured by associating the subject mood score 123 with the component feature amount Ifa in the learning subject's “electroencephalogram response to words”.
  • the estimated model 3 is generated by performing machine learning using the learning data set 120. Therefore, the estimation model 3 can estimate the mood score Sm indicating the height of a human's depressed mood from the component feature amount Ifa in the "electroencephalogram response to words included in a sentence".
  • the estimation device 2 executes an onset information acquisition step of acquiring onset information 8.
  • the estimation device 2 generates a component feature quantity Ifa in the subject's "electroencephalogram response to a word" from the subject's electroencephalogram 6 and the onset information 8 as the subject's electroencephalogram feature quantity 221.
  • the estimation device 2 estimates the subject's mood score 223 by inputting the component feature amount Ifa of the subject's "electroencephalogram response to words" into the estimation model 3.
  • the estimation device 2 uses the brain waves of the subject while listening to the voice uttering the sentence (subject's brain waves 6) and the onset information 8 indicating the start time of each word included in the sentence.
  • a subject mood score 223 indicating the degree of depression of the subject can be estimated.
  • the estimation model 3 receives as input, in addition to the electroencephalogram feature amount Fw, a subjective score Ss indicating the subjective evaluation that a person feels about the sentence after listening to the voice uttering the sentence.
  • the mood score Sm may be estimated from the input electroencephalogram feature amount Fw and the subjective score Ss.
  • Each of the plurality of learning data sets 120 includes a subject's brain wave feature amount 121 and a subject's subjective score 122, which is a subjective score Ss indicating the subjective evaluation that the learning subject felt about the sentence after listening to the voice uttering the sentence. It is constructed by associating the subject mood score 123 with .
  • Executing machine learning means that, for each of the plurality of learning data sets 120, the mood score Sm estimated by the estimation model 3 when the subject's electroencephalogram feature amount 121 and the subject's subjective score 122 are input becomes the subject's mood score 123. It includes a training step of training the estimated model 3 to match.
  • the mood estimation program 82 instructs the estimation device 2 to determine the subject's subjective score 9, which is a subjective score Ss indicating the subjective evaluation that the subject felt about the sentence after listening to the voice uttering the sentence.
  • a subjective score acquisition step (S204) is further executed.
  • the mood estimation program 82 performs a process of estimating the subject mood score 223 by inputting the subject brain wave feature amount 221 and the subject subjective score 9 to the estimation model 3 in the estimation step in the estimation device 2. Execute.
  • the learning data set 120 is configured by associating the subject mood score 123 with the subject electroencephalogram feature amount 121 and the subject subjective score 122.
  • performing machine learning means that the mood score Sm estimated by the estimation model 3 when the subject electroencephalogram feature amount 121 and the subject subjective score 122 are inputted is the subject mood score Sm for each of the plurality of learning data sets 120. 123. Therefore, estimation model 3 estimates the mood score Sm, which indicates the level of a person's depressed mood, from the electroencephalogram feature amount Fw and the subjective score Ss, which indicates the subjective evaluation that the person felt about the text listened to as audio. can do.
  • the present inventors have proposed that machine learning is carried out using a plurality of learning data sets 120 configured by associating a subject's mood score 123 with a subject's electroencephalogram feature quantity 121 and subject's subjective score 122, respectively.
  • the estimation accuracy of the estimation model 3 generated by the method was verified, and the following verification results were obtained. That is, it was confirmed that the AUC of estimated model 3 was "0.83".
  • Estimated Model 3 also identified 78% of people with high depressive mood as having high depressive mood.
  • estimation device 2 executes a subject subjective score acquisition step of obtaining a subject subjective score 9.
  • the estimation device 2 estimates the subject mood score 223 by inputting the subject brain waves 6 and the subject subjective score 9 into the estimation model 3.
  • the estimation device 2 calculates the subject's brain waves while listening to the audio of the sentence being uttered (subject's brain wave 6) and the subject's subjective score indicating the subjective evaluation that the subject felt about the sentence. 9, the subject mood score 223 indicating the level of the subject's depressed mood can be estimated with high accuracy.
  • the component feature Ifa of the human's "brain wave response to a word” is used as the brain wave feature Fw generated from the brain wave (brain wave response) of the human while listening to the voice of a person speaking a sentence.
  • the electroencephalogram feature quantity Fw is the component feature quantity Ifa of "electroencephalogram response to a word”.
  • the electroencephalogram feature quantity Fw may be a component feature quantity Ifa of at least one of "electroencephalogram response to a word” and “electroencephalogram response following a speech envelope.”
  • the mood estimation program 82 instructs the estimation device 2, in the electroencephalogram encoding step (step S205), to replace the component feature Ifa in the "electroencephalogram response to a word” or to use the component feature Ifa in the "electroencephalogram response to a word”.
  • a component feature amount Ifa in "an electroencephalogram response that follows the audio envelope” may be generated.
  • the component feature amount Ifa in the human's "brain wave response following the voice” may be generated as the brain wave feature amount Fw from the human's brain waves while listening to the voice of the person speaking a sentence.
  • the estimation device 2 calculates the human's "brain wave response that follows the voice" based on the human's brain waves while listening to the voice reading a sentence and the audio envelope of the voice.
  • the component feature amount Ifa in may be generated as the electroencephalogram feature amount Fw.
  • the subject brain wave feature quantity 121 is generated from the learning subject's brain waves while listening to the voice uttering a sentence and the voice envelope of the voice. It is assumed that the component feature amount Ifa in "Electroencephalogram Response" is used. In that case, the mood estimation program 82 causes the estimation device 2 to further execute an envelope information acquisition step of acquiring envelope information "indicating the audio envelope of the audio that the subject is listening to.”
  • the envelope information acquisition step may be performed in place of the onset information acquisition step (S203) or together with the onset information acquisition step (S203).
  • the mood estimation program 82 causes the estimation device 2 to calculate the target person's brain waves from the target person's brain waves 6 and the "voice envelope of the voice that the target person is listening to" indicated by the envelope information in the electroencephalogram encoding step (step S205).
  • the component feature amount Ifa in the "electroencephalogram response following the audio envelope” is generated as the subject's electroencephalogram feature amount 221.
  • the mood estimation program 82 sends the component feature Ifa of the subject's "brain wave response following the voice envelope” to the estimation model 3 as the subject brain wave feature 221.
  • the brain wave feature amount Fw is the component feature amount Ifa in "the brain wave response that follows the audio envelope of the audio being listened to.”
  • the learning data set 120 is configured by associating the subject mood score 123 with the component feature amount Ifa of the learning subject's “electroencephalogram response following the speech envelope”.
  • the estimated model 3 is generated by performing machine learning using the learning data set 120. Therefore, the estimation model 3 can estimate the mood score Sm indicating the height of the human's depressive mood from the component feature amount Ifa in the human's "electroencephalogram response following the voice envelope”.
  • the estimation device 2 executes an envelope information acquisition step of acquiring envelope information.
  • the estimation device 2 generates a component feature quantity Ifa in the subject's "brain wave response following the audio envelope” as a subject brain wave feature quantity 221 from the subject brain wave 6 and the related envelope information. Then, the estimation device 2 estimates the subject's mood score 223 by inputting the component feature quantity Ifa of the subject's "electroencephalogram response following the audio envelope" into the estimation model 3.
  • the estimation device 2 calculates the degree of depressive mood of the subject based on the subject's brain waves (subject's brain waves 6) while listening to the voice uttering the sentence and the envelope information indicating the audio envelope of the voice. It is possible to estimate a subject mood score 223 indicating the subject's mood.
  • 2... Estimation device (computer), 3... Estimation model, 6... Subject's brain wave, 7... Classification information, 8... Onset information, 9... Subject's subjective score, 82... Mood estimation program, 121... Subject's brain wave feature amount, 121(1)...Subject first brain wave feature amount, 121(2)...Subject second brain wave feature amount, 121(3)...Subject third brain wave feature amount, 122...Subject subjective score, 123...Subject mood score, 221... Subject brain wave feature quantity, 223... Subject mood score, Fw... Brain wave feature quantity, Sm... Mood score, Ss... Subjective score, S201... Subject brain wave acquisition step, S202... Classification information acquisition step, S203... Onset information acquisition Step, S204... Subject subjective score acquisition step, S205... EEG code step, S206... Estimation step, S207... Output step

Abstract

推定装置は、文章を発話する音声を聴いていた際の学習被験者の脳波特徴量と学習被験者の気分スコアとの組合せの組み合わせによりそれぞれ構成される複数の学習データセットを使用した機械学習により生成された推定モデルに、文章を発話する音声を聴いている際の対象者の脳波特徴量を入力することで、対象者の気分スコアを推定させる。

Description

気分推定プログラム
　本発明は、気分推定プログラムに関する。
　これまでに、脳波の特徴量を用いた機械学習、深層学習により、大うつ病と健常者の識別、非臨床群でうつ気分が高い人と低い人とを識別した研究が報告されている。例えば、下掲の非特許文献１には、被験者が聴覚刺激に対して課題を行っているときの脳波を計測し、事象関連電位成分（Ｎ１、Ｐ３００）の潜時、振幅等を特徴量として、大うつ病か否かを識別する手法が開示されている。
Jang, K.ら(2021).  「Machine learning-based electroencephalographic phenotypes of Schizophrenia and Major Depressive Disorder」.  Frontiers in Psychiatry, 12:745458.  （2021年10月13日オンライン版公開，doi:10.3389/fpsyt.2021.745458）
　近年、メディアの発達、特にインターネットの普及によって、人々が受け取る情報は爆発的に増大しているが、それに対応して現代人の脳のキャパシティが増大しているわけではない。情報過多によるストレスやメンタルの不調、生産性の低下は社会的な問題となっている。また、情報の量だけでなく、情報の内容もメンタルの健康に影響を及ぼす。新型コロナウィルスの感染拡大下において、メンタルの病気になる人が増大したが、最近の研究では、パンデミック関連のネガティブなニュースにさらされた人ほどメンタルに不調をきたしているということが報告されている。
　ネガティブな情報をどのように認知するかは個人差が大きい。例えば、うつ病の人はそうでない人と比べて、ネガティブな情報により注意を向けやすいという注意バイアスがあることが報告されている。また、うつ病の人では情動的な情報の処理にリソースを割くために、認知的な処理が影響を受けることが報告されている。
　しかしながら、上述の従来技術は、単純な音刺激（85[デシベル]で2000ミリ秒の固定刺激間隔で配信される音刺激）に対する課題を行なうという特殊な状態で脳波を計測しており、日常的に耳にする音声情報に対する脳波を気分の推定に利用するものではない。
　本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、日常的な音声情報に対する脳の応答から、個人のメンタルの状態、特に抑うつ気分の高さを推定する推定装置等を提供することである。
　本発明は、上述した課題を解決するために、以下の構成を採用する。
　第１の観点に係る気分推定プログラムは、コンピュータに、文章を発話する音声を聴いている際の対象者の脳波である対象者脳波を取得する対象者脳波取得ステップと、文章を発話する音声を聴いている際のヒトの脳波から脳波特徴量を生成する脳波符号ステップであって、前記対象者脳波から前記脳波特徴量として対象者脳波特徴量を生成する脳波符号ステップと、少なくとも前記脳波特徴量を入力として受け付け、前記ヒトの抑うつ気分の高さを示す気分スコアを推定する推定モデルであって、複数の学習データセットを使用した機械学習が実施されることによって生成され、前記複数の学習データセットは、それぞれ、少なくとも、文章を発話する音声を聴いていた際の学習被験者の脳波から生成される前記脳波特徴量である被験者脳波特徴量に対して、前記学習被験者の抑うつ気分の高さを示す前記気分スコアである被験者気分スコアが、対応付けられることにより構成され、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量を入力として受け付けたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含む、推定モデルに、前記対象者脳波特徴量を入力することにより、前記対象者の抑うつ気分の高さを示す前記気分スコアである対象者気分スコアを推定させる推定ステップと、を実行させる。
　当該構成では、前記気分推定プログラムは、コンピュータに、例えばニュース音声、会話音声などの「文章を発話する音声」を聴いている際の前記対象者の脳波から生成される前記対象者脳波特徴量から、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを推定させる。前記気分推定プログラムは、コンピュータに、前記複数の学習データセットを使用した前記機械学習が実施されることによって生成された前記推定モデルに、前記対象者脳波特徴量を入力することにより、前記対象者気分スコアを推定させる。
　前記学習データセットは、少なくとも、文章を発話する音声を聴いている際のヒト（前記学習被験者）の脳波から生成される脳波特徴量（被験者脳波特徴量）に対して、前記ヒトの抑うつ気分の高さを示す気分スコア（被験者気分スコア）が対応付けられて構成される。また、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量から前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含む。
　本件発明者らは、それぞれ、前記被験者脳波特徴量に対して前記被験者気分スコアが対応付けられることにより構成された前記複数の学習データセットを使用した前記機械学習が実施されることによって生成された前記推定モデルについて、推定精度の検証を行ない、以下の検証結果を得た。すなわち、前記推定モデルのＡＵＣ（Area Under the Roc Curve）が「０．７３」となったことを確認した。また、前記推定モデルは、抑うつ気分が高い人（ベック抑うつ調査（ＢＤＩ、Beck Depression Inventory）に対する回答から算出されるＢＤＩスコアが１４以上の人）のうち６６％について、抑うつ気分が高いと識別した。
　そのため、前記コンピュータは、ニュース音声、会話音声などの「文章を発話する音声」を聴いている際の対象者の脳波から生成される前記対象者脳波特徴量を、前記推定モデルに入力することにより、前記対象者気分スコアを高精度に推定させることができる。
　特に、ニュース音声、会話音声などの「文章を発話する音声」は、非特許文献１に記載されている非日常的な（特殊な）音ではなく、前記対象者が日常的に耳にする音声であり、つまり、日常的な音声情報である。そのため、前記コンピュータは、係る日常的な音声情報に対する前記対象者の脳波（脳の応答）から、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを推定することができるとの効果を奏する。
　第２の観点に係る気分推定プログラムは、上記第１の観点に係る気分推定プログラムにおいて、前記コンピュータに、前記脳波符号ステップにおいて、ネガティブ、ニュートラル、ポジティブの少なくとも３つの区分の何れかに分類される文章を発話する音声を聴いている際のヒトの脳波と、前記文章が前記少なくとも３つの区分の何れに分類されるかを示す情報とから、前記文章が分類される区分に対応する脳波特徴量を、前記脳波特徴量として生成させ、前記推定モデルは、前記脳波特徴量として、前記文章が分類される区分に対応する脳波特徴量を入力されると、前記気分スコアを推定し、前記被験者脳波特徴量は、それぞれが前記ネガティブの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ネガティブの区分に対応する脳波特徴量である被験者第１脳波特徴量と、それぞれが前記ニュートラルの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ニュートラルの区分に対応する脳波特徴量である被験者第２脳波特徴量と、それぞれが前記ポジティブの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ポジティブの区分に対応する脳波特徴量である被験者第３脳波特徴量と、を含み、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記ネガティブの区分に対応する脳波特徴量として前記被験者第１脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第１訓練ステップと、前記ニュートラルの区分に対応する脳波特徴量として前記被験者第２脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第２訓練ステップと、前記ポジティブの区分に対応する脳波特徴量として前記被験者第３脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第３訓練ステップと、を含み、前記コンピュータに、前記対象者が音声として聴いている文章が、前記少なくとも３つの区分の何れに分類されるかを示す分類情報を取得する分類情報取得ステップをさらに実行させ、前記脳波符号ステップにおいて、前記分類情報によって示される区分に分類される文章を発話する音声を聴いている際の前記対象者の前記対象者脳波と、前記分類情報とから生成される、前記分類情報によって示される区分に対応する前記対象者脳波特徴量を、前記推定ステップにおいて、前記分類情報によって示される区分に対応する脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させてもよい。
　当該構成では、前記学習データセットは、ネガティブ、ニュートラル、ポジティブの少なくとも３つの区分の各々に対応する脳波特徴量（前記被験者第１脳波特徴量、前記被験者第２脳波特徴量、前記被験者第３脳波特徴量）に対して、前記被験者気分スコアが対応付けられることにより構成される。そして、前記推定モデルは、前記学習データセットを使用した、前記第１訓練ステップと、前記第２訓練ステップと、前記第３訓練ステップと、を含む前記機械学習が実施されることによって生成される。そのため、前記推定モデルは、前記各区分に対応する脳波特徴量から、前記ヒトの抑うつ気分の高さを示す前記気分スコアを推定することができる。
　さらに、前記コンピュータは、前記分類情報を取得する分類情報取得ステップを実行する。前記分類情報は、前記コンピュータの外部から取得してもよい。また、前記コンピュータが、前記分類情報を生成し、生成した前記分類情報を、前記分類情報取得ステップにおいて取得してもよい。前記分類情報は、アナログ的に（例えば、ヒトが前記文章を前記少なくとも３つの区分の何れかに分類することによって）生成してもよい。また、文章と分類結果との組み合わせによりそれぞれ構成される複数の学習データセットを使用した機械学習を実施することで生成される分類モデルなどを利用して、前記文章を前記少なくとも３つの区分の何れかに分類することによって、前記分類情報を生成してもよい。前記分類情報は、ルールベースで生成されてもよいし、モデルベースで生成されてもよい。　前記コンピュータは、前記分類情報によって示される区分に分類される文章を発話する音声を聴いている際の前記対象者の前記対象者脳波から、前記分類情報によって示される区分に対応する前記対象者脳波特徴量を生成する。そして、前記コンピュータは、前記分類情報によって示される区分に対応する前記対象者脳波特徴量を、前記推定モデルに入力することにより、前記対象者気分スコアを推定させる。
　それゆえ、前記コンピュータは、文章を発話する音声を聴いている際の前記対象者の脳波と、係る文章がネガティブ、ニュートラル、ポジティブの少なくとも３つの区分の何れかに分類されるかを示す前記分類情報とから、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを推定することができる。
　第３の観点に係る気分推定プログラムは、上記第１または第２の観点に係る気分推定プログラムにおいて、前記コンピュータに、前記脳波符号ステップにおいて、文章を発話する音声を聴いている際のヒトの脳波と、前記ヒトが音声として聴いている前記文章に含まれる各単語の開始時点とから、前記ヒトの前記単語に対する脳波応答における所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記脳波特徴量として生成させ、前記被験者脳波特徴量は、文章を発話する音声を聴いていた際の前記学習被験者の脳波と、前記学習被験者が音声として聴いていた前記文章に含まれる各単語の開始時点とから生成される、前記学習被験者の前記単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方であり、前記コンピュータに、前記対象者が音声として聴いている文章に含まれる各単語の開始時点を示すオンセット情報を取得するオンセット情報取得ステップをさらに実行させ、前記脳波符号ステップにおいて、前記対象者脳波と、前記オンセット情報によって示される、前記対象者が音声として聴いている文章に含まれる各単語の開始時点とから生成される、前記対象者の前記単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定ステップにおいて、前記対象者脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させてもよい。
　当該構成では、前記脳波特徴量は、文章に含まれる単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方である。前記所定の成分は、例えば、単語提示後１００ミリ秒前後、２００ミリ秒前後、４００ミリ秒前後にピークを持つ成分の少なくとも１つである。前記学習データセットは、前記学習被験者の単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方に対して、前記被験者気分スコアが対応付けられることにより構成される。そして、前記推定モデルは、前記学習データセットを使用した前記機械学習が実施されることによって生成される。そのため、前記推定モデルは、文章に含まれる単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方から、ヒトの抑うつ気分の高さを示す前記気分スコアを推定することができる。
　さらに、前記コンピュータは、前記オンセット情報を取得するオンセット情報取得ステップを実行する。前記コンピュータは、前記対象者脳波と前記オンセット情報とから、前記対象者の単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記対象者脳波特徴量として生成する。そして、前記コンピュータは、前記対象者の単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定モデルに入力することにより、前記対象者気分スコアを推定させる。
　それゆえ、前記コンピュータは、文章を発話する音声を聴いている際の前記対象者の脳波と、係る文章に含まれる各単語の開始時点を示す前記オンセット情報とから、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを推定することができる。
　第４の観点に係る気分推定プログラムは、上記第１から第３のいずれかの観点に係る気分推定プログラムにおいて、前記コンピュータに、前記脳波符号ステップにおいて、文章を発話する音声を聴いている際のヒトの脳波と、前記ヒトが聴いている前記音声の音声エンベロープとから、前記ヒトの前記音声エンベロープに追随する脳波応答における所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記脳波特徴量として生成させ、前記被験者脳波特徴量は、文章を発話する音声を聴いていた際の前記学習被験者の脳波と、前記学習被験者が聴いていた前記音声の音声エンベロープとから生成される、前記学習被験者の前記音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方であり、前記コンピュータに、前記対象者が聴いている音声の音声エンベロープを示すエンベロープ情報を取得するエンベロープ情報取得ステップをさらに実行させ、前記脳波符号ステップにおいて、前記対象者脳波と、前記エンベロープ情報によって示される、前記対象者が聴いている音声の音声エンベロープとから生成される、前記対象者の前記音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定ステップにおいて、前記対象者脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させてもよい。
　当該構成では、前記脳波特徴量は、聴いている音声の音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方である。前記所定の成分は、例えば、音声エンベロープに基づいて解析された脳波応答における５０ミリ秒前後、１５０ミリ秒前後、２５０ミリ秒前後にピークを持つ成分の少なくとも１つである。前記学習データセットは、前記学習被験者の音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方に対して、前記被験者気分スコアが対応付けられることにより構成される。そして、前記推定モデルは、前記学習データセットを使用した前記機械学習が実施されることによって生成される。そのため、前記推定モデルは、音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方から、ヒトの抑うつ気分の高さを示す前記気分スコアを推定することができる。
　さらに、前記コンピュータは、前記エンベロープ情報を取得するエンベロープ情報取得ステップを実行する。前記コンピュータは、前記対象者脳波と前記エンベロープ情報とから、前記対象者の音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記対象者脳波特徴量として生成する。そして、前記コンピュータは、前記対象者の音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定モデルに入力することにより、前記対象者気分スコアを推定させる。
　それゆえ、前記コンピュータは、文章を発話する音声を聴いている際の前記対象者の脳波と、係る音声の音声エンベロープを示す前記エンベロープ情報とから、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを推定することができる。
　第５の観点に係る気分推定プログラムは、上記第１から第４のいずれかの観点に係る気分推定プログラムにおいて、前記推定モデルは、前記脳波特徴量に加えてさらに、文章を発話する音声を聴いた後に前記文章に対してヒトが感じた主観的評価を示す主観スコアを入力として受け付け、入力された前記脳波特徴量および前記主観スコアから、前記気分スコアを推定し、前記複数の学習データセットは、それぞれ、前記被験者脳波特徴量と、文章を発話する音声を聴いた後に前記文章に対して前記学習被験者が感じた主観的評価を示す前記主観スコアである被験者主観スコアと、に対して、前記被験者気分スコアが対応付けられることにより構成され、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量および前記被験者主観スコアを入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含み、前記コンピュータに、文章を発話する音声を聴いた後に前記文章に対して前記対象者が感じた主観的評価を示す前記主観スコアである対象者主観スコアを取得する対象者主観スコア取得ステップをさらに実行させ、前記推定ステップにおいて、前記対象者脳波特徴量と、前記対象者主観スコアとを前記推定モデルに入力することにより、前記対象者気分スコアを推定させてもよい。
　当該構成では、前記学習データセットは、前記被験者脳波特徴量と、音声として聴いた文章に対して前記学習被験者が感じた主観的評価を示す前記主観スコア（被験者主観スコア）とに対して、前記被験者気分スコアが対応付けられることにより構成される。また、前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量および前記被験者主観スコアを入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含む。そのため、前記推定モデルは、前記脳波特徴量と、音声として聴いた文章に対して前記ヒトが感じた主観的評価を示す前記主観スコアとから、前記ヒトの抑うつ気分の高さを示す前記気分スコアを推定することができる。
　本件発明者らは、それぞれ、前記被験者脳波特徴量および前記被験者主観スコアに対して前記被験者気分スコアが対応付けられることにより構成された前記複数の学習データセットを使用した前記機械学習が実施されることによって生成された前記推定モデルについて、推定精度の検証を行ない、以下の検証結果を得た。すなわち、前記推定モデルのＡＵＣが「０．８３」となったことを確認した。また、前記推定モデルは、抑うつ気分が高い人のうち７８％について、抑うつ気分が高いと識別した。
　さらに、前記コンピュータは、前記対象者主観スコアを取得する対象者主観スコア取得ステップを実行する。前記コンピュータは、前記対象者脳波と前記対象者主観スコアとを、前記推定モデルに入力することにより、前記対象者気分スコアを推定させる。
　それゆえ、前記コンピュータは、文章を発話する音声を聴いている際の前記対象者の脳波と、係る文章に対して前記対象者が感じた主観的評価を示す前記対象者主観スコアとから、前記対象者の抑うつ気分の高さを示す前記対象者気分スコアを高精度に推定することができる。
　第６の観点に係る気分推定プログラムは、上記第１から第５のいずれかの観点に係る気分推定プログラムにおいて、前記コンピュータに、前記推定ステップにおいて推定させた前記対象者気分スコアに対応する情報を、前記対象者に出力する出力ステップをさらに実行させてもよい。
　当該構成では、前記コンピュータは、前記対象者気分スコアに対応する情報を、前記対象者に出力する（例えば、通知する）。前記対象者気分スコアに対応する情報は、前記対象者気分スコア自体であってもよい。また、前記対象者気分スコアに対応する情報は、前記対象者気分スコアによって示される、前記対象者の抑うつ気分の高低を示す情報であってもよい。さらに、前記対象者気分スコアに対応する情報は、前記対象者気分スコアに対応する、前記対象者へのアドバイスを含む情報であってもよい。例えば、前記コンピュータは、前記対象者気分スコアを前記対象者に出力することにより、前記対象者に、自らの気分の落ち込みなどの心の状態を自覚させることができる。例えば、前記コンピュータは、前記対象者気分スコアに対応する、前記対象者へのアドバイスを含む情報を前記対象者に出力することにより、前記対象者に、メンタルに負担の大きい情報を遮断するなどの、メンタルヘルスを健全に保つための行動を促すことができる。
　前記対象者気分スコアが前記対象者の抑うつ気分が高いことを示すものであった場合、前記対象者気分スコアに対応する情報は、前記対象者をリラックスさせる情報、例えば、前記対象者をリラックスさせる音楽、映像等であってもよい。前記コンピュータは、前記対象者気分スコアが示す前記対象者の抑うつ気分の高さに応じた情報を、「前記対象者気分スコアに対応する情報」として前記対象者に出力することができる。
　特に、前記コンピュータは、非特許文献１に記載されている非日常的な（特殊な）音ではなく、対象者が日常的に耳にする、ニュース音声、会話音声などの「文章を発話する音声」を聴いている際の前記対象者の脳波から、前記対象者気分スコアを推定する。そのため、前記コンピュータは、日常的な音声情報に対する前記対象者の脳波から前記対象者気分スコアを推定し、推定した前記対象者気分スコアを前記対象者に出力することにより、前記対象者に自らの心の状態を自覚させたり、行動を促したり、また、前記対象者をリラックスさせたりすることができる。
　また、上記各観点に係る気分推定プログラムの別の態様として、本発明の一側面は、上記各観点に係る気分推定プログラムを実行するコンピュータその他装置であってもよいし、上記各観点に係る気分推定プログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。
　本発明によれば、日常的な音声情報に対する脳の応答から、個人のメンタルの状態、特に抑うつ気分の高さを推定する推定装置等を提供することができる。
図１は、本発明を適用した場面の一例を模式的に例示する。 図２は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る推定装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。 図５は、実施の形態に係るモデル生成装置が実行する特徴量生成処理および学習処理の各々の過程の一例を模式的に例示する。 図６は、実施の形態に係る推定装置のソフトウェア構成の一例を模式的に例示する。 図７は、実施の形態に係る推定装置が実行する特徴量生成処理および気分推定処理の各々の過程の一例を模式的に例示する。 図８は、実施の形態に係るモデル生成装置の処理手順の一例を例示する。 図９は、実施の形態に係る推定装置の処理手順の一例を例示する。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　図１は、本発明を適用した場面の一例を模式的に例示する。本実施形態に係る気分推定システム１００は、モデル生成装置１および推定装置２を備えている。
　本実施形態に係るモデル生成装置１は、推定モデル３の機械学習を実施するように構成されたコンピュータである。モデル生成装置１は、複数の学習データセット１２０を使用して、推定モデル３の機械学習を実施する。
　推定モデル３は、少なくとも、文章を発話する音声を聴いている際のヒト（学習被験者および対象者）の脳波から生成される脳波特徴量Ｆｗを与えられると、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定する推定タスクを遂行する（換言すると、推定タスクを遂行した結果に対応する出力値を出力する）ように構成される。本実施形態において推定モデル３は、文章を発話する音声を聴いている際のヒトの脳波から生成される脳波特徴量Ｆｗに加え、聴いた後に係る文章に対してヒトが感じた主観的評価を示す主観スコアＳｓを受け付け、脳波特徴量Ｆｗおよび主観スコアＳｓから、気分スコアＳｍを推定する。
　「文章を発話する音声」とは、例えば、ニュースを発話する音声（ニュース音声）であってもよいし、会話の相手方が会話内容（会話文章）を発話する音声（会話音声）であってもよい。「文章を発話する音声」とは、「脳波を測定されるヒト」以外のヒト、機械などが文章を発話する音声であればよく、ヒトが日常的に耳にする音声（日常的な音声）である。本実施形態では、「文章を発話する音声」として、ニュース音声を用いる。
　本実施形態では、ヒトが音声として聴いている文章（例えば、ニュース）は、ネガティブ、ニュートラル、ポジティブの少なくとも３つの区分の何れかに分類される。ヒトが音声として聴いている文章は、少なくとも、ネガティブ、ニュートラル、ポジティブな情動の何れかを生じさせ得るものである。以下の説明においては、「ネガティブ」、「ニュートラル」、「ポジティブ」は、各々、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」と略記することがある。
　ヒトが音声として聴く文章の分類は、アナログ的に実施されてもよく、例えば、「係る文章を発話する音声を聴くヒト以外の複数のヒトが、係る文章を分類した区分」を統計的に処理して、係る文章が分類される区分としてもよい。また、文章の分類は、分類装置等によって自動的又は半自動的に実行されてもよい。例えば、文章と分類結果（区分）との組み合わせによりそれぞれ構成される複数の学習データセットを使用した機械学習を実施することで生成される分類モデルなどを利用して、ヒトが音声として聴く文章を上述の少なくとも３つの区分の何れかに分類してもよい。文章の分類は、ルールベースで実施されてもよいし、モデルベースで実施されてもよい。
　脳波は、文章を発話する音声を聴いている際のヒトの脳波であればよい。本実施形態では、脳波は、ヒトが文章を発話する音声を聴いている際に、係るヒトについて、複数（例えば、３つ）の脳波計測点の各々で計測された脳波から特定される。ただし、脳波が、複数の脳波計測点の各々で計測された脳波から特定されることは必須ではない。脳波は、ヒトが文章を発話する音声を聴いている際に、係るヒトについて、１つの脳波計測点で計測された脳波であってもよい。
　ヒトが音声として聴く文章が「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分に分類されるのに対応して、文章を発話する音声を聴いている際のヒトの脳波からは、係る少なくとも３つの区分の各々に対応する脳波特徴量Ｆｗが生成される。例えば、「Ｎｇ」の区分に分類される文章を発話する音声を聴いている際のヒトの脳波からは、「Ｎｇ」の区分に対応する第１脳波特徴量Ｆｗ（１）が生成される。また、「Ｎｔ」の区分に分類される文章を発話する音声を聴いている際のヒトの脳波からは、「Ｎｔ」の区分に対応する第２脳波特徴量Ｆｗ（２）が生成される。同様に、「Ｐｓ」の区分に分類される文章を発話する音声を聴いている際のヒトの脳波からは、「Ｐｓ」の区分に対応する第３脳波特徴量Ｆｗ（３）が生成される。推定モデル３は、少なくとも、第１脳波特徴量Ｆｗ（１）、第２脳波特徴量Ｆｗ（２）、第３脳波特徴量Ｆｗ（３）の何れかを与えられると、気分スコアＳｍを推定する（出力する）。以下の説明において、第１脳波特徴量Ｆｗ（１）、第２脳波特徴量Ｆｗ（２）、第３脳波特徴量Ｆｗ（３）の各々を特に区別しない場合には、これらを総称して「脳波特徴量Ｆｗ」と呼ぶことがある。
　脳波特徴量Ｆｗは、文章を発話する音声を聴いている際のヒトの脳波（脳波応答）の所定の成分Ｐｃのピーク潜時およびピーク前後の平均振幅の少なくとも一方である。以下の説明においては、「所定の成分Ｐｃのピーク潜時およびピーク前後の平均振幅の少なくとも一方」を、「成分特徴量Ｉｆａ」と称することがある。本実施形態において「文章を発話する音声を聴いている際のヒトの脳波」は、「ヒトが音声として聴いている文章に含まれる単語（各単語）に対する脳波応答」および「係る音声の音声エンベロープに追随する脳波応答」の少なくとも一方である。「所定の成分Ｐｃ」は、例えば、単語提示後１００ミリ秒前後、２００ミリ秒前後、４００ミリ秒前後にピークを持つ成分の少なくとも１つであってもよい。また、「所定の成分Ｐｃ」は、例えば、音声エンベロープに基づいて解析された脳波応答における５０ミリ秒前後（または１００ミリ秒前後）、１５０ミリ秒前後（または２００ミリ秒前後）、２５０ミリ秒前後（または４００ミリ秒前後）にピークを持つ成分の少なくとも１つであってもよい。以下では、「ヒトが音声として聴いている文章に含まれる単語に対する脳波応答」の成分特徴量Ｉｆａを、つまり、ヒトの「単語に対する脳波応答」の成分特徴量Ｉｆａを、脳波特徴量Ｆｗとして用いる例について説明する。
　本実施形態において主観スコアＳｓは、文章を発話する音声を聴いた後に係る文章（音声）に対してヒトが感じた、難易度、関心度、情動価、覚醒度の各々についての５段階評価を含む情報である。「難易度」は、聴いた文章（音声）に対して感じた難易度を５段階評価で示すものである。「関心度」は、聴いた文章（音声）に対して感じた関心度を５段階評価で示すものである。「情動価」は、聴いた文章（音声）をポジティブまたはネガティブなものとして捉えたかを５段階評価で示すものである。「覚醒度」は、情動を喚起された度合（「強く喚起された」から「弱く喚起された」まで）を５段階評価で示すものである。ただし、主観スコアＳｓは、難易度、関心度、情動価、覚醒度の各々についての５段階評価を示すものに限られず、文章を発話する音声を聴いた後に、係る文章に対してヒトが感じた主観的評価を示すものであればよい。
　本実施形態において気分スコアＳｍは、例えば、ヒトのベック抑うつ調査（ＢＤＩ、Beck Depression Inventory）に対する回答から算出されるＢＤＩスコアであってもよい。また、気分スコアＳｍは、ヒトの抑うつ気分が高いか否かを示すものであってもよく、例えば、ＢＤＩスコアが「１４」以上か否かを示すものであってもよい。ただし、気分スコアＳｍは、これらの例に限られるものではなく、ヒトの抑うつ気分の高さを示すことのできるものであればよい。
　推定モデル３の機械学習に利用される各学習データセット１２０は、被験者脳波特徴量１２１、被験者主観スコア１２２、および、被験者気分スコア１２３の組み合わせにより構成される。被験者脳波特徴量１２１は、文章を発話する音声を聴いていた際の学習被験者の脳波から生成される脳波特徴量Ｆｗである。被験者主観スコア１２２は、文章を発話する音声を聴いた後に係る文章に対して学習被験者が感じた主観的評価を示す主観スコアＳｓである。被験者気分スコア１２３は、学習被験者の抑うつ気分の高さを示す気分スコアＳｍであり、被験者脳波特徴量１２１および被験者主観スコア１２２に対する推定タスクの正解を示す。
　本実施形態において機械学習を実施することは、以下の訓練ステップを含む。すなわち、各学習データセット１２０について、被験者脳波特徴量１２１と被験者主観スコア１２２とを推定モデル３に与えたときに、推定モデル３の推定タスクを遂行した結果（気分スコアＳｍ）が被験者気分スコア１２３に適合（一致）するように、推定モデル３を訓練する訓練ステップを含む。モデル生成装置１は、例えば、サポートベクターマシン（線形サポートベクターマシン）による機械学習により、推定モデル３を学習してもよい。線形サポートベクターマシンによる機械学習を実施して生成される推定モデル３は、ヒトの抑うつ気分が高いか（例えば、ＢＤＩスコアが「１４」以上か）を推定することができる。
　推定装置２は、本発明に係る気分推定プログラム（気分推定プログラム８２）を実行するコンピュータの一例であり、モデル生成装置１により生成された訓練済みの機械学習モデル（推定モデル３）を使用して、推定タスクを遂行するように構成されたコンピュータである。本実施形態において推定装置２は、訓練済みの推定モデル３を使用して、対象者脳波特徴量２２１と対象者主観スコア９とに対する推定タスクを遂行する（対象者の抑うつ気分の高さを示す気分スコアＳｍである対象者気分スコア２２３を推定する）。対象者脳波特徴量２２１は、文章を発話する音声を聴いている際の対象者の脳波から生成される脳波特徴量Ｆｗである。対象者主観スコア９は、文章を発話する音声を聴いた後に係る文章に対して対象者が感じた主観的評価を示す主観スコアＳｓである。
　なお、本発明において、推定モデル３への入力として主観スコアＳｓは必須ではない。推定モデル３は、少なくとも脳波特徴量Ｆｗの入力を受け付け、入力された脳波特徴量Ｆｗに基づいて、気分スコアＳｍを推定できればよい。これに対応して、各学習データセット１２０は、少なくとも被験者脳波特徴量１２１に対して、被験者気分スコア１２３が対応付けられることにより構成されていればよい。この場合、訓練ステップは、各学習データセット１２０について、被験者脳波特徴量１２１を推定モデル３に与えたときに、推定モデル３の推定する気分スコアＳｍが被験者気分スコア１２３に一致するように、推定モデル３を訓練するものであればよい。主観スコアＳｓを必要とせずに脳波特徴量Ｆｗのみから気分スコアＳｍを推定する推定モデル３を利用する場合、推定装置２は、対象者脳波特徴量２２１のみを推定モデル３に与えることによって、対象者気分スコア２２３を推定することができる。
　また、図１の例では、モデル生成装置１および推定装置２は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、モデル生成装置１および推定装置２の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、モデル生成装置１および推定装置２の間では、記憶媒体を利用して、データがやりとりされてよい。
　さらに、図１の例では、モデル生成装置１および推定装置２は、それぞれ別個のコンピュータにより構成されている。しかしながら、本実施形態に係る気分推定システム１００の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、モデル生成装置１および推定装置２は一体のコンピュータであってもよい。また、例えば、モデル生成装置１および推定装置２のうちの少なくとも一方は、複数台のコンピュータにより構成されてもよい。
　§２　構成例
　［ハードウェア構成］
　＜モデル生成装置＞
　図２は、本実施形態に係るモデル生成装置１のハードウェア構成の一例を模式的に例示する。図２に示される通り、本実施形態に係るモデル生成装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、およびドライブ１７が電気的に接続されたコンピュータである。なお、図２では、通信インタフェースおよび外部インタフェースを「通信Ｉ／Ｆ」および「外部Ｉ／Ｆ」と記載している。後述の図３でも同様の表記を用いる。
　制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラムおよび各種データに基づいて情報処理を実行するように構成される。ＣＰＵは、プロセッサ・リソースの一例である。プロセッサ・リソースとして、ＣＰＵに代えて、または、ＣＰＵと共に、ＧＰＵ（Graphics Processing Unit）を利用してもよい。記憶部１２は、メモリ・リソースの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、モデル生成プログラム８１、複数の学習データセット１２０、学習結果データ１２９等の各種情報を記憶する。
　モデル生成プログラム８１は、推定モデル３の機械学習等に関する後述の情報処理（図５）をモデル生成装置１に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。複数の学習データセット１２０は、推定モデル３の機械学習に使用される。学習結果データ１２９は、機械学習の結果（本実施形態では、機械学習により生成された訓練済みの推定モデル３）に関する情報を示す。本実施形態では、学習結果データ１２９は、モデル生成プログラム８１を実行した結果として生成される。
　通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。モデル生成装置１は、この通信インタフェース１３を利用して、他の情報処理装置との間で、ネットワークを介したデータ通信を実行してもよい。外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類および数は、接続される外部装置の種類および数に応じて適宜選択されてよい。被験者脳波４等のデータを脳波計などの検出装置により取得する場合、モデル生成装置１は、通信インタフェース１３および外部インタフェース１４の少なくとも一方を介して、対象の検出装置に接続されてよい。
　入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザ等のオペレータは、入力装置１５および出力装置１６を利用することで、モデル生成装置１を操作することができる。
　ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記モデル生成プログラム８１および複数の学習データセット１２０の少なくともいずれかは、記憶媒体９１に記憶されていてもよい。モデル生成装置１は、この記憶媒体９１から、上記モデル生成プログラム８１および複数の学習データセット１２０の少なくともいずれかを取得してもよい。なお、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ１７の種類は、記憶媒体９１の種類に応じて任意に選択されてよい。
　なお、モデル生成装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、プロセッサ・リソースは、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭおよびＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６およびドライブ１７の少なくともいずれかは省略されてもよい。モデル生成装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、モデル生成装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。
　＜推定装置＞
　図３は、本実施形態に係る推定装置２のハードウェア構成の一例を模式的に例示する。図３に示される通り、本実施形態に係る推定装置２は、制御部２１、記憶部２２、通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、およびドライブ２７が電気的に接続されたコンピュータである。
　推定装置２の制御部２１～ドライブ２７および記憶媒体９２はそれぞれ、上記モデル生成装置１の制御部１１～ドライブ１７および記憶媒体９１それぞれと同様に構成されてよい。制御部２１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラムおよびデータに基づいて各種情報処理を実行するように構成される。制御部２１は、ＣＰＵに代えて、または、ＣＰＵと共に、ＧＰＵを利用してもよい。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、気分推定プログラム８２、学習結果データ１２９等の各種情報を記憶する。
　気分推定プログラム８２は、訓練済みの機械学習モデル（本実施形態では、推定モデル３）を使用して、少なくとも対象者脳波特徴量２２１に対して所定の推定タスクを遂行する後述の情報処理（図７）を推定装置２に実行させるためのプログラムである。気分推定プログラム８２は、当該情報処理の一連の命令を含む。気分推定プログラム８２および学習結果データ１２９のうちの少なくともいずれかは、記憶媒体９２に記憶されていてもよい。また、推定装置２は、気分推定プログラム８２および学習結果データ１２９のうちの少なくともいずれかを記憶媒体９２から取得してもよい。
　なお、推定装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換および追加が可能である。例えば、推定装置２のプロセッサ・リソースは、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部２２は、制御部２１に含まれるＲＡＭおよびＲＯＭにより構成されてもよい。通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、およびドライブ２７の少なくともいずれかは省略されてもよい。推定装置２は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、推定装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。
　［ソフトウェア構成］
　＜モデル生成装置＞
　図４は、本実施形態に係るモデル生成装置１のソフトウェア構成の一例を模式的に例示する。モデル生成装置１の制御部１１は、記憶部１２に記憶されたモデル生成プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＣＰＵにより、ＲＡＭに展開されたモデル生成プログラム８１に含まれる命令を解釈および実行して、各構成要素を制御する。これにより、本実施形態に係るモデル生成装置１は、図４に例示する被験者脳波取得部１１１、基礎情報取得部１１２、被験者主観スコア取得部１１３、被験者気分スコア取得部１１４、符号部１１５、学習処理部１１６、および、保存処理部１１７をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、モデル生成装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。
　被験者脳波取得部１１１は、文章を発話する音声を聴いている際に計測された学習被験者の脳波である被験者脳波４を取得する。被験者脳波取得部１１１は、複数の学習被験者（本実施形態では「１３５名の学習被験者」）の各々の被験者脳波４を取得する。
　本実施形態において被験者脳波取得部１１１は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、各学習被験者の複数の被験者脳波４を取得する。図４に例示するように、被験者脳波取得部１１１は、被験者第１脳波取得部１１１（１）、被験者第２脳波取得部１１１（２）、および、被験者第３脳波取得部１１１（３）を含んでいてもよい。被験者第１脳波取得部１１１（１）は、各学習被験者が「Ｎｇ」の区分に分類される複数（例えば５つ）の文章の各々を発話する音声を聴いていた際の脳波を、各学習被験者の複数（例えば５つ）の被験者第１脳波４（１）として取得する。各学習被験者の複数の被験者第１脳波４（１）は、各々、「Ｎｇ」の区分に分類される文章を発話する音声を聴いていた各学習被験者の脳波である。被験者第２脳波取得部１１１（２）は、各学習被験者が「Ｎｔ」の区分に分類される複数（例えば５つ）の文章の各々を発話する音声を聴いていた際の脳波を、各学習被験者の複数（例えば５つ）の被験者第２脳波４（２）として取得する。各学習被験者の複数の被験者第２脳波４（２）は、各々、「Ｎｔ」の区分に分類される文章を発話する音声を聴いていた各学習被験者の脳波である。被験者第３脳波取得部１１１（３）は、各学習被験者が「Ｐｓ」の区分に分類される複数（例えば５つ）の文章の各々を発話する音声を聴いていた際の脳波を、各学習被験者の複数（例えば５つ）の被験者第３脳波４（３）として取得する。各学習被験者の複数の被験者第３脳波４（３）は、各々、「Ｐｓ」の区分に分類される文章を発話する音声を聴いていた各学習被験者の脳波である。被験者脳波取得部１１１は、取得した、各学習被験者の複数の被験者第１脳波４（１）、各学習被験者の複数の被験者第２脳波４（２）、および、各学習被験者の複数の被験者第３脳波４（３）を、符号部１１５に通知する。
　基礎情報取得部１１２は、文章を発話する音声を聴いている際のヒトの脳波から脳波特徴量Ｆｗを生成する際に用いられる基礎情報を取得する。基礎情報取得部１１２が取得する基礎情報は、オンセット情報５およびエンベロープ情報の少なくとも一方である。オンセット情報５は、学習被験者が音声として聴いていた文章に含まれる各単語の開始時点を示す情報である。エンベロープ情報は、ヒトが聴いている音声の音声エンベロープを示す情報である。本実施形態では、基礎情報取得部１１２は、基礎情報として、学習被験者が音声として聴いていた文章に含まれる各単語の開始時点を示すオンセット情報５を取得する。基礎情報取得部１１２は、取得したオンセット情報５を符号部１１５に通知する。
　被験者主観スコア取得部１１３は、各学習被験者の主観スコアＳｓとして、文章を発話する音声を聴いた後に係る文章に対して各学習被験者が感じた主観的評価を示す被験者主観スコア１２２を取得する。被験者主観スコア取得部１１３は、取得した各学習被験者の被験者主観スコア１２２を、記憶部１２の学習データセット１２０に格納する。
　被験者気分スコア取得部１１４は、各学習被験者の気分スコアＳｍとして、各学習被験者の抑うつ気分の高さを示す被験者気分スコア１２３を取得する。被験者気分スコア取得部１１４は、取得した各学習被験者の被験者気分スコア１２３を、記憶部１２の学習データセット１２０に格納する。
　符号部１１５は、文章を発話する音声を聴いている際のヒトの脳波から脳波特徴量Ｆｗを生成する。本実施形態では、符号部１１５は、文章を発話する音声を聴いている際の学習被験者の脳波（つまり、被験者脳波４）から被験者脳波特徴量１２１を生成する。
　本実施形態において符号部１１５は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の各区分に分類される文章を発話する音声を聴いていた際の各学習被験者の複数の被験者脳波４を統計的に処理して（例えば、平均して）、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の各区分に対応する各学習被験者の被験者脳波特徴量１２１を生成する。具体的には、符号部１１５は、各学習被験者の第１脳波特徴量Ｆｗ（１）、第２脳波特徴量Ｆｗ（２）、第３脳波特徴量Ｆｗ（３）として、各学習被験者の被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３）を生成する。
　図５は、本実施形態においてモデル生成装置１が実行する特徴量生成処理および学習処理の各々の過程の一例を模式的に例示する。図５に例示するように、符号部１１５は、各学習被験者の複数の被験者第１脳波４（１）を統計的に処理して、各学習被験者の「Ｎｇ」の区分に対応する被験者脳波特徴量１２１として、各学習被験者の被験者第１脳波特徴量１２１（１）を生成する。また、符号部１１５は、各学習被験者の複数の被験者第２脳波４（２）を統計的に処理して、各学習被験者の「Ｎｔ」の区分に対応する被験者脳波特徴量１２１として、各学習被験者の被験者第２脳波特徴量１２１（２）を生成する。さらに、符号部１１５は、各学習被験者の複数の被験者第３脳波４（３）を統計的に処理して、各学習被験者の「Ｐｓ」の区分に対応する被験者脳波特徴量１２１として、各学習被験者の被験者第３脳波特徴量１２１（３）を生成する。
　特に、符号部１１５は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、複数の『各学習被験者の「単語に対する脳波応答」における成分特徴量Ｉｆａ』を統計的に処理して（例えば、平均して）、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとの、各学習被験者の被験者脳波特徴量１２１を生成する。
　例えば、符号部１１５は、（Ａ）各学習被験者の複数の被験者第１脳波４（１）と、（Ｂ）各学習被験者が聴いている、「Ｎｇ」に分類される複数の文章の各々に含まれる各単語の開始時点を示すオンセット情報５とから、（Ｃ）係る複数の文章の各々について、各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ（１）を生成する。そして、符号部１１５は、各々が「Ｎｇ」に分類される文章についての『各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ』である、複数の成分特徴量Ｉｆａ（１）を統計的に処理して、各学習被験者の被験者第１脳波特徴量１２１（１）を生成する。
　同様に、符号部１１５は、（Ａ）各学習被験者の複数の被験者第２脳波４（２）と、（Ｂ）各学習被験者が聴いている、「Ｎｔ」に分類される複数の文章の各々に含まれる各単語の開始時点を示すオンセット情報５とから、（Ｃ）係る複数の文章の各々について、各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ（２）を生成する。そして、符号部１１５は、各々が「Ｎｔ」に分類される文章についての『各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ』である、複数の成分特徴量Ｉｆａ（２）を統計的に処理して、各学習被験者の被験者第２脳波特徴量１２１（２）を生成する。
　また、符号部１１５は、（Ａ）各学習被験者の複数の被験者第３脳波４（３）と、（Ｂ）各学習被験者が聴いている、「Ｐｓ」に分類される複数の文章の各々に含まれる各単語の開始時点を示すオンセット情報５とから、（Ｃ）係る複数の文章の各々について、各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ（３）を生成する。そして、符号部１１５は、各々が「Ｐｓ」に分類される文章についての『各学習被験者の「単語に対する脳波応答」の成分特徴量Ｉｆａ』である、複数の成分特徴量Ｉｆａ（３）を統計的に処理して、各学習被験者の被験者第３脳波特徴量１２１（３）を生成する。
　符号部１１５は、生成した各学習被験者の被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３）を、記憶部１２の学習データセット１２０に格納する。
　学習処理部１１６は、記憶部１２に格納されている複数の学習データセット１２０を使用して、推定モデル３の機械学習を実施する。これまで説明してきたように、符号部１１５は、各学習被験者の被験者脳波特徴量１２１を各学習データセット１２０に格納し、被験者気分スコア取得部１１４は、各学習被験者の被験者気分スコア１２３を各学習データセット１２０に格納する。そのため、各学習データセット１２０は、少なくとも、各学習被験者の被験者脳波特徴量１２１に対して、各学習被験者の被験者気分スコア１２３が、対応付けられることにより構成されている。
　学習処理部１１６が実施する機械学習は、少なくとも、以下の訓練ステップを含む。すなわち、各学習データセット１２０について、被験者脳波特徴量１２１を入力として受け付けたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　本実施形態において各学習データセット１２０には、さらに、被験者主観スコア取得部１１３によって各学習被験者の被験者主観スコア１２２が格納されている。すなわち、各学習データセット１２０においては、各学習被験者の被験者脳波特徴量１２１および被験者主観スコア１２２に対して、各学習被験者の被験者気分スコア１２３が対応付けられている。そのため、本実施形態において学習処理部１１６が実施する機械学習は、以下の訓練ステップを含む。すなわち、各学習データセット１２０について、被験者脳波特徴量１２１および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　特に、本実施形態に係る各学習データセット１２０には、符号部１１５によって、各学習被験者の被験者脳波特徴量１２１として、被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、および、被験者第３脳波特徴量１２１（３）が、格納されている。すなわち、各学習データセット１２０において、各学習被験者の、被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３）、および、被験者主観スコア１２２に対して、各学習被験者の被験者気分スコア１２３が対応付けられている。
　そのため、本実施形態において学習処理部１１６が実施する機械学習は、以下の第１訓練ステップ、第２訓練ステップ、および、第３訓練ステップを含む。第１訓練ステップにおいて推定モデル３は、少なくとも学習被験者の第１脳波特徴量Ｆｗ（１）（被験者第１脳波特徴量１２１（１））を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第２訓練ステップにおいて推定モデル３は、少なくとも学習被験者の第２脳波特徴量Ｆｗ（２）（被験者第２脳波特徴量１２１（２））を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第３訓練ステップにおいて推定モデル３は、少なくとも学習被験者の第３脳波特徴量Ｆｗ（３）（被験者第３脳波特徴量１２１（３））を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。
　具体的には、図５に例示するように、第１訓練ステップにおいて推定モデル３は、被験者第１脳波特徴量１２１（１）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第２訓練ステップにおいて推定モデル３は、被験者第２脳波特徴量１２１（２）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第３訓練ステップにおいて推定モデル３は、被験者第３脳波特徴量１２１（３）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。以上の各訓練ステップの実行により、訓練済みの推定モデル３が生成される。推定モデル３の演算パラメータの値は、上記機械学習の各訓練ステップにより調節される。
　保存処理部１１７は、訓練済みの推定モデル３の構造および演算パラメータの値を示す情報を学習結果データ１２９として生成する。構造は、例えば、ニューラルネットワークにおける入力層から出力層までの層の数、各層の種類、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係等により特定されてよい。気分推定システム１００内でモデル（推定モデル３）の構造が共通化される場合、この構造に関する情報は学習結果データ１２９から省略されてもよい。また、利用場面で使用されない情報は、学習結果データ１２９から省略されてよい。保存処理部１１７は、生成した学習結果データ１２９を所定の記憶領域（本実施形態では、記憶部１２）に保存する。
　＜推定装置＞
　図６は、本実施形態に係る推定装置２のソフトウェア構成の一例を模式的に例示する。推定装置２の制御部２１は、記憶部２２に記憶された気分推定プログラム８２をＲＡＭに展開する。そして、制御部２１は、ＣＰＵにより、ＲＡＭに展開された気分推定プログラム８２に含まれる命令を解釈および実行して、各構成要素を制御する。これにより、本実施形態に係る推定装置２は、図６に例示する対象者脳波取得部２１１、分類情報取得部２１２、基礎情報取得部２１３、対象者主観スコア取得部２１４、符号部２１５、推定部２１６、および、出力部２１７をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、推定装置２の各ソフトウェアモジュールは、上記モデル生成装置１と同様に、制御部２１（ＣＰＵ）により実現される。
　対象者脳波取得部２１１は、本発明の「対象者脳波取得ステップ」を実行するソフトウェアモジュールの一例である。対象者脳波取得部２１１は、文章を発話する音声を聴いている際に計測された対象者の脳波である対象者脳波６を取得する。対象者脳波取得部２１１は、取得した対象者脳波６を、符号部２１５に通知する。
　分類情報取得部２１２は、本発明の「分類情報取得ステップ」を実行するソフトウェアモジュールの一例である。分類情報取得部２１２は、対象者が音声として聴いている文章が、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分の何れに分類されるかを示す分類情報７を取得する。分類情報取得部２１２は、取得した分類情報７を、符号部２１５に通知する。
　基礎情報取得部２１３は、本発明の「オンセット情報取得ステップ」および「エンベロープ情報取得ステップ」の少なくとも一方を実行するソフトウェアモジュールの一例である。本実施形態において基礎情報取得部２１３は、基礎情報取得部１１２と同様に、基礎情報を取得し、具体的には、対象者が音声として聴いていた文章に含まれる各単語の開始時点を示すオンセット情報８を取得する。基礎情報取得部２１３は、取得したオンセット情報８を、符号部２１５に通知する。なお、基礎情報取得部２１３は、基礎情報取得部１１２と同様に、オンセット情報８に代えて、または、オンセット情報８と共に、対象者が聴いている音声の音声エンベロープを示すエンベロープ情報を取得してもよい。
　対象者主観スコア取得部２１４は、本発明の「対象者主観スコア取得ステップ」を実行するソフトウェアモジュールの一例である。対象者主観スコア取得部２１４は、対象者の主観スコアＳｓとして、文章を発話する音声を聴いた後に係る文章に対して対象者が感じた主観的評価を示す対象者主観スコア９を取得する。対象者主観スコア取得部２１４は、取得した対象者主観スコア９を、推定部２１６に通知する。
　符号部２１５は、本発明の「脳波符号ステップ」を実行するソフトウェアモジュールの一例である。符号部２１５は、対象者脳波６から、対象者脳波特徴量２２１を生成する。本実施形態において符号部２１５は、対象者脳波６と分類情報７とから、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）を生成する。「ｘ」は、「１」以上の整数であり、例えば、区分（１）は「Ｎｇ」に、区分（２）は「Ｎｔ」に、区分（３）は「Ｐｓ」に、それぞれ対応する。
　具体的には、分類情報７が、対象者が音声として聴いている文章が「Ｎｇ」に分類されることを示す場合、符号部２１５は、対象者の第１脳波特徴量Ｆｗ（１）として、対象者脳波特徴量２２１（１）を生成する。また、分類情報７が、対象者が音声として聴いている文章が「Ｎｔ」に分類されることを示す場合、符号部２１５は、対象者の第２脳波特徴量Ｆｗ（２）として、対象者脳波特徴量２２１（２）を生成する。さらに、分類情報７が、対象者が音声として聴いている文章が「Ｐｓ」に分類されることを示す場合、符号部２１５は、対象者の第３脳波特徴量Ｆｗ（３）として、対象者脳波特徴量２２１（３）を生成する。以下の説明において、対象者脳波特徴量２２１（１）、２２１（２）、２２１（３）の各々を特に区別しない場合、「対象者脳波特徴量２２１」と称することがある。
　符号部２１５は、対象者脳波６とオンセット情報８とから、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを、脳波特徴量Ｆｗとして生成する。本実施形態において符号部２１５は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを生成することができ、つまり、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、対象者の脳波特徴量Ｆｗを生成することができる。具体的には、符号部２１５は、対象者脳波６と分類情報７とオンセット情報８とから、対象者の「分類情報７によって示される区分（ｘ）に分類される文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａ（ｘ）を、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）として生成する。
　例えば、分類情報７が、対象者が音声として聴いている文章が「Ｎｇ」に分類されることを示す場合、符号部２１５は、対象者の『「Ｎｇ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（１）を、「Ｎｇ」に対応する対象者脳波特徴量２２１（１）として生成する。また、分類情報７が、対象者が音声として聴いている文章が「Ｎｔ」に分類されることを示す場合、符号部２１５は、対象者の『「Ｎｔ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（２）を、「Ｎｔ」に対応する対象者脳波特徴量２２１（２）として生成する。さらに、分類情報７が、対象者が音声として聴いている文章が「Ｐｓ」に分類されることを示す場合、符号部２１５は、対象者の『「Ｐｓ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（３）を、「Ｐｓ」に対応する対象者脳波特徴量２２１（３）として生成する。
　推定部２１６は、本発明の「推定ステップ」を実行するソフトウェアモジュールの一例である。推定部２１６は、モデル生成装置１により生成された訓練済みの機械学習モデル（つまり、推定モデル３）を使用して、少なくとも対象者脳波特徴量２２１に対して推定タスクを遂行し、つまり、対象者気分スコア２２３を推定する。推定部２１６は、学習結果データ１２９を保持することで、モデル生成装置１により生成された訓練済みの推定モデル３を備えている。推定部２１６は、訓練済みの推定モデル３を使用して、少なくとも対象者脳波特徴量２２１から、対象者気分スコア２２３を推定する。
　本実施形態において対象者脳波特徴量２２１は、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）であり、特に、対象者の「分類情報７によって示される区分（ｘ）に分類される文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａ（ｘ）である。前述の通り、訓練済の推定モデル３は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとの被験者脳波特徴量１２１（被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３））を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように訓練されている。そして、被験者第１脳波特徴量１２１（１）は、各学習被験者の『「Ｎｇ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（１）の平均である。また、被験者第２脳波特徴量１２１（２）は、各学習被験者の『「Ｎｔ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（２）の平均である。さらに、被験者第３脳波特徴量１２１（３）は、各学習被験者の『「Ｐｓ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（３）の平均である。そのため、推定部２１６は、対象者の「分類情報７によって示される区分（ｘ）に分類される文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａ（ｘ）を、訓練済の推定モデル３に与えることにより、対象者気分スコア２２３を推定することができる。
　特に、推定部２１６は、対象者脳波特徴量２２１と対象者主観スコア９とから、対象者気分スコア２２３を推定する。前述の通り、訓練済の推定モデル３は、被験者脳波特徴量１２１および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように訓練されている。そのため、推定部２１６は、対象者脳波特徴量２２１および対象者主観スコア９を訓練済の推定モデル３に与えることにより、対象者気分スコア２２３を推定することができる。
　例えば、推定部２１６は、対象者の『「Ｎｇ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（１）（「Ｎｇ」に対応する対象者脳波特徴量２２１（１））と対象者主観スコア９とを訓練済の推定モデル３に与えることにより、対象者気分スコア２２３を推定する。また、推定部２１６は、対象者の『「Ｎｔ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（２）（「Ｎｔ」に対応する対象者脳波特徴量２２１（２））と対象者主観スコア９とを訓練済の推定モデル３に与えることにより、対象者気分スコア２２３を推定する。さらに、推定部２１６は、対象者の『「Ｐｓ」に分類される文章に含まれる単語に対する脳波応答』における成分特徴量Ｉｆａ（３）（「Ｐｓ」に対応する対象者脳波特徴量２２１（３））と対象者主観スコア９とを訓練済の推定モデル３に与えることにより、対象者気分スコア２２３を推定する。
　図７は、推定装置２が実行する特徴量生成処理および気分推定処理の各々の過程の一例を模式的に例示する。図７に例示するように、符号部２１５は、対象者脳波６と分類情報７とオンセット情報８とから、対象者の「分類情報７によって示される区分（ｘ）に分類される文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａ（ｘ）（分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ））を生成する。つまり、符号部２１５は、分類情報７によって示される区分に応じて、対象者の第１脳波特徴量Ｆｗ（１）である対象者脳波特徴量２２１（１）、対象者の第２脳波特徴量Ｆｗ（２）である対象者脳波特徴量２２１（２）、対象者の第３脳波特徴量Ｆｗ（３）である対象者脳波特徴量２２１（３）の何れかを生成する。そして、訓練済の推定モデル３は、対象者脳波特徴量２２１（特に、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ））および対象者主観スコア９から、対象者気分スコア２２３を推定する（出力する）。
　出力部２１７は、本発明の「出力ステップ」を実行するソフトウェアモジュールの一例である。出力部２１７は、推定ステップにおいて推定された対象者気分スコア２２３に対応する情報を、対象者に出力する。
　当該構成では、推定装置２は、対象者気分スコア２２３に対応する情報を、対象者に出力する（例えば、通知する）。対象者気分スコア２２３に対応する情報は、対象者気分スコア２２３自体であってもよい。また、対象者気分スコア２２３に対応する情報は、対象者気分スコア２２３によって示される、対象者の抑うつ気分の高低を示す情報であってもよい。さらに、対象者気分スコア２２３に対応する情報は、対象者気分スコア２２３に対応する、対象者へのアドバイスを含む情報であってもよい。例えば、推定装置２は、対象者気分スコア２２３を対象者に出力することにより、対象者に、自らの気分の落ち込みなどの心の状態を自覚させることができる。例えば、推定装置２は、対象者気分スコア２２３に対応する、対象者へのアドバイスを含む情報を対象者に出力することにより、対象者に、メンタルに負担の大きい情報を遮断するなどの、メンタルヘルスを健全に保つための行動を促すことができる。
　対象者気分スコア２２３が対象者の抑うつ気分が高いことを示すものであった場合、対象者気分スコア２２３に対応する情報は、対象者をリラックスさせる情報、例えば、対象者をリラックスさせる音楽、映像等であってもよい。推定装置２は、対象者気分スコア２２３が示す対象者の抑うつ気分の高さに応じた情報を、「対象者気分スコア２２３に対応する情報」として対象者に出力することができる。
　特に、推定装置２は、非特許文献１に記載されている非日常的な（特殊な）音ではなく、対象者が日常的に耳にする、ニュース音声などの文章を発話する音声を聴いている際の対象者の脳波から、対象者気分スコア２２３を推定する。そのため、推定装置２は、日常的な音声情報に対する対象者の脳波から対象者気分スコア２２３を推定し、推定した対象者気分スコア２２３に対応する情報を対象者に出力することにより、対象者に自らの心の状態を自覚させたり、メンタルヘルスを健全に保つための行動を促したり、また、対象者をリラックスさせたりすることができる。
　＜その他＞
　モデル生成装置１および推定装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、モデル生成装置１および推定装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。例えば、上記ソフトウェアモジュールの一部又は全部が、グラフィックスプロセッシングユニットにより処理されてもよい。また、モデル生成装置１および推定装置２それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換および追加が行われてもよい。
　§３　動作例
　［モデル生成装置］
　図８は、本実施形態に係るモデル生成装置１の処理手順の一例を示すフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。
　（ステップＳ１０１）
　ステップＳ１０１では、制御部１１は、被験者脳波取得部１１１として動作し、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、各学習被験者の複数の被験者脳波４を取得する。すなわち、制御部１１は、各学習被験者の複数の被験者第１脳波４（１）、被験者第２脳波４（２）、被験者第３脳波４（３）を取得する。
　（ステップＳ１０２）
　ステップＳ１０２では、制御部１１は、基礎情報取得部１１２として動作し、本実施形態においては、学習被験者が音声として聴いていた文章に含まれる各単語の開始時点を示すオンセット情報５を取得する。
　（ステップＳ１０３）
　ステップＳ１０３では、制御部１１は、被験者主観スコア取得部１１３として動作し、文章を発話する音声を聴いた後に係る文章に対して各学習被験者が感じた主観的評価を示す被験者主観スコア１２２を取得する。制御部１１は、取得した各学習被験者の被験者主観スコア１２２を、記憶部１２の学習データセット１２０に格納する。
　（ステップＳ１０４）
　ステップＳ１０４では、制御部１１は、被験者気分スコア取得部１１４として動作し、各学習被験者の抑うつ気分の高さを示す被験者気分スコア１２３を取得する。制御部１１は、取得した各学習被験者の被験者気分スコア１２３を、記憶部１２の学習データセット１２０に格納する。
　（ステップＳ１０５）
　ステップＳ１０５では、制御部１１は、符号部１１５として動作し、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとに、複数の被験者脳波４と基礎情報（オンセット情報５）とから、被験者脳波特徴量１２１を生成する。すなわち、制御部１１は、各学習被験者の複数の被験者第１脳波４（１）と、オンセット情報５とから、各学習被験者の『「Ｎｇ」に分類される文章に含まれる単語に対する脳波応答』の成分特徴量Ｉｆａ（１）を、各学習被験者の被験者第１脳波特徴量１２１（１）として生成する。また、制御部１１は、各学習被験者の複数の被験者第２脳波４（２）と、オンセット情報５とから、各学習被験者の『「Ｎｔ」に分類される文章に含まれる単語に対する脳波応答』の成分特徴量Ｉｆａ（２）を、各学習被験者の被験者第２脳波特徴量１２１（２）として生成する。さらに、制御部１１は、各学習被験者の複数の被験者第３脳波４（３）と、オンセット情報５とから、各学習被験者の『「Ｐｓ」に分類される文章に含まれる単語に対する脳波応答』の成分特徴量Ｉｆａ（３）を、各学習被験者の被験者第３脳波特徴量１２１（３）として生成する。
　（ステップＳ１０６）
　ステップＳ１０６では、制御部１１は、符号部１１５として動作し、それぞれが『「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の区分ごとの被験者脳波特徴量１２１および被験者主観スコア１２２』に対して被験者気分スコア１２３が対応付けられることにより構成される、複数の学習データセット１２０を準備する。前述の通り、Ｓ１０３において、各学習データセット１２０には各学習被験者の被験者主観スコア１２２が格納される。また、Ｓ１０４において、各学習データセット１２０には各学習被験者の被験者気分スコア１２３が格納される。そして、ステップＳ１０６において制御部１１は、ステップＳ１０５において生成した、各学習被験者の被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３）を、各学習データセット１２０に格納する。これにより、それぞれ、各学習被験者の被験者脳波特徴量１２１（被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３））および被験者主観スコア１２２に対して、各学習被験者の被験者気分スコア１２３が対応付けられた複数の学習データセット１２０が準備される。
　（ステップＳ１０７）
　ステップＳ１０７では、制御部１１は、学習処理部１１６として動作し、複数の学習データセット１２０を使用して、学習モデル（つまり、推定モデル３）の機械学習を実施する。機械学習を実施することは、複数の学習データセット１２０の各々について、少なくとも被験者脳波特徴量１２１を入力として受け付けたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。本実施形態において機械学習を実施することは、各学習データセット１２０について、被験者脳波特徴量１２１（被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３））および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　具体的には、機械学習を実施することは、以下の第１訓練ステップ、第２訓練ステップ、および、第３訓練ステップを含む。第１訓練ステップにおいて推定モデル３は、被験者第１脳波特徴量１２１（１）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第２訓練ステップにおいて推定モデル３は、被験者第２脳波特徴量１２１（２）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。第３訓練ステップにおいて推定モデル３は、被験者第３脳波特徴量１２１（３）および被験者主観スコア１２２を入力されたときに推定モデル３が推定する主観スコアＳｓが、被験者気分スコア１２３に一致するように、訓練される。
　機械学習の処理対象となる推定モデル３を構成するニューラルネットワークは適宜用意されてよい。推定モデル３の構造（例えば、層の数、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係等）、各ニューロン間の結合の重みの初期値、および各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部１１は、過去の機械学習を行うことで得られた学習結果データに基づいて、推定モデル３を用意してもよい。この機械学習の訓練処理には、例えば、バッチ勾配降下法、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。
　制御部１１は、例えば、各学習データセット１２０について、推定モデル３から得られる出力値と正解データである「被験者気分スコア１２３」との間の誤差を算出する。制御部１１は、例えば、誤差逆伝播（Back propagation）法により、算出された誤差の勾配を用いて、推定モデル３の各演算パラメータ（各ニューロン間の結合の重み、各ニューロンの閾値等）の値の誤差を算出する。制御部１１は、算出された各誤差に基づいて、推定モデル３の各演算パラメータの値を更新する。各演算パラメータの値を更新する程度は、学習率により調節されてよい。学習率は、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。
　制御部１１は、上記一連の更新処理により、算出される各誤差の和が小さくなるように、推定モデル３の各演算パラメータの値を調整する。例えば、規定回数実行する、算出される誤差の和が閾値以下になる等の所定の条件を満たすまで、制御部１１は、上記一連の処理による各演算パラメータの値の調節を繰り返してもよい。これにより、制御部１１は、各学習データセット１２０について、被験者脳波特徴量１２１および被験者主観スコア１２２を推定モデル３に与えることで推定モデル３から得られる推定タスクの遂行結果が正解データ（被験者気分スコア１２３）に適合するように、推定モデル３を訓練することができる。ステップＳ１０７の訓練処理が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。
　（ステップＳ１０８）
　ステップＳ１０８では、制御部１１は、保存処理部１１７として動作し、機械学習の結果を保存し、つまり、訓練済みの推定モデル３の構造および演算パラメータの値を示す学習結果データ１２９を、所定の記憶領域に保存する。
　［推定装置］
　図９は、本実施形態に係る推定装置２の処理手順の一例を示すフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、および追加が可能である。
　（ステップＳ２０１、対象者脳波取得ステップ）
　ステップＳ２０１では、制御部２１は、対象者脳波取得部２１１として動作し、文章を発話する音声を聴いている際の対象者の脳波（対象者脳波６）を取得する。
　（ステップＳ２０２、分類情報取得ステップ）
　ステップＳ２０２では、制御部２１は、分類情報取得部２１２として動作し、対象者が音声として聴いている文章が、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分の何れに分類されるかを示す分類情報７を取得する。
　（ステップＳ２０３、オンセット情報取得ステップ）
　ステップＳ２０３では、制御部２１は、基礎情報取得部２１３として動作し、基礎情報として、対象者が音声として聴いていた文章に含まれる各単語の開始時点を示すオンセット情報８を取得する。
　（ステップＳ２０４、対象者主観スコア取得ステップ）
　ステップＳ２０４では、制御部２１は、対象者主観スコア取得部２１４として動作し、文章を発話する音声を聴いた後に係る文章に対して対象者が感じた主観的評価を示す対象者主観スコア９を取得する。
　（ステップＳ２０５、脳波符号ステップ）
　ステップＳ２０５では、制御部２１は、符号部２１５として動作し、対象者脳波６から対象者脳波特徴量２２１を生成する。本実施形態において制御部２１は、対象者脳波６、オンセット情報８、分類情報７から、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）を生成する。具体的には、制御部２１は、対象者の「分類情報７によって示される区分（ｘ）に分類される文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａ（ｘ）を、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）として生成する。
　（ステップＳ２０６、推定ステップ）
　ステップＳ２０６では、制御部２１は、推定部２１６として動作し、訓練済みの推定モデル３に、少なくとも対象者脳波特徴量２２１を入力することにより、対象者気分スコア２２３を推定する。本実施形態において制御部２１は、ステップＳ２０５において生成した「分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）」と、対象者主観スコア９とを、訓練済みの推定モデル３に入力して、推定タスクを遂行する。つまり、制御部２１は、「分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）」と、対象者主観スコア９とを、訓練済みの推定モデル３に入力して、対象者気分スコア２２３を推定させる（出力させる）。
　（ステップＳ２０７、出力ステップ）
　ステップＳ２０７では、制御部２１は、出力部２１７として動作し、ステップＳ２０６における推定タスクの遂行結果に関する情報を出力し、つまり、推定ステップにおいて推定された対象者気分スコア２２３に対応する情報を、対象者に出力する。
　［特徴］
　以上のとおり、本実施形態において気分推定プログラム８２は、推定装置２（コンピュータ）に、対象者脳波取得ステップ（Ｓ２０１）と、脳波符号ステップ（Ｓ２０５）と、推定ステップ（Ｓ２０６）と、を実行させる。対象者脳波取得ステップにおいて、推定装置２は、文章を発話する音声を聴いている際の対象者の脳波である対象者脳波６を取得する。脳波符号ステップにおいて、推定装置２は、文章を発話する音声を聴いている際のヒトの脳波から脳波特徴量Ｆｗを生成する。特に、脳波符号ステップにおいて、推定装置２は、対象者脳波６から「対象者の脳波特徴量Ｆｗ」として対象者脳波特徴量２２１を生成する。推定ステップにおいて、推定装置２は、訓練済の推定モデル３に、対象者脳波特徴量２２１を入力することにより、対象者の抑うつ気分の高さを示す気分スコアＳｍである対象者気分スコア２２３を推定する。
　推定モデル３は、少なくとも脳波特徴量Ｆｗを入力として受け付け、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定し、例えば、線形サポートベクターマシンとして構成されてもよい。推定モデル３は、複数の学習データセット１２０を使用した機械学習が実施されることによって生成される。複数の学習データセット１２０は、それぞれ、少なくとも、文章を発話する音声を聴いていた際の学習被験者の脳波（被験者脳波４）から生成される脳波特徴量Ｆｗである被験者脳波特徴量１２１に対して、学習被験者の抑うつ気分の高さを示す気分スコアＳｍである被験者気分スコア１２３が、対応付けられることにより構成される。機械学習を実施することは、複数の学習データセット１２０の各々について、被験者脳波特徴量１２１を入力として受け付けたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　当該構成では、気分推定プログラム８２は、推定装置２に、文章を発話する音声を聴いている際の対象者の対象者脳波６から生成される対象者脳波特徴量２２１に基づいて、係る対象者の抑うつ気分の高さを示す対象者気分スコア２２３を推定させる。気分推定プログラム８２は、推定装置２に、複数の学習データセット１２０を使用した機械学習が実施されることによって生成された推定モデル３に、対象者脳波特徴量２２１を入力することにより、対象者気分スコア２２３を推定させる。
　学習データセット１２０は、少なくとも、文章を発話する音声を聴いている際のヒト（学習被験者）の脳波から生成される脳波特徴量Ｆｗ（被験者脳波特徴量１２１）に対して、係るヒトの抑うつ気分の高さを示す気分スコアＳｍ（被験者気分スコア１２３）が対応付けられて構成される。また、機械学習を実施することは、複数の学習データセット１２０の各々について、被験者脳波特徴量１２１から推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　本件発明者らは、それぞれ、被験者脳波特徴量１２１に対して被験者気分スコア１２３が対応付けられることにより構成された複数の学習データセット１２０を使用した機械学習が実施されることによって生成された推定モデル３について、推定精度の検証を行ない、以下の検証結果を得た。すなわち、係る推定モデル３のＡＵＣ（Area Under the Roc Curve）が「０．７３」となったことを確認した。また、推定モデル３は、抑うつ気分が高い人（ＢＤＩスコアが１４以上の人）のうち６６％について、抑うつ気分が高いと識別した。そのため、推定装置２は、ニュース音声、会話音声などの「文章を発話する音声」を聴いている際の対象者の脳波から生成される対象者脳波特徴量２２１を、推定モデル３に入力することにより、対象者気分スコア２２３を高精度に推定することができる。
　特に、ニュース音声、会話音声などの「文章を発話する音声」は、非特許文献１に記載されている非日常的な（特殊な）音ではなく、対象者が日常的に耳にする音声であり、つまり、日常的な音声情報である。そのため、推定装置２は、係る日常的な音声情報に対する対象者の脳波（脳の応答）から、対象者の抑うつ気分の高さを示す対象者気分スコア２２３を推定することができるとの効果を奏する。
　気分推定プログラム８２は、推定装置２に、脳波符号ステップにおいて、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分ごとの脳波特徴量Ｆｗを生成させる。すなわち、推定装置２は、脳波符号ステップにおいて、係る少なくとも３つの区分の何れかに分類される文章を発話する音声を聴いている際のヒトの脳波と、その文章が分類される区分を示す情報とから、その文章が分類される区分に対応する脳波特徴量Ｆｗを、前述の脳波特徴量Ｆｗとして生成する。
　推定モデル３は、脳波特徴量Ｆｗとして、ヒトが音声として聴いている文章が分類される区分に対応する脳波特徴量Ｆｗを入力されると、係るヒトの抑うつ気分の高さを示す気分スコアＳｍを推定する。例えば、推定モデル３は、「Ｎｇ」の区分に対応する第１脳波特徴量Ｆｗ（１）、「Ｎｔ」の区分に対応する第２脳波特徴量Ｆｗ（２）、および、「Ｐｓ」の区分に対応する第３脳波特徴量Ｆｗ（３）の何れかを入力されると、気分スコアＳｍを推定する。
　被験者脳波特徴量１２１は、被験者第１脳波特徴量１２１（１）と、被験者第２脳波特徴量１２１（２）と、被験者第３脳波特徴量１２１（３）と、を含む。被験者第１脳波特徴量１２１（１）は、それぞれが「Ｎｇ」の区分に分類される文章を発話する音声を聴いていた際の学習被験者の脳波である、複数の被験者第１脳波４（１）を統計的に処理して（例えば、平均して）生成される第１脳波特徴量Ｆｗ（１）である。被験者第２脳波特徴量１２１（２）は、それぞれが「Ｎｔ」の区分に分類される文章を発話する音声を聴いていた際の学習被験者の脳波である、複数の被験者第２脳波４（２）を統計的に処理して生成される第２脳波特徴量Ｆｗ（２）である。被験者第３脳波特徴量１２１（３）は、それぞれが「Ｐｓ」の区分に分類される文章を発話する音声を聴いていた際の学習被験者の脳波である、複数の被験者第３脳波４（３）を統計的に処理して生成される第３脳波特徴量Ｆｗ（３）である。
　機械学習を実施することは、第１訓練ステップと、第２訓練ステップと、第３訓練ステップと、を含む。第１訓練ステップは、複数の学習データセット１２０の各々について、「Ｎｇ」の区分に対応する第１脳波特徴量Ｆｗ（１）として被験者第１脳波特徴量１２１（１）を入力されたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する。第２訓練ステップは、複数の学習データセット１２０の各々について、「Ｎｔ」の区分に対応する第２脳波特徴量Ｆｗ（２）として被験者第２脳波特徴量１２１（２）を入力されたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する。第３訓練ステップは、複数の学習データセット１２０の各々について、「Ｐｓ」の区分に対応する第３脳波特徴量Ｆｗ（３）として被験者第３脳波特徴量１２１（３）を入力されたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する。
　気分推定プログラム８２は、推定装置２に、対象者が音声として聴いている文章が、前述の少なくとも３つの区分の何れに分類されるかを示す分類情報７を取得する分類情報取得ステップ（Ｓ２０２）をさらに実行させる。そして、気分推定プログラム８２は、推定装置２に、脳波符号ステップにおいて、分類情報７によって示される区分（ｘ）に分類される文章を発話する音声を聴いている際の対象者の対象者脳波６と、分類情報７とから、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）を生成させる。気分推定プログラム８２は、推定装置２に、推定ステップにおいて、分類情報７によって示される区分（ｘ）に対応する脳波特徴量Ｆｗとして、脳波符号ステップにおいて生成した対象者脳波特徴量２２１（ｘ）を、推定モデル３に入力することにより、対象者気分スコア２２３を推定する処理を実行させる。
　当該構成では、学習データセット１２０は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分の各々に対応する脳波特徴量Ｆｗ（被験者第１脳波特徴量１２１（１）、被験者第２脳波特徴量１２１（２）、被験者第３脳波特徴量１２１（３））に対して、被験者気分スコア１２３が対応付けられることにより構成される。そして、推定モデル３は、学習データセット１２０を使用した、前述の第１訓練ステップ、第２訓練ステップ、第３訓練ステップと、を含む機械学習が実施されることによって生成される。そのため、推定モデル３は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の各区分に対応する脳波特徴量Ｆｗ（第１脳波特徴量Ｆｗ（１）、第２脳波特徴量Ｆｗ（２）、および、第３脳波特徴量Ｆｗ（３）の何れか）から、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定することができる。
　さらに、推定装置２は、分類情報７を取得する分類情報取得ステップを実行する。分類情報７は、推定装置２の外部から取得してもよい。また、推定装置２が、分類情報７を生成し、生成した分類情報７を、前述の分類情報取得ステップにおいて取得してもよい。上述の通り、分類情報７は、ルールベースで生成されてもよいし、モデルベースで生成されてもよい。
　推定装置２は、分類情報７によって示される区分（ｘ）に分類される文章を発話する音声を聴いている際の対象者の対象者脳波６から、分類情報７によって示される区分（ｘ）に対応する対象者脳波特徴量２２１（ｘ）を生成する。そして、推定装置２は、対象者脳波特徴量２２１（ｘ）を、推定モデル３に入力することにより、対象者気分スコア２２３を推定させる。
　それゆえ、推定装置２は、文章を発話する音声を聴いている際の対象者の脳波と、係る文章が「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分の何れかに分類されるかを示す分類情報７とから、対象者の抑うつ気分の高さを示す対象者気分スコア２２３を推定することができる。
　気分推定プログラム８２は、推定装置２に、脳波符号ステップにおいて、文章を発話する音声を聴いている際のヒトの脳波から、ヒトの「係る文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａを、脳波特徴量Ｆｗとして生成させてもよい。例えば、推定装置２（特に、符号部２１５）は、文章を読む音声を聴いている際のヒトの脳波と、係る文章に含まれる各単語の開始時点とから、ヒトの「単語に対する脳波応答」における成分特徴量Ｉｆａを、脳波特徴量Ｆｗとして生成する。
　被験者脳波特徴量１２１は、文章を発話する音声を聴いていた際の学習被験者の被験者脳波４と、係る文章に含まれる各単語の開始時点とから生成される、学習被験者の「単語に対する脳波応答」における成分特徴量Ｉｆａである。
　気分推定プログラム８２は、推定装置２に、対象者が音声として聴いている文章に含まれる各単語の開始時点を示すオンセット情報８を取得するオンセット情報取得ステップ（Ｓ２０３）をさらに実行させる。そして、気分推定プログラム８２は、推定装置２に、脳波符号ステップにおいて、対象者脳波６と、オンセット情報８によって示される「対象者が音声として聴いている文章に含まれる各単語の開始時点」とから、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として生成させる。気分推定プログラム８２は、推定装置２に、推定ステップにおいて、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として推定モデル３に入力することにより、対象者気分スコア２２３を推定する処理を実行させる。
　当該構成では、脳波特徴量Ｆｗは、「文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａである。学習データセット１２０は、学習被験者の「単語に対する脳波応答」における成分特徴量Ｉｆａに対して、被験者気分スコア１２３が対応付けられることにより構成される。そして、推定モデル３は、学習データセット１２０を使用した機械学習が実施されることによって生成される。そのため、推定モデル３は、「文章に含まれる単語に対する脳波応答」における成分特徴量Ｉｆａから、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定することができる。
　さらに、推定装置２は、オンセット情報８を取得するオンセット情報取得ステップを実行する。推定装置２は、対象者脳波６とオンセット情報８とから、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として生成する。そして、推定装置２は、対象者の「単語に対する脳波応答」における成分特徴量Ｉｆａを、推定モデル３に入力することにより、対象者気分スコア２２３を推定する。
　それゆえ、推定装置２は、文章を発話する音声を聴いている際の対象者の脳波（対象者脳波６）と、係る文章に含まれる各単語の開始時点を示すオンセット情報８とから、対象者の抑うつ気分の高さを示す対象者気分スコア２２３を推定することができる。
　気分推定プログラム８２について、推定モデル３は、脳波特徴量Ｆｗに加えてさらに、文章を発話する音声を聴いた後に係る文章に対してヒトが感じた主観的評価を示す主観スコアＳｓを入力として受け付け、入力された脳波特徴量Ｆｗおよび主観スコアＳｓから、気分スコアＳｍを推定してもよい。
　複数の学習データセット１２０は、それぞれ、被験者脳波特徴量１２１と、文章を発話する音声を聴いた後に係る文章に対して学習被験者が感じた主観的評価を示す主観スコアＳｓである被験者主観スコア１２２とに対して、被験者気分スコア１２３が対応付けられることにより構成される。機械学習を実施することは、複数の学習データセット１２０の各々について、被験者脳波特徴量１２１および被験者主観スコア１２２を入力されたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。
　気分推定プログラム８２は、推定装置２に、文章を発話する音声を聴いた後に係る文章に対して対象者が感じた主観的評価を示す主観スコアＳｓである対象者主観スコア９を取得する対象者主観スコア取得ステップ（Ｓ２０４）をさらに実行させる。そして、気分推定プログラム８２は、推定装置２に、推定ステップにおいて、対象者脳波特徴量２２１と、対象者主観スコア９とを推定モデル３に入力することにより、対象者気分スコア２２３を推定する処理を実行させる。
　当該構成では、学習データセット１２０は、被験者脳波特徴量１２１と被験者主観スコア１２２とに対して、被験者気分スコア１２３が対応付けられることにより構成される。また、機械学習を実施することは、複数の学習データセット１２０の各々について、被験者脳波特徴量１２１および被験者主観スコア１２２を入力されたときに推定モデル３が推定する気分スコアＳｍが、被験者気分スコア１２３に一致するように、推定モデル３を訓練する訓練ステップを含む。そのため、推定モデル３は、脳波特徴量Ｆｗと、音声として聴いた文章に対してヒトが感じた主観的評価を示す主観スコアＳｓとから、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定することができる。本件発明者らは、それぞれ、被験者脳波特徴量１２１および被験者主観スコア１２２に対して被験者気分スコア１２３が対応付けられることにより構成された複数の学習データセット１２０を使用した機械学習が実施されることによって生成された推定モデル３について、推定精度の検証を行ない、以下の検証結果を得た。すなわち、推定モデル３のＡＵＣが「０．８３」となったことを確認した。また、推定モデル３は、抑うつ気分が高い人のうち７８％について、抑うつ気分が高いと識別した。
　さらに、推定装置２は、対象者主観スコア９を取得する対象者主観スコア取得ステップを実行する。推定装置２は、対象者脳波６と対象者主観スコア９とを、推定モデル３に入力することにより、対象者気分スコア２２３を推定する。
　それゆえ、推定装置２は、文章を発話する音声を聴いている際の対象者の脳波（対象者脳波６）と、係る文章に対して対象者が感じた主観的評価を示す対象者主観スコア９とから、対象者の抑うつ気分の高さを示す対象者気分スコア２２３を高精度に推定することができる。
　§４　変形例
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
　＜４．１＞
　上記実施形態では、文章を発話する音声を聴いている際のヒトの脳波（脳波応答）から生成される脳波特徴量Ｆｗとして、ヒトの「単語に対する脳波応答」の成分特徴量Ｉｆａを用いる例を説明した。しかしながら、本発明において、脳波特徴量Ｆｗが、「単語に対する脳波応答」の成分特徴量Ｉｆａであることは必須ではない。本発明において、脳波特徴量Ｆｗは、「単語に対する脳波応答」および「音声エンベロープに追随する脳波応答」の少なくとも一方の成分特徴量Ｉｆａであればよい。
　すなわち、気分推定プログラム８２は、推定装置２に、脳波符号ステップ（ステップＳ２０５）において、「単語に対する脳波応答」における成分特徴量Ｉｆａに代えて、または、「単語に対する脳波応答」における成分特徴量Ｉｆａと共に、「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａを生成させてもよい。例えば、文章を発話する音声を聴いている際のヒトの脳波から、ヒトの「音声に追随する脳波応答」における成分特徴量Ｉｆａが、脳波特徴量Ｆｗとして生成されてもよい。具体的には、推定装置２（特に、符号部２１５）は、文章を読む音声を聴いている際のヒトの脳波と、係る音声の音声エンベロープとから、ヒトの「音声に追随する脳波応答」における成分特徴量Ｉｆａを、脳波特徴量Ｆｗとして生成してもよい。
　これに対応させて、被験者脳波特徴量１２１は、文章を発話する音声を聴いていた際の学習被験者の脳波と、係る音声の音声エンベロープとから生成される、学習被験者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａとする。その場合、気分推定プログラム８２は、推定装置２に、「対象者が聴いている音声の音声エンベロープを示す」エンベロープ情報を取得するエンベロープ情報取得ステップをさらに実行させる。エンベロープ情報取得ステップは、オンセット情報取得ステップ（Ｓ２０３）に代えて、または、オンセット情報取得ステップ（Ｓ２０３）と共に、行なわれてもよい。
　気分推定プログラム８２は、推定装置２に、脳波符号ステップ（ステップＳ２０５）において、対象者脳波６と、前述のエンベロープ情報によって示される「対象者が聴いている音声の音声エンベロープ」とから、対象者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として生成させる。そして、気分推定プログラム８２は、推定装置２に、推定ステップ（ステップＳ２０６）において、対象者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として推定モデル３に入力することにより、対象者気分スコア２２３を推定する処理を実行させる。
　当該構成では、脳波特徴量Ｆｗは、「聴いている音声の音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａである。学習データセット１２０は、学習被験者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａに対して、被験者気分スコア１２３が対応付けられることにより構成される。そして、推定モデル３は、学習データセット１２０を使用した機械学習が実施されることによって生成される。そのため、推定モデル３は、ヒトの「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａから、ヒトの抑うつ気分の高さを示す気分スコアＳｍを推定することができる。
　さらに、推定装置２は、エンベロープ情報を取得するエンベロープ情報取得ステップを実行する。推定装置２は、対象者脳波６と係るエンベロープ情報とから、対象者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａを、対象者脳波特徴量２２１として生成する。そして、推定装置２は、対象者の「音声エンベロープに追随する脳波応答」における成分特徴量Ｉｆａを、推定モデル３に入力することにより、対象者気分スコア２２３を推定する。
　それゆえ、推定装置２は、文章を発話する音声を聴いている際の対象者の脳波（対象者脳波６）と、係る音声の音声エンベロープを示すエンベロープ情報とから、対象者の抑うつ気分の高さを示す対象者気分スコア２２３を推定することができる。
　＜４．２＞
　上記実施形態では、ヒトが音声として聴いている文章（例えば、ニュース）が、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の３つの区分の何れかに分類される例を説明した。しかしながら、本発明において、ヒトが音声として聴いている文章が、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の３つの区分の何れかに分類されることは必須ではない。本発明においては、ヒトが音声として聴いている文章は、「Ｎｇ」、「Ｎｔ」、「Ｐｓ」の少なくとも３つの区分の何れかに分類されればよく、４つ以上の区分の何れかに分類されてもよい。
　２…推定装置（コンピュータ）、３…推定モデル、６…対象者脳波、７…分類情報、８…オンセット情報、９…対象者主観スコア、８２…気分推定プログラム、１２１…被験者脳波特徴量、１２１（１）…被験者第１脳波特徴量、１２１（２）…被験者第２脳波特徴量、１２１（３）…被験者第３脳波特徴量、１２２…被験者主観スコア、１２３…被験者気分スコア、２２１…対象者脳波特徴量、２２３…対象者気分スコア、Ｆｗ…脳波特徴量、Ｓｍ…気分スコア、Ｓｓ…主観スコア、Ｓ２０１…対象者脳波取得ステップ、Ｓ２０２…分類情報取得ステップ、Ｓ２０３…オンセット情報取得ステップ、Ｓ２０４…対象者主観スコア取得ステップ、Ｓ２０５…脳波符号ステップ、Ｓ２０６…推定ステップ、Ｓ２０７…出力ステップ

Claims (6)

  1. 　コンピュータに、
    　文章を発話する音声を聴いている際の対象者の脳波である対象者脳波を取得する対象者脳波取得ステップと、
    　文章を発話する音声を聴いている際のヒトの脳波から脳波特徴量を生成する脳波符号ステップであって、
    　　前記対象者脳波から前記脳波特徴量として対象者脳波特徴量を生成する脳波符号ステップと、
    　少なくとも前記脳波特徴量を入力として受け付け、前記ヒトの抑うつ気分の高さを示す気分スコアを推定する推定モデルであって、
    　複数の学習データセットを使用した機械学習が実施されることによって生成され、
    　　前記複数の学習データセットは、それぞれ、
    　　　少なくとも、文章を発話する音声を聴いていた際の学習被験者の脳波から生成される前記脳波特徴量である被験者脳波特徴量に対して、
    　　　前記学習被験者の抑うつ気分の高さを示す前記気分スコアである被験者気分スコアが、
    対応付けられることにより構成され、
    　　前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量を入力として受け付けたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含む、
    推定モデルに、前記対象者脳波特徴量を入力することにより、前記対象者の抑うつ気分の高さを示す前記気分スコアである対象者気分スコアを推定させる推定ステップと、
    を実行させるための、
    気分推定プログラム。
  2. 　前記コンピュータに、
    　前記脳波符号ステップにおいて、
    　　ネガティブ、ニュートラル、ポジティブの少なくとも３つの区分の何れかに分類される文章を発話する音声を聴いている際のヒトの脳波と、
    　　前記文章が前記少なくとも３つの区分の何れに分類されるかを示す情報と
    から、前記文章が分類される区分に対応する脳波特徴量を、前記脳波特徴量として生成させ、
    　前記推定モデルは、前記脳波特徴量として、前記文章が分類される区分に対応する脳波特徴量を入力されると、前記気分スコアを推定し、
    　前記被験者脳波特徴量は、
    　　それぞれが前記ネガティブの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ネガティブの区分に対応する脳波特徴量である被験者第１脳波特徴量と、
    　　それぞれが前記ニュートラルの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ニュートラルの区分に対応する脳波特徴量である被験者第２脳波特徴量と、
    　　それぞれが前記ポジティブの区分に分類される文章を発話する音声を聴いていた際の前記学習被験者の脳波である複数の脳波の平均から生成される、前記ポジティブの区分に対応する脳波特徴量である被験者第３脳波特徴量と、
    を含み、
    　前記機械学習を実施することは、前記複数の学習データセットの各々について、
    　前記ネガティブの区分に対応する脳波特徴量として前記被験者第１脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第１訓練ステップと、
    　前記ニュートラルの区分に対応する脳波特徴量として前記被験者第２脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第２訓練ステップと、
    　前記ポジティブの区分に対応する脳波特徴量として前記被験者第３脳波特徴量を入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する第３訓練ステップと、
    を含み、
    　前記コンピュータに、
    　前記対象者が音声として聴いている文章が、前記少なくとも３つの区分の何れに分類されるかを示す分類情報を取得する分類情報取得ステップをさらに実行させ、
    　前記脳波符号ステップにおいて、
    　　前記分類情報によって示される区分に分類される文章を発話する音声を聴いている際の前記対象者の前記対象者脳波と、
    　　前記分類情報と
    から生成される、前記分類情報によって示される区分に対応する前記対象者脳波特徴量を、前記推定ステップにおいて、前記分類情報によって示される区分に対応する脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させる、
    請求項１に記載の気分推定プログラム。
  3. 　前記コンピュータに、
    　前記脳波符号ステップにおいて、
    　　文章を発話する音声を聴いている際のヒトの脳波と、
    　　前記ヒトが音声として聴いている前記文章に含まれる各単語の開始時点と
    から、前記ヒトの前記単語に対する脳波応答における所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記脳波特徴量として生成させ、
    　前記被験者脳波特徴量は、
    　　文章を発話する音声を聴いていた際の前記学習被験者の脳波と、
    　　前記学習被験者が音声として聴いていた前記文章に含まれる各単語の開始時点と
    から生成される、前記学習被験者の前記単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方であり、
    　前記コンピュータに、
    　前記対象者が音声として聴いている文章に含まれる各単語の開始時点を示すオンセット情報を取得するオンセット情報取得ステップをさらに実行させ、
    　前記脳波符号ステップにおいて、
    　　前記対象者脳波と、
    　　前記オンセット情報によって示される、前記対象者が音声として聴いている文章に含まれる各単語の開始時点と
    から生成される、前記対象者の前記単語に対する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定ステップにおいて、前記対象者脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させる、
    請求項１または２に記載の気分推定プログラム。
  4. 　前記コンピュータに、
    　前記脳波符号ステップにおいて、
    　　文章を発話する音声を聴いている際のヒトの脳波と、
    　　前記ヒトが聴いている前記音声の音声エンベロープと
    から、前記ヒトの前記音声エンベロープに追随する脳波応答における所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記脳波特徴量として生成させ、
    　前記被験者脳波特徴量は、
    　　文章を発話する音声を聴いていた際の前記学習被験者の脳波と、
    　　前記学習被験者が聴いていた前記音声の音声エンベロープと
    から生成される、前記学習被験者の前記音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方であり、
    　前記コンピュータに、
    　前記対象者が聴いている音声の音声エンベロープを示すエンベロープ情報を取得するエンベロープ情報取得ステップをさらに実行させ、
    　前記脳波符号ステップにおいて、
    　　前記対象者脳波と、
    　　前記エンベロープ情報によって示される、前記対象者が聴いている音声の音声エンベロープと
    から生成される、前記対象者の前記音声エンベロープに追随する脳波応答における前記所定の成分のピーク潜時およびピーク前後の平均振幅の少なくとも一方を、前記推定ステップにおいて、前記対象者脳波特徴量として前記推定モデルに入力することにより、前記対象者気分スコアを推定させる、
    請求項１または２に記載の気分推定プログラム。
  5. 　前記推定モデルは、前記脳波特徴量に加えてさらに、文章を発話する音声を聴いた後に前記文章に対してヒトが感じた主観的評価を示す主観スコアを入力として受け付け、入力された前記脳波特徴量および前記主観スコアから、前記気分スコアを推定し、
    　前記複数の学習データセットは、それぞれ、
    　　前記被験者脳波特徴量と、
    　　文章を発話する音声を聴いた後に前記文章に対して前記学習被験者が感じた主観的評価を示す前記主観スコアである被験者主観スコアと、
    に対して、前記被験者気分スコアが対応付けられることにより構成され、
    　前記機械学習を実施することは、前記複数の学習データセットの各々について、前記被験者脳波特徴量および前記被験者主観スコアを入力されたときに前記推定モデルが推定する前記気分スコアが、前記被験者気分スコアに一致するように、前記推定モデルを訓練する訓練ステップを含み、
    　前記コンピュータに、
    　文章を発話する音声を聴いた後に前記文章に対して前記対象者が感じた主観的評価を示す前記主観スコアである対象者主観スコアを取得する対象者主観スコア取得ステップをさらに実行させ、
    　前記推定ステップにおいて、
    　　前記対象者脳波特徴量と、
    　　前記対象者主観スコアと
    を前記推定モデルに入力することにより、前記対象者気分スコアを推定させる、
    請求項１または２に記載の気分推定プログラム。
  6. 　前記コンピュータに、
    　前記推定ステップにおいて推定させた前記対象者気分スコアに対応する情報を、前記対象者に出力する出力ステップをさらに実行させる、
    請求項１または２に記載の気分推定プログラム。
PCT/JP2023/018025 2022-05-30 2023-05-15 気分推定プログラム WO2023233979A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022087801A JP2023175380A (ja) 2022-05-30 2022-05-30 気分推定プログラム
JP2022-087801 2022-05-30

Publications (1)

Publication Number Publication Date
WO2023233979A1 true WO2023233979A1 (ja) 2023-12-07

Family

ID=89026335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018025 WO2023233979A1 (ja) 2022-05-30 2023-05-15 気分推定プログラム

Country Status (2)

Country Link
JP (1) JP2023175380A (ja)
WO (1) WO2023233979A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082730A (ja) * 2016-11-15 2018-05-31 都築 北村 生体リスク取得装置、生体リスク取得方法、生体リスク取得プログラム及び記録媒体
JP2020091591A (ja) * 2018-12-04 2020-06-11 東日本旅客鉄道株式会社 室内空間デザイン評価システム及び室内空間デザイン評価方法
WO2022102721A1 (ja) * 2020-11-11 2022-05-19 Ａｓｓｅｓｔ株式会社 うつ状態判別プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018082730A (ja) * 2016-11-15 2018-05-31 都築 北村 生体リスク取得装置、生体リスク取得方法、生体リスク取得プログラム及び記録媒体
JP2020091591A (ja) * 2018-12-04 2020-06-11 東日本旅客鉄道株式会社 室内空間デザイン評価システム及び室内空間デザイン評価方法
WO2022102721A1 (ja) * 2020-11-11 2022-05-19 Ａｓｓｅｓｔ株式会社 うつ状態判別プログラム

Also Published As

Publication number Publication date
JP2023175380A (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
Lopez-de-Ipiña et al. On automatic diagnosis of Alzheimer’s disease based on spontaneous speech analysis and emotional temperature
Garcia-Sierra et al. Bilingual language learning: An ERP study relating early brain responses to speech, language input, and later word production
Edwards The future of hearing aid technology
JP2022180516A (ja) 音声に基づく医療評価
Schall et al. Voice identity recognition: functional division of the right STS and its behavioral relevance
JP6251145B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP2019084249A (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
Picou et al. Hearing, emotion, amplification, research, and training workshop: Current understanding of hearing loss and emotion perception and priorities for future research
Vuppalapati et al. A system to detect mental stress using machine learning and mobile development
Coffey et al. Individual differences in the frequency-following response: relation to pitch perception
Paul et al. Cortical alpha oscillations in cochlear implant users reflect subjective listening effort during speech-in-noise perception
US20160217322A1 (en) System and method for inspecting emotion recognition capability using multisensory information, and system and method for training emotion recognition using multisensory information
JP7390268B2 (ja) 認知機能予測装置、認知機能予測方法、プログラム及びシステム
Dromey et al. The effects of noise on speech movements in young, middle-aged, and older adults
Haro et al. EEG alpha and pupil diameter reflect endogenous auditory attention switching and listening effort
Durai et al. Prediction of tinnitus masking benefit within a case series using a spiking neural network model
Baird et al. An evaluation of the effect of anxiety on speech-computational prediction of anxiety from sustained vowels
Whiting et al. The perception of caricatured emotion in voice
Gelfer et al. Speaking fundamental frequency and individual variability in Caucasian and African American school-age children
Zainab et al. Emotion recognition based on EEG signals in response to bilingual music tracks.
WO2023233979A1 (ja) 気分推定プログラム
Morgan Comparing emotion recognition and word recognition in background noise
Parmonangan et al. Speech Quality Evaluation of Synthesized Japanese Speech Using EEG.
Tasnim et al. Cost-effective Models for Detecting Depression from Speech
Nathan et al. Utilizing deep learning on limited mobile speech recordings for detection of obstructive pulmonary disease

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23815739

Country of ref document: EP

Kind code of ref document: A1