WO2025205193A1 - 情報処理方法及び情報処理システム - Google Patents

情報処理方法及び情報処理システム

Info

Publication number
WO2025205193A1
WO2025205193A1 PCT/JP2025/010288 JP2025010288W WO2025205193A1 WO 2025205193 A1 WO2025205193 A1 WO 2025205193A1 JP 2025010288 W JP2025010288 W JP 2025010288W WO 2025205193 A1 WO2025205193 A1 WO 2025205193A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
biometric feature
information
state
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/010288
Other languages
English (en)
French (fr)
Inventor
貴洋 樋山
晃久 奥谷
淳司 宮田
博人 柳川
仁志 富永
優美子 大野
尚美 里井
由紀子 内田
真孝 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Publication of WO2025205193A1 publication Critical patent/WO2025205193A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • A61B5/0245Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Definitions

  • This disclosure relates to technology for determining a user's psychological state.
  • the system in Patent Document 1 uses the prediction result closest to the correct answer from among multiple prediction results using multiple prediction models as the prediction result for mental and/or emotional state.
  • a comfort model representing the relationship between biological information and a sense of comfort, an arousal model representing the relationship between biological information and a sense of arousal, and a fatigue model representing the relationship between biological information and a sense of fatigue are stored, and acquired biological information is applied to the comfort model to estimate a sense of comfort, acquired biological information is applied to the arousal model to estimate a sense of arousal, and acquired biological information is applied to the fatigue model to estimate a sense of fatigue.
  • This disclosure provides technology that can accurately determine a user's psychological state.
  • the information processing method disclosed herein is an information processing method executed by a computer, and includes selecting one clustering model suitable for determining a user's psychological state from among multiple clustering models used to determine the user's psychological state, acquiring a first biometric feature associated with the user's biometric information for a first period of time, and determining the user's psychological state for the first period of time based on the first biometric feature and the one clustering model.
  • This disclosure makes it possible to accurately determine a user's psychological state.
  • FIG. 1 is a diagram showing a configuration of an information processing system according to a first embodiment.
  • 1 is a flowchart for explaining an evaluation process performed by the psychological state evaluation device according to the first embodiment.
  • 10 is a flowchart illustrating an evaluation process performed by the psychological state evaluation device and the server according to the first modification of the first embodiment.
  • FIG. 10 is a diagram showing the results of creativity evaluation when a clustering model is selected and when a clustering model is not selected.
  • FIG. 10 is a diagram illustrating the relationship between biometric features input to two clustering models and Shap values.
  • FIG. 10 is a diagram illustrating the correlation between the measured value of the divergent thinking state and the estimated value of the divergent thinking state using the first clustering model.
  • FIG. 10 is a diagram showing the correlation between the measured value of the divergent thinking state and the estimated value of the divergent thinking state using the second clustering model.
  • FIG. 10 is a diagram showing evaluation results of comfort levels and alertness levels when a clustering model is selected and when a clustering model is not selected in Modification 2 of Embodiment 1.
  • 10A and 10B are diagrams illustrating the relationship between biometric features and weights input to two clustering models for determining a comfort level.
  • FIG. 10 is a diagram illustrating the relationship between biometric features and weights input to two clustering models for determining the level of wakefulness.
  • FIG. 10 is a diagram illustrating the correlation between the measured comfort level and the estimated comfort level using the first clustering model.
  • FIG. 10 is a diagram showing the correlation between the measured comfort level and the estimated comfort level using the second clustering model.
  • FIG. 10 is a diagram illustrating the correlation between the actually measured value of the level of arousal and the estimated value of the level of arousal using the third clustering model.
  • FIG. 10 is a diagram showing the correlation between the actually measured value of the level of alertness and the estimated value of the level of alertness using the fourth clustering model.
  • FIG. 10 is a diagram showing a configuration of an information processing system according to a second embodiment.
  • FIG. 11 is a diagram showing an example of questionnaire items in the second embodiment.
  • 10 is a flowchart illustrating an evaluation process performed by the psychological state evaluation device according to the second embodiment.
  • FIG. 10 is a flowchart illustrating an evaluation process performed by a psychological state evaluation device and a server according to a modification of the second embodiment.
  • FIG. 11 is a diagram showing the relationship between the number of feature amounts (questionnaire items) and accuracy in the second embodiment.
  • FIG. 10 is a diagram showing the classification accuracy of a selection model when answer information for eight questionnaire items is input.
  • FIG. 10 is a diagram showing the top eight questionnaire items with the highest Shap scores among a plurality of questionnaire items.
  • FIG. 10 is a diagram showing the average values of the response results to two questionnaire items of subjects belonging to the first and second clusters.
  • FIG. 10 is a diagram showing the average values of the response results to four questionnaire items of subjects belonging to the first and second clusters.
  • FIG. 10 is a diagram showing an example of an evaluation result screen displayed in the first and second embodiments.
  • FIG. 10 is a diagram showing a configuration of an information processing system according to a third embodiment.
  • biometric features related to human biometric information and psychological states interact with each other.
  • the relationship between biometric features and psychological states varies from person to person, making it difficult to estimate psychological states from biometric features.
  • Patent Documents 1 and 2 disclose obtaining multiple prediction or estimation results from multiple models, but do not take into consideration the possibility of selecting one model from multiple models that is most suitable for determining a user's psychological state and determining the psychological state using the prediction results of that model. As a result, it is difficult to accurately determine a user's psychological state from the user's biometric features.
  • An information processing method is an information processing method executed by a computer, and includes: selecting one clustering model suitable for determining a user's psychological state from among a plurality of clustering models used to determine the user's psychological state; acquiring a first biometric feature associated with the user's biometric information for a first period; and determining the user's psychological state for the first period based on the first biometric feature and the one clustering model.
  • one clustering model suitable for determining the user's psychological state is selected from among multiple clustering models used to determine the user's psychological state, and the user's psychological state is determined based on the first biometric feature associated with the user's biometric information and the selected one clustering model, thereby enabling the user's psychological state to be determined with high accuracy.
  • the information processing method described in (1) above may further include acquiring task evaluation information indicating an evaluation result of a task performed by the user, and acquiring a second biometric feature associated with the user's biometric information during a second period in which the user performs the task, and selecting the one clustering model may include selecting the one clustering model from the plurality of clustering models based on a correlation between the second biometric feature and the evaluation result indicated by the task evaluation information.
  • the task may be a task for causing the user to engage in divergent thinking
  • the psychological state may be a divergent thinking state in which the user is engaged in the divergent thinking.
  • the biological information may include information related to at least one of electroencephalograms, cerebral blood flow, facial images, heart rate indicators, seated pressure, skin potential, and skin temperature.
  • the user's psychological state can be determined with high accuracy using information related to at least one of the brain waves, cerebral blood flow, facial image, heart rate index, seated pressure, skin potential, and skin temperature, as these are affected by the user's psychological state.
  • the biometric information may include electroencephalograms, facial images, or information related to the electroencephalograms and facial images
  • the plurality of clustering models may include a first clustering model that determines that the degree of manifestation of the divergent thinking state increases in proportion to at least one of the magnitude of activity of gamma waves, which is the first biometric feature of the electroencephalograms, and the magnitude of facial movement, which is the first biometric feature indicated by the facial image.
  • the information processing method described in (1) above further includes acquiring answer information including the content of the user's answer to a question, and selecting the one clustering model includes selecting the one clustering model from the plurality of clustering models based on the answer information, and the psychological state may be a divergent thinking state in which the user is engaged in divergent thinking.
  • users can be classified with greater accuracy based on their answers to at least one of the questions about the number of times they have moved, the level of attachment they have to their company, and the level of manuality in their work, and a single clustering model can be selected that is most suitable for assessing the user's psychological state.
  • the questions regarding the positive emotional characteristics may include at least one of questions regarding the user's joy and questions regarding the user's pride.
  • the information processing method described in (8) above may include a question item regarding the gain-approach orientation in regulatory focus theory.
  • the questions may include questions about the user's level of self-esteem.
  • the psychological state includes the comfortable state of the user, and the biometric information includes information related to a face image;
  • the plurality of clustering models may include a first clustering model that determines that the comfort level of the comfort state increases in proportion to at least one of the magnitude of rotation around the vertical direction of the face, which is the first biometric feature indicated by the facial image, the magnitude of the reciprocal of a value indicating the variability in the amount of rotation movement around the vertical direction of the face, which is the first biometric feature indicated by the facial image, and the magnitude of the reciprocal of a value indicating the variability in eye opening, which is the first biometric feature indicated by the facial image.
  • the psychological state may include the user's comfortable state
  • the biometric information may include a face image, a heart rate index, or information related to the face image and the heart rate index
  • the plurality of clustering models may include a second clustering model that determines that the comfort level of the comfortable state increases in proportion to at least one of the magnitude of the rotation around the vertical direction of the face, which is the first biometric feature indicated by the face image, the magnitude of the reciprocal of a value indicating the variability in the amount of rotation around the vertical direction of the face, which is the first biometric feature indicated by the face image, and the magnitude of the HF component of heart rate variability, which is the first biometric feature of the heart rate index.
  • the user's comfort state can be determined such that the greater the rotation of the face around the vertical direction, which is the first biometric feature indicated by the face image, and/or the smaller the variance in the amount of movement of the rotation of the face around the vertical direction, which is the first biometric feature indicated by the face image, and/or the greater the HF component of heart rate variability, which is the first biometric feature of the heart rate index.
  • the user's state of wakefulness can be determined such that the greater the difference between the maximum and minimum values of the heart rate, which is the first biometric feature of the heart rate index, and/or the greater the median value of the heart rate, which is the first biometric feature of the heart rate index, and/or the greater the variability in eye movement, which is the first biometric feature indicated by the facial image, the greater the level of wakefulness.
  • the psychological state may include the user's state of alertness
  • the biometric information may include a face image, a heart rate index, or information related to the face image and the heart rate index
  • the plurality of clustering models may include a second clustering model that determines that the level of alertness of the alert state increases in proportion to at least one of the magnitude of the average heart rate, which is the first biometric feature of the heart rate index, the magnitude of the difference between the maximum and minimum heart rate values, which is the first biometric feature of the heart rate index, and the magnitude of the vertical length of the cornea of the eye, which is the first biometric feature indicated by the face image.
  • the task evaluation information may indicate the user's evaluation results regarding the comfort level or the alertness level.
  • An information processing system includes a selection unit that selects one clustering model suitable for determining a user's psychological state from among a plurality of clustering models used to determine the user's psychological state; an acquisition unit that acquires a first biometric feature associated with the user's biometric information during a first period; and a determination unit that determines the user's psychological state during the first period based on the first biometric feature and the one clustering model.
  • control device may be the lighting device, and the control signal may include a control signal for lowering the color temperature of the illumination light and lowering the illuminance of the illumination light.
  • a control signal for changing the output content of a control device including at least one of a lighting device that irradiates illumination light into the space where the user is present and an air conditioning device that conditions the air in the space where the user is present may be transmitted; and if it is not determined that the comfort level of the comfort state is low, the control signal may not be transmitted, and the output content of the control device may be maintained.
  • control device may be the lighting device, and the control signal may include a control signal for lowering the color temperature of the illumination light.
  • control device may be the air conditioning device, and the control signal may include a control signal for lowering the room temperature of the space.
  • control device may be the air conditioning device, and the control signal may include a control signal for lowering the room temperature of the space.
  • FIG. 1 is a diagram showing the configuration of an information processing system 101 according to the first embodiment.
  • the information processing system 101 shown in Figure 1 includes a psychological state assessment device 1 and a measurement device 2.
  • the feature calculation unit 12 acquires a first biometric feature associated with the user's biometric information during a first period.
  • the first period is a period during which the user's psychological state is determined.
  • the feature calculation unit 12 also acquires a second biometric feature associated with the user's biometric information during a second period during which the user performs a task.
  • the second period is a period prior to the first period.
  • the user performs the task, and one clustering model suitable for determining the user's psychological state is selected from multiple clustering models.
  • the user's psychological state is determined.
  • the feature calculation unit 12 calculates a first biometric feature related to the user's biometric information during a first period in which the user's psychological state is determined. Furthermore, the feature calculation unit 12 calculates a second biometric feature related to the user's biometric information during a second period in which the user performs a task.
  • the feature calculation unit 12 may calculate a first biometric feature or a second biometric feature related to the user's brain waves.
  • Brain waves include alpha waves with a frequency of 8 to 13 Hz, beta waves with a frequency of 14 to 30 Hz, theta waves with a frequency of 4 to 8 Hz, delta waves with a frequency of 0.5 to 4 Hz, and gamma waves with a frequency of 30 to 50 Hz.
  • the first biometric feature or the second biometric feature related to brain waves is the activity level of gamma waves, the activity level of theta waves, the activity level of delta waves, or the activity level of beta waves during the first or second period.
  • the activity level is expressed as the median or average value of the brain waves.
  • eye movement includes movement of the eyes (pupils) moving horizontally (left and right).
  • eye movement may be movement of either the left eye or the right eye, or the average of the movements of both eyes.
  • the feature calculation unit 12 may calculate the variation (standard deviation) in the amount of horizontal (left-right) movement of the eyes (pupils) during the first or second period.
  • the variation in the amount of eye movement may be the variation in the amount of movement of either the left or right eye, or the variation in the amount of movement of both eyes.
  • the feature calculation unit 12 may also calculate a first biometric feature or a second biometric feature associated with the user's heart rate index.
  • An electrocardiogram waveform is composed of a P wave reflecting electrical excitation of the atrium, a Q wave, an R wave, and an S wave reflecting electrical excitation of the ventricle, and a T wave reflecting the process of repolarization of excited ventricular cardiomyocytes.
  • the R wave has the largest wave height (i.e., potential difference) and is the most robust against noise such as myoelectric potential.
  • the feature calculation unit 12 detects two consecutive R waves in the electrocardiogram waveform. Note that R waves may be detected using a known method such as the Pan & Tompkins method.
  • the feature calculation unit 12 identifies the interval between the peaks of the two R waves as the heartbeat interval (RRI: R-R intervals). As a result, the RRI for the first period or the second period is acquired by the feature calculation unit 12 as the first biometric feature or the second biometric feature. If the heartbeat interval is t RPI , the magnitude of the reciprocal of the value indicating the heartbeat interval may be
  • the feature calculation unit 12 may calculate a first biometric feature or a second biometric feature related to the user's skin potential.
  • the first biometric feature or the second biometric feature related to the skin potential is the amount of change in the skin potential during the first period or the second period.
  • the evaluation criterion storage unit 138 pre-stores word vectors of answers with low originality for a task as reference word vectors, associating them with the task.
  • the reference word vector is a word vector in a vector space corresponding to the reference answer text indicating a reference answer that is associated with the task and has low originality.
  • the word vector is calculated using a method for vectorizing words, such as Word2vec.
  • the evaluation criterion storage unit 138 stores reference word vectors that indicate answers with low originality for each of multiple topics.
  • the task evaluation unit 132 acquires task evaluation information indicating the evaluation results of the task performed by the user.
  • the task evaluation unit 132 converts the user's answer output from the task execution unit 131 into a word vector.
  • the task evaluation unit 132 vectorizes the answer using a vectorization method such as Word2vec.
  • the task evaluation unit 132 reads out the reference word vector associated with the issue of the task performed by the user from the evaluation reference storage unit 138.
  • the task evaluation unit 132 evaluates the originality of the task performed by the user using an evaluation score on a five-point scale, from 1 point for the lowest originality to 5 points for the highest originality.
  • the task evaluation unit 132 outputs task evaluation information indicating the evaluation result of the task performed by the user to the correlation calculation unit 133.
  • the evaluation result is expressed as an evaluation score according to the level of originality of the answer.
  • the task evaluation unit 132 evaluates the originality of the task performed by the user based on the similarity between the reference word vector and the word vector expressing the user's answer, but the present disclosure is not particularly limited to this.
  • the psychological state evaluation device 1 may further include an answer presentation unit that presents the user's answer to the evaluator, and an evaluation reception unit that accepts the evaluator's evaluation of the user's answer.
  • the evaluator evaluates the originality of the presented user's answer using an evaluation score on a five-point scale.
  • the evaluation reception unit accepts input of the evaluation score for the user's answer by the evaluator.
  • the evaluation reception unit outputs the evaluation result input by the evaluator to the task evaluation unit 132.
  • the answer presentation unit may present the user's answer to multiple evaluators, and the evaluation reception unit may accept input of multiple evaluation scores by multiple evaluators.
  • the task evaluation unit 132 may calculate the average of the multiple evaluation scores as the evaluation result of the task performed by the user.
  • the psychological state assessment device 1 may further include a communication unit that transmits the user's answers to a terminal used by the evaluator and receives the evaluator's evaluation results on the user's answers from the terminal used by the evaluator.
  • the model selection unit 134 selects one clustering model that is suitable for determining the user's psychological state from among multiple clustering models used to determine the user's psychological state. For example, the model selection unit 134 selects one clustering model from six clustering models. The model selection unit 134 selects one clustering model from among multiple clustering models based on the correlation between the second biometric feature and the evaluation result indicated by the task evaluation information. The model selection unit 134 selects one clustering model from among multiple clustering models by applying the correlation coefficient calculated by the correlation calculation unit 133 to the trained selection model. When the correlation coefficient is input, the selection model outputs identification information for identifying the one clustering model. The model selection unit 134 outputs the identification information for identifying the selected one clustering model to the psychological state determination unit 141.
  • the psychological state evaluation processing unit 14 evaluates the user's psychological state based on the first biometric feature acquired by the feature calculation unit 12 and one clustering model selected by the model selection processing unit 13.
  • the clustering model storage unit 142 pre-stores multiple trained clustering models used to determine the user's psychological state. For example, an ensemble learning model such as XGBoost (Extreme Gradient Boosting) or Random Forest is used to train the clustering models. When the first biometric feature is input, the clustering model outputs a determination result of the user's psychological state.
  • the clustering model may be a regression model such as linear regression or SVM (Support Vector Machine), or a deep learning model such as a neural network, or other machine learning method.
  • the psychological state is a divergent thinking state.
  • a divergent thinking state refers to a state in which the user is thinking divergently.
  • a divergent thinking state may include a state in which the user is demonstrating creativity.
  • the output unit 15 is, for example, a display device or touch panel, and outputs the assessment result of the user's psychological state assessed by the psychological state assessment unit 141.
  • the assessment result of the user's psychological state is a assessment score indicating the degree to which the user is exhibiting a divergent thinking state.
  • the output unit 15 displays the assessment score indicating the degree to which the user is exhibiting a divergent thinking state.
  • the output unit 15 may also transmit the assessment result of the user's psychological state to a terminal communicatively connected to the psychological state assessment device 1.
  • the terminal is, for example, a personal computer, smartphone, or tablet computer.
  • the mental state determination unit 141 may determine a mental state other than a divergent thinking state.
  • the mental state determination unit 141 may determine the degree to which the user is exhibiting a convergent thinking state based on the first biometric feature acquired by the feature calculation unit 12 and one clustering model selected by the model selection unit 134.
  • a convergent thinking state refers to a state in which the user is thinking convergently.
  • the convergent thinking state may also include a state in which the user is concentrating.
  • the mental state determination unit 141 may determine the user's level of alertness or concentration based on the first biometric feature acquired by the feature calculation unit 12 and one clustering model selected by the model selection unit 134.
  • FIG. 2 is a flowchart illustrating the evaluation process performed by the psychological state evaluation device 1 in this embodiment 1.
  • step S4 the task evaluation unit 132 evaluates the originality of the task performed by the user and obtains the evaluation result of the task.
  • the task evaluation unit 132 evaluates the originality of the task performed by the user based on the similarity between the reference word vector read from the evaluation criterion storage unit 138 and the word vector expressing the user's answer received by the task receiving unit 136, and obtains an evaluation score, which is the evaluation result of the task.
  • step S5 the feature calculation unit 12 calculates a second biometric feature associated with biometric information acquired during a second period in which the user performs the task.
  • step S6 the correlation calculation unit 133 calculates the correlation coefficient between the second biometric feature acquired by the feature calculation unit 12 and the task evaluation result acquired by the task evaluation unit 132.
  • step S7 the model selection unit 134 applies the correlation coefficient calculated by the correlation calculation unit 133 to the trained selection model, thereby selecting one clustering model from among the multiple clustering models.
  • the model selection unit 134 inputs the correlation coefficient calculated by the correlation calculation unit 133 into the trained selection model, and obtains identification information for the one clustering model output from the selection model.
  • step S10 the feature calculation unit 12 calculates a first biometric feature associated with biometric information acquired during a first period for determining the user's psychological state.
  • step S12 the output unit 15 outputs the result of the assessment of the user's psychological state assessed by the psychological state assessment unit 141.
  • the output unit 15 displays a assessment score indicating the degree to which the user is exhibiting a divergent thinking state.
  • the model selection process shown in steps S1 to S8 and the psychological state assessment process shown in steps S9 to S12 may or may not be performed consecutively in chronological order.
  • identification information for the selected clustering model may be stored in a storage unit.
  • the model selection process may not be performed, and the psychological state assessment process may be performed using the clustering model corresponding to the stored identification information.
  • the model selection process may not be performed, and the psychological state assessment process may be repeated using the initially selected clustering model.
  • the psychological state assessment device and server are connected to each other so as to be able to communicate with each other via a network.
  • the network is, for example, the Internet.
  • the psychological state assessment device in Variation 1 of Embodiment 1 includes a data acquisition unit 11, a task execution unit 131, a task evaluation unit 132, a task presentation unit 135, a task reception unit 136, a task database 137, an evaluation criterion storage unit 138, an output unit 15, and a communication unit.
  • the communication unit of the psychological state assessment device transmits to the server the biometric information acquired by the data acquisition unit 11 during the second period in which the user performs the task and the evaluation results of the task evaluated by the task evaluation unit 132.
  • the communication unit of the psychological state assessment device also transmits to the server the biometric information acquired by the data acquisition unit 11 during the first period in which the user's psychological state is assessed.
  • the communication unit of the psychological state assessment device also receives the assessment results of the user's psychological state from the server.
  • Figure 3 is a flowchart illustrating the evaluation process performed by the psychological state evaluation device and server in Variation 1 of Embodiment 1.
  • steps S21 to S24 is the same as the processing in steps S1 to S4 shown in Figure 2, so a description thereof will be omitted.
  • step S25 the communication unit of the psychological state assessment device transmits to the server the biometric information acquired by the data acquisition unit 11 during the second period in which the user performs the task and the evaluation results of the task evaluated by the task evaluation unit 132.
  • step S31 the server's communication unit receives the biometric information and task evaluation results acquired during the second period transmitted by the psychological state assessment device.
  • step S27 the communication unit of the psychological state assessment device transmits to the server the biometric information acquired by the data acquisition unit 11 during the first period for assessing the user's psychological state.
  • step S36 the server's communication unit receives the biometric information acquired during the first period transmitted by the psychological state assessment device.
  • step S39 the server's communication unit transmits the result of the user's psychological state assessment made by the psychological state assessment unit 141 to the psychological state assessment device.
  • step S28 the communication unit of the psychological state assessment device receives the assessment results of the user's psychological state sent by the server.
  • step S29 is the same as the processing in step S12 shown in Figure 2, so a detailed explanation will be omitted.
  • the psychological state assessment device may calculate a second biometric feature associated with biometric information acquired during a second period in which the user performs a task, and transmit the second biometric feature and the evaluation result of the task to the server.
  • the server may receive the second biometric feature and the evaluation result of the task, and calculate a correlation coefficient between the second biometric feature and the evaluation result of the task.
  • the psychological state assessment device may calculate a first biometric feature associated with biometric information acquired during a first period in which the user's psychological state is to be determined, and transmit the first biometric feature to the server.
  • the server may receive the first biometric feature and determine the user's psychological state by applying the first biometric feature to the selected clustering model.
  • the server may transmit the calculated correlation coefficient to the psychological state assessment device.
  • the psychological state assessment device may receive the correlation coefficient transmitted by the server and select one clustering model from among multiple clustering models by applying the received correlation coefficient to a selection model.
  • the psychological state assessment device may calculate a first biometric feature associated with biometric information acquired during a first period for assessing the user's psychological state, and apply the calculated first biometric feature to the selected one clustering model, thereby assessing the user's psychological state.
  • test data of one subject was assigned to one of six clusters using a selection model trained using Ward's method, and creativity was evaluated using a clustering model corresponding to the assigned cluster.
  • the clustering model used to evaluate creativity was trained using XGBoost.
  • Figure 4 shows the average creativity evaluation results when the 98 subjects were not classified into six clusters, and when the 98 subjects were classified into six clusters.
  • the RMSE root mean square error
  • classification into six clusters resulted in improved accuracy compared to not classifying into six clusters.
  • the average correlation coefficient for each subject was 0.055, while when subjects were classified into six clusters, the average correlation coefficient for each subject was 0.404. In this way, better correlation results were obtained when subjects were classified into six clusters than when subjects were not classified into six clusters.
  • the first biometric feature input to each of the multiple clustering models may be different for each of the multiple clustering models.
  • FIG. 5 shows the relationship between the biometric features input into two clustering models and the Shap (Shapley Additive explanations) value.
  • the Shap value represents the contribution of the biometric features to the judgment (prediction) of the clustering model.
  • Figure 5 shows the top five biometric features with the highest Shap values in the first clustering model and the second clustering model, as well as the average absolute value of the Shap values. Furthermore, in the degree of divergent thinking in Figure 5, a "+" indicates that the more positive the biometric feature, the greater the degree of divergent thinking, and a "-" indicates that the more negative the biometric feature, the greater the degree of divergent thinking.
  • the first clustering model's judgment is influenced by the degree of electroencephalogram (gamma waves) activity, the magnitude of facial rotation around the Z axis, skin temperature, total hemoglobin concentration, and variance in the amount of horizontal eye movement.
  • the second clustering model's judgment is influenced by the heartbeat interval, variance in the amount of horizontal facial movement, deoxygenated hemoglobin concentration, the degree of electroencephalogram (theta waves) activity, and variance in the amount of horizontal facial movement.
  • the first clustering model determines that the greater the activity of gamma waves, which are the first biometric feature of electroencephalograms, and/or the greater the facial movement, which is the first biometric feature indicated by a facial image, the greater the degree of divergent thinking.
  • the second clustering model determines that the shorter the heartbeat interval, which is the first biometric feature of the heartbeat index, and/or the greater the facial movement, which is the first biometric feature indicated by a facial image, the greater the degree of divergent thinking.
  • the psychological state assessment unit 141 may extract from the plurality of first biometric feature amounts the heartbeat interval, the variance in horizontal facial movement, deoxygenated hemoglobin concentration, the activity level of electroencephalograms (theta waves), and the variance in horizontal facial movement, and input these to the second clustering model.
  • first biometric features input to the first clustering model and the second clustering model are not limited to the five biometric features shown in FIG. 5, and other biometric features may also be input.
  • Figure 6 shows the correlation between the actual measured values of divergent thinking states and the estimated values of divergent thinking states using the first clustering model
  • Figure 7 shows the correlation between the actual measured values of divergent thinking states and the estimated values of divergent thinking states using the second clustering model.
  • the first clustering model is selected as a clustering model suitable for determining the psychological state of the first user
  • the second clustering model is selected as a clustering model suitable for determining the psychological state of the second user.
  • the correlation coefficient between the actual measured value (judgment score) of divergent thinking state and the estimated value (judgment score) of divergent thinking state using the first clustering model is 0.686, indicating that high accuracy has been achieved.
  • the correlation coefficient between the actual measured value (judgment score) of divergent thinking state and the estimated value (judgment score) of divergent thinking state using the second clustering model is 0.756, indicating that high accuracy has been achieved.
  • the task in the above-described first embodiment is a task for making the user engage in divergent thinking
  • the psychological state is a divergent thinking state in which the user is engaged in divergent thinking
  • the task in the second variation of the first embodiment includes a task of viewing content that changes at least one of the user's comfort level and alertness level
  • the psychological state includes at least one of a comfort state indicating the user's comfort level and an alertness state indicating the user's alertness level.
  • the configuration of the information processing system 101 in Variation 2 of Embodiment 1 is the same as that in Embodiment 1 above.
  • the task database 137 pre-stores content data indicating content for changing at least one of the user's comfort level and alertness level.
  • the task database 137 may store multiple pieces of content data.
  • the task database 137 also stores a subjective questionnaire regarding at least one of the comfort level and alertness level.
  • the items in the questionnaire regarding comfort level are rated on a seven-point scale: "Felt very uncomfortable,” “Felt uncomfortable,” “Felt somewhat uncomfortable,” “Can't say,” “Felt somewhat comfortable,” “Felt comfortable,” and “Felt very comfortable.” The user selects one of the options.
  • the task presentation unit 135 acquires the content data and questionnaire output from the task execution unit 131.
  • the task presentation unit 135 presents the content to the user. After presenting the content, the task presentation unit 135 presents a subjective questionnaire regarding at least one of comfort level and alertness level.
  • the task execution unit 131 acquires the user's answer entered by the task acceptance unit 136 and outputs the acquired answer to the task evaluation unit 132.
  • the task evaluation unit 132 acquires task evaluation information that indicates the evaluation results of tasks performed by the user.
  • the task evaluation information indicates the user's evaluation results regarding at least one of comfort level and alertness level.
  • the evaluation results are expressed as evaluation scores that correspond to the levels of comfort level and alertness level answered by the user. For example, if comfort level is expressed on a seven-point scale, the task evaluation unit 132 assigns evaluation scores of 1 to 7 points to answers in descending order of comfort level. Furthermore, if alertness level is expressed on a seven-point scale, the task evaluation unit 132 assigns evaluation scores of 1 to 7 points to answers in descending order of alertness level.
  • the feature calculation unit 12 acquires a first biometric feature related to the user's biometric information during a first period.
  • the first period is a period for determining the user's psychological state.
  • the feature calculation unit 12 also acquires a second biometric feature related to the user's biometric information during a second period in which the user performs a task.
  • the psychological state includes at least one of a comfort state indicating the user's level of comfort and an alert state indicating the user's level of alertness.
  • the biometric information includes information related to at least one of a facial image and a heart rate index.
  • the feature calculation unit 12 may calculate, based on the facial image, the average magnitude of rotation of the face around the Z axis (vertical direction) and the variance (standard deviation) of the amount of rotation movement of the face around the Z axis (vertical direction) during the first period or the second period.
  • the "amount of rotation movement of the face around the Z axis (vertical direction)" may refer to the angle of rotation of the face around the vertical direction. If the variance in the amount of rotation movement of the face around the vertical direction is ⁇ neck(z) , the magnitude of the reciprocal of the value indicating the variance in the amount of rotation movement of the face around the vertical direction may be
  • the feature amount calculation unit 12 may also calculate, based on the facial image, a variation (standard deviation) in eye opening during the first period or the second period.
  • the eye opening is the length between the upper eyelid and the lower eyelid. If the value indicating the eye opening is l e , the magnitude of the reciprocal of the value indicating the eye opening may be
  • the variation in eye opening may be the variation in the opening of either the left eye or the right eye, or the variation in the opening of both eyes.
  • the feature amount calculation unit 12 may also calculate, based on the facial image, a variation (standard deviation) in the movement (movement amount) of the eyes (pupils) during the first period or the second period.
  • the variation in eye movement may be the variation in the movement of either the left eye or the right eye, or the variation in the movement of both eyes.
  • the feature amount calculation unit 12 may also calculate, based on the facial image, an average vertical length of the cornea of the eye during the first period or the second period.
  • the vertical length of the cornea of the eye may be the vertical length of the cornea of either the left eye or the right eye, or may be the average vertical length of the cornea of both eyes.
  • the feature calculation unit 12 may calculate the HF component of heart rate fluctuations in the first period or the second period based on the heart rate index. Further, the feature calculation unit 12 may calculate the difference between the maximum and minimum heart rate values in the first period or the second period based on the heart rate index. Further, the feature calculation unit 12 may calculate the median heart rate value in the first period or the second period based on the heart rate index. Further, the feature calculation unit 12 may calculate the average heart rate in the first period or the second period based on the heart rate index.
  • the correlation calculation unit 133 calculates the correlation between the second biometric feature acquired by the feature calculation unit 12 and the evaluation result indicated by the task evaluation information acquired by the task evaluation unit 132.
  • the correlation calculation unit 133 calculates the correlation coefficient between the second biometric feature and the evaluation score, which is the evaluation result.
  • the model selection unit 134 selects one clustering model from among multiple clustering models based on the correlation calculated by the correlation calculation unit 133.
  • the plurality of clustering models also includes a second clustering model that determines that the comfort level of the comfortable state increases as the rotation of the face around the vertical direction, which is the first biometric feature indicated by the face image, increases, and/or the variance in the amount of movement of the rotation of the face around the vertical direction, which is the first biometric feature indicated by the face image, decreases, and/or the HF component of heart rate variability, which is the first biometric feature of the heart rate index, increases.
  • the plurality of clustering models also includes a third clustering model that determines that the level of arousal in the awake state increases as the difference between the maximum and minimum values of the heart rate, which is the first biometric feature of the heart rate index, increases, and/or the median value of the heart rate, which is the first biometric feature of the heart rate index, increases, and/or the variability in eye movement, which is the first biometric feature indicated by the face image, increases.
  • the plurality of clustering models also includes a fourth clustering model that determines that the level of arousal in the awake state increases as the average heart rate, which is the first biometric feature of the heart rate index, increases, and/or the difference between the maximum and minimum heart rate values, which is the first biometric feature of the heart rate index, increases, and/or the vertical length of the cornea, which is the first biometric feature indicated by the face image, increases.
  • the psychological state determination unit 141 determines the user's psychological state during a first period based on the first biometric feature acquired by the feature calculation unit 12 and one clustering model selected by the model selection unit 134.
  • the psychological state determination unit 141 determines the user's psychological state by applying the first biometric feature to one clustering model.
  • the one clustering model outputs a determination result of the user's psychological state.
  • the determination result is expressed as a determination score indicating at least one of the user's comfort level and alertness level.
  • the comfort level determination score is expressed as a seven-level value ranging from 1 point, the lowest comfort level, to 7 points, the highest comfort level.
  • the alertness level determination score is expressed as a seven-level value ranging from 1 point, the lowest alertness level, to 7 points, the highest alertness level.
  • the comfort state and the alertness state may be expressed in two levels: high or low. If the output value (determination score) from the clustering model is equal to or greater than a threshold, the psychological state determination unit 141 may determine that the comfort state is high and the alertness state is high. Furthermore, if the output value (determination score) from the clustering model is lower than a threshold, the psychological state determination unit 141 may determine that the comfort state is low and the alertness state is low. If the output value is expressed in 1 to 100%, the threshold is, for example, 50%, and if the output value is expressed in seven levels, the threshold is, for example, 4 points.
  • the task database 137 may store content in advance in association with evaluation results (evaluation scores). In this case, responses to the questionnaire are not required. For example, an evaluation result of "1" may be associated with content that improves comfort level, an evaluation result of "-1" may be associated with content that decreases comfort level, an evaluation result of "1” may be associated with content that improves arousal level, and an evaluation result of "-1" may be associated with content that decreases arousal level.
  • the task evaluation unit 132 creates evaluation information indicating the evaluation results according to the content viewed by the user. If a questionnaire is not conducted, the psychological state evaluation device 1 does not need to include the task reception unit 136.
  • the evaluation process performed by the psychological state evaluation device 1 in Variation 2 of Embodiment 1 is the same as the evaluation process performed by the psychological state evaluation device 1 in Embodiment 1 shown in FIG. 2. Furthermore, in Variation 2 of Embodiment 1, the evaluation process may also be performed by the psychological state evaluation device and server, as in Variation 1 of Embodiment 1.
  • the selection model storage unit 139 may store a first clustering model and a second clustering model for determining a comfort state, and a third clustering model and a fourth clustering model for determining an awakening state.
  • the selection model storage unit 139 may store the first clustering model and the second clustering model for determining a comfort state, but may not store the third clustering model and the fourth clustering model for determining an awakening state.
  • the selection model storage unit 139 may store the third clustering model and the fourth clustering model for determining an awakening state, but may not store the first clustering model and the second clustering model for determining a comfort state.
  • the psychological state determination unit 141 may be configured to (1) perform a comfort state determination and not perform an awakening state determination, (2) not perform a comfort state determination and perform an awakening state determination, or (3) perform a comfort state determination and perform an awakening state determination. In other words, the psychological state determination unit 141 may determine at least one of a comfort state and an awakening state.
  • FIG. 8 shows the evaluation results of comfort and alertness when a clustering model is selected and when a clustering model is not selected in Variation 2 of Embodiment 1.
  • Test data from one subject was assigned to one of two clusters using a selection model trained using Ward's method, and comfort and alertness were evaluated using a clustering model corresponding to the assigned cluster.
  • the clustering model for evaluating comfort and alertness was trained using Lasso (Least Absolute Shrinkage and Selection Operator).
  • Figure 8 shows the average comfort and alertness ratings when the eight subjects were not classified into two clusters, and the average comfort and alertness ratings when the eight subjects were classified into two clusters.
  • the RMSE (root mean square error) of comfort level when not classifying into two clusters was 3.496, while the RMSE of comfort level when classifying into two clusters was 2.920. As such, the accuracy of comfort level judgment is improved when classifying into two clusters compared to when not classifying into two clusters.
  • the RMSE of arousal level when not classifying into two clusters was 2.181, while the RMSE of arousal level when classifying into two clusters was 1.754. As such, the accuracy of determining arousal level is improved when classifying into two clusters compared to when not classifying into two clusters.
  • the average correlation coefficient of comfort levels for each subject when not classified into two clusters was 0.095, while the average correlation coefficient of comfort levels for each subject when classified into two clusters was 0.402. In this way, classification into two clusters yielded better correlation results for comfort levels than when not classified into two clusters.
  • the average correlation coefficient of arousal levels for each subject when not classified into two clusters was 0.081, while the average correlation coefficient of arousal levels for each subject when classified into two clusters was 0.385. In this way, classification into two clusters yielded better correlation results for arousal levels than when not classified into two clusters.
  • the proportion of cases where the correlation coefficient between comfort and arousal exceeds 0.4 is higher when classified into two clusters than when not classified into two clusters.
  • Figure 9 shows the relationship between biometric features and weights input into two clustering models that determine comfort levels.
  • the weights are values that represent the contribution of biometric features to the determination (prediction) of the clustering models.
  • Figure 9 shows the top three biometric features with the highest weights in the first clustering model and the second clustering model, as well as the average absolute value of the weights. Furthermore, in the comfort level in Figure 9, a "+” indicates that the more positive the biometric feature, the greater the comfort level, and a "-" indicates that the more negative the biometric feature, the greater the comfort level.
  • the magnitude of facial rotation around the Z axis, the variability in eye opening, and the variability in the amount of facial rotation around the Z axis contribute to the determination of the first clustering model. Furthermore, the magnitude of facial rotation around the Z axis, the HF component of heart rate variability, and the variability in the amount of facial rotation around the Z axis contribute to the determination of the second clustering model.
  • the first clustering model determines that the comfort level of the comfortable state increases the greater the rotation of the face around the Z axis, which is the first biometric feature indicated by the facial image, and/or the smaller the variance in the amount of rotational movement of the face around the Z axis, which is the first biometric feature indicated by the facial image, and/or the smaller the variance in eye opening, which is the first biometric feature indicated by the facial image.
  • the second clustering model determines that the comfort level of the comfortable state increases the greater the rotation of the face around the Z axis, which is the first biometric feature indicated by the facial image, and/or the smaller the variance in the amount of rotational movement of the face around the Z axis, which is the first biometric feature indicated by the facial image, and/or the larger the HF component of heart rate variability, which is the first biometric feature of the heart rate index.
  • the first and second clustering models a tendency was observed for comfort levels to improve as facial rotation around the Z axis increased and the variance in the amount of rotation around the Z axis decreased. This may be because as comfort levels increased, sleep was induced and people turned their faces to the side. Additionally, the first clustering model showed that the variance in eye opening decreased as comfort levels increased. This is thought to be due to the effect of continued eye closure as comfort levels increased. In the second clustering model, biometric features of the HF component appeared. Since a higher HF component is associated with a more relaxing effect, a tendency was observed for the HF component to increase as comfort levels increased.
  • the third clustering model's judgment is influenced by the difference between the maximum and minimum heart rate values, the median heart rate, and the variability of eye movements.
  • the fourth clustering model's judgment is influenced by the average heart rate, the difference between the maximum and minimum heart rate values, and the vertical length of the eye's cornea.
  • the fourth clustering model determines that the greater the average heart rate, which is the first biometric feature of the heart rate index, and/or the greater the difference between the maximum and minimum values of the heart rate, which is the first biometric feature of the heart rate index, and/or the greater the vertical length of the cornea of the eye, which is the first biometric feature indicated by the facial image, the greater the level of arousal in the awake state.
  • the psychological state assessment unit 141 may change the first biometric feature to be input depending on the type of the selected clustering model. For example, if the third clustering model is selected, the psychological state assessment unit 141 may extract the difference between the maximum and minimum heart rate values, the median heart rate, and the variability in eye movement from the multiple first biometric feature values, and input these to the third clustering model. Also, if the fourth clustering model is selected, the psychological state assessment unit 141 may extract the average heart rate, the difference between the maximum and minimum heart rate values, and the vertical length of the cornea of the eye from the multiple first biometric feature values, and input these to the fourth clustering model.
  • first biometric features input to the third clustering model and the fourth clustering model are not limited to the three biometric features shown in FIG. 10, and other biometric features may also be input.
  • Figure 11 is a diagram showing the correlation between the actual measured comfort level values and the estimated comfort level values using the first clustering model
  • Figure 12 is a diagram showing the correlation between the actual measured comfort level values and the estimated comfort level values using the second clustering model.
  • the first clustering model is selected as a clustering model suitable for determining the comfort state of the first user
  • the second clustering model is selected as a clustering model suitable for determining the comfort state of the second user.
  • the correlation coefficient between the actual measured comfort level (comfort level judgment score) and the estimated comfort level (comfort level judgment score) using the first clustering model is 0.750, indicating that high accuracy has been achieved.
  • the correlation coefficient between the actual measured comfort level (comfort level judgment score) and the estimated comfort level (comfort level judgment score) using the second clustering model is 0.641, indicating that high accuracy has been achieved.
  • Figure 13 is a diagram showing the correlation between the actual measured values of arousal and the estimated values of arousal using the third clustering model
  • Figure 14 is a diagram showing the correlation between the actual measured values of arousal and the estimated values of arousal using the fourth clustering model.
  • the third clustering model is selected as a clustering model suitable for determining the wakefulness state of the first user
  • the fourth clustering model is selected as a clustering model suitable for determining the wakefulness state of the second user.
  • the correlation coefficient between the actual measured value of arousal (arousal determination score) and the estimated value of arousal (arousal determination score) using the third clustering model is 0.773, indicating that high accuracy has been achieved.
  • the correlation coefficient between the actual measured value of arousal (arousal determination score) and the estimated value of arousal (arousal determination score) using the fourth clustering model is 0.506, indicating that high accuracy has been achieved.
  • FIG. 15 is a diagram showing the configuration of an information processing system 102 according to the second embodiment.
  • the information processing system 102 shown in FIG. 15 includes a psychological state assessment device 1A and a measurement device 2. Note that in this second embodiment, the same components as in the first embodiment are designated by the same reference numerals, and their description will be omitted.
  • the feature calculation unit 12A acquires a first biometric feature associated with the user's biometric information during a first period.
  • the first period is a period during which the user's psychological state is determined.
  • the first biometric feature in embodiment 2 is the same as the first biometric feature in embodiment 1.
  • the feature calculation unit 12A calculates the first biometric feature associated with the user's biometric information during the first period during which the user's psychological state is determined.
  • step S64 the server's communication unit receives the biometric information acquired during the first period transmitted by the psychological state assessment device.
  • steps S65 and S66 is the same as the processing in steps S47 and S48 shown in Figure 17, so a description thereof will be omitted.
  • step S57 the communication unit of the psychological state assessment device receives the assessment results of the user's psychological state sent by the server.
  • step S58 is the same as the processing in step S49 shown in Figure 17, so a detailed explanation will be omitted.
  • Response information for multiple questionnaire items is expressed numerically.
  • the response information was input into the selection model, and cluster classification was performed using XGBoost so that the selection model would output a cluster number to identify the cluster.
  • Figure 19 is a diagram showing the relationship between the number of features (answers to questionnaire items) and accuracy in this second embodiment.
  • the horizontal axis represents the number of features (answers to questionnaire items), and the vertical axis represents accuracy.
  • the two-dot chain line represents the accuracy rate (Accuracy)
  • the dashed line represents the recall rate (Recall)
  • the dot-dash line represents the precision rate (Precision)
  • the solid line represents the F-score.
  • Figure 21 shows the top eight survey items with the highest Shap values among multiple survey items.
  • Figure 22 shows the average values of the responses to two questionnaire items by subjects belonging to the first and second clusters
  • Figure 23 shows the average values of the responses to four questionnaire items by subjects belonging to the first and second clusters.
  • Cluster 1 As shown in Figure 22, subjects in Cluster 1 have lower levels of self-esteem and higher levels of loneliness than the other clusters, indicating that subjects in Cluster 1 tend to have negative emotions.
  • the second cluster contains subjects with higher levels of regulatory focus - gain entourage, joy, pride, and self-esteem than the other clusters, indicating that subjects classified in the second cluster tend to have positive emotions.
  • the output unit 15 displays the evaluation result screen shown in FIG. 24.
  • the evaluation result screen includes a score presentation area 201 showing past creativity score (judgment score) values and the current creativity score (judgment score) value, and an evaluation message 202 regarding the user's divergent thinking state.
  • a mental state assessment is made once every 10 minutes, and the creativity score (judgment score) values for the past 80 minutes and the current creativity score (judgment score) value are displayed.
  • the mental state assessment may be made at predetermined intervals.
  • the predetermined time may be, for example, 10 seconds, 1 minute, or 5 minutes, and may be selectable by the user.
  • the creativity score (judgment score) value indicates the degree of divergent thinking as determined by the clustering model.
  • the creativity score (judgment score) value is expressed, for example, as a percentage between 0 and 100%.
  • the output unit 15 converts the creativity score (judgment score) value into a percentage and presents it.
  • the psychological state assessment unit 141 may store the creativity score (judgment score) values in memory (not shown).
  • the evaluation message 202 is advice based on the time-based trend and current value of the divergent thinking state.
  • the output unit 15 may display the evaluation message 202 stating, "Creativity is being demonstrated and a good condition is being maintained.” If the creativity score (judgment score) is equal to or greater than a threshold, the output unit 15 may read from memory and display the evaluation message 202 indicating that the degree of divergent thinking (creativity) is high. Furthermore, if the creativity score (judgment score) is lower than the threshold, the output unit 15 may read from memory and display the evaluation message 202 indicating that the degree of divergent thinking (creativity) is low.
  • past creativity score values are displayed along with the current creativity score value, but the present disclosure is not particularly limited to this, and the current creativity score value may be displayed without displaying past creativity score values.
  • FIG. 25 is a diagram showing the configuration of an information processing system 103 according to the third embodiment.
  • the information processing system 103 shown in FIG. 25 includes a psychological state assessment device 1, a measurement device 2, and a control device 3. Note that the psychological state assessment device 1 may also be a psychological state assessment device 1A.
  • the control device 3 includes at least one of a lighting device that emits illumination light into the space where the user is located and an air conditioning device that conditions the air in the space where the user is located.
  • the psychological state assessment device 1 and the psychological state assessment device 1A may further include a device control unit that controls the control device 3 based on the psychological state determined by the psychological state determination unit 141.
  • the device control unit determines that the degree of divergent thinking is low, it sends a control signal to the control device 3 to change the output content of the control device 3. If the device control unit does not determine that the degree of divergent thinking is low, it does not send a control signal and maintains the output content of the control device 3. Note that the device control unit determines that the degree of divergent thinking is low if the judgment score for the divergent thinking state is lower than a threshold value.
  • the control device 3 may be a lighting device.
  • the control signal may include a control signal to lower the color temperature of the illumination light and to lower the illuminance of the illumination light.
  • the device control unit may acquire an alertness state indicating the user's level of alertness.
  • the control device 3 may be a lighting device. If the device control unit determines that the level of divergent thinking is low and the alertness state indicates that the user's level of alertness is low, it transmits a control signal to increase the illuminance of the lighting light. If the device control unit determines that the level of divergent thinking is low and the alertness state indicates that the user's level of alertness is high, it transmits a control signal to decrease the illuminance of the lighting light.
  • control device 3 may be an air conditioning device.
  • control signal may include a control signal for raising the room temperature in the space.
  • the device control unit sends a control signal to the control device 3 to change the output content of the control device 3. If the comfort level of the comfortable state is not determined to be low, the device control unit does not send a control signal and maintains the output content of the control device 3. Note that the device control unit determines that the comfort level of the comfortable state is low if the comfort level judgment score is smaller than a threshold value.
  • the control device 3 may be a lighting device. In this case, the control signal may include a control signal to lower the color temperature of the illumination light.
  • the control device 3 may also be an air conditioning device. In this case, the control signal may include a control signal to lower the room temperature of the space.
  • the device control unit sends a control signal to the control device 3 to change the output content of the control device 3. If it is not determined that the level of alertness in the awake state is low, the device control unit does not send a control signal and maintains the output content of the control device 3.
  • the control device 3 may be a lighting device. In this case, the control signal may include a control signal to increase the color temperature of the illumination light.
  • the control device 3 may also be an air conditioning device. In this case, the control signal may include a control signal to lower the room temperature in the space.
  • LSI Large Scale Integration
  • FPGA Field Programmable Gate Array
  • reconfigurable processor which can reconfigure the connections and settings of circuit cells within an LSI, may also be used.
  • a processor such as a CPU executing a program.
  • the technology disclosed herein can accurately determine a user's psychological state, making it useful as a technology for determining a user's psychological state.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

心理状態評価装置は、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択し、第1期間における、ユーザの生体情報に関連する第1生体特徴量を取得し、第1生体特徴量及び1のクラスタリングモデルに基づき、ユーザの第1期間における心理状態を判定する。

Description

情報処理方法及び情報処理システム
 本開示は、ユーザの心理状態を判定する技術に関する。
 例えば、特許文献1のシステムは、複数の予測モデルそれぞれを用いた複数の予測結果のうちの正解に最も近い予測結果を精神状態及び/又は感情状態の予測結果として採用している。
 また、例えば、特許文献2では、生体情報と快適感との関係を表わす快適感用モデルと、生体情報と覚醒感との関係を表わす覚醒感用モデルと、生体情報と疲労感との関係を表わす疲労感用モデルとが記憶され、取得された生体情報を快適感用モデルに適用して快適感が推定され、取得された生体情報を覚醒感用モデルに適用して覚醒感が推定され、取得された生体情報を疲労感用モデルに適用して疲労感が推定される。
特表2021-508518号公報 特開2013-27570号公報
 上記従来の技術では、ユーザの心理状態を精度よく判定することが困難であり、更なる改善が必要とされていた。
 本開示は、ユーザの心理状態を精度よく判定することができる技術を提供する。
 本開示に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択することと、第1期間における、前記ユーザの生体情報に関連する第1生体特徴量を取得することと、前記第1生体特徴量及び前記1のクラスタリングモデルに基づき、前記ユーザの前記第1期間における前記心理状態を判定することと、を含む。
 本開示によれば、ユーザの心理状態を精度よく判定することができる。
本実施の形態1に係る情報処理システムの構成を示す図である。 本実施の形態1における心理状態評価装置による評価処理について説明するためのフローチャートである。 本実施の形態1の変形例1における心理状態評価装置及びサーバによる評価処理について説明するためのフローチャートである。 クラスタリングモデルを選択した場合とクラスタリングモデルを選択しなかった場合との創造性の評価結果を示す図である。 2つのクラスタリングモデルに入力される生体特徴量とShap値との関係を示す図である。 拡散的思考状態の実測値と第1クラスタリングモデルによる拡散的思考状態の推定値との相関を示す図である。 拡散的思考状態の実測値と第2クラスタリングモデルによる拡散的思考状態の推定値との相関を示す図である。 本実施の形態1の変形例2において、クラスタリングモデルを選択した場合とクラスタリングモデルを選択しなかった場合との快適度及び覚醒度の評価結果を示す図である。 快適度を判定する2つのクラスタリングモデルに入力される生体特徴量と重みとの関係を示す図である。 覚醒度を判定する2つのクラスタリングモデルに入力される生体特徴量と重みとの関係を示す図である。 快適度の実測値と第1クラスタリングモデルによる快適度の推定値との相関を示す図である。 快適度の実測値と第2クラスタリングモデルによる快適度の推定値との相関を示す図である。 覚醒度の実測値と第3クラスタリングモデルによる覚醒度の推定値との相関を示す図である。 覚醒度の実測値と第4クラスタリングモデルによる覚醒度の推定値との相関を示す図である。 本実施の形態2に係る情報処理システムの構成を示す図である。 本実施の形態2におけるアンケート項目の一例を示す図である。 本実施の形態2における心理状態評価装置による評価処理について説明するためのフローチャートである。 本実施の形態2の変形例における心理状態評価装置及びサーバによる評価処理について説明するためのフローチャートである。 本実施の形態2において、特徴量(アンケート項目)の個数と精度との関係を示す図である。 8つのアンケート項目の回答情報を入力した場合の選択用モデルの分類精度を示す図である。 複数のアンケート項目のうちのShap値が高かった上位8つのアンケート項目を示す図である。 第1クラスタ及び第2クラスタに属する被験者の2つのアンケート項目に対する回答結果の平均値を示す図である。 第1クラスタ及び第2クラスタに属する被験者の4つのアンケート項目に対する回答結果の平均値を示す図である。 実施の形態1及び実施の形態2において表示される評価結果画面の一例を示す図である。 本実施の形態3に係る情報処理システムの構成を示す図である。
 (本開示の基礎となった知見)
 従来、人間の生体情報に関連する生体特徴量と心理状態とは影響しあうことが知られている。しかしながら、人間の生体特徴量と心理状態との関係には個人差があるため、生体特徴量から心理状態を推定することは難しい。
 特許文献1及び特許文献2のいずれも、複数のモデルから複数の予測結果又は複数の推定結果を得ることについては開示されているが、複数のモデルからユーザの心理状態の判定に適した1のモデルが選択され、1のモデルの予測結果を用いて心理状態が判定されることについては考慮されていない。そのため、ユーザの生体特徴量からユーザの心理状態を精度よく判定することは困難である。
 本開示では、下記の技術が開示される。
 (1)本開示の一態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択することと、第1期間における、前記ユーザの生体情報に関連する第1生体特徴量を取得することと、前記第1生体特徴量及び前記1のクラスタリングモデルに基づき、前記ユーザの前記第1期間における前記心理状態を判定することと、を含む。
 この構成によれば、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルが選択され、ユーザの生体情報に関連する第1生体特徴量及び選択された1のクラスタリングモデルに基づき、ユーザの心理状態が判定されるので、ユーザの心理状態を精度よく判定することができる。
 (2)上記(1)記載の情報処理方法において、前記ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得することと、前記ユーザが前記タスクを行う第2期間において、前記ユーザの前記生体情報に関連する第2生体特徴量を取得することと、をさらに含み、前記1のクラスタリングモデルの選択は、前記第2生体特徴量と、前記タスク評価情報によって示される前記評価結果との相関に基づいて、前記複数のクラスタリングモデルの中から前記1のクラスタリングモデルを選択することを含んでもよい。
 この構成によれば、事前にユーザがタスクを行うことにより、ユーザがタスクを行う第2期間において取得されたユーザの生体情報に関連する第2生体特徴量と、タスクの評価結果との相関に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 (3)上記(2)記載の情報処理方法において、前記タスクは、前記ユーザに拡散的思考をさせるためのタスクであり、前記心理状態は、前記ユーザが前記拡散的思考をしている拡散的思考状態であってもよい。
 この構成によれば、ユーザに拡散的思考をさせるためのタスクを行わせることにより、ユーザの拡散的思考状態の判定に適した1のクラスタリングモデルを選択することができる。
 (4)上記(3)に記載の情報処理方法において、前記生体情報は、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度の少なくとも1つに関連する情報を含んでもよい。
 この構成によれば、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度は、ユーザの心理状態の影響を受けるので、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度の少なくとも1つに関連する情報により、ユーザの心理状態を高い精度で判定することができる。
 (5)上記(3)に記載の情報処理方法において、前記生体情報は、脳波、顔画像、又は、前記脳波及び前記顔画像に関連する情報を含み、前記複数のクラスタリングモデルは、前記脳波の前記第1生体特徴量であるガンマ波の活性度合いの大きさ、及び前記顔画像によって示される前記第1生体特徴量である顔の動きの大きさの少なくとも1つに比例して、前記拡散的思考状態の発揮度合いが大きくなると判定する第1クラスタリングモデルを含んでもよい。
 この構成によれば、脳波の第1生体特徴量であるガンマ波の活性度合いが大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の動きが大きいほど、拡散的思考状態の発揮度合いが大きくなるようなユーザの心理状態を判定することができる。
 (6)上記(3)に記載の情報処理方法において、前記生体情報は、心拍指標、顔画像、又は、前記心拍指標及び前記顔画像に関連する情報を含み、
 前記複数のクラスタリングモデルは、前記心拍指標の前記第1生体特徴量である心拍間隔を示す値の逆数の大きさ、及び前記顔画像によって示される前記第1生体特徴量である顔の動きの大きさの少なくとも1つに比例して、前記拡散的思考状態の発揮度合いが大きくなると判定する第2クラスタリングモデルを含んでもよい。
 この構成によれば、心拍指標の第1生体特徴量である心拍間隔が短いほど、及び/又は顔画像によって示される第1生体特徴量である顔の動きが大きいほど、拡散的思考状態の発揮度合いが大きくなるようなユーザの心理状態を判定することができる。
 (7)上記(1)記載の情報処理方法において、質問に対する前記ユーザの回答内容を含む回答情報を取得することをさらに含み、前記1のクラスタリングモデルの選択は、前記回答情報に基づいて前記複数のクラスタリングモデルの中から前記1のクラスタリングモデルを選択することを含み、前記心理状態は、前記ユーザが拡散的思考をしている拡散的思考状態であってもよい。
 この構成によれば、事前にユーザが質問に対して回答することにより、質問に対するユーザの回答内容を含む回答情報に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 (8)上記(7)記載の情報処理方法において、前記質問は、デモグラフィックな属性、ポジティブな感情特性、行動特性、ウェルビーイング、及び心理特性の少なくとも1つに関する質問項目を含んでもよい。
 この構成によれば、デモグラフィックな属性、ポジティブな感情特性、行動特性、ウェルビーイング、及び心理特性の少なくとも1つに関する質問項目に対するユーザの回答により、ユーザを高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (9)上記(8)記載の情報処理方法において、前記デモグラフィックな属性に関する質問項目は、前記ユーザが引っ越した回数に関する質問項目、前記ユーザの会社に対する愛着度に関する質問項目、及び前記ユーザの仕事のマニュアル度に関する質問項目の少なくとも1つを含んでもよい。
 この構成によれば、ユーザが引っ越した回数に関する質問項目、ユーザの会社に対する愛着度に関する質問項目、及びユーザの仕事のマニュアル度に関する質問項目の少なくとも1つに対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (10)上記(8)記載の情報処理方法において、前記ポジティブな感情特性に関する質問項目は、前記ユーザの喜びに関する質問項目及び前記ユーザの誇りに関する質問項目の少なくとも1つを含んでもよい。
 この構成によれば、ユーザの喜びに関する質問項目及びユーザの誇りに関する質問項目の少なくとも1つに対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (11)上記(8)記載の情報処理方法において、制御焦点理論における利得接近志向に関する質問項目を含んでもよい。
 この構成によれば、制御焦点理論における利得接近志向に関する質問項目に対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (12)上記(8)記載の情報処理方法において、前記ウェルビーイングに関する質問項目は、前記ユーザの孤独感の度合いに関する質問項目を含んでもよい。
 この構成によれば、ユーザの孤独感の度合いに関する質問項目に対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (13)上記(8)記載の情報処理方法において、前記心理特性に関する質問項目は、前記ユーザの自尊心の度合いに関する質問項目を含んでもよい。
 この構成によれば、ユーザの自尊心の度合いに関する質問項目に対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (14)上記(7)記載の情報処理方法において、前記質問は、前記ユーザの自尊心の度合いに関する質問項目を含んでもよい。
 この構成によれば、ユーザの自尊心の度合いに関する質問項目に対するユーザの回答により、ユーザをより高い精度で分類することができ、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択することができる。
 (15)上記(2)記載の情報処理方法において、前記タスクは、前記ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツを鑑賞するタスクを含み、前記心理状態は、前記ユーザの前記快適度を示す快適状態及び前記ユーザの前記覚醒度を示す覚醒状態の少なくとも1つを含んでもよい。
 この構成によれば、ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツをユーザに鑑賞させることにより、ユーザの快適度及び覚醒度の少なくとも1つの判定に適した1のクラスタリングモデルを選択することができる。
 (16)上記(15)記載の情報処理方法において、前記生体情報は、顔画像及び心拍指標の少なくとも1つに関連する情報を含んでもよい。
 この構成によれば、顔画像及び心拍指標は、ユーザの快適状態及び覚醒状態の影響を受けるので、顔画像及び心拍指標の少なくとも1つに関連する情報により、ユーザの快適状態及び覚醒状態の少なくとも1つを高い精度で判定することができる。
 (17)上記(15)記載の情報処理方法において、前記心理状態は、前記ユーザの前記快適状態を含み、前記生体情報は、顔画像に関連する情報を含み、
 前記複数のクラスタリングモデルは、前記顔画像によって示される前記第1生体特徴量である顔の垂直方向周りの回旋の大きさ、前記顔画像によって示される前記第1生体特徴量である前記顔の垂直方向周りの回旋の移動量のばらつきを示す値の逆数の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の開きのばらつきを示す値の逆数の大きさの少なくとも1つに比例して、前記快適状態の前記快適度が大きくなると判定する第1クラスタリングモデルを含んでもよい。
 この構成によれば、顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋の移動量のばらつきが小さいほど、及び/又は顔画像によって示される第1生体特徴量である目の開きのばらつきが小さいほど、快適度が大きくなるようなユーザの快適状態を判定することができる。
 (18)上記(15)記載の情報処理方法において、前記心理状態は、前記ユーザの前記快適状態を含み、前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、前記複数のクラスタリングモデルは、前記顔画像によって示される前記第1生体特徴量である顔の垂直方向周りの回旋の大きさ、前記顔画像によって示される前記第1生体特徴量である前記顔の垂直方向周りの回旋の移動量のばらつきを示す値の逆数の大きさ、及び前記心拍指標の前記第1生体特徴量である心拍変動のHF成分の大きさの少なくとも1つに比例して、前記快適状態の前記快適度が大きくなると判定する第2クラスタリングモデルを含んでもよい。
 この構成によれば、顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋の移動量のばらつきが小さいほど、及び/又は心拍指標の第1生体特徴量である心拍変動のHF成分が大きいほど、快適度が大きくなるようなユーザの快適状態を判定することができる。
 (19)上記(15)記載の情報処理方法において、前記心理状態は、前記ユーザの前記覚醒状態を含み、前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、前記複数のクラスタリングモデルは、前記心拍指標の前記第1生体特徴量である心拍数の最大値と最小値との差分の大きさ、前記心拍指標の前記第1生体特徴量である前記心拍数の中央値の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の動きのばらつきの大きさの少なくとも1つに比例して、前記覚醒状態の前記覚醒度が大きくなると判定する第1クラスタリングモデルを含んでもよい。
 この構成によれば、心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の中央値が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の動きのばらつきが大きいほど、覚醒度が大きくなるようなユーザの覚醒状態を判定することができる。
 (20)上記(15)記載の情報処理方法において、前記心理状態は、前記ユーザの前記覚醒状態を含み、前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、前記複数のクラスタリングモデルは、前記心拍指標の前記第1生体特徴量である平均心拍数の大きさ、前記心拍指標の前記第1生体特徴量である心拍数の最大値と最小値との差分の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の角膜の垂直方向の長さの大きさの少なくとも1つに比例して、前記覚醒状態の前記覚醒度が大きくなると判定する第2クラスタリングモデルを含んでもよい。
 この構成によれば、心拍指標の第1生体特徴量である平均心拍数が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の角膜の垂直方向の長さが大きいほど、覚醒度が大きくなるようなユーザの覚醒状態を判定することができる。
 (21)上記(15)記載の情報処理方法において、前記タスク評価情報は、前記快適度又は前記覚醒度に関する前記ユーザの評価結果を示してもよい。
 この構成によれば、ユーザがタスクを行う第2期間において取得されたユーザの生体情報に関連する第2生体特徴量と、快適度又は覚醒度に関するタスクの評価結果との相関に基づいて、ユーザの快適状態又は覚醒状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。相関は、ピアソンの積率相関係数やスピアマンの順位相関係数、ケンドールの順位相関係数のいずれか、又は複数の相関係数の平均など組み合わせて利用してもよい。
 また、本開示は、以上のような特徴的な処理を実行する情報処理方法として実現することができるだけでなく、情報処理方法が実行する特徴的な処理に対応する特徴的な構成を備える情報処理システムなどとして実現することもできる。また、このような情報処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理方法と同様の効果を奏することができる。
 (22)本開示の他の態様に係る情報処理システムは、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択する選択部と、第1期間における、前記ユーザの生体情報に関連する第1生体特徴量を取得する取得部と、前記第1生体特徴量及び前記1のクラスタリングモデルに基づき、前記ユーザの前記第1期間における前記心理状態を判定する判定部と、を備える。
 (23)本開示の他の態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得することと、前記ユーザが前記タスクを行う第1期間において、前記ユーザの生体情報に関連する第1生体特徴量を取得することと、前記第1生体特徴量と、前記タスク評価情報によって示される前記評価結果との相関に基づいて、前記ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択することと、を含む。
 この構成によれば、事前にユーザがタスクを行うことにより、ユーザがタスクを行う第2期間において取得されたユーザの生体情報に関連する第2生体特徴量と、タスクの評価結果との相関に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 (24)本開示の他の態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、質問に対するユーザの回答内容を含む回答情報を取得することと、前記回答情報に基づいて、前記ユーザの拡散的思考状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記拡散的思考状態の判定に適した1のクラスタリングモデルを選択することと、を含む。
 この構成によれば、事前にユーザが質問に対して回答することにより、質問に対するユーザの回答内容を含む回答情報に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 (25)上記(3)記載の情報処理方法において、前記拡散的思考状態の発揮度合いが低いと判定した場合、前記ユーザのいる空間に照明光を照射する照明機器及び前記ユーザのいる前記空間の空調を行う空調機器の少なくとも1つを含む制御機器に対し、前記制御機器の出力内容を変化させる制御信号を送信し、前記拡散的思考状態の発揮度合いが低いと判定しなかった場合、前記制御信号を送信せず、前記制御機器の前記出力内容を維持してもよい。
 (26)上記(25)記載の情報処理方法において、前記制御機器は、前記照明機器であり、前記制御信号は、前記照明光の色温度を下げ、且つ前記照明光の照度を下げる制御信号を含んでもよい。
 (27)上記(25)記載の情報処理方法において、前記ユーザの覚醒度を示す覚醒状態を取得することをさらに含み、前記制御機器は、前記照明機器であり、前記拡散的思考状態の発揮度合いが低いと判定し、且つ前記覚醒状態が前記ユーザの前記覚醒度が低いことを示す場合、前記照明光の照度を上げさせる前記制御信号を送信し、前記拡散的思考状態の発揮度合いが低いと判定し、且つ前記覚醒状態が前記ユーザの前記覚醒度が高いことを示す場合、前記照明光の照度を低下させる前記制御信号を送信してもよい。
 (28)上記(25)記載の情報処理方法において、前記制御機器は、前記空調機器であり、前記制御信号は、前記空間の室温を上げる制御信号を含んでもよい。
 (29)上記(15)記載の情報処理方法において、前記快適状態の前記快適度が低いと判定した場合、前記ユーザのいる空間に照明光を照射する照明機器及び前記ユーザのいる前記空間の空調を行う空調機器の少なくとも1つを含む制御機器に対し、前記制御機器の出力内容を変化させる制御信号を送信し、前記快適状態の前記快適度が低いと判定しなかった場合、前記制御信号を送信せず、前記制御機器の前記出力内容を維持してもよい。
 (30)上記(29)記載の情報処理方法において、前記制御機器は、前記照明機器であり、前記制御信号は、前記照明光の色温度を下げる制御信号を含んでもよい。
 (31)上記(29)記載の情報処理方法において、前記制御機器は、前記空調機器であり、前記制御信号は、前記空間の室温を低下させる制御信号を含んでもよい。
 (32)上記(15)記載の情報処理方法において、前記覚醒状態の前記覚醒度が低いと判定した場合、前記ユーザのいる空間に照明光を照射する照明機器及び前記ユーザのいる前記空間の空調を行う空調機器の少なくとも1つを含む制御機器に対し、前記制御機器の出力内容を変化させる制御信号を送信し、前記覚醒状態の前記覚醒度が低いと判定しなかった場合、前記制御信号を送信せず、前記制御機器の前記出力内容を維持してもよい。
 (33)上記(29)記載の情報処理方法において、前記制御機器は、前記照明機器であり、前記制御信号は、前記照明光の色温度を上げる制御信号を含んでもよい。
 (34)上記(29)記載の情報処理方法において、前記制御機器は、前記空調機器であり、前記制御信号は、前記空間の室温を低下させる制御信号を含んでもよい。
 以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。本開示における「A1、A2、・・・、及びAnの少なくとも1つ(at least one selected from the group consisting of A1, A2,・・・, and An)」は、「A1、A2、・・・、An、または、A1、A2、・・・、Anの任意の組み合わせ」であると解釈されてもよい。nは2以上の整数である。例えば、A1及びA2の少なくとも1つは、「A1」、「A2」、または、「A1及びA2」であると解釈されてもよい。例えば、A1、A2、及びA3の少なくとも1つは、「A1」、「A2」、「A3」、「A1及びA2」、「A1及びA3」、「A2及びA3」、または、「A1、A2、及びA3」であると解釈されてもよい。本開示における「A及び/又はB」は「A」、「B」、又は、「A及びB」であると解釈されてもよい。
 (実施の形態1)
 図1は、本実施の形態1に係る情報処理システム101の構成を示す図である。
 図1に示す情報処理システム101は、心理状態評価装置1及び測定装置2を備える。
 測定装置2は、ユーザの生体情報を測定する。生体情報は、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度の少なくとも1つに関連する情報を含む。
 測定装置2は、ユーザの頭部に装着された複数の電極から複数の電気信号を取得し、取得した複数の電気信号から脳波を計測する脳波計測装置を含んでもよい。脳波計測装置は、複数の電気信号に基づいて、ユーザの脳波に関連する情報を生成して出力する。
 また、測定装置2は、近赤外分光法(Near Infrared Spectroscopy:NIRS)を利用して、ユーザの脳血流の状態を示す信号を取得するNIRS脳計測装置を含んでもよい。NIRS脳計測装置は、ユーザの額を近赤外光などの光で照射し、額の内部で散乱された光の成分を検出する動作を繰り返すことにより、脳血流の経時変化を示す検出信号を生成する。NIRS脳計測装置は、脳血流の経時変化を示す検出信号をユーザの脳血流に関連する情報として出力する。
 また、測定装置2は、ユーザの顔を撮影することによりユーザの顔画像を取得するカメラを含んでもよい。カメラは、ユーザの顔画像に関する情報を出力する。
 また、測定装置2は、ユーザの胸部に装着された複数の電極からユーザの心拍によって生じる複数の電気信号を取得し、取得した複数の電気信号から心電波形(心電図ともいう)を計測する心電波形計測装置を含んでもよい。心電波形計測装置は、計測した心電波形をユーザの心拍指標に関連する情報として出力する。
 なお、測定装置2は、近赤外光又は緑色の波長域の光をユーザに照射し、その反射光に基づいて心拍数を測定してもよい。測定装置2は、スマートウォッチ等のウェアラブルデバイスの表示面の反対の面に設けられ、光を照射する光源と、反射光を検出する光検出部とを備えていてもよい。
 また、測定装置2は、ユーザが座るイスの座面に設けられ、ユーザが座ることにより圧力が加わることで変化する電気抵抗又は静電容量に基づいて座圧を検出する圧力センサを含んでもよい。圧力センサは、ユーザの座圧に関する情報を出力する。
 また、測定装置2は、ユーザの手掌部に貼り付けられた電極から電気信号を取得し、ユーザの手掌部の皮膚電位を測定するセンサを含んでもよい。また、測定装置2は、ユーザの指先に貼り付けられ、ユーザの指先の皮膚温度を測定する温度センサを含んでもよい。測定装置2は、ユーザの皮膚電位及び/又は皮膚温度に関する情報を出力する。
 測定装置2は、生体情報を心理状態評価装置1に送信する。測定装置2は、心理状態評価装置1とネットワークを介して互いに通信可能に接続されている。ネットワークは、例えば、インターネットである。
 心理状態評価装置1は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を含むコンピュータシステムを含む。なお、心理状態評価装置1は、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。
 心理状態評価装置1は、データ取得部11、特徴量算出部12、モデル選択処理部13、心理状態評価処理部14、及び出力部15を備える。
 データ取得部11は、測定装置2によって送信されたユーザの生体情報を取得する。生体情報は、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度の少なくとも1つに関連する情報を含む。
 特徴量算出部12は、第1期間における、ユーザの生体情報に関連する第1生体特徴量を取得する。第1期間は、ユーザの心理状態を判定する期間である。また、特徴量算出部12は、ユーザがタスクを行う第2期間において、ユーザの生体情報に関連する第2生体特徴量を取得する。第2期間は、第1期間よりも前の期間である。第2期間において、ユーザによってタスクが行われ、複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルが選択される。また、第1期間において、ユーザの心理状態が判定される。
 特徴量算出部12は、ユーザの心理状態を判定する第1期間において、ユーザの生体情報に関連する第1生体特徴量を算出する。また、特徴量算出部12は、ユーザがタスクを行う第2期間において、ユーザの生体情報に関連する第2生体特徴量を算出する。
 特徴量算出部12は、ユーザの脳波に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。脳波は、周波数が8~13Hzであるアルファ波、周波数が14~30Hzであるベータ波、周波数が4~8Hzであるシータ波、周波数が0.5~4Hzであるデルタ波、及び周波数が30~50Hzであるガンマ波を含む。例えば、脳波に関連する第1生体特徴量又は第2生体特徴量は、第1期間又は第2期間における、ガンマ波の活性度合い、シータ波の活性度合い、デルタ波の活性度合い、又はベータ波の活性度合いである。活性度合いは、脳波の中央値又は平均値の大きさで表される。
 また、特徴量算出部12は、ユーザの脳血流に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。例えば、脳血流に関連する第1生体特徴量又は第2生体特徴量は、第1期間又は第2期間における脳内の血液中のヘモグロビンの状態又は量を示す脳活動データである。脳活動データは、例えば、脳血液中の酸素化ヘモグロビン濃度、脱酸素化ヘモグロビン濃度、及び総ヘモグロビン濃度の少なくとも1つを含む。酸素と結合したヘモグロビンは酸素化ヘモグロビン(oxyhemoglobin)と呼ばれる。酸素と結合していないヘモグロビンは脱酸素化ヘモグロビン(deoxyhemoglobin)と呼ばれる。総ヘモグロビン濃度は、酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度との和である。特徴量算出部12は、第1期間又は第2期間における脳内の血液中の酸素化ヘモグロビン濃度、脱酸素化ヘモグロビン濃度、及び総ヘモグロビン濃度の少なくとも1つを第1生体特徴量又は第2生体特徴量として算出してもよい。
 また、特徴量算出部12は、ユーザの顔画像に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。顔画像に関連する第1生体特徴量又は第2生体特徴量は、例えば、顔の動きの大きさ又は目の動きの大きさである。顔の動きは、顔をZ軸(垂直方向)周りに回旋させた動きと、顔を垂直方向(上下方向)に移動させた動きと、顔を水平方向(左右方向)に移動させた動きとを含む。特徴量算出部12は、第1期間又は第2期間における、顔のZ軸(垂直方向)周りの回旋の大きさ、顔の垂直方向(上下方向)の移動量のばらつき(標準偏差)、及び顔の水平方向(左右方向)の移動量のばらつき(標準偏差)を算出してもよい。また、目の動きは、目(瞳孔)を水平方向(左右方向)に移動させた動きを含む。なお、目の動きは、左目及び右目のいずれか一方の動きであってもよいし、両方の目の動きの平均であってもよい。特徴量算出部12は、第1期間又は第2期間における目(瞳孔)の水平方向(左右方向)の移動量のばらつき(標準偏差)を算出してもよい。なお、目の移動量のばらつきは、左目及び右目のいずれか一方の移動量のばらつきであってもよいし、両方の目の移動量のばらつきであってもよい。
 また、特徴量算出部12は、ユーザの心拍指標に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。心電波形は、心房の電気的興奮を反映するP波と、心室の電気的興奮を反映するQ波、R波、及びS波と、興奮した心室の心筋細胞が再分極する過程を反映するT波とから構成されている。これらの波のうち、R波の波高(すなわち電位差)が最も大きく、筋電位などのノイズに対して最も頑健である。特徴量算出部12は、心電波形における連続する2つのR波を検出する。なお、R波の検出には、例えば、Pan&Tompkins法などの公知の手法が用いられてもよい。そして、特徴量算出部12は、2つのR波のピークの間隔を、心拍間隔(RRI:R-R intervals)として特定する。これにより、第1期間又は第2期間におけるRRIが第1生体特徴量又は第2生体特徴量として特徴量算出部12によって取得される。心拍間隔をtRPIとすると、心拍間隔を示す値の逆数の大きさは|1/tRPI|であってもよい。
 なお、特徴量算出部12は、第1期間又は第2期間における、心拍数、CvRR(Coefficient of Variation of R-R intervals)、LF(Low Frequency)成分、HF(High Frequency)成分、LF+HF、及びRSPI(Respiration Signal Peak Interval)を第1生体特徴量又は第2生体特徴量として算出してもよい。
 心拍数は、例えば1分間あたりの拍動の数であって、RRIの秒数で60秒を除算することによって算出される数である。CvRRは、心拍揺らぎの変動係数である。特徴量算出部12は、任意時間帯におけるRRIの標準偏差を、任意時間帯におけるRRIの平均値で規格化することによって、CvRRを算出する。特徴量算出部12は、RRIの時系列データを高速フーリエ変換を用いて周波数解析し、周波数解析によって得られるパワースペクトルからLF成分及びHF成分を算出する。LF成分は、0.04Hz~0.14Hzの低周波数領域のパワースペクトルの積分値であり、交感神経及び副交感神経の活動量が反映されていると考えられている。HF成分は、0.14Hz~0.4Hzの高周波数領域のパワースペクトルの積分値であり、副交感神経の活動量が反映されていると考えられている。LF+HLは、LF成分にHF成分を加算することによって算出される。RSPIは、呼吸周期であり、心電波形から抽出される。
 なお、特徴量算出部12は、顔画像から得られるユーザの皮膚の色度の変化に基づいて心拍数を推定してもよい。
 また、特徴量算出部12は、ユーザの座圧に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。座圧に関連する第1生体特徴量又は第2生体特徴量は、第1期間又は第2期間における座圧の変化量である。
 また、特徴量算出部12は、ユーザの皮膚電位に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。皮膚電位に関連する第1生体特徴量又は第2生体特徴量は、第1期間又は第2期間における皮膚電位の変化量である。
 また、特徴量算出部12は、ユーザの皮膚温度に関連する第1生体特徴量又は第2生体特徴量を算出してもよい。皮膚温度に関連する第1生体特徴量又は第2生体特徴量は、第1期間又は第2期間における皮膚温度の変化量である。
 モデル選択処理部13は、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択するためのモデル選択処理を行う。
 モデル選択処理部13は、タスク実行部131、タスク評価部132、相関算出部133、モデル選択部134、タスク提示部135、タスク受付部136、タスクデータベース137、評価基準記憶部138、及び選択用モデル記憶部139を含む。
 ユーザが行う知的作業には、収束的思考を要するタスクと、拡散的思考を要するタスクとがあることが知られている。収束的思考は、既にある情報を元に、論理的に思考及び推論を重ねていくことにより、1つの答えへ辿り着くための思考と規定される。例えば、正解が定まっている問に対する思考、又は複数のアイデアをまとめて、1又はそれ以上の結論を出すための思考が、収束的思考に相当する。収束的思考は、クリティカルシンキングとも称されている。
 拡散的思考は、既知の情報から様々に考えを巡らせ、新たなアイデアを生み出していく思考である。具体的には、正解のない新たなアイデアを生み出す際の思考が、拡散的思考に該当する。また、ブレーンストーミングなどのアイデア創出に用いる思考が、拡散的思考に相当する。拡散的思考は、クリエイティブシンキングとも称されている。
 拡散的思考状態とは、人が拡散的思考をしている状態を指す。ここで、拡散的思考状態は、人が創造性を発揮している状態であることを含んでいてもよい。
 タスクデータベース137は、ユーザに拡散的思考をさせるためのタスクにおける課題を示す課題データを予め記憶している。なお、タスクデータベース137は、複数の課題データを記憶してもよい。
 タスク実行部131は、ユーザにタスクを実行させる。ユーザは、与えられた課題に対し所定時間内に独創的な回答を行うタスクを実行する。タスク実行部131は、タスクデータベース137に記憶されている課題データを読み出し、読み出した課題データをタスク提示部135に出力する。
 タスク提示部135は、例えば、表示装置、タッチパネル、又はスピーカであり、タスク実行部131から出力された課題データを取得し、ユーザに課題を提示する。タスク提示部135は、テキストデータにより課題を表示してもよいし、音声データにより課題を出力してもよい。
 タスク受付部136は、例えば、キーボード、マウス、タッチパネル、又はマイクロホンであり、タスク提示部135によって提示された課題に対するユーザによる回答の入力を受け付ける。ユーザは、課題に対して独創的な回答を入力する。
 タスク受付部136は、テキストデータによる回答を受け付けてもよいし、音声データによる回答を受け付けてもよい。音声データによる回答が受け付けられた場合、タスク受付部136は、音声データをテキストデータに変換する。なお、タスク受付部136は、1つの課題に対する1つの回答を受け付けてもよいし、1つの課題に対する複数の回答を受け付けてもよい。
 タスク実行部131は、タスク受付部136によって入力されたユーザの回答を取得し、取得した回答をタスク評価部132に出力する。
 評価基準記憶部138は、課題に対して独創性が低い回答の単語ベクトルを基準単語ベクトルとして課題に対応付けて予め記憶する。基準単語ベクトルは、課題から連想される独創性が低い回答である基準回答を示す基準回答テキストに対応するベクトル空間上の単語ベクトルである。単語ベクトルは、例えばWord2vecなどの単語をベクトル化する手法を用いて算出される。評価基準記憶部138は、複数の主題のそれぞれについて独創性の低い回答を示す基準単語ベクトルを記憶する。
 タスク評価部132は、ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得する。タスク評価部132は、タスク実行部131から出力されたユーザの回答を単語ベクトルに変換する。タスク評価部132は、例えばWord2vecなどのベクトル化手法を用いて回答をベクトル化する。タスク評価部132は、ユーザが行ったタスクの課題に対応付けられている基準単語ベクトルを評価基準記憶部138から読み出す。
 タスク評価部132は、評価基準記憶部138から読み出した基準単語ベクトルと、タスク受付部136によって受け付けたユーザの回答を表現した単語ベクトルとの類似度に基づいて、ユーザによって行われたタスクの独創性を評価する。例えば、類似度は、ユーザの回答を表現した単語ベクトルと基準単語ベクトルとのコサイン類似度で表される。コサイン類似度は、対象単語ベクトルをa、基準単語ベクトルをbとすると、
で表される。コサイン類似度が大きいほど、対象単語ベクトルと基準単語ベクトルとの類似性が高まるので、回答の独創性は低くなる。したがって、評価スコアはコサイン類似度が小さいほど値が大きくなるように定義される。タスク評価部132は、最も独創性が低い1点から最も独創性が高い5点までの5段階の評価スコアによりユーザが行ったタスクの独創性を評価する。タスク評価部132は、ユーザが行ったタスクの評価結果を示すタスク評価情報を相関算出部133に出力する。評価結果は、回答の独創性の高さに応じた評価スコアで表される。
 なお、ユーザから複数の回答が得られた場合、タスク評価部132は、複数の回答の各々を単語ベクトルに変換することによって生成される複数の単語ベクトルから決定される重心位置に対応する単語ベクトルを算出してもよい。
 また、本実施の形態1では、タスク評価部132は、基準単語ベクトルと、ユーザの回答を表現した単語ベクトルとの類似度に基づいて、ユーザによって行われたタスクの独創性を評価しているが、本開示は特にこれに限定されない。心理状態評価装置1は、ユーザの回答を評価者に提示する回答提示部と、ユーザの回答の評価者による評価を受け付ける評価受付部とをさらに備えてもよい。評価者は、提示されたユーザの回答の独創性を5段階の評価スコアにより評価する。評価受付部は、ユーザの回答に対する評価スコアの評価者による入力を受け付ける。評価受付部は、評価者によって入力された評価結果をタスク評価部132に出力する。なお、回答提示部は、ユーザの回答を複数の評価者に提示してもよく、評価受付部は、複数の評価者による複数の評価スコアの入力を受け付けてもよい。この場合、タスク評価部132は、複数の評価スコアの平均を、ユーザが行ったタスクの評価結果として算出してもよい。
 また、心理状態評価装置1は、ユーザの回答を評価者が用いる端末に送信するとともに、ユーザの回答に対する評価者の評価結果を評価者が用いる端末から受信する通信部をさらに備えてもよい。
 相関算出部133は、特徴量算出部12によって取得された第2生体特徴量と、タスク評価部132によって取得されたタスク評価情報によって示される評価結果との相関を算出する。相関算出部133は、第2生体特徴量と、評価結果である評価スコアとの相関係数を算出する。相関係数としては、例えば、ピアソンの積率相関係数が用いられる。ピアソンの積率相関係数は、第2生体特徴量と評価スコアとの共分散が、第2生体特徴量の標準偏差を評価スコアの標準偏差に乗算した値で除算されることにより算出される。
 なお、相関係数を算出する際に用いられる第2生体特徴量は、例えば、ガンマ波の活性度合い、シータ波の活性度合い、総ヘモグロビン濃度、脱酸素化ヘモグロビン濃度、顔のZ軸(垂直方向)周りの回旋の大きさ、顔の垂直方向(上下方向)の移動量のばらつき(標準偏差)、及び顔の水平方向(左右方向)の移動量のばらつき(標準偏差)、目(瞳孔)の水平方向(左右方向)の移動量のばらつき(標準偏差)、心拍間隔(RRI)時間、及び皮膚温度である。
 選択用モデル記憶部139は、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択するための学習済みの選択用モデルを予め記憶している。選択用モデルの学習には、例えば、ウォード法又はk-means法が用いられる。選択用モデルは、入力された相関係数を複数のクラスタのうちの1のクラスタに分類し、1のクラスタに対応付けられているクラスタリングモデルを識別するための識別情報を出力する。
 モデル選択部134は、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択する。例えば、モデル選択部134は、6つのクラスタリングモデルの中から1のクラスタリングモデルを選択する。モデル選択部134は、第2生体特徴量と、タスク評価情報によって示される評価結果との相関に基づいて、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。モデル選択部134は、相関算出部133によって算出された相関係数を、学習済みの選択用モデルに適用することにより、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。選択用モデルは、相関係数が入力されると、1のクラスタリングモデルを識別するための識別情報を出力する。モデル選択部134は、選択した1のクラスタリングモデルを識別するための識別情報を心理状態判定部141に出力する。
 心理状態評価処理部14は、特徴量算出部12によって取得された第1生体特徴量及びモデル選択処理部13によって選択された1のクラスタリングモデルに基づき、ユーザの心理状態を評価する。
 心理状態評価処理部14は、心理状態判定部141及びクラスタリングモデル記憶部142を含む。
 クラスタリングモデル記憶部142は、ユーザの心理状態を判定するために用いられる学習済みの複数のクラスタリングモデルを予め記憶している。クラスタリングモデルの学習には、例えば、XGBoost(Extreme Gradient Boosting)又はランダムフォレストなどのアンサンブル学習モデルが用いられる。クラスタリングモデルは、第1生体特徴量が入力されると、ユーザの心理状態を判定した判定結果を出力する。クラスタリングモデルとしては、線形回帰又はSVM(Support Vector Machine)などの回帰モデルが用いられてもよく、ニューラルネットワークなどの深層学習モデルが用いられてもよく、その他の機械学習手法が用いられてもよい。心理状態は、拡散的思考状態である。拡散的思考状態とは、ユーザが拡散的に思考を巡らせている状態のことを指す。ここで、拡散的思考状態は、ユーザが創造性を発揮している状態であることを含んでいてもよい。
 心理状態判定部141は、特徴量算出部12によって取得された第1生体特徴量及びモデル選択部134によって選択された1のクラスタリングモデルに基づき、ユーザの第1期間における心理状態を判定する。心理状態判定部141は、モデル選択部134から出力された識別情報に対応する1のクラスタリングモデルをクラスタリングモデル記憶部142から読み出す。心理状態判定部141は、第1生体特徴量を1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定する。1のクラスタリングモデルは、第1生体特徴量が入力されると、ユーザの心理状態を判定した判定結果を出力する。判定結果は、ユーザの拡散的思考状態の発揮度合いを示す判定スコアで表される。例えば、判定スコアは、最も拡散的思考状態の発揮度合いが低い1点から最も拡散的思考状態の発揮度合いが高い5点までの5段階の値で表される。なお、判定スコアは、創造性スコアとも呼ばれる。
 なお、心理状態判定部141は、1~5点で表される判定スコアを、1から100%で表される判定スコアに変換してもよい。心理状態判定部141は、ユーザの心理状態の判定結果を出力部15に出力する。
 出力部15は、例えば、表示装置又はタッチパネルであり、心理状態判定部141によって判定されたユーザの心理状態の判定結果を出力する。ユーザの心理状態の判定結果は、ユーザの拡散的思考状態の発揮度合いを示す判定スコアである。出力部15は、ユーザの拡散的思考状態の発揮度合いを示す判定スコアを表示する。なお、出力部15は、心理状態評価装置1と通信可能に接続された端末にユーザの心理状態の判定結果を送信してもよい。端末は、例えば、パーソナルコンピュータ、スマートフォン、又はタブレット型コンピュータである。
 なお、本実施の形態1において、心理状態判定部141は、拡散的思考状態以外の心理状態を判定してもよい。心理状態判定部141は、特徴量算出部12によって取得された第1生体特徴量及びモデル選択部134によって選択された1のクラスタリングモデルに基づき、ユーザの収束的思考状態の発揮度合いを判定してもよい。収束的思考状態とは、ユーザが収束的に思考を巡らせている状態のことを指す。ここで、収束的思考状態は、ユーザが集中している状態であることを含んでいてもよい。また、心理状態判定部141は、特徴量算出部12によって取得された第1生体特徴量及びモデル選択部134によって選択された1のクラスタリングモデルに基づき、ユーザの覚醒度又は集中度を判定してもよい。
 続いて、本実施の形態1における心理状態評価装置1による評価処理について説明する。
 図2は、本実施の形態1における心理状態評価装置1による評価処理について説明するためのフローチャートである。
 まず、ステップS1において、データ取得部11は、測定装置2によって送信されたユーザの生体情報を取得する。
 次に、ステップS2において、タスク提示部135は、ユーザによって実行されるタスクの課題をユーザに提示する。タスク提示部135は、ユーザに拡散的思考をさせるための課題を表示する。
 次に、ステップS3において、タスク受付部136は、タスク提示部135によって提示された課題に対するユーザによる回答の入力を受け付ける。
 次に、ステップS4において、タスク評価部132は、ユーザによって行われたタスクの独創性を評価し、タスクの評価結果を取得する。タスク評価部132は、評価基準記憶部138から読み出した基準単語ベクトルと、タスク受付部136によって受け付けたユーザの回答を表現した単語ベクトルとの類似度に基づいて、ユーザによって行われたタスクの独創性を評価し、タスクの評価結果である評価スコアを取得する。
 次に、ステップS5において、特徴量算出部12は、ユーザがタスクを行う第2期間において取得された生体情報に関連する第2生体特徴量を算出する。
 次に、ステップS6において、相関算出部133は、特徴量算出部12によって取得された第2生体特徴量と、タスク評価部132によって取得されたタスクの評価結果との相関係数を算出する。
 次に、ステップS7において、モデル選択部134は、相関算出部133によって算出された相関係数を、学習済みの選択用モデルに適用することにより、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。モデル選択部134は、相関算出部133によって算出された相関係数を学習済みの選択用モデルに入力し、選択用モデルから出力される1のクラスタリングモデルの識別情報を取得する。
 次に、ステップS8において、モデル選択部134は、選択した1のクラスタリングモデルの識別情報を心理状態判定部141に出力する。
 次に、ステップS9において、データ取得部11は、測定装置2によって送信されたユーザの生体情報を取得する。
 次に、ステップS10において、特徴量算出部12は、ユーザの心理状態を判定する第1期間において取得された生体情報に関連する第1生体特徴量を算出する。
 次に、ステップS11において、心理状態判定部141は、特徴量算出部12によって算出された第1生体特徴量を、モデル選択部134によって選択された1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定する。心理状態判定部141は、特徴量算出部12によって算出された第1生体特徴量を、モデル選択部134によって選択された1のクラスタリングモデルに入力し、1のクラスタリングモデルから出力されるユーザの心理状態の判定結果を取得する。心理状態判定部141は、ユーザの拡散的思考状態の発揮度合いを判定する。
 次に、ステップS12において、出力部15は、心理状態判定部141によって判定されたユーザの心理状態の判定結果を出力する。出力部15は、ユーザの拡散的思考状態の発揮度合いを示す判定スコアを表示する。
 このように、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルが選択され、ユーザの生体情報に関連する第1生体特徴量及び選択された1のクラスタリングモデルに基づき、ユーザの心理状態が判定されるので、ユーザの心理状態を精度よく判定することができる。
 また、事前にユーザがタスクを行うことにより、ユーザがタスクを行う第2期間において取得されたユーザの生体情報に関連する第2生体特徴量と、タスクの評価結果との相関に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 なお、ステップS1~ステップS8に示すモデル選択処理と、ステップS9~ステップS12に示す心理状態判定処理とは、時系列に連続して行われもよいし、時系列に連続して行われなくてもよい。ユーザに適した1のクラスタリングモデルが選択された後、選択された1のクラスタリングモデルの識別情報が記憶部に記憶されてもよい。この場合、モデル選択処理は行われずに、心理状態判定処理は、記憶されている識別情報に対応する1のクラスタリングモデルを用いて行われてもよい。すなわち、最初にモデル選択処理が行われた後は、モデル選択処理は行われずに、最初に選択された1のクラスタリングモデルを用いて心理状態判定処理が繰り返し行われてもよい。
 また、第1期間が終了した後に、第1期間のデータを使って事後的にユーザの心理状態が判定されてもよい。
 続いて、本実施の形態1の変形例1における心理状態評価装置及びサーバによる評価処理について説明する。
 本実施の形態1の変形例1では、心理状態評価装置とサーバとがネットワークを介して通信可能に接続されている。ネットワークは、例えば、インターネットである。本実施の形態1の変形例1における心理状態評価装置は、データ取得部11、タスク実行部131、タスク評価部132、タスク提示部135、タスク受付部136、タスクデータベース137、評価基準記憶部138、出力部15、及び通信部を備える。また、本実施の形態1の変形例1におけるサーバは、特徴量算出部12、相関算出部133、モデル選択部134、選択用モデル記憶部139、心理状態判定部141、クラスタリングモデル記憶部142、及び通信部を備える。
 心理状態評価装置の通信部は、データ取得部11によってユーザがタスクを行う第2期間において取得された生体情報及びタスク評価部132によって評価されたタスクの評価結果をサーバに送信する。また、心理状態評価装置の通信部は、データ取得部11によってユーザの心理状態を判定する第1期間において取得された生体情報をサーバに送信する。また、心理状態評価装置の通信部は、ユーザの心理状態の判定結果をサーバから受信する。
 また、サーバの通信部は、心理状態評価装置によって送信された第2期間において取得された生体情報及びタスクの評価結果を受信する。また、サーバの通信部は、心理状態評価装置によって送信された第1期間において取得された生体情報を受信する。また、サーバの通信部は、心理状態判定部141によって判定されたユーザの心理状態の判定結果を心理状態評価装置に送信する。
 図3は、本実施の形態1の変形例1における心理状態評価装置及びサーバによる評価処理について説明するためのフローチャートである。
 ステップS21~ステップS24の処理は、図2に示すステップS1~ステップS4の処理と同じであるので、説明を省略する。
 次に、ステップS25において、心理状態評価装置の通信部は、データ取得部11によってユーザがタスクを行う第2期間において取得された生体情報及びタスク評価部132によって評価されたタスクの評価結果をサーバに送信する。
 次に、ステップS31において、サーバの通信部は、心理状態評価装置によって送信された第2期間において取得された生体情報及びタスクの評価結果を受信する。
 ステップS32~ステップS35及びステップS26の処理は、図2に示すステップS5~ステップS9の処理と同じであるので、説明を省略する。
 次に、ステップS27において、心理状態評価装置の通信部は、データ取得部11によってユーザの心理状態を判定する第1期間において取得された生体情報をサーバに送信する。
 次に、ステップS36において、サーバの通信部は、心理状態評価装置によって送信された第1期間において取得された生体情報を受信する。
 ステップS37及びステップS38の処理は、図2に示すステップS10及びステップS11の処理と同じであるので、説明を省略する。
 次に、ステップS39において、サーバの通信部は、心理状態判定部141によって判定されたユーザの心理状態の判定結果を心理状態評価装置に送信する。
 次に、ステップS28において、心理状態評価装置の通信部は、サーバによって送信されたユーザの心理状態の判定結果を受信する。
 ステップS29の処理は、図2に示すステップS12の処理と同じであるので、説明を省略する。
 なお、実施の形態1の変形例1において、心理状態評価装置は、ユーザがタスクを行う第2期間において取得された生体情報に関連する第2生体特徴量を算出し、第2生体特徴量及びタスクの評価結果をサーバに送信してもよい。サーバは、第2生体特徴量及びタスクの評価結果を受信し、第2生体特徴量とタスクの評価結果との相関係数を算出してもよい。また、心理状態評価装置は、ユーザの心理状態を判定する第1期間において取得された生体情報に関連する第1生体特徴量を算出し、第1生体特徴量をサーバに送信してもよい。サーバは、第1生体特徴量を受信し、第1生体特徴量を、選択された1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定してもよい。
 また、実施の形態1の変形例1において、サーバは、算出した相関係数を心理状態評価装置に送信してもよい。心理状態評価装置は、サーバによって送信された相関係数を受信し、受信した相関係数を選択用モデルに適用することにより、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択してもよい。また、心理状態評価装置は、ユーザの心理状態を判定する第1期間において取得された生体情報に関連する第1生体特徴量を算出し、算出した第1生体特徴量を、選択された1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定してもよい。
 続いて、複数のクラスタリングモデルのうちの1のクラスタリングモデルを用いて拡散的思考状態を評価した実験結果について説明する。
 図4は、クラスタリングモデルを選択した場合とクラスタリングモデルを選択しなかった場合との創造性の評価結果を示す図である。
 実験では、拡散的思考に誘導することができるタスクを98名の被験者に行わせた。また、実験では、98名の被験者に対して1個抜き交差検証(leave-one-out cross-validation)によりクラスタリングモデルの精度が評価された。
 1名のテストデータが、ウォード法により学習された選択用モデルにより6つのクラスタのうちのいずれかに振り分けられ、振り分けられたクラスタに対応するクラスタリングモデルで創造性が評価された。創造性を評価するためのクラスタリングモデルは、XGBoostを用いて学習された。図4では、98名の被験者を6つのクラスタに分類しなかった場合の創造性の平均評価結果と、98名の被験者を6つのクラスタに分類した場合の創造性の平均評価結果とが示されている。
 6つのクラスタに分類しなかった場合のRMSE(二乗平均平方根誤差)は0.795であり、6つのクラスタに分類した場合のRMSEは0.730であった。このように、6つのクラスタに分類した場合の方が、6つのクラスタに分類しなかった場合よりも精度が向上している。
 また、6つのクラスタに分類しなかった場合の被験者毎の平均相関係数は0.055であり、6つのクラスタに分類した場合の被験者毎の平均相関係数は0.404であった。このように、6つのクラスタに分類した場合の方が、6つのクラスタに分類しなかった場合よりも良好な相関結果が得られている。
 また、相関係数が0.4を超える割合も、6つのクラスタに分類した場合の方が、6つのクラスタに分類しなかった場合よりも高くなっている。
 続いて、クラスタリングモデルに入力する第1生体特徴量の具体例について説明する。
 本実施の形態1において、複数のクラスタリングモデルそれぞれに入力される第1生体特徴量は、複数のクラスタリングモデル毎に異なっていてもよい。
 図5は、2つのクラスタリングモデルに入力される生体特徴量とShap(SHapley Additive exPlanations)値との関係を示す図である。Shap値は、クラスタリングモデルの判定(予測)に対する生体特徴量の寄与度を表す値である。
 図5では、第1クラスタリングモデル及び第2クラスタリングモデルにおいて、Shap値が高い上位5つの生体特徴量と、Shap値の絶対値の平均とが示されている。また、図5の拡散的思考状態の発揮度合いにおいて、「+」は、生体特徴量が正の傾向を示すほど拡散的思考状態の発揮度合いが大きくなることを示し、「-」は、生体特徴量が負の傾向を示すほど拡散的思考状態の発揮度合いが大きくなることを示している。
 第1クラスタリングモデルの判定には、脳波(ガンマ波)の活性度合い、顔のZ軸周りの回旋の大きさ、皮膚温度、総ヘモグロビン濃度、及び目の水平方向の移動量のばらつきが寄与している。また、第2クラスタリングモデルの判定には、心拍間隔時間、顔の水平方向の移動量のばらつき、脱酸素化ヘモグロビン濃度、脳波(シータ波)の活性度合い、及び顔の水平方向の移動量のばらつきが寄与している。
 第1クラスタリングモデルは、脳波の第1生体特徴量であるガンマ波の活性度合いが大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の動きが大きいほど、拡散的思考状態の発揮度合いが大きくなると判定する。第2クラスタリングモデルは、心拍指標の第1生体特徴量である心拍間隔が短いほど、及び/又は顔画像によって示される第1生体特徴量である顔の動きが大きいほど、拡散的思考状態の発揮度合いが大きくなると判定する。
 心理状態判定部141は、選択された1のクラスタリングモデルの種類に応じて、入力する第1生体特徴量を変更してもよい。例えば、第1クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、脳波(ガンマ波)の活性度合い、顔のZ軸周りの回旋の大きさ、皮膚温度、総ヘモグロビン濃度、及び目の水平方向の移動量のばらつきを抽出し、第1クラスタリングモデルに入力してもよい。また、例えば、第2クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、心拍間隔時間、顔の水平方向の移動量のばらつき、脱酸素化ヘモグロビン濃度、脳波(シータ波)の活性度合い、及び顔の水平方向の移動量のばらつきを抽出し、第2クラスタリングモデルに入力してもよい。
 なお、第1クラスタリングモデル及び第2クラスタリングモデルに入力される第1生体特徴量は、図5に示す5つの生体特徴量に限定されず、他の生体特徴量が入力されてもよい。
 このように、複数のクラスタリングモデル毎に判定に寄与する生体特徴量は異なっており、複数のクラスタリングモデルそれぞれに最適な生体特徴量が入力されることにより、より正確にユーザの心理状態を判定することができる。
 図6は、拡散的思考状態の実測値と第1クラスタリングモデルによる拡散的思考状態の推定値との相関を示す図であり、図7は、拡散的思考状態の実測値と第2クラスタリングモデルによる拡散的思考状態の推定値との相関を示す図である。
 第1クラスタリングモデルは、第1ユーザの心理状態の判定に適したクラスタリングモデルとして選択され、第2クラスタリングモデルは、第2ユーザの心理状態の判定に適したクラスタリングモデルとして選択される。
 図6に示すように、拡散的思考状態の実測値(判定スコア)と第1クラスタリングモデルによる拡散的思考状態の推定値(判定スコア)との相関係数は0.686であり、高い精度が得られていることが分かる。また、図7に示すように、拡散的思考状態の実測値(判定スコア)と第2クラスタリングモデルによる拡散的思考状態の推定値(判定スコア)との相関係数は0.756であり、高い精度が得られていることが分かる。
 続いて、本実施の形態1の変形例2における心理状態評価装置による評価処理について説明する。
 上記の実施の形態1のタスクは、ユーザに拡散的思考をさせるためのタスクであり、心理状態は、ユーザが拡散的思考をしている拡散的思考状態である。これに対し、実施の形態1の変形例2のタスクは、ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツを鑑賞するタスクを含み、心理状態は、ユーザの快適度を示す快適状態及びユーザの覚醒度を示す覚醒状態の少なくとも1つを含む。
 実施の形態1の変形例2における情報処理システム101の構成は、上記の実施の形態1と同じである。
 タスクデータベース137は、ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツを示すコンテンツデータを予め記憶している。なお、タスクデータベース137は、複数のコンテンツデータを記憶してもよい。また、タスクデータベース137は、快適度及び覚醒度の少なくとも1つに関する主観的なアンケートを記憶している。
 タスク実行部131は、ユーザにタスクを実行させる。タスクは、ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツを鑑賞するタスクである。コンテンツは、例えば、空、海、川、又は海岸などの風景を映した動画像である。ユーザは、コンテンツを鑑賞した後、快適度及び覚醒度の少なくとも1つに関する主観的なアンケートに回答を行う。タスク実行部131は、タスクデータベース137に記憶されているコンテンツデータ及びアンケートを読み出し、読み出したコンテンツデータ及びアンケートをタスク提示部135に出力する。
 例えば、快適度に関するアンケートの項目は、「とても不快に感じた」、「不快に感じた」、「やや不快に感じた」、「どちらともいえない」、「やや快く感じた」、「快く感じた」、及び「とても快く感じた」の7段階である。ユーザは、いずれかの項目を選択する。
 例えば、覚醒度に関するアンケートの項目は、「とても眠気を感じた」、「眠気を感じた」、「やや眠気を感じた」、「どちらともいえない」、「やや目が覚めるように感じた」、「目が覚めるように感じた」、及び「とても目が覚めるように感じた」の7段階である。ユーザは、いずれかの項目を選択する。
 タスク提示部135は、タスク実行部131から出力されたコンテンツデータ及びアンケートを取得する。タスク提示部135は、ユーザにコンテンツを提示する。コンテンツを提示した後、タスク提示部135は、快適度及び覚醒度の少なくとも1つに関する主観的なアンケートを提示する。
 タスク受付部136は、タスク提示部135によって提示されたアンケートに対するユーザによる回答の入力を受け付ける。ユーザは、コンテンツを鑑賞した後、快適度及び覚醒度の少なくとも1つに関する主観的なアンケートに対して回答を入力する。
 タスク実行部131は、タスク受付部136によって入力されたユーザの回答を取得し、取得した回答をタスク評価部132に出力する。
 タスク評価部132は、ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得する。タスク評価情報は、快適度及び覚醒度の少なくとも1つに関するユーザの評価結果を示す。評価結果は、ユーザが回答した快適度及び覚醒度の高さに応じた評価スコアで表される。例えば、快適度が7段階で表される場合、タスク評価部132は、快適度が低い回答から順に1点~7点の評価スコアを付与する。また、覚醒度が7段階で表される場合、タスク評価部132は、覚醒度が低い回答から順に1点~7点の評価スコアを付与する。
 特徴量算出部12は、第1期間における、ユーザの生体情報に関連する第1生体特徴量を取得する。第1期間は、ユーザの心理状態を判定する期間である。また、特徴量算出部12は、ユーザがタスクを行う第2期間において、ユーザの生体情報に関連する第2生体特徴量を取得する。心理状態は、ユーザの快適度を示す快適状態及びユーザの覚醒度を示す覚醒状態の少なくとも1つを含む。生体情報は、顔画像及び心拍指標の少なくとも1つに関連する情報を含む。
 特徴量算出部12は、顔画像に基づき、第1期間又は第2期間における、顔のZ軸(垂直方向)周りの回旋の大きさの平均及び顔のZ軸(垂直方向)周りの回旋の移動量のばらつき(標準偏差)を算出してもよい。「顔のZ軸(垂直方向)周りの回旋の移動量」は顔の垂直方向周りの回転角度を意味してもよい。顔の垂直方向周りの回旋の移動量のばらつきをσneck(z)とすると、顔の垂直方向周りの回旋の移動量のばらつきを示す値の逆数の大きさは|1/σneck(z) |であってもよい。
 また、特徴量算出部12は、顔画像に基づき、第1期間又は第2期間における目の開きのばらつき(標準偏差)を算出してもよい。目の開きは、目の上まぶたと下まぶたとの間の長さである。目の開きを示す値をleとすると、目の開きを示す値の逆数の大きさは、|1/le|であってもよい。なお、目の開きのばらつきは、左目及び右目のいずれか一方の開きのばらつきであってもよいし、両方の目の開きのばらつきであってもよい。また、特徴量算出部12は、顔画像に基づき、第1期間又は第2期間における目(瞳孔)の動き(移動量)のばらつき(標準偏差)を算出してもよい。なお、目の動きのばらつきは、左目及び右目のいずれか一方の動きのばらつきであってもよいし、両方の目の動きのばらつきであってもよい。また、特徴量算出部12は、顔画像に基づき、第1期間又は第2期間における目の角膜の垂直方向の長さの平均を算出してもよい。なお、目の角膜の垂直方向の長さは、左目及び右目のいずれか一方の角膜の垂直方向の長さであってもよいし、両方の目の角膜の垂直方向の長さの平均であってもよい。
 また、特徴量算出部12は、心拍指標に基づき、第1期間又は第2期間における心拍変動のHF成分を算出してもよい。また、特徴量算出部12は、心拍指標に基づき、第1期間又は第2期間における心拍数の最大値と最小値との差分を算出してもよい。また、特徴量算出部12は、心拍指標に基づき、第1期間又は第2期間における心拍数の中央値を算出してもよい。また、特徴量算出部12は、心拍指標に基づき、第1期間又は第2期間における平均心拍数を算出してもよい。
 相関算出部133は、特徴量算出部12によって取得された第2生体特徴量と、タスク評価部132によって取得されたタスク評価情報によって示される評価結果との相関を算出する。相関算出部133は、第2生体特徴量と、評価結果である評価スコアとの相関係数を算出する。
 モデル選択部134は、相関算出部133によって算出された相関に基づき、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。
 複数のクラスタリングモデルは、顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋の移動量のばらつきが小さいほど、及び/又は顔画像によって示される第1生体特徴量である目の開きのばらつきが小さいほど、快適状態の快適度が大きくなると判定する第1クラスタリングモデルを含む。
 また、複数のクラスタリングモデルは、顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔の垂直方向周りの回旋の移動量のばらつきが小さいほど、及び/又は心拍指標の第1生体特徴量である心拍変動のHF成分が大きいほど、快適状態の快適度が大きくなると判定する第2クラスタリングモデルを含む。
 また、複数のクラスタリングモデルは、心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の中央値が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の動きのばらつきが大きいほど、覚醒状態の覚醒度が大きくなると判定する第3クラスタリングモデルを含む。
 また、複数のクラスタリングモデルは、心拍指標の第1生体特徴量である平均心拍数が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の角膜の垂直方向の長さが大きいほど、覚醒状態の覚醒度が大きくなると判定する第4クラスタリングモデルを含む。
 心理状態判定部141は、特徴量算出部12によって取得された第1生体特徴量及びモデル選択部134によって選択された1のクラスタリングモデルに基づき、ユーザの第1期間における心理状態を判定する。心理状態判定部141は、第1生体特徴量を1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定する。1のクラスタリングモデルは、第1生体特徴量が入力されると、ユーザの心理状態を判定した判定結果を出力する。判定結果は、ユーザの快適度及び覚醒度の少なくとも1つを示す判定スコアで表される。例えば、快適度の判定スコアは、快適度が最も低い1点から最も快適度が高い7点までの7段階の値で表される。また、例えば、覚醒度の判定スコアは、覚醒度が最も低い1点から最も覚醒度が高い7点までの7段階の値で表される。
 なお、心理状態判定部141は、1~7点で表される判定スコアを、1から100%で表される判定スコアに変換してもよい。
 また、快適状態及び覚醒状態は、高い又は低いの2段階で表されてもよい。クラスタリングモデルからの出力値(判定スコア)が閾値以上である場合、心理状態判定部141は、快適度が高い快適状態及び覚醒度が高い覚醒状態と判定してもよい。また、クラスタリングモデルからの出力値(判定スコア)が閾値より低い場合、心理状態判定部141は、快適度が低い快適状態及び覚醒度が低い覚醒状態と判定してもよい。出力値が1~100%で表される場合、閾値は、例えば50%であり、出力値が7段階で表される場合、閾値は、例えば4点である。
 なお、本実施の形態1の変形例2では、コンテンツが鑑賞された後、快適度及び覚醒度の少なくとも1つを評価するアンケートのユーザによる回答が受け付けられるが、本開示は特にこれに限定されない。タスクデータベース137は、コンテンツを評価結果(評価スコア)と予め対応付けて記憶してもよい。この場合、アンケートの回答は不要となる。例えば、快適度が向上するコンテンツには、「1」の評価結果が対応付けられ、快適度が低下するコンテンツには、「-1」の評価結果が対応付けられ、覚醒度が向上するコンテンツには、「1」の評価結果が対応付けられ、覚醒度が低下するコンテンツには、「-1」の評価結果が対応付けられてもよい。タスク評価部132は、ユーザが鑑賞したコンテンツに応じた評価結果を示す評価情報を作成する。アンケートが行われない場合、心理状態評価装置1は、タスク受付部136を備えなくてもよい。
 本実施の形態1の変形例2における心理状態評価装置1による評価処理は、図2に示す実施の形態1における心理状態評価装置1による評価処理と同じである。また、本実施の形態1の変形例2においても、実施の形態1の変形例1と同様に、心理状態評価装置及びサーバにより評価処理が行われてもよい。
 選択用モデル記憶部139は、快適状態を判定するための第1クラスタリングモデル及び第2クラスタリングモデルと、覚醒状態を判定するための第3クラスタリングモデル及び第4クラスタリングモデルとを記憶していてもよい。選択用モデル記憶部139は、快適状態を判定するための第1クラスタリングモデル及び第2クラスタリングモデルを記憶し、覚醒状態を判定するための第3クラスタリングモデル及び第4クラスタリングモデルを記憶していなくともよい。選択用モデル記憶部139は、覚醒状態を判定するための第3クラスタリングモデル及び第4クラスタリングモデルを記憶し、快適状態を判定するための第1クラスタリングモデル及び第2クラスタリングモデルを記憶していなくともよい。心理状態判定部141は、(1)快適状態判定を行う、かつ、覚醒状態の判定を行わない、(2)快適状態判定を行わず、かつ、覚醒状態の判定を行う、または、(3)快適状態判定を行い、かつ、覚醒状態の判定を行う、様に構成されていてもよい。すなわち、心理状態判定部141は、快適状態及び覚醒状態の少なくとも1つを判定してもよい。
 続いて、本実施の形態1の変形例2において、複数のクラスタリングモデルのうちの1のクラスタリングモデルを用いて快適状態及び覚醒状態を評価した実験結果について説明する。
 図8は、本実施の形態1の変形例2において、クラスタリングモデルを選択した場合とクラスタリングモデルを選択しなかった場合との快適度及び覚醒度の評価結果を示す図である。
 実験では、コンテンツを鑑賞するとともに快適度及び覚醒度の主観的なアンケートに回答するタスクを8名の被験者に行わせた。また、実験では、8名の被験者に対して1個抜き交差検証(leave-one-out cross-validation)によりクラスタリングモデルの精度が評価された。
 1名のテストデータが、ウォード法により学習された選択用モデルにより2つのクラスタのうちのいずれかに振り分けられ、振り分けられたクラスタに対応するクラスタリングモデルで快適度及び覚醒度が評価された。快適度及び覚醒度を評価するためのクラスタリングモデルは、Lasso(Least absolute shrinkage and selection operator)を用いて学習された。図8では、8名の被験者を2つのクラスタに分類しなかった場合の快適度及び覚醒度の平均評価結果と、8名の被験者を2つのクラスタに分類した場合の快適度及び覚醒度の平均評価結果とが示されている。
 2つのクラスタに分類しなかった場合の快適度のRMSE(二乗平均平方根誤差)は3.496であり、2つのクラスタに分類した場合の快適度のRMSEは2.920であった。このように、2つのクラスタに分類した場合の方が、2つのクラスタに分類しなかった場合よりも快適度の判定精度が向上している。
 また、2つのクラスタに分類しなかった場合の覚醒度のRMSEは2.181であり、2つのクラスタに分類した場合の覚醒度のRMSEは1.754であった。このように、2つのクラスタに分類した場合の方が、2つのクラスタに分類しなかった場合よりも覚醒度の判定精度が向上している。
 また、2つのクラスタに分類しなかった場合の被験者毎の快適度の平均相関係数は0.095であり、2つのクラスタに分類した場合の被験者毎の快適度の平均相関係数は0.402であった。このように、2つのクラスタに分類した場合の方が、2つのクラスタに分類しなかった場合よりも快適度の良好な相関結果が得られている。
 また、2つのクラスタに分類しなかった場合の被験者毎の覚醒度の平均相関係数は0.081であり、2つのクラスタに分類した場合の被験者毎の覚醒度の平均相関係数は0.385であった。このように、2つのクラスタに分類した場合の方が、2つのクラスタに分類しなかった場合よりも覚醒度の良好な相関結果が得られている。
 また、快適度及び覚醒度の相関係数が0.4を超える割合も、2つのクラスタに分類した場合の方が、2つのクラスタに分類しなかった場合よりも高くなっている。
 続いて、本実施の形態1の変形例2において、クラスタリングモデルに入力する第1生体特徴量の具体例について説明する。
 本実施の形態1の変形例2において、複数のクラスタリングモデルそれぞれに入力される第1生体特徴量は、複数のクラスタリングモデル毎に異なっていてもよい。
 図9は、快適度を判定する2つのクラスタリングモデルに入力される生体特徴量と重みとの関係を示す図である。重みは、クラスタリングモデルの判定(予測)に対する生体特徴量の寄与度を表す値である。
 図9では、第1クラスタリングモデル及び第2クラスタリングモデルにおいて、重みが高い上位3つの生体特徴量と、重みの絶対値の平均とが示されている。また、図9の快適度において、「+」は、生体特徴量が正の傾向を示すほど快適度が大きくなることを示し、「-」は、生体特徴量が負の傾向を示すほど快適度が大きくなることを示している。
 第1クラスタリングモデルの判定には、顔のZ軸周りの回旋の大きさ、目の開きのばらつき、及び顔のZ軸周りの回旋の移動量のばらつきが寄与している。また、第2クラスタリングモデルの判定には、顔のZ軸周りの回旋の大きさ、心拍変動のHF成分、及び顔のZ軸周りの回旋の移動量のばらつきが寄与している。
 第1クラスタリングモデルは、顔画像によって示される第1生体特徴量である顔のZ軸周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔のZ軸周りの回旋の移動量のばらつきが小さいほど、及び/又は顔画像によって示される第1生体特徴量である目の開きのばらつきが小さいほど、快適状態の快適度が大きくなると判定する。第2クラスタリングモデルは、顔画像によって示される第1生体特徴量である顔のZ軸周りの回旋が大きいほど、及び/又は顔画像によって示される第1生体特徴量である顔のZ軸周りの回旋の移動量のばらつきが小さいほど、及び/又は心拍指標の第1生体特徴量である心拍変動のHF成分が大きいほど、快適状態の快適度が大きくなると判定する。
 第1クラスタリングモデル及び第2クラスタリングモデルでは、顔のZ軸周りの回旋が大きく、且つ顔のZ軸周りの回旋の移動量のばらつきが小さいほど、快適度が向上する傾向が見られた。これは、快適度が向上するほど、睡眠が誘導され、顔を横に向けた可能性がある。また、第1クラスタリングモデルでは、快適度が向上するほど、目の開きのばらつきが小さいことが示された。これは、快適度が向上すると、継続的に目を瞑ることが影響していると思われる。第2クラスタリングモデルでは、HF成分の生体特徴量が出現している。HF成分が高いほどリラックス効果があることから、快適度が向上するほど、HF成分が高くなる傾向が見られた。
 心理状態判定部141は、選択された1のクラスタリングモデルの種類に応じて、入力する第1生体特徴量を変更してもよい。例えば、第1クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、顔のZ軸周りの回旋が大きさ、顔のZ軸周りの回旋の移動量のばらつき、及び目の開きのばらつきを抽出し、第1クラスタリングモデルに入力してもよい。また、例えば、第2クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、顔のZ軸周りの回旋が大きさ、顔のZ軸周りの回旋の移動量のばらつき、及び心拍変動のHF成分を抽出し、第2クラスタリングモデルに入力してもよい。
 なお、第1クラスタリングモデル及び第2クラスタリングモデルに入力される第1生体特徴量は、図9に示す3つの生体特徴量に限定されず、他の生体特徴量が入力されてもよい。
 図10は、覚醒度を判定する2つのクラスタリングモデルに入力される生体特徴量と重みとの関係を示す図である。重みは、クラスタリングモデルの判定(予測)に対する生体特徴量の寄与度を表す値である。
 図10では、第3クラスタリングモデル及び第4クラスタリングモデルにおいて、重みが高い上位3つの生体特徴量と、重みの絶対値の平均とが示されている。また、図10の覚醒度において、「+」は、生体特徴量が正の傾向を示すほど覚醒度が大きくなることを示し、「-」は、生体特徴量が負の傾向を示すほど覚醒度が大きくなることを示している。
 第3クラスタリングモデルの判定には、心拍数の最大値と最小値との差分、心拍数の中央値、及び目の動きのばらつきが寄与している。また、第4クラスタリングモデルの判定には、平均心拍数、心拍数の最大値と最小値との差分、及び目の角膜の垂直方向の長さが寄与している。
 第3クラスタリングモデルは、心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の中央値が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の動きのばらつきが大きいほど、覚醒状態の覚醒度が大きくなると判定する。第4クラスタリングモデルは、心拍指標の第1生体特徴量である平均心拍数が大きいほど、及び/又は心拍指標の第1生体特徴量である心拍数の最大値と最小値との差分が大きいほど、及び/又は顔画像によって示される第1生体特徴量である目の角膜の垂直方向の長さが大きいほど、覚醒状態の覚醒度が大きくなると判定する。
 第3クラスタリングモデル及び第4クラスタリングモデルでは、心拍数が向上するほど、覚醒度が向上する傾向が見られた。第3クラスタリングモデルでは、目の動きのばらつきが出現しており、覚醒度が向上するほど、目を動かす傾向が見られた。第4クラスタリングモデルでは、目の角膜の垂直方向の長さが出現しており、覚醒度が向上するほど、目を開く傾向が見られた。
 心理状態判定部141は、選択された1のクラスタリングモデルの種類に応じて、入力する第1生体特徴量を変更してもよい。例えば、第3クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、心拍数の最大値と最小値との差分、心拍数の中央値、及び目の動きのばらつきを抽出し、第3クラスタリングモデルに入力してもよい。また、例えば、第4クラスタリングモデルが選択された場合、心理状態判定部141は、複数の第1生体特徴量の中から、平均心拍数、心拍数の最大値と最小値との差分、及び目の角膜の垂直方向の長さを抽出し、第4クラスタリングモデルに入力してもよい。
 なお、第3クラスタリングモデル及び第4クラスタリングモデルに入力される第1生体特徴量は、図10に示す3つの生体特徴量に限定されず、他の生体特徴量が入力されてもよい。
 図11は、快適度の実測値と第1クラスタリングモデルによる快適度の推定値との相関を示す図であり、図12は、快適度の実測値と第2クラスタリングモデルによる快適度の推定値との相関を示す図である。
 第1クラスタリングモデルは、第1ユーザの快適状態の判定に適したクラスタリングモデルとして選択され、第2クラスタリングモデルは、第2ユーザの快適状態の判定に適したクラスタリングモデルとして選択される。
 図11に示すように、快適度の実測値(快適度の判定スコア)と第1クラスタリングモデルによる快適度の推定値(快適度の判定スコア)との相関係数は0.750であり、高い精度が得られていることが分かる。また、図12に示すように、快適度の実測値(快適度の判定スコア)と第2クラスタリングモデルによる快適度の推定値(快適度の判定スコア)との相関係数は0.641であり、高い精度が得られていることが分かる。
 図13は、覚醒度の実測値と第3クラスタリングモデルによる覚醒度の推定値との相関を示す図であり、図14は、覚醒度の実測値と第4クラスタリングモデルによる覚醒度の推定値との相関を示す図である。
 第3クラスタリングモデルは、第1ユーザの覚醒状態の判定に適したクラスタリングモデルとして選択され、第4クラスタリングモデルは、第2ユーザの覚醒状態の判定に適したクラスタリングモデルとして選択される。
 図13に示すように、覚醒度の実測値(覚醒度の判定スコア)と第3クラスタリングモデルによる覚醒度の推定値(覚醒度の判定スコア)との相関係数は0.773であり、高い精度が得られていることが分かる。また、図14に示すように、覚醒度の実測値(覚醒度の判定スコア)と第4クラスタリングモデルによる覚醒度の推定値(覚醒度の判定スコア)との相関係数は0.506であり、高い精度が得られていることが分かる。
 (実施の形態2)
 実施の形態1では、ユーザによって行われたタスクの評価結果を示すタスク評価情報が取得され、ユーザがタスクを行う第2期間において、ユーザの生体情報に関連する第2生体特徴量が取得され、第2生体特徴量と評価結果との相関に基づいて、複数のクラスタリングモデルの中から1のクラスタリングモデルが選択される。これに対し、実施の形態2では、アンケート(質問)に対するユーザの回答内容を含む回答情報が取得され、回答情報に基づいて複数のクラスタリングモデルの中から1のクラスタリングモデルが選択される。
 図15は、本実施の形態2に係る情報処理システム102の構成を示す図である。
 図15に示す情報処理システム102は、心理状態評価装置1A及び測定装置2を備える。なお、本実施の形態2において、実施の形態1と同じ構成については同じ符号を付し、説明を省略する。
 心理状態評価装置1Aは、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を含むコンピュータシステムを含む。なお、心理状態評価装置1Aは、例えば、処理回路によるハード実装によって、又は、処理回路によるメモリに保持される、若しくは、外部サーバから配信されるソフトウェアプログラムの実行によって、又は、これらハード実装とソフト実装との組み合わせによって実現されてもよい。
 心理状態評価装置1Aは、データ取得部11、特徴量算出部12A、モデル選択処理部13A、心理状態評価処理部14、及び出力部15を備える。
 特徴量算出部12Aは、第1期間における、ユーザの生体情報に関連する第1生体特徴量を取得する。第1期間は、ユーザの心理状態を判定する期間である。実施の形態2における第1生体特徴量は、実施の形態1における第1生体特徴量と同じである。特徴量算出部12Aは、ユーザの心理状態を判定する第1期間において、ユーザの生体情報に関連する第1生体特徴量を算出する。
 モデル選択処理部13Aは、アンケートデータベース151、アンケート処理部152、アンケート提示部153、アンケート受付部154、選択用モデル記憶部155、及びモデル選択部156を含む。
 アンケートデータベース151は、ユーザの個人的な属性に関するアンケートを示すアンケートデータを予め記憶している。
 アンケート処理部152は、ユーザの個人的な属性に関するアンケートに対しユーザに回答させる。アンケート処理部152は、アンケートデータベース151に記憶されているアンケートデータを読み出し、読み出したアンケートデータをアンケート提示部153に出力する。
 アンケート提示部153は、例えば、表示装置又はタッチパネルであり、アンケート処理部152から出力されたアンケートデータを取得し、ユーザにアンケート(質問)を提示する。アンケート提示部153は、複数のアンケートを表示するとともに、複数のアンケートに回答するための回答欄を表示する。
 アンケート受付部154は、例えば、キーボード、マウス、タッチパネル、又はマイクロホンであり、アンケート提示部153によって提示されたアンケート(質問)に対するユーザによる回答の入力を受け付ける。ユーザは、アンケート(質問)に対して回答を入力する。回答は、例えば、ビジュアルアナログスケールによる回答であってもよい。
 なお、アンケートは紙に記載され、ユーザが筆記用具を用いてアンケートに対する回答を記入してもよい。この場合、アンケート受付部154は、回答を記入したユーザ以外の第3者による回答の入力を受け付けてもよい。
 アンケート処理部152は、アンケート受付部154によって入力されたユーザの個人的な属性に関するアンケート(質問)に対するユーザの回答内容を含む回答情報を取得する。アンケート処理部152は、取得した回答情報をモデル選択部156に出力する。なお、ユーザの回答内容は数値で表される。
 図16は、本実施の形態2におけるアンケート項目の一例を示す図である。
 例えば、アンケート(質問)は、デモグラフィックな属性、ポジティブ感情特性、行動特性、ウェルビーイング、及び心理特性に関するアンケート項目(質問項目)を含む。なお、1つのアンケート項目のカテゴリには、さらに詳細な質問を行う複数の詳細なアンケート項目が含まれてもよい。
 デモグラフィックな属性に関するアンケート項目は、例えば、ユーザが引っ越した回数に関するアンケート項目、ユーザの会社に対する愛着度に関するアンケート項目、及びユーザの仕事のマニュアル度に関するアンケート項目の少なくとも1つを含む。ポジティブな感情特性に関するアンケート項目は、例えば、ユーザの喜びに関するアンケート項目及びユーザの誇りに関するアンケート項目の少なくとも1つを含む。行動特性に関するアンケート項目は、例えば、制御焦点理論における利得接近志向(制御焦点_利得接近)に関するアンケート項目を含む。ウェルビーイングに関するアンケート項目は、例えば、ユーザの孤独感の度合いに関するアンケート項目を含む。心理特性に関するアンケート項目は、例えば、ユーザの自尊心の度合いに関するアンケート項目を含む。
 なお、1つのアンケート項目が複数の詳細なアンケート項目を含む場合、複数の詳細なアンケート項目それぞれに対する回答の合計値を1つのアンケート項目の回答としてもよく、また、複数の回答の平均を1つのアンケート項目の回答としてもよい。また、1つのアンケート項目が複数の詳細なアンケート項目を含む場合、ユーザは、複数の詳細なアンケート項目の全てに回答してもよいし、複数の詳細なアンケート項目のいくつかの詳細なアンケート項目に回答してもよい。
 引っ越し回数のアンケート項目に対しては、ユーザは、引っ越し回数を回答する。
 また、会社に対する愛着度のアンケート項目に対しては、ユーザは、7段階の度合いで回答する。例えば、「会社に愛着がありますか?」という質問に対し、ユーザは、「まったく愛着がない」、「愛着がない」、「あまり愛着がない」、「どちらでもない」、「少し愛着がある」、「愛着がある」、及び「とても愛着がある」のいずれかの回答を選択する。
 また、仕事のマニュアル度合いのアンケート項目に対しては、ユーザは、7段階の度合いで回答する。
 また、喜びに関するアンケート項目と誇りに関するアンケート項目とに対しては、ユーザは、質問に対して当てはまるか否かを7段階で回答する。アンケートには、日本語版DPES(Dispositional Positive Emotion Scales)が利用されてもよい。
 例えば、喜びに関するアンケート項目は、「私の人生は常に良くなっている。」、「日常、多くの出来事が私に幸せを感じさせる。」、及び「いつも私には良いことが起こる。」という複数のアンケート項目をさらに含む。また、誇りに関するアンケート項目は、「私は、自分自身を良い感じだと思う。」、「人々は、いつも私の権限を認めている。」、及び「私は、自身やその達成を誇りに思う。」という複数のアンケート項目をさらに含む。ユーザは、複数のアンケート項目それぞれに対して当てはまるか否かを7段階で回答する。
 なお、日本語版DPESについては、下記の文献に記載されている。
 (文献)菅原大地、有光興記、杉江征、「日本語版DPES作成の試み」、Journal of Health Psychology Research 2020、Vol.33、No.1、57-65。
 また、孤独感の度合いのアンケート項目に対しては、ユーザは、7段階の度合いで回答する。例えば、孤独感の度合いのアンケート項目は、「私は、職場で疎外感を感じる。」及び「私は、職場の人たちから孤立している。」という複数のアンケート項目をさらに含む。ユーザは、複数のアンケート項目それぞれに対して当てはまるか否かを7段階で回答する。
 また、制御焦点理論における利得接近志向に関するアンケート項目に対しては、質問に対して当てはまるか否かを7段階で回答する。例えば、制御焦点理論における利得接近志向に関するアンケート項目は、「どうやったら自分の目標や希望をかなえられるか、よく想像することがある。」、「私はたいてい、人生において良い成果をあげることに意識を集中している。」、及び「どうやったら良い成果があがるかについて、よく考える。」という複数のアンケート項目をさらに含む。ユーザは、複数のアンケート項目それぞれに対して当てはまるか否かを7段階で回答する。
 また、自尊心の度合いのアンケート項目に対しては、ユーザは、7段階の度合いで回答する。例えば、自尊心の度合いのアンケート項目は、「全体的に私は自分自身に満足している。」、「自分にはいろいろな良い素質があると感じる。」、及び「自分のことを好ましく感じる。」という複数のアンケート項目をさらに含む。ユーザは、複数のアンケート項目それぞれに対して当てはまるか否かを7段階で回答する。
 アンケート処理部152は、アンケート受付部154によって入力された複数のアンケート項目に対する複数の回答の値を合計し、合計値を含む回答情報を出力してもよい。また、アンケート処理部152は、アンケート受付部154によって入力された複数のアンケート項目に対する複数の回答の値を平均し、平均値を含む回答情報を出力してもよい。
 選択用モデル記憶部155は、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択するための学習済みの選択用モデルを予め記憶している。選択用モデルの学習には、例えば、XGBoostが用いられる。選択用モデルは、入力された回答情報を複数のクラスタのうちの1のクラスタに分類し、1のクラスタに対応付けられているクラスタリングモデルを識別するための識別情報を出力する。
 モデル選択部156は、ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、ユーザの心理状態の判定に適した1のクラスタリングモデルを選択する。モデル選択部156は、回答情報に基づいて、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。
 モデル選択部156は、アンケート処理部152によって取得された回答情報を、学習済みの選択用モデルに適用することにより、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。選択用モデルは、回答情報が入力されると、1のクラスタリングモデルを識別するための識別情報を出力する。モデル選択部156は、選択した1のクラスタリングモデルを識別するための識別情報を心理状態判定部141に出力する。
 続いて、本実施の形態2における心理状態評価装置1Aによる評価処理について説明する。
 図17は、本実施の形態2における心理状態評価装置1Aによる評価処理について説明するためのフローチャートである。
 まず、ステップS41において、アンケート提示部153は、アンケート処理部152によってアンケートデータベース151から読み出されたユーザの個人的な属性に関するアンケートデータを取得し、ユーザにアンケートを提示する。アンケート提示部153は、ユーザに個人的な属性を回答させるためのアンケートを表示する。
 次に、ステップS42において、アンケート受付部154は、アンケート提示部153によって提示されたアンケートに対するユーザによる回答の入力を受け付ける。
 次に、ステップS43において、アンケート処理部152は、アンケート受付部154によって入力されたユーザの個人的な属性に関するアンケートに対するユーザの回答内容を含む回答情報を取得する。
 次に、ステップS44において、モデル選択部156は、アンケート処理部152によって取得された回答情報を、学習済みの選択用モデルに適用することにより、複数のクラスタリングモデルの中から1のクラスタリングモデルを選択する。モデル選択部156は、アンケート処理部152によって取得された回答情報を学習済みの選択用モデルに入力し、選択用モデルから出力される1のクラスタリングモデルの識別情報を取得する。
 次に、ステップS45において、モデル選択部156は、選択した1のクラスタリングモデルを識別するための識別情報を心理状態判定部141に出力する。
 ステップS46~ステップS49の処理は、図2に示すステップS9~ステップS12の処理と同じであるので、説明を省略する。
 このように、事前にユーザが質問に対して回答することにより、質問に対するユーザの回答内容を含む回答情報に基づいて、ユーザの心理状態の判定に適した1のクラスタリングモデルを高い精度で選択することができる。
 なお、ステップS41~ステップS45に示すモデル選択処理と、ステップS46~ステップS49に示す心理状態判定処理とは、時系列に連続して行われもよいし、時系列に連続して行われなくてもよい。ユーザに適した1のクラスタリングモデルが選択された後、選択された1のクラスタリングモデルの識別情報が記憶部に記憶されてもよい。この場合、モデル選択処理は行われずに、心理状態判定処理は、記憶されている識別情報に対応する1のクラスタリングモデルを用いて行われてもよい。すなわち、最初にモデル選択処理が行われた後は、モデル選択処理は行われずに、最初に選択された1のクラスタリングモデルを用いて心理状態判定処理が繰り返し行われてもよい。
 続いて、本実施の形態2の変形例における心理状態評価装置及びサーバによる評価処理について説明する。
 本実施の形態2の変形例では、心理状態評価装置とサーバとがネットワークを介して通信可能に接続されている。ネットワークは、例えば、インターネットである。本実施の形態2の変形例における心理状態評価装置は、データ取得部11、アンケートデータベース151、アンケート処理部152、アンケート提示部153、アンケート受付部154、出力部15、及び通信部を備える。また、本実施の形態2の変形例におけるサーバは、特徴量算出部12A、選択用モデル記憶部155、モデル選択部156、心理状態判定部141、クラスタリングモデル記憶部142、及び通信部を備える。
 心理状態評価装置の通信部は、アンケート処理部152によって取得されたユーザの個人的な属性に関するアンケートに対するユーザの回答内容を含む回答情報をサーバに送信する。また、心理状態評価装置の通信部は、データ取得部11によってユーザの心理状態を判定する第1期間において取得された生体情報をサーバに送信する。また、心理状態評価装置の通信部は、ユーザの心理状態の判定結果をサーバから受信する。
 また、サーバの通信部は、心理状態評価装置によって送信された回答情報を受信する。また、サーバの通信部は、心理状態評価装置によって送信された第1期間において取得された生体情報を受信する。また、サーバの通信部は、心理状態判定部141によって判定されたユーザの心理状態の判定結果を心理状態評価装置に送信する。
 図18は、本実施の形態2の変形例における心理状態評価装置及びサーバによる評価処理について説明するためのフローチャートである。
 ステップS51~ステップS53の処理は、図17に示すステップS41~ステップS43処理と同じであるので、説明を省略する。
 次に、ステップS54において、心理状態評価装置の通信部は、アンケート処理部152によって取得されたユーザの個人的な属性に関するアンケートに対するユーザの回答内容を含む回答情報をサーバに送信する。
 次に、ステップS61において、サーバの通信部は、心理状態評価装置によって送信された回答情報を受信する。
 ステップS62、ステップS63、及びステップS55の処理は、図17に示すステップS44~ステップS46の処理と同じであるので、説明を省略する。
 次に、ステップS56において、心理状態評価装置の通信部は、データ取得部11によってユーザの心理状態を判定する第1期間において取得された生体情報をサーバに送信する。
 次に、ステップS64において、サーバの通信部は、心理状態評価装置によって送信された第1期間において取得された生体情報を受信する。
 ステップS65及びステップS66の処理は、図17に示すステップS47及びステップS48の処理と同じであるので、説明を省略する。
 次に、ステップS67において、サーバの通信部は、心理状態判定部141によって判定されたユーザの心理状態の判定結果を心理状態評価装置に送信する。
 次に、ステップS57において、心理状態評価装置の通信部は、サーバによって送信されたユーザの心理状態の判定結果を受信する。
 ステップS58の処理は、図17に示すステップS49の処理と同じであるので、説明を省略する。
 なお、実施の形態2の変形例において、心理状態評価装置は、ユーザの心理状態を判定する第1期間において取得された生体情報に関連する第1生体特徴量を算出し、第1生体特徴量をサーバに送信してもよい。サーバは、第1生体特徴量を受信し、第1生体特徴量を、選択された1のクラスタリングモデルに適用することにより、ユーザの心理状態を判定してもよい。
 続いて、ユーザの個人的な属性に関するアンケートに対するユーザの回答を用いて分類したクラスタの分類精度を評価した実験結果について説明する。
 実験では、例えば42個のアンケート項目に対して96名の被験者に回答させ、96名の被験者の回答情報が選択用モデルに入力され、選択用モデルの分類精度が評価された。
 複数のアンケート項目に対する回答情報は数値で表される。選択用モデルには回答情報が入力され、クラスタを識別するためのクラスタ番号が選択用モデルから出力されるように、XGBoostを利用してクラスタ分類が行われた。
 まず、モデル選択に有効なアンケート項目を特定するため、Shap値を利用して重要な特徴量(アンケート項目の回答)が特定された。
 次に、Shap値が高い順に特徴量が選択用モデルに入力され、特徴量の個数と分類精度との関係について分析された。
 選択用モデルの分析は、96名の被験者に対して、k-分割交差検証(k=5)で精度評価が実施された。なお、XGBoostのパラメータは学習データ内で調整されている。
 図19は、本実施の形態2において、特徴量(アンケート項目の回答)の個数と精度との関係を示す図である。図19において、横軸は、特徴量(アンケート項目の回答)の個数を表し、縦軸は、精度を表している。また、図19において、二点鎖線は、正解率(Accuracy)を表し、破線は、再現率(Recall)を表し、一点鎖線は、適合率(Precision)を表し、実線は、Fスコア(F-score)を表している。
 特徴量が1つずつ追加された実験の結果、8つの特徴量が用いられたときに、正解率が35.9%であり、再現率が32.0%であり、適合率が29.6%であり、Fスコアが27.1%であり、いずれの精度もベースラインである16.6%を超えた。これにより、8つの特徴量が用いられる場合に、最も高い精度が得られることが分かった。
 図20は、8つのアンケート項目の回答情報を入力した場合の選択用モデルの分類精度を示す図である。図20では、複数のクラスタのうち、第1クラスタリングモデルを用いる第1クラスタ及び第2クラスタリングモデルを用いる第2クラスタの分類精度が示されている。
 第1クラスタの再現率は63%であり、第1クラスタの適合率は47%であり、第1クラスタのFスコアは48%であった。また、第2クラスタの再現率は54%であり、第2クラスタの適合率は49%であり、第2クラスタのFスコアは48%であった。
 このように、第1クラスタ及び第2クラスタでは、再現率が50%を超えており、良好な精度が得られていることが分かる。
 図21は、複数のアンケート項目のうちのShap値が高かった上位8つのアンケート項目を示す図である。
 図21に示すように、制御焦点理論における利得接近志向(制御焦点_利得接近)に関するアンケート項目、会社に対する愛着度に関するアンケート項目、喜びに関するアンケート項目、自尊心の度合いに関するアンケート項目、仕事のマニュアル度に関するアンケート項目、誇りに関するアンケート項目、孤独感の度合いに関するアンケート項目、及び引っ越し回数に関するアンケート項目に対する回答情報が入力された場合、最も高いクラスタ選択精度が得られた。すなわち、クラスタリングモデルの選択には、上記の8つのアンケート項目に対する回答が寄与している。
 図22は、第1クラスタ及び第2クラスタに属する被験者の2つのアンケート項目に対する回答結果の平均値を示す図であり、図23は、第1クラスタ及び第2クラスタに属する被験者の4つのアンケート項目に対する回答結果の平均値を示す図である。
 図22に示すように、第1クラスタには、自尊心の度合いが他のクラスタよりも低く、かつ孤独感の度合いが他のクラスタよりも高い被験者が分類されていることから、第1クラスタに分類される被験者は、ネガティブな感情の傾向があることが分かる。
 また、図23に示すように、第2クラスタには、制御焦点_利得側近、喜び、誇り、及び自尊心の度合いが他のクラスタよりも高い被験者が分類されていることから、第2クラスタに分類される被験者は、ポジティブな感情の傾向があることが分かる。
 このように、個人的な感情特性に関するアンケートに対するユーザの回答に基づいて、複数のクラスタのうち、ユーザの個人的な感情特性に応じた1のクラスタにユーザが分類され、1のクラスタに対応するユーザに最適な1のクラスタリングモデルが選択される。
 図24は、実施の形態1及び実施の形態2において表示される評価結果画面の一例を示す図である。
 出力部15は、図24に示す評価結果画面を表示する。評価結果画面は、過去の創造性スコア(判定スコア)の値と、今回の創造性スコア(判定スコア)の値とを示すスコア提示領域201と、ユーザの拡散的思考状態に関する評価メッセージ202とを含む。図24のスコア提示領域201では、心理状態の判定が10分に1回行われ、過去80分間の創造性スコア(判定スコア)の値と、現在の創造性スコア(判定スコア)の値とが表示されている。心理状態の判定は所定時間毎に行われてもよい。所定時間は、例えば、10秒、1分、又は5分であってもよいし、ユーザによって選択可能であってもよい。
 創造性スコア(判定スコア)の値は、クラスタリングモデルによって判定される拡散的思考状態の発揮度合いを示す値である。創造性スコア(判定スコア)の値は、例えば、0~100%で表される。出力部15は、創造性スコア(判定スコア)の値を百分率に換算して提示する。
 なお、今回の創造性スコア(判定スコア)の値とともに、過去の創造性スコア(判定スコア)の値が表示される場合、心理状態判定部141は、創造性スコア(判定スコア)の値を不図示のメモリに記憶してもよい。
 また、スコア提示領域201は、創造性スコアの値の時間傾向を示す折れ線グラフと、現在の創造性スコアの値と、過去の創造性スコアの値とを表示してもよい。
 また、評価メッセージ202は、時間毎の拡散的思考状態の傾向と現在値とに基づくアドバイスである。例えば、出力部15は、「創造性が発揮されており、良好な状態が保てています。」という評価メッセージ202を表示してもよい。出力部15は、創造性スコア(判定スコア)が閾値以上である場合に、拡散的思考状態(創造性)の発揮度合いが高いことを示す評価メッセージ202をメモリから読み出して表示してもよい。また、出力部15は、創造性スコア(判定スコア)が閾値より低い場合に、拡散的思考状態(創造性)の発揮度合いが低いことを示す評価メッセージ202をメモリから読み出して表示してもよい。
 なお、実施の形態1及び実施の形態2では、現在の創造性スコアの値とともに、過去の創造性スコアの値が表示されるが、本開示は特にこれに限定されず、現在の創造性スコアの値が表示されて、かつ、過去の創造性スコアの値が表示されなくてもよい。
 また、評価メッセージ202は、生体情報が取得されておらず、心理状態の判定ができていない場合、ユーザに対して姿勢を変更するように指示するメッセージを含んでもよい。例えば、眠気が高まってきて顔が一定期間下がっている場合又は姿勢が悪く座圧が正しく計測できていない場合に、出力部15は、図24に示す評価メッセージ202をメモリから読み出して表示してもよい。
 (実施の形態3)
 実施の形態3では、実施の形態1の心理状態評価装置1及び実施の形態2の心理状態評価装置1Aによって判定された心理状態に基づいて、制御機器が制御される。
 図25は、本実施の形態3に係る情報処理システム103の構成を示す図である。
 図25に示す情報処理システム103は、心理状態評価装置1、測定装置2、及び制御機器3を備える。なお、心理状態評価装置1は、心理状態評価装置1Aであってもよい。
 制御機器3は、ユーザのいる空間に照明光を照射する照明機器及びユーザのいる空間の空調を行う空調機器の少なくとも1つを含む。
 心理状態評価装置1及び心理状態評価装置1Aは、心理状態判定部141によって判定された心理状態に基づいて制御機器3を制御する機器制御部をさらに備えてもよい。
 拡散的思考状態の発揮度合いが低いと判定した場合、機器制御部は、制御機器3に対し、制御機器3の出力内容を変化させる制御信号を送信する。また、拡散的思考状態の発揮度合いが低いと判定しなかった場合、機器制御部は、制御信号を送信せず、制御機器3の出力内容を維持する。なお、機器制御部は、拡散的思考状態の判定スコアが閾値より小さい場合、拡散的思考状態の発揮度合いが低いと判定する。制御機器3は、照明機器であってもよい。この場合、制御信号は、照明光の色温度を下げ、且つ照明光の照度を下げる制御信号を含んでもよい。
 機器制御部は、ユーザの覚醒度を示す覚醒状態を取得してもよい。制御機器3は、照明機器であってもよい。拡散的思考状態の発揮度合いが低いと判定し、且つ覚醒状態がユーザの覚醒度が低いことを示す場合、機器制御部は、照明光の照度を上げさせる制御信号を送信する。また、拡散的思考状態の発揮度合いが低いと判定し、且つ覚醒状態がユーザの覚醒度が高いことを示す場合、機器制御部は、照明光の照度を低下させる制御信号を送信する。
 また、制御機器3は、空調機器であってもよい。この場合、制御信号は、空間の室温を上げる制御信号を含んでもよい。
 快適状態の快適度が低いと判定した場合、機器制御部は、制御機器3に対し、制御機器3の出力内容を変化させる制御信号を送信する。また、快適状態の快適度が低いと判定しなかった場合、機器制御部は、制御信号を送信せず、制御機器3の出力内容を維持する。なお、機器制御部は、快適度の判定スコアが閾値より小さい場合、快適状態の快適度が低いと判定する。制御機器3は、照明機器であってもよい。この場合、制御信号は、照明光の色温度を下げる制御信号を含んでもよい。また、制御機器3は、空調機器であってもよい。この場合、制御信号は、空間の室温を低下させる制御信号を含んでもよい。
 覚醒状態の覚醒度が低いと判定した場合、機器制御部は、制御機器3に対し、制御機器3の出力内容を変化させる制御信号を送信する。また、覚醒状態の覚醒度が低いと判定しなかった場合、機器制御部は、制御信号を送信せず、制御機器3の出力内容を維持する。制御機器3は、照明機器であってもよい。この場合、制御信号は、照明光の色温度を上げる制御信号を含んでもよい。また、制御機器3は、空調機器であってもよい。この場合、制御信号は、空間の室温を低下させる制御信号を含んでもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
 本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 また、本開示の実施の形態に係る装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
 また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
 また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
 本開示に係る技術は、ユーザの心理状態を精度よく判定することができるので、ユーザの心理状態を判定する技術として有用である。
 1,1A  心理状態評価装置
 2  測定装置
 3  制御機器
 11  データ取得部
 12,12A  特徴量算出部
 13,13A  モデル選択処理部
 14  心理状態評価処理部
 15  出力部
 101,102,103  情報処理システム
 131  タスク実行部
 132  タスク評価部
 133  相関算出部
 134  モデル選択部
 135  タスク提示部
 136  タスク受付部
 137  タスクデータベース
 138  評価基準記憶部
 139  選択用モデル記憶部
 141  心理状態判定部
 142  クラスタリングモデル記憶部
 151  アンケートデータベース
 152  アンケート処理部
 153  アンケート提示部
 154  アンケート受付部
 155  選択用モデル記憶部
 156  モデル選択部

Claims (24)

  1.  コンピュータにより実行される情報処理方法であって、
     ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択することと、
     第1期間における前記ユーザの生体情報に関連する第1生体特徴量を取得することと、
     前記第1生体特徴量及び前記1のクラスタリングモデルに基づき、前記ユーザの前記第1期間における前記心理状態を判定することと、
     を含む情報処理方法。
  2.  前記ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得することと、
     前記ユーザが前記タスクを行う第2期間において、前記ユーザの前記生体情報に関連する第2生体特徴量を取得することと、
     をさらに含み、
     前記1のクラスタリングモデルの選択は、前記第2生体特徴量と、前記タスク評価情報によって示される前記評価結果との相関に基づいて、前記複数のクラスタリングモデルの中から前記1のクラスタリングモデルを選択することを含む、
     請求項1に記載の情報処理方法。
  3.  前記タスクは、前記ユーザに拡散的思考をさせるためのタスクであり、
     前記心理状態は、前記ユーザが前記拡散的思考をしている拡散的思考状態である、
     請求項2に記載の情報処理方法。
  4.  前記生体情報は、脳波、脳血流、顔画像、心拍指標、座圧、皮膚電位、及び皮膚温度の少なくとも1つに関連する情報を含む、
     請求項3に記載の情報処理方法。
  5.  前記生体情報は、脳波、顔画像、又は、前記脳波及び前記顔画像に関連する情報を含み、
     前記複数のクラスタリングモデルは、前記脳波の前記第1生体特徴量であるガンマ波の活性度合いの大きさ、及び前記顔画像によって示される前記第1生体特徴量である顔の動きの大きさの少なくとも1つに比例して、前記拡散的思考状態の発揮度合いが大きくなると判定する第1クラスタリングモデルを含む、
     請求項3に記載の情報処理方法。
  6.  前記生体情報は、心拍指標、顔画像、又は、前記心拍指標及び前記顔画像に関連する情報を含み、
     前記複数のクラスタリングモデルは、
     前記心拍指標の前記第1生体特徴量である心拍間隔を示す値の逆数の大きさ、及び前記顔画像によって示される前記第1生体特徴量である顔の動きの大きさの少なくとも1つに比例して、前記拡散的思考状態の発揮度合いが大きくなると判定する第2クラスタリングモデルを含む、
     請求項3に記載の情報処理方法。
  7.  質問に対する前記ユーザの回答内容を含む回答情報を取得することをさらに含み、
     前記1のクラスタリングモデルの選択は、前記回答情報に基づいて前記複数のクラスタリングモデルの中から前記1のクラスタリングモデルを選択することを含み、
     前記心理状態は、前記ユーザが拡散的思考をしている拡散的思考状態である、
     請求項1に記載の情報処理方法。
  8.  前記質問は、デモグラフィックな属性、ポジティブな感情特性、行動特性、ウェルビーイング、及び心理特性の少なくとも1つに関する質問項目を含む、
     請求項7に記載の情報処理方法。
  9.  前記デモグラフィックな属性に関する質問項目は、前記ユーザが引っ越した回数に関する質問項目、前記ユーザの会社に対する愛着度に関する質問項目、及び前記ユーザの仕事のマニュアル度に関する質問項目の少なくとも1つを含む、
     請求項8に記載の情報処理方法。
  10.  前記ポジティブな感情特性に関する質問項目は、前記ユーザの喜びに関する質問項目及び前記ユーザの誇りに関する質問項目の少なくとも1つを含む、
     請求項8に記載の情報処理方法。
  11.  前記行動特性に関する質問項目は、制御焦点理論における利得接近志向に関する質問項目を含む、
     請求項8に記載の情報処理方法。
  12.  前記ウェルビーイングに関する質問項目は、前記ユーザの孤独感の度合いに関する質問項目を含む、
     請求項8に記載の情報処理方法。
  13.  前記心理特性に関する質問項目は、前記ユーザの自尊心の度合いに関する質問項目を含む、
     請求項8に記載の情報処理方法。
  14.  前記質問は、前記ユーザの自尊心の度合いに関する質問項目を含む、
     請求項7に記載の情報処理方法。
  15.  前記タスクは、前記ユーザの快適度及び覚醒度の少なくとも1つを変化させるためのコンテンツを鑑賞するタスクを含み、
     前記心理状態は、前記ユーザの前記快適度を示す快適状態及び前記ユーザの前記覚醒度を示す覚醒状態の少なくとも1つを含む、
     請求項2に記載の情報処理方法。
  16.  前記生体情報は、顔画像及び心拍指標の少なくとも1つに関連する情報を含む、
     請求項15に記載の情報処理方法。
  17.  前記心理状態は、前記ユーザの前記快適状態を含み、
     前記生体情報は、顔画像に関連する情報を含み、
     前記複数のクラスタリングモデルは、前記顔画像によって示される前記第1生体特徴量である顔の垂直方向周りの回旋の大きさ、前記顔画像によって示される前記第1生体特徴量である前記顔の垂直方向周りの回旋の移動量のばらつきを示す値の逆数の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の開きを示す値の逆数の大きさの少なくとも1つに比例して、前記快適状態の前記快適度が大きくなると判定する第1クラスタリングモデルを含む、
     請求項15に記載の情報処理方法。
  18.  前記心理状態は、前記ユーザの前記快適状態を含み、
     前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、
     前記複数のクラスタリングモデルは、前記顔画像によって示される前記第1生体特徴量である顔の垂直方向周りの回旋の大きさ、前記顔画像によって示される前記第1生体特徴量である前記顔の垂直方向周りの回旋の移動量のばらつきを示す値の逆数の大きさ、及び前記心拍指標の前記第1生体特徴量である心拍変動のHF成分の大きさの少なくとも1つに比例して、前記快適状態の前記快適度が大きくなると判定する第2クラスタリングモデルを含む、
     請求項15に記載の情報処理方法。
  19.  前記心理状態は、前記ユーザの前記覚醒状態を含み、
     前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、
     前記複数のクラスタリングモデルは、前記心拍指標の前記第1生体特徴量である心拍数の最大値と最小値との差分の大きさ、前記心拍指標の前記第1生体特徴量である前記心拍数の中央値の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の動きのばらつきの大きさの少なくとも1つに比例して、前記覚醒状態の前記覚醒度が大きくなると判定する第1クラスタリングモデルを含む、
     請求項15に記載の情報処理方法。
  20.  前記心理状態は、前記ユーザの前記覚醒状態を含み、
     前記生体情報は、顔画像、心拍指標、又は、前記顔画像及び前記心拍指標に関連する情報を含み、
     前記複数のクラスタリングモデルは、
    前記心拍指標の前記第1生体特徴量である平均心拍数の大きさ、前記心拍指標の前記第1生体特徴量である心拍数の最大値と最小値との差分の大きさ、及び前記顔画像によって示される前記第1生体特徴量である目の角膜の垂直方向の長さの大きさの少なくとも1つに比例して、前記覚醒状態の前記覚醒度が大きくなると判定する第2クラスタリングモデルを含む、
     請求項15に記載の情報処理方法。
  21.  前記タスク評価情報は、前記快適度又は前記覚醒度に関する前記ユーザの評価結果を示す、
     請求項15に記載の情報処理方法。
  22.  ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択する選択部と、
     第1期間における、前記ユーザの生体情報に関連する第1生体特徴量を取得する取得部と、
     前記第1生体特徴量及び前記1のクラスタリングモデルに基づき、前記ユーザの前記第1期間における前記心理状態を判定する判定部と、
     を備える情報処理システム。
  23.  コンピュータにより実行される情報処理方法であって、
     ユーザによって行われたタスクの評価結果を示すタスク評価情報を取得することと、
     前記ユーザが前記タスクを行う第1期間において、前記ユーザの生体情報に関連する第1生体特徴量を取得することと、
     前記第1生体特徴量と、前記タスク評価情報によって示される前記評価結果との相関に基づいて、前記ユーザの心理状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記心理状態の判定に適した1のクラスタリングモデルを選択することと、
     を含む情報処理方法。
  24.  コンピュータにより実行される情報処理方法であって、
     質問に対するユーザの回答内容を含む回答情報を取得することと、
     前記回答情報に基づいて、前記ユーザの拡散的思考状態を判定するために用いられる複数のクラスタリングモデルの中から、前記ユーザの前記拡散的思考状態の判定に適した1のクラスタリングモデルを選択することと、
     を含む情報処理方法。
PCT/JP2025/010288 2024-03-26 2025-03-17 情報処理方法及び情報処理システム Pending WO2025205193A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2024-050126 2024-03-26
JP2024050126 2024-03-26
JP2025008909 2025-01-22
JP2025-008909 2025-01-22

Publications (1)

Publication Number Publication Date
WO2025205193A1 true WO2025205193A1 (ja) 2025-10-02

Family

ID=97216080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/010288 Pending WO2025205193A1 (ja) 2024-03-26 2025-03-17 情報処理方法及び情報処理システム

Country Status (1)

Country Link
WO (1) WO2025205193A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264038A (ja) * 2009-05-14 2010-11-25 Panasonic Electric Works Co Ltd 心理状態評価装置および該方法
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
JP2021037033A (ja) * 2019-09-02 2021-03-11 株式会社安藤・間 ドライバーの状態推定方法及びシステム
JP2024006439A (ja) * 2022-07-01 2024-01-17 パナソニックホールディングス株式会社 ユーザの思考状態を推定する情報処理方法および情報処理装置
JP2024021934A (ja) * 2022-08-05 2024-02-16 株式会社デンソーテン 推定装置、推定システム、および、推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264038A (ja) * 2009-05-14 2010-11-25 Panasonic Electric Works Co Ltd 心理状態評価装置および該方法
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
JP2021037033A (ja) * 2019-09-02 2021-03-11 株式会社安藤・間 ドライバーの状態推定方法及びシステム
JP2024006439A (ja) * 2022-07-01 2024-01-17 パナソニックホールディングス株式会社 ユーザの思考状態を推定する情報処理方法および情報処理装置
JP2024021934A (ja) * 2022-08-05 2024-02-16 株式会社デンソーテン 推定装置、推定システム、および、推定方法

Similar Documents

Publication Publication Date Title
Can et al. Approaches, applications, and challenges in physiological emotion recognition—a tutorial overview
Ali et al. Emotion recognition involving physiological and speech signals: A comprehensive review
Krupa et al. Recognition of emotions in autistic children using physiological signals
Sharma et al. Objective measures, sensors and computational techniques for stress recognition and classification: A survey
KR102378278B1 (ko) 생체 신호 분석 시스템 및 이를 이용한 생체 신호 분석 방법
CN108652648A (zh) 一种用于老年人抑郁症的抑郁监控装置
US12343160B2 (en) Evaluating pain of a user via time series of parameters from portable monitoring devices
US20190357792A1 (en) Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model
Khaleghi et al. Linear and nonlinear analysis of multimodal physiological data for affective arousal recognition
Trigka et al. A survey on signal processing methods for EEG-based brain computer interface systems
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
Karthick Automatic stress recognition system with deep learning using multimodal psychological data
KR20250010702A (ko) 감정 추정 장치
Dessai et al. Emotion detection and classification using machine learning techniques
Khanam et al. Investigation of the neural correlation with task performance and its effect on cognitive load level classification
WO2025205193A1 (ja) 情報処理方法及び情報処理システム
Dourou et al. IoT-enabled analysis of subjective sound quality perception based on out-of-lab physiological measurements
Dumitriu et al. Experimental analysis of emotion classification techniques
JP7708185B2 (ja) 情報処理装置、制御方法及びプログラム
Fernandes Driver drowsiness detection using non-intrusive eletrocardiogram and steering wheel angle signals
Andreeßen Towards real-world applicability of neuroadaptive technologies: investigating subject-independence, task-independence and versatility of passive brain-computer interfaces
US12201446B2 (en) Stress coping style determination system, stress coping style determination method, learning device, learning method, program, and learned model
Mantri et al. Real time multimodal depression analysis
Gondowijoyo et al. Applying artificial neural network on heart rate variability and electroencephalogram signals to determine stress
Hasan Biomedical signal based drowsiness detection using machine learning: Singular and hybrid signal approaches

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25778277

Country of ref document: EP

Kind code of ref document: A1