WO2023171162A1 - 心理状態推定装置および心理状態推定方法 - Google Patents

心理状態推定装置および心理状態推定方法 Download PDF

Info

Publication number
WO2023171162A1
WO2023171162A1 PCT/JP2023/002079 JP2023002079W WO2023171162A1 WO 2023171162 A1 WO2023171162 A1 WO 2023171162A1 JP 2023002079 W JP2023002079 W JP 2023002079W WO 2023171162 A1 WO2023171162 A1 WO 2023171162A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
state
psychological state
image
estimating
Prior art date
Application number
PCT/JP2023/002079
Other languages
English (en)
French (fr)
Inventor
郁奈 辻
雅彦 小川
健典 初田
翔哉 村上
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN202380025060.6A priority Critical patent/CN118804711A/zh
Publication of WO2023171162A1 publication Critical patent/WO2023171162A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present invention relates to a technique for estimating a psychological state.
  • Another technique for estimating a user's psychological state is a method that uses a user's facial image.
  • the degree of psychogenic disease is determined from a user's facial image using a diagnostic matrix that quantifies experts' knowledge.
  • emotion is estimated by calculating feature amounts related to the relative positions of facial parts and the like from a user's facial image.
  • Patent Document 1 does not take into account individual differences in how psychological states are expressed in facial expressions, and therefore the accuracy of estimating psychogenic epidemics may be low.
  • Patent Document 2 does not take into account whether the estimated emotion matches the emotion felt by the user himself or herself, and therefore the accuracy of emotion estimation may be low.
  • the present invention has been made in view of the above problems, and aims to easily and accurately estimate a user's psychological state.
  • a first aspect of the present invention provides a display means for displaying a predetermined image, an image capture means for capturing an image of the face of an observer viewing the predetermined image displayed by the display means, and a face of an observer who views the predetermined image displayed by the display means;
  • a facial expression estimating means for estimating the facial expression of the observer from a facial image, and a psychological state of the observer based on a change in the facial expression of the observer viewing the predetermined image estimated by the facial expression estimating means.
  • a psychological state estimating device characterized by having a state estimating means for estimating.
  • the predetermined image may be a still image or a moving image. Further, the predetermined image may be an image that induces facial expression imitation, such as an image in which a person shows a certain emotion.
  • the face image only needs to include the face of the observer (user), and may include the head, neck, upper body, and the like.
  • the facial expression may be estimated by estimating a plurality of facial expressions (for example, expressionless, happy, surprised, sad, angry, etc.) or by estimating a single facial expression (for example, what percentage is the joy level).
  • a plurality of psychological states or a single psychological state may be estimated.
  • the psychological state estimating device uses a facial image of an observer viewing a predetermined image, rather than using a dedicated measuring device or the like for estimating the psychological state, the psychological state can be easily estimated. Furthermore, the psychological state estimating device can accurately estimate the psychological state because it captures and uses unconscious emotional expression, such as a change in facial expression when viewing a predetermined image, for estimation. Therefore, according to this configuration, the user's psychological state can be easily and accurately estimated.
  • the state estimation means may analyze the correlation between the change in the facial expression and the psychological state, and estimate the psychological state of the observer.
  • the change in facial expression may be a change over the entire period during which the facial images were acquired, or may be during a specific period within the period during which the facial images were acquired. According to this configuration, it is possible to estimate the psychological state of an observer from changes in facial expressions when viewing a predetermined image.
  • the state estimation means preferably analyzes the correlation for each observer. There are individual differences in the degree to which emotions are expressed through facial expressions. Therefore, according to this configuration, it is possible to estimate the psychological state with high accuracy, taking into account individual differences among observers.
  • the facial expression estimation means calculates a facial expression score by quantifying the facial expression. According to this configuration, the psychological state can be estimated using the change in the calculated facial expression score.
  • the state estimating means may estimate the psychological state based on temporal changes in the facial expression score during a predetermined period.
  • the predetermined period may be, for example, the entire period during which the facial images were acquired, or may be a specific period such as a period before and after the predetermined image is displayed.
  • the temporal change may be calculated, for example, from the feature amount of the waveform indicated by the time series data of the facial expression score. According to this configuration, it can be determined from the temporal change in the facial expression score whether or not, for example, the facial expression change is less than in normal times.
  • the state estimating means may estimate the psychological state based on an average value of the facial expression scores during a period corresponding to a display period during which the predetermined image is displayed.
  • the period corresponding to the display period is, for example, a period in which the facial image of the observer during facial expression imitation can be considered to be acquired.
  • the average value of the facial expression scores may be an average value of a period corresponding to a plurality of display periods, or may be an average value of a period corresponding to one display period. According to this configuration, it can be determined from the change in the average value of the facial expression score during facial expression imitation, for example, whether or not the facial expression changes are less than in normal times.
  • the imaging means images the face in a period corresponding to a display period in which the predetermined image is displayed and the face in a period corresponding to a non-display period in which the predetermined image is not displayed;
  • the state estimating means may estimate the psychological state based on a change in the facial expression score for a period corresponding to the display period and the facial expression score for a period corresponding to the non-display period.
  • the change in the facial expression score for the period corresponding to the display period and the facial expression score for the period corresponding to the non-display period may be calculated using, for example, an average value or a variance. .
  • the display means preferably displays a different image every predetermined time. For example, when displaying a predetermined image for 10 seconds, the psychological state estimation device may display a different image every 2 seconds. Furthermore, when displaying a predetermined image after a predetermined period of time (for example, two hours), the psychological state estimation device may display an image different from the image displayed in the previous display period, for example. According to this configuration, it is possible to avoid a decrease in the accuracy of estimating the psychological state, such as a change in the degree of facial expression imitation due to the viewer becoming accustomed to viewing the displayed image.
  • the predetermined images may include a positive image for inducing positive emotions in the observer and a negative image for inducing negative emotions in the observer.
  • the positive image and the negative image may be the same image regardless of the viewer, or may be different images depending on the viewer's preference. According to this configuration, it is possible to determine whether the degree of facial expression imitation for a specific facial expression has changed.
  • the information indicating one or more emotions may be output in a manner that allows the observer's psychological state to be grasped.
  • the output destination may be the device used by the observer, or may be a device different from the device used by the observer. According to this configuration, the observer or the observer's superior can know the estimated result of the observer's psychological state.
  • a second aspect of the present invention includes a display step of displaying a predetermined image, an imaging step of imaging the face of an observer viewing the predetermined image displayed by the display step, and a display step of displaying the predetermined image.
  • a method for estimating a psychological state is provided.
  • a third aspect of the present invention provides a program for causing a computer to execute each step of the psychological state estimation method described above.
  • a user's psychological state can be easily and accurately estimated.
  • FIG. 1 is a diagram showing an example of use of a state estimation device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing details of the configuration of the state estimation device.
  • FIG. 3 is a table showing an example of facial expression estimation results.
  • FIG. 4 is a flowchart showing psychological state estimation processing.
  • FIG. 5 is a diagram showing an example of changes in facial expression scores.
  • FIG. 1 is a diagram showing an example of use of a state estimation device according to an embodiment of the present invention.
  • the state estimation device 1 is an electronic device (psychological state estimation device) that estimates the psychological state of the user (observer) 11.
  • a user 11 is looking at a facial expression image 13 (predetermined image), which is an image that induces facial expression imitation, displayed on a display (display device) of a state estimation device 1.
  • Facial imitation is a phenomenon in which a person unconsciously or reflexively makes a facial expression similar to the facial expression of another person upon seeing the facial expression of another person.
  • the facial expression images 13 include, for example, images for inducing positive emotions in the user and images for inducing negative emotions in the user.
  • the state estimating device 1 estimates changes in facial expressions from a facial image 12 that captures the face of a user 11 viewing a facial expression image 13, and estimates a psychological state.
  • the functions and specifications of the client program for estimating the psychological state are arbitrary, in this application example, a program (hereinafter referred to as "state estimation software") that outputs the estimation result of the user's psychological state is exemplified.
  • state estimation software a program that outputs the estimation result of the user's psychological state.
  • the user 11 starts the state estimation software of the state estimation device 1.
  • the state estimation device 1 specifically, the CPU that operates according to the state estimation software
  • the state estimation device 1 estimates the facial expression of the user 11 from the facial image 12 when the facial expression image 13 is presented to the user 11.
  • the state estimating device 1 analyzes the correlation between changes in facial expressions and the psychological state of each individual to estimate the psychological state.
  • the state estimation device 1 estimates the psychological state by analyzing the correlation between changes in facial expressions and psychological states for each individual, thereby taking into account individual differences in how psychological states are expressed in facial expressions, and estimating psychological states with higher accuracy. state can be estimated.
  • the state estimation device 1 outputs the estimation result of the psychological state.
  • the state estimation device 1 may output the level of a certain emotion such as "90% lively level", or output the level of multiple emotions such as “70% lively level, 30% stress level”. may be output.
  • the state estimation device 1 may output in two patterns, such as "normal/high stress” and "positive/negative.”
  • the estimation result may be output to a device other than the device used by the user 11, an external server, or the like. For example, by transmitting the estimation results to the superior's device, the superior can easily grasp whether or not the psychological state of the subordinate is good.
  • the state estimation device 1 includes a display section (display means) 20, an imaging section (imaging means) 21, and a control section 22.
  • the control unit 22 includes an image storage unit 220, a timing storage unit 221, an expression estimation unit 222, an expression estimation dictionary 223, an expression estimation result storage unit 224, a feature quantity calculation unit 225, a feature quantity storage unit 226, a state estimation unit 227, and a state. It includes an estimation dictionary 228 and a state estimation result storage section 229.
  • the display unit 20 displays a predetermined image (a facial expression image that is an image that induces facial expression imitation) stored in the image storage unit 220 at the timing stored in the timing storage unit 221.
  • a predetermined image a facial expression image that is an image that induces facial expression imitation
  • a liquid crystal display, an organic EL display, or the like can be used as the display section 20.
  • the imaging unit 21 generates and outputs image data by photoelectric conversion.
  • the imaging unit 21 is configured by, for example, an imaging element such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging unit 21 captures a facial image of the user at the timing stored in the timing storage unit 221 and outputs the captured facial image to the facial expression estimation unit 222. Note that the imaging unit 21 captures facial images not only during a period corresponding to a display period during which facial expression images are displayed (presented), but also during a period corresponding to a non-display period during which facial expression images are not displayed.
  • the image storage unit 220 stores a predetermined image.
  • the predetermined image stored in the image storage unit 220 may be an image acquired from outside the state estimation device 1 via an interface, or may be an image acquired by the imaging unit 21.
  • the timing storage unit 221 stores the display timing for displaying a predetermined image on the display unit 20 and the imaging timing for imaging the user's face image by the imaging unit 21.
  • the facial expression estimation unit 222 estimates the user's facial expression using the facial image acquired by the imaging unit 21 and the facial expression estimation dictionary 223.
  • the facial expression estimating unit 222 estimates facial expressions using image feature quantities that are feature quantities such as contrast and shape of parts that make up the face.
  • the image feature amount is, for example, a Haar-like feature amount obtained from a local brightness difference, or a Hog feature amount obtained from a distribution of local brightness in a gradient direction, but is not limited to these.
  • the facial expression estimation unit 222 may estimate facial expressions using a generally known technique for determining facial expressions.
  • the facial expression estimation unit 222 outputs the facial expression estimation result to the facial expression estimation result storage unit 224.
  • the facial expression estimation dictionary 223 is a dictionary that has learned the correlation between image features and facial expressions using machine learning or the like.
  • Machine learning includes, for example, a cascade classifier and CNN (Convolutional Neural Network), but is not limited to these.
  • the facial expression estimating unit 222 calculates a facial expression score, which is a numerical representation of facial expressions, as a measure for expressing facial expressions.
  • the facial expression score is calculated from the ratio of "no expression, joy, surprise, sadness, anger” estimated by the facial expression estimation unit 222 from the acquired facial image.
  • the facial expression estimating unit 222 may calculate for some facial expressions among "expressionless, happy, surprised, sad, and angry,” or may calculate for other facial expressions as well.
  • FIG. 3 is a table showing an example of facial expression estimation results.
  • the facial expression estimation unit 222 calculates scores for positive facial expressions (joy/surprise) and negative facial expressions (anger/sadness), excluding neutral facial expressions.
  • the facial expression estimating unit 222 sets the total value calculated by assuming a positive facial expression as a positive number and a negative facial expression as a negative number as a facial expression score.
  • the positive facial expression score Sp, the negative facial expression score Sn, and the facial expression score Se at time 0 are calculated using Equations 1 to 3 below.
  • the facial expression estimation result storage unit 224 stores the facial expression estimation result output by the facial expression estimation unit 222.
  • the facial expression estimation result storage unit 224 stores information indicating when and what facial expression the user made. In addition to the information regarding time, the facial expression estimation result storage unit 224 may store only the facial expression score, or may also store the ratio of each facial expression.
  • the feature amount calculation unit 225 calculates a score feature amount that is a feature amount related to a change in the user's facial expression.
  • the feature quantity calculation unit 225 calculates a score feature quantity from, for example, the amount of change in the facial expression score, and outputs the calculated result to the feature quantity storage unit 226. Note that details of the score feature amount used by the feature amount calculation unit 225 will be described later.
  • the feature storage unit 226 stores the score feature output from the feature calculation unit 225.
  • the state estimating unit 227 analyzes the correlation between facial expression changes and psychological state to estimate the user's psychological state. For example, the state estimating unit 227 may estimate the psychological state using the results learned in advance for each individual (user). For example, the state estimation unit 227 uses the state estimation dictionary 228 to estimate the user's psychological state.
  • the state estimation dictionary 228 is a dictionary that has learned the correlation between the psychological state and the score feature amount for each individual. When learning in advance the correlation between the psychological state and the score feature amount, the state estimation dictionary 228 may define the current psychological state of the user based on the user's answers to a questionnaire, for example.
  • the questionnaire may include a plurality of question groups, or may accept responses to one question.
  • the user may be asked to answer “yes/no” to questions such as “Are you under stress?" and “Are you feeling energetic?" Furthermore, in response to the question "What is your stress level today?", the user may be asked to input the stress level as a numerical value.
  • the state estimating unit 227 may estimate the psychological state of each individual without performing prior learning.
  • the state estimation unit 227 uses a general-purpose dictionary created from the results of experiments conducted by a large number of subjects (for example, a dictionary that has learned the correlation between psychological states defined from the responses to questionnaires of a large number of subjects and score features).
  • the psychological state may be estimated using a dictionary).
  • the state estimating unit 227 may estimate the psychological state by rule-based reasoning. In the rule-based inference, the state estimating unit 227 may estimate the psychological state based on a rule created from general knowledge, such as when there is little change in facial expression, the stress level is high. In this way, the state estimating unit 227 may estimate the psychological state using the learning results for each individual, or may estimate the psychological state without performing learning for each individual.
  • the state estimating unit 227 can estimate the psychological state by analyzing the psychological state and score feature amount for each individual, taking into account individual differences in how the psychological state is expressed in facial expressions.
  • the state estimation section 227 outputs the estimated psychological state to the state estimation result storage section 229.
  • the state estimation result storage section 229 stores the estimation result of the psychological state outputted by the state estimation section 227.
  • the state estimating device 1 is configured by, for example, a computer equipped with hardware resources such as a CPU (processor), memory, storage, and display device. Blocks 20 to 22 and 220 to 229 shown in FIG. 2 are realized by the CPU loading a program (operating system, state estimation software, etc.) stored in storage into memory and executing the program. Become.
  • the configuration of the state estimation device 1 is not limited to this.
  • some or all of the functions provided by the state estimation device 1 may be realized by dedicated hardware such as ASIC or FPGA. Further, a part of the functions of the state estimation device 1 may be executed by a cloud server.
  • FIG. 4 is a flowchart showing psychological state estimation processing.
  • the state estimation device 1 displays a facial expression image, which is an image that induces facial expression imitation, on the display.
  • the facial expression images include positive images that induce positive emotions in the user (for example, a photograph of a smiling face) and negative images that induce negative emotions in the user (for example, a photograph of a crying face).
  • the displayed images have randomness. For example, if the image displayed as a positive image is the same every time, the user will get used to it and the accuracy of estimating facial expressions and psychological state may decrease. Therefore, the state estimating device 1 may be controlled to display different facial expression images every predetermined time. For example, the state estimating device 1 may be controlled to display a positive image different from the previously displayed positive image.
  • the facial expression image may be a still image or a moving image.
  • step S42 the state estimation device 1 images the face of the user viewing the facial expression image displayed in step S41, and obtains a facial image.
  • step S43 the state estimation device 1 estimates the user's facial expression from the facial image acquired in step S42. For example, the state estimation device 1 estimates the score (ratio) of "expressionless, happy, surprised, sad, angry” shown in the facial image.
  • step S44 the state estimation device 1 calculates an expression score from the score of positive expression (joy/surprise) and the score of negative expression (anger/sadness) estimated in step S43.
  • step S45 the state estimation device 1 calculates a score feature amount that is a feature amount of a change in the facial expression score.
  • a score feature amount that is a feature amount of a change in the facial expression score.
  • FIG. 5 is a diagram showing an example of changes in facial expression scores.
  • Graphs 501 to 504 are graphs in which the horizontal axis is time and the vertical axis is facial expression score.
  • a graph 501 shows an example when the user's psychological state is normal.
  • Graphs 502 to 504 show examples where the user's psychological state is high stress.
  • Periods 511 and 512 are periods corresponding to display periods in which positive images are displayed among facial expression images.
  • Periods 521 and 522 are periods corresponding to display periods during which negative images are displayed.
  • Periods other than periods 511, 512, 521, and 522 correspond to non-display periods in which no facial expression images are displayed.
  • Graph 502 shows an example in which the facial expression score changes less than graph 501. Furthermore, during times of high stress, it is assumed that certain facial expressions are amplified or suppressed compared to normal times.
  • Graph 503 shows an example in which positive facial expressions are suppressed (facial expression scores in periods 521 and 522 are small) compared to graph 501. It is also assumed that during times of high stress, there will be a delay in the activity of facial muscles compared to normal times.
  • Graph 504 shows an example in which the facial expression score changes later than in graph 501. It is assumed that the facial expression score changes according to the psychological state in this way.
  • the state estimation device 1 calculates a score feature amount in order to evaluate such a change in the facial expression score.
  • the score feature amount is, for example, a waveform pattern indicating a temporal change in the facial expression score during a predetermined period.
  • the predetermined period may be, for example, a waveform pattern for the entire period during which the facial images were acquired.
  • the predetermined period includes one minute before and after the expression image is displayed (for example, from one minute before the period 511 to the first minute of the period 511), a display period and a non-display period of the display image (for example, from one minute before the period 511). It may be a specific period, such as a period later including period 521).
  • the score feature amount may be the average value of the facial expression scores during facial expression imitation (a period corresponding to the display period of facial expression images).
  • the average value may be, for example, the average value of the period during which the positive image and the negative image are displayed, or the average value of either period. Further, if there are multiple periods in which positive images are displayed, the average value of the combined periods (for example, period 511 and period 512) may be used as the score feature amount.
  • the score feature amount may be the amount of change in the facial expression score from the time of non-expression imitation (a period corresponding to the non-display period of the facial expression image) to the time of facial expression imitation.
  • the score feature amount is the average value of the facial expression scores for periods other than periods 511, 512, 521, and 522 (when imitating non-expressions), and the facial expression scores for periods 511 and 512 (when imitating facial expressions). It may also be the difference from the average value.
  • the score feature amount may be a variance value between the facial expression score during non-expression imitation and the facial expression score during facial expression imitation.
  • it may be a variance value between the facial expression score in the period before the positive image is displayed and the period in which the positive image is displayed (for example, period 511).
  • the score feature quantity is not limited to these, and may be any feature quantity that can evaluate changes in facial expression scores.
  • the state estimating device 1 uses the state estimating unit 227 to estimate the psychological state of the user from the score feature amount calculated in step S45. For example, the state estimating device 1 may estimate that the state is a high stress state when the change in the waveform calculated as the score feature amount is less than in normal times. For example, the state estimating device 1 may estimate that the state is a high stress state if the facial expression score during facial imitation of the negative image calculated as the score feature amount is amplified compared to the normal state.
  • the state estimating device 1 may estimate whether the state is a "normal state” or a "high stress state,” or may estimate it as a "stress level n%.”
  • stress level n% for example, compare the score feature amount at a predefined “stress level m%" with the current score feature amount, and find that there is little change in facial expression. It may be calculated based on the degree or the degree of delay.
  • the state estimation unit 227 estimates the psychological state of the user A using the state estimation dictionary 228.
  • the state estimation dictionary 228 is a trained model that has been pre-trained on user A's tendencies using deep learning or the like.
  • the state estimating unit 227 identifies (specifies) the user whose psychological state is to be estimated.
  • the method for identifying the user may be any method in which the state estimation device 1 recognizes "who the user is.” For example, a method for identifying an individual from a face image, a method for having the user input his or her ID, etc. There may be.
  • the user may manually input the ID using a touch panel or the like, or may have a reader read the ID card (for example, an employee card).
  • the state estimation unit 227 takes out the dictionary of user A (state estimation dictionary 228, trained model).
  • the state estimation unit 227 inputs the currently measured data (for example, score feature amount) into the user A's dictionary.
  • the state estimating unit 227 obtains the psychological state of user A that is the output of the dictionary.
  • Dictionary A is a dictionary that outputs the "stress degree (an index indicating the probability of high stress)" from the "average value of facial expression scores during the display period of positive images”.
  • Dictionary B is a dictionary that outputs the "stress level” based on the "time lag between the display period of the facial expression image and the change in the facial expression score.”
  • Dictionary C is a dictionary that outputs the "stress level” from the "difference between the facial expression score in the positive image display period and the facial expression score in the negative image display period”.
  • the state estimating unit 227 may estimate the stress level (psychological state) using any one of dictionaries A to C. Further, the state estimating unit 227 may integrate the stress degrees calculated in each of the dictionaries A to C (for example, an average value, a maximum value, etc.) and output the final stress degree.
  • the state estimation device 1 outputs the psychological state.
  • the output destination may be a device that the user is using, or a device that is different from the device that the user is using (such as an external server). Further, the state estimation device 1 may output only the estimation result of the psychological state (for example, stress level n%), or may output the estimation result of the facial expression (the ratio of each facial expression, the facial expression score, etc.) as well.
  • each image is displayed alternately
  • the method in which each image is displayed is not limited to this.
  • the positive image may be displayed for two consecutive periods, or may be displayed for a longer or shorter period.
  • the input data was explained as a score feature quantity.
  • time-series data (waveforms) of facial expression scores may be input to the trained model as input data, and the psychological state may be obtained as an output.
  • a psychological state estimation device (1) characterized by having the following.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

心理状態推定装置は、所定の画像を表示する表示手段と、前記表示手段により表示された前記所定の画像を見る観察者の顔を撮像する撮像手段と、前記撮像手段により撮像された前記顔の画像から、前記観察者の表情を推定する表情推定手段と、前記表情推定手段により推定された、前記所定の画像を見る前記観察者の表情の変化に基づいて、前記観察者の心理状態を推定する状態推定手段とを有する。

Description

心理状態推定装置および心理状態推定方法
　本発明は、心理状態の推定技術に関する。
　労働者の疲労による過労死や事故、メンタルヘルス問題等が社会課題となっている現代社会では、疲労やストレスなどの心理状態を見える化し、マネジメントすることが重要視されている。また、リモートワークなど、労働者の心理状態を把握することが従来よりも困難な働き方もあり、様々な環境で手軽に心理状態を推定することができる技術が求められている。
　心理状態を推定する技術として、例えば、心拍や脳波などの生体情報を利用する方法がある。しかしながら、生体情報を利用する方法では、専用の計測機器を用いる場合もあるため、自宅などで手軽に心理状態を推定することは困難である。
　心理状態を推定する他の技術として、ユーザーの顔画像を利用する方法がある。例えば、特許文献１に開示の技術では、ユーザーの顔画像から、専門家の知見を数値化した診断マトリックスを用いて、心因性疫病の度合いが判断される。特許文献２に開示の技術では、ユーザーの顔画像から、顔のパーツの相対位置等に関わる特徴量を算出し、感情が推定される。
特開２００６－３０５２６０号公報 特開２０２１－０２４３７８号公報
　しかしながら、特許文献１に開示の技術では、心理状態が表情に表出する個人差は考慮されていないため、心因性疫病の推定精度が低くなる場合がある。特許文献２に開示の技術では、推定された感情とユーザー本人が感じている感情とが一致しているか否かは考慮されていないため、感情の推定精度が低くなる場合がある。
　本発明は、上記課題に鑑みてなされたものであり、ユーザーの心理状態を手軽に精度よく推定することを目的とする。
　本発明の第一側面は、所定の画像を表示する表示手段と、前記表示手段により表示された前記所定の画像を見る観察者の顔を撮像する撮像手段と、前記撮像手段により撮像された前記顔の画像から、前記観察者の表情を推定する表情推定手段と、前記表情推定手段により推定された、前記所定の画像を見る前記観察者の表情の変化に基づいて、前記観察者の心理状態を推定する状態推定手段とを有することを特徴とする心理状態推定装置を提供する。
　前記所定の画像は、静止画でもよいし動画像でもよい。また、前記所定の画像は、例えば人がある感情を示した画像など、表情模倣を誘発する画像であるとよい。前記顔画像は、観察者（ユーザー）の顔が写っていればよく、頭部、頸部、上半身などを含むものであってもよい。表情の推定は、複数の表情（例えば無表情・喜び・驚き・悲しみ・怒りなど）を推定してもよいし、一つの表情（例えば喜び度が何パーセントか）を推定してもよい。心理状態の推定も同様に、複数の心理状態を推定してもよいし、一つの心理状態を推定してもよい。心理状態推定装置は、心理状態を推定するための専用の計測機器等ではなく、所定の画像を見る観察者の顔画像を用いるため、手軽に心理状態を推定することができる。また、心理状態推定装置は、所定の画像を見たときの表情の変化という、無意識下での感情の表出を捉えて推定に用いるため、精度よく心理状態を推定することができる。したがって、この構成によれば、ユーザーの心理状態を手軽に精度よく推定することができる。
　前記状態推定手段は、前記表情の変化と前記心理状態との相関関係を解析し、前記観察者の心理状態を推定してもよい。前記表情の変化は、顔画像が取得された期間全体の変化であってもよいし、顔画像が取得された期間のうち特定の期間であってもよい。この構成によれば、所定の画像を見る観察者の表情変化から心理状態を推定することができる。
　前記状態推定手段は、観察者ごとの前記相関関係を解析するとよい。感情が表情に表出する度合いには個人差がある。したがって、この構成によれば、観察者ごとの個人差を考慮して、精度よく心理状態を推定することができる。
　前記表情推定手段は、前記表情を数値化した表情スコアを計算するとよい。この構成に依れば、算出された表情スコアの変化を用いて心理状態を推定することができる。
　前記状態推定手段は、所定の期間における前記表情スコアの時間的な変化に基づいて、前記心理状態を推定するとよい。所定の期間は、例えば顔画像が取得された全体の期間であってもよいし、所定の画像が表示された前後の期間などある特定の期間であってもよい。時間的な変化は、例えば表情スコアの時系列データが示す波形の特徴量から算出されてもよい。この構成によれば、表情スコアの時間的な変化から、例えば平常時に比べ表情変化が乏しいか否かを判定することができる。
　前記状態推定手段は、前記所定の画像を表示している表示期間に対応する期間の前記表情スコアの平均値に基づいて、前記心理状態を推定するとよい。表示期間に対応する期間は、例えば表情模倣時の観測者の顔画像が取得されるとみなすことができる期間である。前記表情スコアの平均値は、複数の表示期間に対応する期間の平均値であってもよいし、１回の表示期間に対応する期間の平均値であってもよい。この構成によれば、表情模倣時の表情スコアの平均値の変化から、例えば平常時に比べ表情変化が乏しいか否かを判定することができる。
　前記撮像手段は、前記所定の画像を表示している表示期間に対応する期間の前記顔と、前記所定の画像を表示していない非表示期間に対応する期間の前記顔とを撮像し、前記状態推定手段は、前記表示期間に対応する期間の表情スコアと、前記非表示期間に対応する期間の表情スコアとの変化に基づいて、前記心理状態を推定するとよい。前記表示期間に対応する期間の表情スコアと、前記非表示期間に対応する期間の表情スコアとの変化は、例えば平均値を用いて算出してもよいし、分散を用いて算出してもよい。この構成によれば、表示期間に対応する期間の表情スコアと非表示期間に対応する期間の表情スコアとの変化から、例えば平常時に比べ表情変化が乏しいか否かを判定することができる。
　前記表示手段は、所定時間毎に異なる画像を表示するとよい。心理状態推定装置は、例えば、所定の画像を１０秒間表示する場合には、２秒ごとに異なる画像を表示するとよい。また、所定の時間の経過後（例えば２時間経過後）、所定の画像を表示する場合には、心理状態推定装置は、例えば前回の表示期間に表示した画像とは異なる画像を表示するとよい。この構成によれば、表示された画像を観察者が見慣れてしまい表情模倣の程度が変化するなど、心理状態の推定精度が低下することを回避することができる。
　前記所定の画像は、前記観察者にポジティブな感情を誘発するためのポジティブ画像と、観察者にネガティブな感情を誘発するためのネガティブ画像とを含むとよい。ポジティブ画像とネガティブ画像とは、観察者に関わらず同じ画像であってもよいし、観察者の嗜好に応じて異なる画像であってもよい。この構成によれば、特定の表情に対する表情模倣の程度が変化したか否かを判定することができる。
　前記状態推定手段により推定された前記心理状態に基づいて、１つ以上の感情を示す情報を出力する出力手段をさらに有するとよい。１つ以上の感情を示す情報は、観察者の心理状態が把握できるような態様で出力されるとよい。出力先は、観察者が使用している装置でもよいし、観察者が使用している装置とは異なる装置でもよい。この構成によれば、観察者または観察者の上司などが、観察者の心理状態の推定結果を知ることができる。
　本発明の第二側面は、所定の画像を表示する表示ステップと、前記表示ステップにより表示された前記所定の画像を見る観察者の顔を撮像する撮像ステップと、前記撮像ステップにより撮像された前記顔の画像から、前記観察者の表情を推定する表情推定ステップと、前記表情推定ステップにより推定された前記表情の変化に基づいて、前記観察者の心理状態を推定する状態推定ステップとを有することを特徴とする心理状態推定方法を提供する。
　本発明の第三側面は、上記の心理状態推定方法の各ステップをコンピュータに実行させるためのプログラムを提供する。
　本発明によれば、ユーザーの心理状態を手軽に精度よく推定することができる。
図１は、本発明の実施形態に係る状態推定装置の使用例を示す図である。 図２は、状態推定装置の構成の詳細を示す図である。 図３は、表情推定結果の例を示す表である。 図４は、心理状態の推定処理を示すフローチャートである。 図５は、表情スコアの変化の例を示す図である。
＜適用例＞
　まず、本発明が適用される場面の一例について説明する。図１は、本発明の実施形態に係る状態推定装置の使用例を示す図である。
　状態推定装置１は、ユーザー（観察者）１１の心理状態を推定する電子機器（心理状態推定装置）である。図１において、ユーザー１１は、状態推定装置１のディスプレイ（表示装置）に表示された、表情模倣を誘発する画像である表情画像１３（所定の画像）を見ている。なお、表情模倣は、他者の表情を見て、自分も他者の表情と同じような表情を無意識・反射的に行う現象である。表情模倣を用いることで、例えば心理状態を推定するための表情を作るなどといったストレスをユーザー１１に与えずに、心理状態を推定することができる。表情画像１３は、例えばユーザーにポジティブな感情を誘発するための画像と、ネガティブな感情を誘発するための画像とを含む。状態推定装置１は、表情画像１３を見るユーザー１１の顔を撮像した顔画像１２から、表情の変化を推定し、心理状態を推定する。
　心理状態を推定するためのクライアントプログラムの機能及び仕様は任意であるが、本適用例では、ユーザーの心理状態の推定結果を出力するプログラム（以下「状態推定ソフト」と呼ぶ）を例示する。まずユーザー１１が、状態推定装置１の状態推定ソフトを起動する。すると、状態推定装置１（詳しくは、状態推定ソフトに従って動作するＣＰＵ）が、所定の時刻になると表情画像１３をディスプレイに表示する。
　状態推定装置１は、ユーザー１１に表情画像１３を提示したときの顔画像１２から、ユーザー１１の表情を推定する。状態推定装置１は、個人ごとの表情の変化と心理状態との相関関係を解析して心理状態を推定する。状態推定装置１は、個人ごとの表情の変化と心理状態との相関関係を解析して心理状態を推定することで、心理状態が表情に表出する個人差考慮して、より高精度に心理状態を推定することができる。
　状態推定装置１は、心理状態の推定結果を出力する。状態推定装置１は、例えば、「イキイキ度９０％」などある一つの感情がどの程度かを出力してもよいし、「イキイキ度７０％、ストレス度３０％」など複数の感情がどの程度かを出力してもよい。また、状態推定装置１は、「平常／高ストレス」「ポジティブ／ネガティブ」など、２パターンで出力してもよい。また、推定結果は、ユーザー１１が使用している装置とは別の装置や外部サーバなどに出力されてもよい。例えば、推定結果が上司の装置にも送信されることで、上司は部下の心理状態が良好か否かを手軽に把握することができる。
（状態推定装置の構成）
　次に、図２を参照して、本実施形態の状態推定装置１の具体的な構成例を説明する。
　状態推定装置１は、表示部（表示手段）２０、撮像部（撮像手段）２１、制御部２２を有している。制御部２２は、画像記憶部２２０、タイミング記憶部２２１、表情推定部２２２、表情推定辞書２２３、表情推定結果記憶部２２４、特徴量算出部２２５、特徴量記憶部２２６、状態推定部２２７、状態推定辞書２２８、状態推定結果記憶部２２９を含む。
　表示部２０は、画像記憶部２２０に記憶された所定の画像（表情模倣を誘発する画像である表情画像）等を、タイミング記憶部２２１に記憶されたタイミングで表示する。表示部２０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができる。
　撮像部２１は、光電変換によって画像データを生成・出力する。撮像部２１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子により構成される。撮像部２１は、タイミング記憶部２２１に記憶されたタイミングでユーザーの顔画像を撮像し、撮像した顔画像を表情推定部２２２に出力する。なお、撮像部２１は、表情画像を表示（提示）している表示期間に対応する期間だけでなく、表情画像を表示していない非表示期間に対応する期間においても、顔画像を撮像する。
　画像記憶部２２０は、所定の画像を記憶する。画像記憶部２２０に記憶される所定の画像は、インターフェースを介して状態推定装置１の外部から取得された画像であってもよいし、撮像部２１により取得された画像であってもよい。
　タイミング記憶部２２１は、表示部２０に所定の画像を表示する表示タイミングと、撮像部２１によりユーザーの顔画像を撮像する撮像タイミングとを記憶する。
　表情推定部２２２は、撮像部２１により取得された顔画像および表情推定辞書２２３により、ユーザーの表情を推定する。表情推定部２２２は、顔を構成するパーツの明暗差や形状などの特徴量である画像特徴量を用いて表情を推定する。画像特徴量は、例えば、局所的な明暗差から求めるＨａａｒ－ｌｉｋｅ特徴量や、局所的な輝度の勾配方向の分布から求めるＨｏｇ特徴量であるが、これらに限られない。表情推定部２２２は、表情を判定する一般的に公知の技術を用いて表情を推定すればよい。表情推定部２２２は、表情の推定結果を表情推定結果記憶部２２４に出力する。
　表情推定辞書２２３は、機械学習等を用いて、画像特徴量と表情の相関を学習した辞書である。機械学習は、例えばカスケード分類器やＣＮＮ（Convolutional Neural Network）であるが、これらに限られない。
　本実施形態では、表情推定部２２２は、表情を表現する尺度として、表情を数値化した表情スコアを計算する。例えば、表情スコアは、取得した顔画像から、表情推定部２２２により推定される「無表情・喜び・驚き・悲しみ・怒り」の割合から算出される。なお、表情推定部２２２は、「無表情・喜び・驚き・悲しみ・怒り」のうち一部の表情について算出してもよいし、その他の表情も含めて算出してもよい。
　図３を参照して具体的に説明する。図３は、表情推定結果の例を示す表である。表情推定部２２２は、各表情のうち、無表情を除く、ポジティブ表情（喜び・驚き）とネガティブ表情（怒り・悲しみ）のスコアを算出する。表情推定部２２２は、ポジティブ表情を正数、ネガティブ表情を負数として算出した合計値を、表情スコアとする。例えば、時刻０におけるポジティブ表情のスコアＳｐ、ネガティブ表情のスコアＳｎ、表情スコアＳｅは、以下の式１～式３により算出する。
　Ｓｐ＝（７０＋１３）／（７０＋１３＋７＋５）×１００＝８７．４・・・（式１）
　Ｓｎ＝（７＋５）／（７０＋１３＋７＋５）×１００＝１２．６・・・（式２）
　Ｓｅ＝Ｓｐ－Ｓｎ＝８７．４－１２．６＝７４．７・・・（式３）
　図２の説明に戻る。表情推定結果記憶部２２４は、表情推定部２２２により出力された表情の推定結果を記憶する。表情推定結果記憶部２２４は、ユーザーがいつ、どのような表情であったか示す情報を記憶する。なお、表情推定結果記憶部２２４は、時刻に関する情報の他、表情スコアのみ記憶してもよいし、各表情の割合も併せて記憶してもよい。
　特徴量算出部２２５は、ユーザーの表情の変化に関する特徴量であるスコア特徴量を算出する。特徴量算出部２２５は、例えば表情スコアの変化量からスコア特徴量を算出し、算出した結果を特徴量記憶部２２６に出力する。なお、特徴量算出部２２５が用いるスコア特徴量の詳細については後述する。特徴量記憶部２２６は、特徴量算出部２２５から出力されたスコア特徴量を記憶する。
　状態推定部２２７は、表情の変化と心理状態との相関関係を解析して、ユーザーの心理状態を推定する。例えば、状態推定部２２７は、個人（ユーザー）ごとに事前に学習した結果を用いて、心理状態を推定してもよい。例えば、状態推定部２２７は、状態推定辞書２２８を用いてユーザーの心理状態を推定する。状態推定辞書２２８は、個人ごとに心理状態とスコア特徴量との相関関係を学習した辞書である。心理状態とスコア特徴量との相関関係を予め学習する際には、状態推定辞書２２８は、例えばアンケートに対するユーザーの回答から現在のユーザーの心理状態を定義するとよい。アンケートは、複数の質問群が含まれてもよいし、一つの質問に対して回答を受け付けるものであってもよい。例えば、「ストレスは高い？」「イキイキしている？」という質問群に対して、「はい／いいえ」で回答させてもよい。また、「あなたの今日のストレス度は？」という質問に対して、ユーザーにストレス度を数値で入力させてもよい。
　また例えば、状態推定部２２７は、個人ごとに事前に学習を行わず、心理状態を推定してもよい。例えば、状態推定部２２７は、多数の被検者による実験結果から作成した汎用的な辞書（例えば多数の被験者のアンケートへの回答から定義した心理状態と、スコア特徴量との相関関係を学習した辞書）を用いて、心理状態を推定してもよい。また、状態推定部２２７は、ルールベースの推論により、心理状態を推定してもよい。ルールベースの推論では、状態推定部２２７は、表情変化が乏しいときはストレス度が高いといった、一般的な知見から作成したルールに基づいて心理状態を推定してもよい。このように、状態推定部２２７は、個人ごとに学習した結果を用いて心理状態を推定してもよいし、個人ごとに学習を行わずに心理状態を推定してもよい。
　状態推定部２２７は、個人ごとに、心理状態とスコア特徴量を解析することで、心理状態が表情に表出する個人差を考慮して心理状態を推定することができる。状態推定部２２７は、推定した心理状態を状態推定結果記憶部２２９に出力する。状態推定結果記憶部２２９は、状態推定部２２７により出力された心理状態の推定結果を記憶する。
　状態推定装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージ、表示装置などのハードウェア資源を備えるコンピュータにより構成される。図２に示すブロック２０～２２，２２０～２２９は、ＣＰＵが、ストレージに格納されているプログラム（オペレーティングシステム、状態推定ソフトなど）をメモリに展開し当該プログラムを実行することによって実現されることとなる。ただし、状態推定装置１の構成はこれに限られない。例えば、状態推定装置１が提供する機能の一部又は全部を、ＡＳＩＣやＦＰＧＡなど、専用のハードウェアにて実現してもよい。また、状態推定装置１の機能の一部を、クラウドサーバにて実行してもよい。
（推定処理）
　次に、図４を参照して、心理状態の推定処理フローについて説明する。図４は、心理状態の推定処理を示すフローチャートである。
　ステップＳ４１では、状態推定装置１は、表情模倣を誘発する画像である表情画像をディスプレイに表示する。表情画像は、ユーザーにポジティブな感情を誘発するポジティブ画像（例えば笑顔の写真）と、ユーザーにネガティブな感情を誘発するネガティブ画像（例えば泣顔の写真）とを含む。なお、表示される画像はランダム性があるとよい。例えばポジティブ画像として表示される画像が毎回同じ画像であると、ユーザーが慣れてしまい、表情や心理状態の推定精度が下がる可能性があるためである。そこで、状態推定装置１は、所定時間毎に異なる表情画像を表示するように制御するとよい。例えば、状態推定装置１は、前回表示したポジティブ画像とは異なるポジティブ画像を表示するように制御するとよい。なお、表情画像は静止画でもよいし、動画像でもよい。
　ステップＳ４２では、状態推定装置１は、ステップＳ４１で表示された表情画像を見るユーザーの顔を撮像し、顔画像を取得する。
　ステップＳ４３では、状態推定装置１は、ステップＳ４２で取得した顔画像から、ユーザーの表情を推定する。状態推定装置１は例えば、顔画像に示される「無表情・喜び・驚き・悲しみ・怒り」のスコア（割合）を推定する。
　ステップＳ４４では、状態推定装置１は、ステップＳ４３で推定されたポジティブ表情（喜び・驚き）のスコアとネガティブ表情（怒り・悲しみ）のスコアから、表情スコアを算出する。
　ステップＳ４５では、状態推定装置１は、表情スコアの変化の特徴量であるスコア特徴量を算出する。ここで、図５を参照して、表情スコアの変化について説明する。
　図５は、表情スコアの変化の例を示す図である。グラフ５０１～５０４は、横軸が時間、縦軸が表情スコアのグラフである。グラフ５０１は、ユーザーの心理状態が平常状態である場合の例を示す。グラフ５０２～５０４は、ユーザーの心理状態が高ストレス状態である場合の例を示す。期間５１１，５１２は、表情画像のうち、ポジティブ画像が表示されている表示期間に対応する期間である。期間５２１，５２２は、ネガティブ画像が表示されている表示期間に対応する期間である。期間５１１，５１２，５２１，５２２以外の期間は、表情画像が表示されていない非表示期間に対応する期間である。
　例えば、高ストレス時には、平常時に比べ、表情筋の活動性が抑制され表情変化が乏しくなることが想定される。グラフ５０２は、グラフ５０１に比べ表情スコアの変化が乏しい例を示す。また、高ストレス時には、平常時に比べ、特定の表情が増幅または抑制されることが想定される。グラフ５０３は、グラフ５０１に比べポジティブ表情が抑制される（期間５２１，５２２の表情スコアが小さい）例を示す。また、高ストレス時には、平常時に比べ、表情筋の活動に遅れが生じることが想定される。グラフ５０４は、グラフ５０１に比べ表情スコアが遅れて変化する例を示す。表情スコアは、このように心理状態に応じて変化することが想定される。
　状態推定装置１は、このような表情スコアの変化を評価するため、スコア特徴量を算出する。スコア特徴量は、例えば所定の期間における表情スコアの時間的な変化を示す波形パターンである。例えば、ＧＢＤＴなど時系列データを扱うモデルを用いて、波形の形状自体をスコア特徴量として捉えてもよい。所定の期間は、例えば顔画像が取得された全体の期間の波形パターンであってもよい。また例えば、所定の期間は、表情画像が表示される前後１分間（例えば期間５１１の１分前から、期間５１１の初めの１分間）、表示画像の表示期間および非表示期間（例えば期間５１１の後から、期間５２１を含む期間）など、ある特定の期間であってもよい。
　また例えば、スコア特徴量は、表情模倣時（表情画像の表示期間に対応する期間）の表情スコアの平均値としてもよい。平均値は、例えばポジティブ画像およびネガティブ画像が表示されている期間の平均値であってもよいし、いずれか一方の期間の平均値であってもよい。また、ポジティブ画像が表示されている期間が複数ある場合には、併せた期間（例えば期間５１１と期間５１２）の平均値をスコア特徴量として用いてもよい。
　また例えば、スコア特徴量は、非表情模倣時（表情画像の非表示期間に対応する期間）から表情模倣時への表情スコアの変化量としてもよい。例えば、グラフ５０１の例では、スコア特徴量は、期間５１１，５１２，５２１，５２２以外の期間（非表情模倣時）の表情スコアの平均値と、期間５１１，５１２（表情模倣時）の表情スコアの平均値との差としてもよい。
　また例えば、スコア特徴量は、非表情模倣時の表情スコアと表情模倣時の表情スコアとの分散値としてもよい。例えば、ポジティブ画像が表示される前の期間の表情スコアと、ポジティブ画像が表示されている期間（例えば期間５１１）との分散値としてもよい。なお、スコア特徴量はこれらに限らず、表情スコアの変化を評価可能な特徴量であればよい。
　図４の説明に戻る。ステップＳ４６では、状態推定装置１は、状態推定部２２７により、ステップＳ４５で算出したスコア特徴量からユーザーの心理状態を推定する。例えば、状態推定装置１は、スコア特徴量として算出した波形の変化が、平常時に比べて乏しい場合には、高ストレス状態と推定してもよい。また例えば、状態推定装置１は、スコア特徴量として算出したネガティブ画像の表情模倣時の表情スコアが、平常時に比べて増幅している場合には、高ストレス状態と推定してもよい。なお、状態推定装置１は「平常状態」であるか「高ストレスの状態」であるかを推定してもよいし、「ストレス度ｎ％」として推定してもよい。「ストレス度ｎ％」と推定する場合は、例えば、予め定義された「ストレス度ｍ％」のときのスコア特徴量と、現在のスコア特徴量とを比較して、表情の変化が乏しくなった程度または遅延した程度などから算出してもよい。
　例えば、状態推定部２２７が、状態推定辞書２２８を用いてユーザーＡの心理状態を推定する場合の処理の例について説明する。ここでは、状態推定辞書２２８がユーザーＡの傾向をディープラーニングなどで事前学習した学習済みモデルである場合を想定する。まず、状態推定部２２７は、心理状態を推定するユーザーを識別（特定）する。ユーザーを識別する方法は、状態推定装置１が「ユーザーは誰か」ということを認識する方法であればよく、例えば、顔画像から個人識別する方法や、ユーザーに自分のＩＤを入力させる方法などであってもよい。ユーザーに自分のＩＤを入力させる方法では、ユーザーは、タッチパネルなどでＩＤを手入力してもよいし、ＩＤカード（例えば社員証）をリーダに読ませてもよい。次に、状態推定部２２７は、ユーザーＡの辞書（状態推定辞書２２８、学習済みモデル）を取り出す。次に、状態推定部２２７は、ユーザーＡの辞書に対して、今回計測したデータ（例えばスコア特徴量）を入力する。次に、状態推定部２２７は、ユーザーＡの辞書の出力である心理状態を取得する。
　また例えば、状態推定部２２７がルールベースの推論器により、ユーザーの心理状態を推定する場合の処理の例について説明する。この場合は、例えば次のような複数の辞書を用意しておく。辞書Ａは、「ポジティブ画像の表示期間の表情スコアの平均値」から「ストレス度合（高ストレスであることの確からしさを示す指標）」を出力する辞書である。辞書Ｂは、「表情画像の表示期間と表情スコアの変化のタイムラグ」から「ストレス度合」を出力する辞書である。辞書Ｃは、「ポジティブ画像の表示期間の表情スコアとネガティブ画像の表示期間の表情スコアとの差」から「ストレス度合」を出力する辞書である。状態推定部２２７は、辞書Ａ～Ｃのいずれか１つを使ってストレス度合（心理状態）を推定するとよい。また、状態推定部２２７は、辞書Ａ～Ｃのそれぞれで計算されたストレス度合を統合して（例えば平均値や最大値など）、最終的なストレス度合を出力してもよい。
　ステップＳ４７では、状態推定装置１は、心理状態を出力する。出力先は、ユーザーが使用している装置（デバイス）でもよいし、ユーザーが使用している装置とは異なる装置（外部サーバー等）でもよい。また、状態推定装置１は、心理状態の推定結果（例えばストレス度ｎ％）のみ出力してもよいし、表情推定結果（各表情の割合、表情スコアなど）も含めて出力してもよい。
　なお、図５の例では、ポジティブ画像とネガティブ画像とが交互に表示される場合を例として説明したが、各画像が表示される方法はこれに限られない。例えば、ポジティブ画像が表示される期間が２回連続してもよいし、表示される期間がより長いまたは短くてもよい。
　また、学習済モデルを用いて心理状態を推定する例では、入力データはスコア特徴量として説明した。なお、学習済みモデルの設計次第では、表情スコアの時系列データ（波形）を入力データとして学習済みモデルにインプットし、心理状態をアウトプットとして得るようにしてもよい。
　以上述べた状態推定ソフトを利用すれば、ユーザーは、心理状態を手軽に精度よく推定することができる。
＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、状態推定ソフトによりユーザーの心理状態を推定する例を説明したが、本発明の応用例はこれに限られない。
＜付記＞
　所定の画像（１３）を表示する表示手段（２０）と、
　前記表示手段により表示された前記所定の画像（１３）を見る観察者（１１）の顔を撮像する撮像手段（２１）と、
　前記撮像手段（２１）により撮像された前記顔の画像（１２）から、前記観察者（１１）の表情を推定する表情推定手段（２２２）と、
　前記表情推定手段（２２２）により推定された、前記所定の画像（１３）を見る前記観察者（１１）の表情の変化に基づいて、前記観察者（１１）の心理状態を推定する状態推定手段（２２７）と
を有することを特徴とする心理状態推定装置（１）。
　１：状態推定装置　　１１：ユーザー　　１２：顔画像　　１３：表情画像

Claims (12)

  1. 　所定の画像を表示する表示手段と、
    　前記表示手段により表示された前記所定の画像を見る観察者の顔を撮像する撮像手段と、
    　前記撮像手段により撮像された前記顔の画像から、前記観察者の表情を推定する表情推定手段と、
    　前記表情推定手段により推定された、前記所定の画像を見る前記観察者の表情の変化に基づいて、前記観察者の心理状態を推定する状態推定手段と
    を有することを特徴とする心理状態推定装置。
  2. 　前記状態推定手段は、前記表情の変化と前記心理状態との相関関係を解析し、前記観察者の心理状態を推定する
    ことを特徴とする請求項１に記載の心理状態推定装置。
  3. 　前記状態推定手段は、観察者ごとの前記相関関係を解析する
    ことを特徴とする請求項２に記載の心理状態推定装置。
  4. 　前記表情推定手段は、前記表情を数値化した表情スコアを計算する
    ことを特徴とする請求項１から３のいずれか１項に記載の心理状態推定装置。
  5. 　前記状態推定手段は、所定の期間における前記表情スコアの時間的な変化に基づいて、前記心理状態を推定する
    ことを特徴とする請求項４に記載の心理状態推定装置。
  6. 　前記状態推定手段は、前記所定の画像を表示している表示期間に対応する期間の前記表情スコアの平均値に基づいて、前記心理状態を推定する
    ことを特徴とする請求項４に記載の心理状態推定装置。
  7. 　前記撮像手段は、前記所定の画像を表示している表示期間に対応する期間の前記顔と、前記所定の画像を表示していない非表示期間に対応する期間の前記顔とを撮像し、
    　前記状態推定手段は、前記表示期間に対応する期間の表情スコアと、前記非表示期間に対応する期間の表情スコアとの変化に基づいて、前記心理状態を推定する
    ことを特徴とする請求項４に記載の心理状態推定装置。
  8. 　前記表示手段は、所定時間毎に異なる画像を表示する
    ことを特徴とする請求項１から７のいずれか１項に記載の心理状態推定装置。
  9. 　前記所定の画像は、前記観察者にポジティブな感情を誘発するためのポジティブ画像と、観察者にネガティブな感情を誘発するためのネガティブ画像とを含む
    ことを特徴とする請求項１から８のいずれか１項に記載の心理状態推定装置。
  10. 　前記状態推定手段により推定された前記心理状態に基づいて、１つ以上の感情を示す情報を出力する出力手段をさらに有する
    ことを特徴とする請求項１から９のいずれか１項に記載の心理状態推定装置。
  11. 　所定の画像を表示する表示ステップと、
    　前記表示ステップにより表示された前記所定の画像を見る観察者の顔を撮像する撮像ステップと、
    　前記撮像ステップにより撮像された前記顔の画像から、前記観察者の表情を推定する表情推定ステップと、
    　前記表情推定ステップにより推定された前記表情の変化に基づいて、前記観察者の心理状態を推定する状態推定ステップと
    を有することを特徴とする心理状態推定方法。
  12. 　請求項１１に記載の心理状態推定方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2023/002079 2022-03-09 2023-01-24 心理状態推定装置および心理状態推定方法 WO2023171162A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380025060.6A CN118804711A (zh) 2022-03-09 2023-01-24 心理状态估计装置以及心理状态估计方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022036588A JP2023131690A (ja) 2022-03-09 2022-03-09 心理状態推定装置、心理状態推定方法およびプログラム
JP2022-036588 2022-03-09

Publications (1)

Publication Number Publication Date
WO2023171162A1 true WO2023171162A1 (ja) 2023-09-14

Family

ID=87936744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002079 WO2023171162A1 (ja) 2022-03-09 2023-01-24 心理状態推定装置および心理状態推定方法

Country Status (3)

Country Link
JP (1) JP2023131690A (ja)
CN (1) CN118804711A (ja)
WO (1) WO2023171162A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096116A (ja) * 2017-11-24 2019-06-20 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
JP2020120908A (ja) * 2019-01-30 2020-08-13 パナソニックＩｐマネジメント株式会社 精神状態推定システム、精神状態推定方法、及び、プログラム
JP2021024378A (ja) * 2019-08-01 2021-02-22 株式会社デンソー 感情推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096116A (ja) * 2017-11-24 2019-06-20 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
JP2020120908A (ja) * 2019-01-30 2020-08-13 パナソニックＩｐマネジメント株式会社 精神状態推定システム、精神状態推定方法、及び、プログラム
JP2021024378A (ja) * 2019-08-01 2021-02-22 株式会社デンソー 感情推定装置

Also Published As

Publication number Publication date
JP2023131690A (ja) 2023-09-22
CN118804711A (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
Aigrain et al. Multimodal stress detection from multiple assessments
Carneiro et al. Multimodal behavioral analysis for non-invasive stress detection
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
KR102618437B1 (ko) 정보 처리 시스템
EP2614497A1 (en) Diagnosing system for consciousness level measurement and method thereof
Kneidinger-Mueller Digital traces in context| self-tracking data as digital traces of identity: A theoretical analysis of contextual factors of self-observation practices
Gavrilescu Study on determining the Big-Five personality traits of an individual based on facial expressions
KR102586167B1 (ko) 데이터베이스의 구축 방법
JP6910919B2 (ja) システム及び意思疎通を図るために行うアクションの評価方法
WO2023171162A1 (ja) 心理状態推定装置および心理状態推定方法
JP7469966B2 (ja) 情報処理装置、情報処理方法及びプログラム
Lee et al. RU-FEMOIN—A database of facial expressions: Utilization for robotic mood transition of patient robots
Le-Quang et al. Wemotion: A system to detect emotion using wristbands and smartphones
CN111820869A (zh) 一种认知评估方法及装置
Kim et al. Mediating individual affective experience through the emotional photo frame
WO2023145350A1 (ja) 情報処理方法、情報処理システムおよびプログラム
Rehberger Examining the relationships between empathy, mood, and facial mimicry
WO2021172584A1 (ja) 効率推定装置
Anthay et al. Detection of Stress in Humans Wearing Face Masks using Machine Learning and Image Processing
Madokoro et al. Facial Expression Spacial Charts for Describing Dynamic Diversity of Facial Expressions.
Hassib Designing communication technologies based on physiological sensing
Karthikeyani et al. Emotion Recognition in Real Time for Personalized Healthcare Using Digital Twin Approach
Hossain I Can Feel You Are Smiling Happily: Distinguishing between Real and Posed Smiles from Observers' Peripheral Physiology
Evju Predicting student performance in game-based learning with Artificial Intelligence ensemble pipelines
Södergård et al. Inferring Students’ Self-Assessed Concentration Levels in Daily Life Using Biosignal Data From Wearables

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766342

Country of ref document: EP

Kind code of ref document: A1