WO2023002636A1 - ストレス判定装置、ストレス判定方法、及びプログラム - Google Patents

ストレス判定装置、ストレス判定方法、及びプログラム Download PDF

Info

Publication number
WO2023002636A1
WO2023002636A1 PCT/JP2021/027425 JP2021027425W WO2023002636A1 WO 2023002636 A1 WO2023002636 A1 WO 2023002636A1 JP 2021027425 W JP2021027425 W JP 2021027425W WO 2023002636 A1 WO2023002636 A1 WO 2023002636A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
stress
control unit
micro
expression
Prior art date
Application number
PCT/JP2021/027425
Other languages
English (en)
French (fr)
Inventor
玲央 浜口
哲 香山
Original Assignee
株式会社ライフクエスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ライフクエスト filed Critical 株式会社ライフクエスト
Priority to CN202180102049.6A priority Critical patent/CN117915831A/zh
Priority to PCT/JP2021/027425 priority patent/WO2023002636A1/ja
Priority to JP2023522536A priority patent/JP7323248B2/ja
Publication of WO2023002636A1 publication Critical patent/WO2023002636A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present invention relates to a stress determination device, a stress determination method, and a program, and more particularly to a stress determination device, a stress determination method, and a program capable of accurately determining stress.
  • Patent Document 1 A technology is known that captures a person's facial expression and calculates the stress level from the image data (see Patent Document 1, for example). The entire specification, claims, and drawings of Patent Document 1 are incorporated into this specification as a reference.
  • the present invention has been made to solve the above problems, and aims to provide a stress determination device, a stress determination method, and a program capable of accurately determining stress.
  • the stress determination device (1) provides an imaging unit (13) for imaging a subject's face, and a control unit (14) for detecting a micro-expression appearing on the subject's face from the obtained facial image of the subject and determining the stress of the subject based on the ratio of the detected micro-expression.
  • control unit (14) classifies the detected micro-expressions by type, and determines the stress of the subject based on the ratio of the micro-expressions classified by type.
  • control unit (14) estimates the emotion of the subject based on the ratio of detected microexpressions, and determines the stress of the subject based on the estimated emotion of the subject. You can decide.
  • control unit (14) classifies the detected micro-expressions by type, and estimates the subject's emotion based on the ratio of the micro-expressions classified by type.
  • an imaging unit (13) images the subject's face
  • a control unit (14) images the subject obtained by imaging the imaging unit (13). Detecting a microexpression appearing on the face of the subject from the image of the face of the subject, and the control unit (14) determines the stress of the subject based on the ratio of the detected microexpression .
  • a program provides a computer with a procedure for imaging a subject's face, and from the image of the subject's face obtained by the imaging, detects a microexpression that appears on the subject's face.
  • a procedure and a procedure for determining stress of the subject based on the detected ratio of micro-expressions are executed.
  • the present invention it is possible to provide a stress determination device, a stress determination method, and a program capable of accurately determining stress.
  • the stress determination device determines the subject's stress (the degree of stress) from the microexpressions that appear on the subject's face, and is composed of, for example, a general-purpose smartphone, tablet computer, or personal computer.
  • micro-expressions are extremely quick facial movements that appear and disappear for a moment based on suppressed emotions, and can be expressed unconsciously.
  • the length of time for which the micro-expression appears is, for example, one second or less, and is generally about 1/50th of a second. Therefore, microexpressions do not include changes that occur in facial parts due to blinking, convulsions, movement of eyeballs, movements of the entire face, and the like.
  • the micro-expression may include a slight facial movement (a micro-expression) that occurs based on emotion, and the length of time during which the micro-expression appears may be 1 second or longer.
  • the definition of micro-expression is not limited to this, and may change depending on future research on micro-expression.
  • microexpressions There are multiple types of microexpressions, that is, types of emotions expressed as microexpressions, such as “anger”, “disgust”, “fear”, “joy (happiness, happiness)”, “sadness”, and “surprise”.
  • types of emotions expressed as microexpressions such as “anger”, “disgust”, “fear”, “joy (happiness, happiness)”, “sadness”, and “surprise”.
  • the parts of the face that change eyes, eyebrows, lips, cheeks, etc.
  • manner of change change amount, change direction, change time, etc.
  • the micro-expression of 'anger' is a combination of the action of pulling both eyebrows to the center, the action of opening the eyes, the action of pressing the eyelids, the action of closing the lips tightly, and the action of opening the mouth.
  • the "disgust” microexpression is the action of wrinkling the nose.
  • the micro-expression of "fear” is a combination of raising both eyebrows, pulling both eyebrows to the center, widening the eyes, pressing the eyelids, and pulling the corners of the mouth to the side.
  • the "joy" micro-expression is a combination of a cheek-raising motion, a mouth-raising motion, and a mouth-raising motion.
  • the “sadness” micro-expression is a combination of an action of raising the inside of the eyebrows, an action of drawing both eyebrows to the center, an action of lowering the corners of the mouth, and an action of raising the lower lip.
  • the “surprise” micro-expression is a combination of raising both eyebrows, widening the eyes, and opening the mouth.
  • FIG. 1 is a block diagram showing a configuration example of a stress determination device according to this embodiment.
  • the stress determination device 1 includes a storage unit 11, a touch panel 12, an imaging unit 13, and a control unit 14, which are connected via a bus or the like.
  • the storage unit 11 is composed of, for example, a non-volatile memory such as a general-purpose flash memory.
  • Various application programs are installed in the storage unit 11 .
  • the storage unit 11 is installed with a stress determination application program (hereinafter referred to as "stress determination application") for determining the stress of the subject from the microexpressions on the subject's face.
  • stress determination application a stress determination application program for determining the stress of the subject from the microexpressions on the subject's face.
  • the storage unit 11 stores a guidance table for registering guidance for instructing subjects to express their facial expressions with illustrations. Furthermore, the storage unit 11 stores a guidance pointer that designates guidance to be displayed on the touch panel 12 .
  • FIG. 2 is a diagram showing a configuration example of a guidance table.
  • the guidance table 2 registers 12 pieces of guidance in association with the value of the guidance pointer.
  • the guidance is an image for a total of 5 seconds, instructing the subject to express two different facial expressions for 2 seconds each by illustration, and then instructing the subject to remain expressionless for 1 second.
  • guidance #1-2 first instructs the subject to make a “joy” expression for 2 seconds, then instructs them to make an “angry” expression for 2 seconds, and finally instructs them to make an “anger” expression for 1 second. Instruct it to be a facial expression.
  • the touch panel 12 shown in FIG. 1 is composed of, for example, a general-purpose touch panel that combines a liquid crystal display device and a pointing device.
  • the touch panel 12 displays various screens and accepts various operations by the subject.
  • the subject taps the icon of the stress determination application displayed on the touch panel 12 to activate the stress determination application or to instruct the determination of the subject's stress.
  • the touch panel 12 displays guidance for instructing the subject with an illustration of facial expressions.
  • the imaging unit 13 includes a light receiving element such as a CCD (Charge Coupled Device).
  • the subject takes an image (self-portrait) of his/her own face whose expression changes according to the guidance using the imaging unit 13 .
  • the control unit 14 is composed of, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the CPU uses the RAM as a work memory and appropriately executes various programs stored in the ROM and the storage unit 11 to control various operations of the stress determination device 1 .
  • control unit 14 initializes the value of the guidance pointer to "0" in response to the subject's giving an instruction to determine the stress of the subject in the stress determination application displayed on the touch panel 12 .
  • the control unit 14 reads guidance corresponding to the value of the guidance pointer from the guidance table 2 . For example, when the value of the guidance pointer is "0", the control unit 14 reads guidance #1-2 from the guidance table 2.
  • control unit 14 displays the guidance read out from the guidance table 2 on the touch panel 12, and images the subject's face whose expression changes according to the guidance with the imaging unit 13 to acquire a moving image at a frame rate of 30 to 60. do.
  • the control unit 14 determines whether or not the value of the guidance pointer is the upper limit value of "11". If the value of the guidance pointer is less than "11", the control unit 14 assumes that all the guidance has not been displayed yet, adds 1 to the value of the guidance pointer, and then displays the guidance corresponding to the value of the guidance pointer after addition. is displayed on the touch panel 12, and the moving image of the subject's face is captured again by the imaging unit 13.
  • the control unit 14 assumes that all the guidance is displayed, and detects the micro-expression appearing on the subject's face from the acquired moving image of the subject's face. . Specifically, the control unit 14 detects a micro-expression for each frame image that constitutes the moving image, and measures the period (change period) required for the subject to change the facial expression according to the guidance until the facial expression changes. It is measured from the number of frame images required for
  • the control unit 14 compares with a predetermined reference range for each of the measured three change periods, and determines the slowness of the change speed (change speed) of the subject's facial expression. Specifically, if the change period is longer than the predetermined reference range, the control unit 14 determines that the change speed is "slow", and if it is within the predetermined reference range, determines that the change speed is "normal”. If it is shorter than the range, it is determined as "fast”.
  • the control unit 14 determines that the facial expression of “joy” appears early in the subject, remains late, and then disappears. Therefore, "joy" is detected as the subject's microexpression.
  • control unit 14 classifies the type of micro-expression into one of "Positive”, “Negative”, and “Other” for each detected micro-expression.
  • the control unit 14 classifies the micro-expression type into "Positive".
  • the control unit 14 classifies the micro-expression type as "Negative”.
  • the control unit 14 classifies the micro-expression type into "Other”.
  • the control unit 14 obtains the proportion of each micro-expression classified by type in the moving image of the subject's face. For example, the control unit 14 detects 15 frame images showing a "joy" microexpression classified as "Positive”, and detects 10 frame images showing a microexpression classified as "Negative". The proportion of "joy" micro-expressions that are detected and classified as "Positive” is determined to be 60%, and the proportion of micro-expressions that are classified as "Negative" is determined to be 40%.
  • control unit 14 determines the subject's stress based on the ratio of microexpressions.
  • the control unit 14 from the ratio of the micro-expressions classified as "Positive” excluding the micro-expressions classified as “Other” and the "joy” classified as “Negative", the subject determine the stress of For example, the control unit 14 determines that the subject's stress is “low” when the percentage of "joy” microexpressions classified as “positive” is 81% to 100%. Further, the control unit 14 determines that the subject's stress is “slightly low” when the percentage of "joy” micro-expressions classified as "Positive” is 61% to 80%. Furthermore, the control unit 14 determines the subject's stress as "normal” when the percentage of "joy” micro-expressions classified as "positive” is 40% to 60%.
  • control unit 14 determines that the subject's stress is "slightly high” when the ratio of "joy” microexpressions classified as “Positive” is 20% to 41%. Then, the control unit 14 determines that the subject's stress is "high” when the percentage of "joy” micro-expressions classified as “Positive” is 0% to 19%.
  • the stress determination device 1 After the subject taps the icon of the stress determination application displayed on the touch panel 12 to activate the stress determination application, the stress determination device 1 starts the stress determination process in response to the instruction to determine the stress of the subject. do.
  • FIG. 3 is a flowchart showing the details of the stress determination process.
  • control unit 14 first initializes the value of the guidance pointer to "0" (step S401).
  • control unit 14 reads guidance corresponding to the value of the guidance pointer from the guidance table 2 (step S402).
  • control unit 14 displays the guidance read out in step S402 on the touch panel 12 (step S403), and the imaging unit 13 images the subject's face whose facial expression changes according to the guidance to generate a moving image at a frame rate of 30 to 60 frames.
  • An image is acquired (step S404).
  • control unit 14 determines whether or not the value of the guidance pointer is the upper limit value of "11" (step S405).
  • step S405 If the value of the guidance pointer is less than "11" (step S405; No), the control unit 14 determines that all the guidance has not been displayed yet, and adds 1 to the value of the guidance pointer (step S406). Return to S402.
  • step S405 determines that all the guidance has been displayed, and selects the subject from the moving image of the subject's face acquired in step S404. A micro-expression appearing on the face is detected (step S407).
  • the control unit 14 classifies the type of microexpression into one of "Positive”, “Negative”, and “Other” for each microexpression detected in step S407 (step S408).
  • control unit 14 obtains the ratio of each micro-expression classified by type in the moving image of the subject's face (step S409).
  • control unit 14 determines the subject's stress based on the ratio of the facial expressions (step S410), and then terminates the stress determination process.
  • the stress determination device 1 includes the imaging unit 13 and the control unit 14 .
  • the image capturing unit 13 captures an image of the subject's face whose facial expression changes according to guidance for instructing the subject on the facial expression.
  • the control unit 14 detects a micro-expression appearing on the subject's face from an image (moving image) of the subject's face captured by the imaging unit 13 . Then, the control unit 14 determines the subject's stress based on the ratio of the detected micro-expressions. Specifically, the control unit 14 classifies the detected micro-expressions by type, and determines the subject's stress based on the ratio of the micro-expressions classified by type.
  • control unit 14 has been described as determining the subject's stress based on the ratio of microexpressions.
  • the present invention is not limited to this, and the control unit 14 estimates the emotion of the subject based on the ratio of microexpressions, and determines the stress of the subject from the estimated emotion of the subject. good too.
  • the control unit 14 classifies the type of micro-expression for each detected micro-expression into one of "Positive”, “Negative1”, “Negative2”, and "Other". That is, the control unit 14 further classifies "Negative” in the above embodiment into either "Negative1” or "Negative2".
  • the control unit 14 classifies the micro-expression type as "Negative1". Further, when the detected micro-expression is "sadness”, the control unit 14 classifies the micro-expression type into “Negative2”. Further, when the detected micro-expression is "disgust”, the control unit 14 determines whether the facial expression other than the nose is closer to "anger” or “sadness”, and determines whether the facial expression is closer to "anger” or “sadness”. If there is, the type of microexpression is classified into “Negative1", while if it is closer to "sadness", it is classified into "Negative2".
  • the control unit 14 determines whether the duration is instantaneous or continuous depending on whether the duration is longer than or equal to a predetermined period. If it is less than the predetermined period, it is determined to be instantaneous, and the type of micro-expression is classified as "Other". On the other hand, if the continuation period is longer than the predetermined period, the control unit 14 determines that it is continuous, and determines whether it is closer to "anger” or "sadness" from facial movements other than the nose. Then, the control unit 14 classifies the micro-expression type into “Negative1" if it is closer to "anger”, and classifies it into "Negative2" if it is closer to "sadness".
  • control unit 14 estimates the subject's emotion as one of "neutral”, “happy”, “frustrated”, and “depressed” based on the ratio of microexpressions.
  • control unit 14 when the ratio of the micro-expressions classified into "Positive” and the ratio of the micro-expressions classified into either "Negative1" or “Negative2" are substantially equal, the subject's emotion is assumed to be “neutral”. In addition, when the ratio of micro-expressions classified into “Positive” is higher than the ratio of micro-expressions classified into either "Negative1” or “Negative2", the control unit 14 sets the subject's emotion to "happy".
  • control unit 14 can determine the stress from the subject's emotions.
  • control unit 14 may determine the subject's stress as “low” or “slightly low.” Further, when the subject's emotion is “neutral,” the control unit 14 may determine the subject's stress as “normal.” Then, when the subject's emotion is "irritated” or “depressed,” the control unit 14 may determine the subject's stress as "slightly high” or “high.”
  • the control unit 14 estimates the emotion of the subject based on the ratio of the detected microexpressions, and determines the stress of the subject from the estimated emotion of the subject. Specifically, the control unit 14 classifies the detected micro-expressions by type, estimates the emotion of the subject based on the ratio of the micro-expressions classified by type, and determines the stress of the subject from the estimated emotion of the subject. do. As a result, even in this modified example, it is possible to accurately determine the stress from the subject's true emotions in which a plurality of emotions are intricately intertwined.
  • the control unit 14 classifies the type of micro-expression into one of "Positive”, “Negative”, and “Other” for each detected micro-expression.
  • the present invention is not limited to this, and the control unit 14 does not have to classify the types of micro-expressions.
  • the control unit 14 may determine the subject's stress based on the percentage of "joy" micro-expressions without classifying the types of micro-expressions.
  • control unit 14 classifies the type of micro-expression into one of "Positive”, “Negative1”, “Negative2”, and “Other” for each detected micro-expression. bottom.
  • the present invention is not limited to this, and the control unit 14 does not have to classify the types of micro-expressions.
  • the control unit 14 does not have to classify the types of micro-expressions.
  • the ratio of detected micro-expressions that is, the detection ratio of six kinds of micro-expressions such as "anger”, “disgust”, “fear”, “joy”, “sadness”, and “surprise”
  • the subject's Emotions may be inferred.
  • the control unit 14 of the stress determination device 1 has been described as determining the subject's stress.
  • a predetermined server device server computer
  • the control unit 14 of the stress determination device 1 transmits the moving image of the subject's face captured by the imaging unit 13 to the server device via the network.
  • the server device detects the facial expressions of the subject from the moving image of the subject's face received from the stress determination device 1 via the network, and determines the stress of the subject based on the ratio of the detected facial expressions.
  • the program executed by the CPU of the control unit 14 was described as being stored in advance in the ROM, the storage unit 11, etc., but the present invention is not limited to this, and the above processing may be applied to an existing general-purpose computer to function as the stress determination device 1 according to the above embodiment.
  • the method of providing such a program is arbitrary, and for example, it may be stored in a computer-readable recording medium (flexible disk, CD (Compact Disc)-ROM, DVD (Digital Versatile Disc)-ROM, etc.) and distributed.
  • a computer-readable recording medium flexible disk, CD (Compact Disc)-ROM, DVD (Digital Versatile Disc)-ROM, etc.
  • the program may be stored in storage on a network such as the Internet and provided by downloading it.
  • the above processing is to be shared between the OS (Operating System) and the application program, or by cooperation between the OS and the application program, only the application program may be stored in the recording medium or storage. It is also possible to superimpose a program on a carrier wave and distribute it via a network. For example, the program may be posted on a bulletin board (BBS: Bulletin Board System) on the network and distributed via the network. Then, the above processing may be performed by starting this program and executing it in the same manner as other application programs under the control of the OS.
  • BSS Bulletin Board System

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

ストレスを正確に判定する。　ストレス判定装置（１）は、撮像部（１３）と、制御部（１４）と、を備える。撮像部（１３）は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する。制御部（１４）は、撮像部（１３）で撮像して得られた被験者の顔の画像（動画像）から、被験者の顔に表れる微表情を検出する。そして、制御部（１４）は、検出した微表情の割合に基づいて、被験者のストレスを判定する。また、制御部（１４）は、検出した微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定してもよい。

Description

ストレス判定装置、ストレス判定方法、及びプログラム
　本発明は、ストレス判定装置、ストレス判定方法、及びプログラムに関し、特に、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムに関する。
　人の表情を撮像し、その画像データからストレス度を算出する技術が知られている（例えば特許文献１参照）。なお、本明細書中に特許文献１の明細書、特許請求の範囲、図面全体を参考として取り込むものとする。
特開２００６－３０５２６０号公報
　しかしながら、人間は、表情を作ることができる。また、人間の感情は、一つではなく、様々な感情が複雑に入り組んでいる。このため、単純に表情のみから人間のストレスを正確に判定することはできない。
　本発明は、上記の課題を解決するためになされたものであって、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムを提供することを目的とする。
　上記の目的を達成するため、本発明の第１の観点に係るストレス判定装置（１）は、被験者の顔を撮像する撮像部（１３）と、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の割合に基づいて、該被験者のストレスを判定する制御部（１４）と、を備える。
　上記のストレス判定装置（１）において、前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者のストレスを判定する、ようにしてもよい。
　上記のストレス判定装置（１）において、前記制御部（１４）は、検出した微表情の割合に基づいて、該被験者の感情を推定し、該推定した該被験者の感情から、該被験者のストレスを判定する、ようにしてもよい。
　上記のストレス判定装置（１）において、前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者の感情を推定する、
　本発明の第２の観点に係るストレス判定方法は、撮像部（１３）が、被験者の顔を撮像し、制御部（１４）が、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該制御部（１４）が、該検出した微表情の割合に基づいて、該被験者のストレスを判定する、ことを特徴とする。
　本発明の第３の観点に係るプログラムは、コンピュータに、被験者の顔を撮像する手順と、該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、該検出した微表情の割合に基づいて、該被験者のストレスを判定する手順と、を実行させる。
　本発明によれば、ストレスを正確に判定可能なストレス判定装置、ストレス判定方法、及びプログラムを提供することができる。
本実施形態に係るストレス判定装置の構成例を示すブロック図である。 ガイダンステーブルの構成例を示す図である。 ストレス判定処理の詳細を示すフローチャートである。
　以下、本発明を実施するための最良の形態について説明する。
　まず、本発明の実施形態に係るストレス判定装置の構成について図面を参照しつつ説明する。
　本実施形態に係るストレス判定装置は、被験者の顔に表れる微表情から、被験者のストレス（ストレスの度合）を判定するもので、例えば汎用のスマートフォンや、タブレットコンピュータ、パーソナルコンピュータ等から構成される。
　ここで、「微表情」とは、抑制された感情に基づいて一瞬表れて消える極めて素早い顔の動きであって、無意識に表出され得るものである。微表情が表れる時間長は例えば１秒以下であり、一般的に５０分の１秒程度の時間長である。したがって、瞬き、痙攣、眼球の移動、及び顔全体の動き等に起因して顔の部分に発生する変化は微表情には含まれない。なお、微表情は、感情に基づいて発生する僅かな顔の動き（微細表情）を含んでもよく、微細表情が表れる時間長は１秒以上でもよい。なお、微表情の定義はこの限りではなく、今後の微表情に関する研究によって変わり得る。微表情の種類、つまり微表情として表れる感情の種類には複数の種類があり、例えば「怒り」、「嫌悪」、「恐怖（恐れ）」、「喜び（幸福、幸せ）」、「悲しみ」、及び「驚き」等の種類がある。微表情の種類によって、変化する顔の部位（目、眉、唇、頬等）と変化の仕方（変化量、変化方向、変化時間等）が異なっている。
　例えば、「怒り」の微表情は、両まゆ毛を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、唇を固く閉じる動作と、口を開ける動作と、の組み合わせである。
　「嫌悪」の微表情は、鼻にしわを寄せる動作である。
　「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作と、の組み合わせである。
　「喜び」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作と、の組み合わせである。
　「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作と、の組み合わせである。
　「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作と、の組み合わせである。
　図１は、本実施形態に係るストレス判定装置の構成例を示すブロック図である。
　図１に示すように、ストレス判定装置１は、記憶部１１と、タッチパネル１２と、撮像部１３と、制御部１４と、を備え、これらはバス等を介して接続される。
　記憶部１１は、例えば汎用のフラッシュメモリ等の不揮発性メモリ等から構成される。記憶部１１には、各種アプリケーションプログラムがインストールされている。本実施形態において、記憶部１１には、被験者の顔に表れる微表情から、被験者のストレスを判定するためのストレス判定アプリケーションプログラム（以下、「ストレス判定アプリ」という。）等がインストールされている。
　また、記憶部１１は、被験者に表情をイラストで指示するガイダンスを登録するガイダンステーブルを記憶する。さらに、記憶部１１は、タッチパネル１２に表示するガイダンスを指定するガイダンスポインタを記憶する。
　図２は、ガイダンステーブルの構成例を示す図である。
　図２に示すように、ガイダンステーブル２は、１２個のガイダンスを、ガイダンスポインタの値に対応付けて登録する。本実施形態において、ガイダンスは、被験者に異なる二つの表情を２秒ずつイラストで指示した後、１秒間、無表情とすることを指示する計５秒間の画像である。例えば、ガイダンス＃１－２は、最初、被験者に２秒間「喜び」の表情をすることを指示した後、次に２秒間「怒り」の表情をすることを指示し、最後に１秒間、無表情とすることを指示する。
　図１に示すタッチパネル１２は、例えば液晶表示装置とポインティングデバイスとを組み合わせた汎用のタッチパネル等から構成される。タッチパネル１２は、各種画面を表示するとともに、被験者による各種操作を受け付ける。本実施形態において、被験者は、タッチパネル１２に表示されるストレス判定アプリのアイコンをタップして、ストレス判定アプリを起動したり、被験者のストレスの判定を指示したりする。また、タッチパネル１２には、被験者に表情をイラストで指示するガイダンスが表示される。
　撮像部１３は、例えばＣＣＤ（Charge Coupled Device）等の受光素子を含んで構成される。本実施形態において、被験者は、ガイダンスに従って表情が変化する自身の顔を撮像部１３で撮像（自撮り）する。
　制御部１４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等から構成される。ＣＰＵは、ＲＡＭをワークメモリとして用い、ＲＯＭ及び記憶部１１に記憶されている各種プログラム等を適宜実行することによって、ストレス判定装置１の各種動作を制御する。
　本実施形態において、制御部１４は、被験者がタッチパネル１２に表示されるストレス判定アプリにおいて被験者のストレスの判定を指示したことに応答して、ガイダンスポインタの値を“０”に初期化する。次に、制御部１４は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル２から読み出す。例えば、ガイダンスポインタの値が“０”である場合、制御部１４は、ガイダンス＃１－２をガイダンステーブル２から読み出す。
　そして、制御部１４は、ガイダンステーブル２から読み出したガイダンスをタッチパネル１２に表示するとともに、ガイダンスに従って表情が変化する被験者の顔を撮像部１３で撮像して、３０～６０フレームレートの動画像を取得する。
　続いて、制御部１４は、ガイダンスポインタの値が上限値である“１１”であるか否かを判別する。制御部１４は、ガイダンスポインタの値が“１１”未満であれば、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を１加算した後、加算後のガイダンスポインタの値に対応するガイダンスをタッチパネル１２に表示して、被験者の顔の動画像を撮像部１３で再度撮像する。
　これに対して、制御部１４は、ガイダンスポインタの値が“１１”であれば、全てのガイダンスを表示したとして、取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する。具体的に、制御部１４は、動画像を構成するフレーム画像毎に、微表情を検出するとともに、被験者がガイダンスに従って表情を変化させる際に要した期間（変化期間）を、表情が変化するまでに要したフレーム画像の枚数から、測定する。
　例えば、図２に示すガイダンス＃１－２に従って被験者が表情を「喜び」→「怒り」→「無表情」と変化させる場合、被験者にストレスがなければ、被験者が「喜び」の表情に変化させているときのみならず、「怒り」の表情や「無表情」に変化させているときにも、「喜び」の微表情が出現し、制御部１４は、これを検出する。
　また、図２に示すガイダンス＃１－２に従って被験者が表情を「喜び」→「怒り」→「無表情」と変化させた場合、制御部１４は、被験者が表情を「喜び」に変化させるまでに要した期間と、「怒り」に変化させるまでに要した期間と、「無表情」に変化させるまでに要した期間と、の三つの変化期間を測定する。
　次に、制御部１４は、測定した三つの変化期間毎に、所定の基準範囲と比較して、被験者の表情が変化する速度（変化速度）の遅速を判別する。具体的に、制御部１４は、変化期間が所定の基準範囲よりも長い場合、変化速度が「遅い」と判別し、所定の基準範囲内である場合、「通常」と判別し、所定の基準範囲よりも短い場合、「速い」と判別する。
　ここで、主な被験者は、労働年齢の成人であることから、例えば、職業性ストレス簡易調査票により平均的なストレスレベルと判定される被験者から変化時間の平均値±標準偏差を取得し、これを所定の基準範囲とすればよい。
　そして、制御部１４は、例えば、「喜び」への変化速度が速く、「怒り」への変化速度が遅い場合、被験者に「喜び」の表情が早く出現し、遅くまで残って中々消失していないことから、被験者の微表情として「喜び」を検出する。
　ここで、西欧文化に触れたことのない民族を調査した結果によると、「喜び」、「怒り」、「嫌悪」、及び「悲しみ」の四つの表情については、文化による違いがなく認識される一方、「恐れ」及び「驚き」の二つの表情については、見分けがつかないことがわかっている。そこで、制御部１４は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類する。
　具体的に、制御部１４は、検出した微表情が「喜び」である場合、微表情のタイプを“Positive”に分類する。
　一方、制御部１４は、検出した微表情が「怒り」、「悲しみ」、「嫌悪」、及び「恐怖」のいずれかである場合、微表情のタイプを“Negative”に分類する。
　他方、制御部１４は、検出した微表情が「驚き」である場合、微表情のタイプを“Other”に分類する。
　ここで、人間の感情は、通常一つではなく、複数の感情が複雑に混在しており、それが被験者の顔に微表情として表れる。そこで、制御部１４は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める。例えば、制御部１４は、“Positive”に分類される「喜び」の微表情が写っているフレーム画像を１５個検出し、“Negative”に分類される微表情が写っているフレーム画像を１０個検出し、“Positive”に分類される「喜び」の微表情の割合を６０％と求め、“Negative”に分類される微表情の割合を４０％と求める。
　そして、制御部１４は、微表情の割合に基づいて、被験者のストレスを判定する。
　具体的に、制御部１４は、“Other”に分類される微表情を除いた“Positive”に分類される「喜び」の微表情、及び“Negative”に分類される微表情の割合から、被験者のストレスを判定する。
　例えば、制御部１４は、“Positive”に分類される「喜び」の微表情の割合が８１％～１００％である場合、被験者のストレスを「低い」と判定する。
　また、制御部１４は、“Positive”に分類される「喜び」の微表情の割合が６１％～８０％である場合、被験者のストレスを「やや低い」と判定する。
　さらに、制御部１４は、“Positive”に分類される「喜び」の微表情の割合が４０％～６０％である場合、被験者のストレスを「標準」と判定する。
　また、制御部１４は、“Positive”に分類される「喜び」の微表情の割合が２０％～４１％である場合、被験者のストレスを「やや高い」と判定する。
　そして、制御部１４は、“Positive”に分類される「喜び」の微表情の割合が０％～１９％である場合、被験者のストレスを「高い」と判定する。
　次に、上記構成を備えるストレス判定装置１が実行するストレス判定処理について図面を参照して説明する。
　被験者がタッチパネル１２に表示されるストレス判定アプリのアイコンをタップしてストレス判定アプリを起動した後、被験者のストレスの判定を指示したことに応答して、ストレス判定装置１は、ストレス判定処理を開始する。
　図３は、ストレス判定処理の詳細を示すフローチャートである。
　図３に示すストレス判定処理において、まず、制御部１４は、ガイダンスポインタの値を“０”に初期化する（ステップＳ４０１）。
　次に、制御部１４は、ガイダンスポインタの値に対応するガイダンスをガイダンステーブル２から読み出す（ステップＳ４０２）。
　そして、制御部１４は、ステップＳ４０２で読み出したガイダンスをタッチパネル１２に表示するとともに（ステップＳ４０３）、ガイダンスに従って表情が変化する被験者の顔を撮像部１３で撮像して、３０～６０フレームレートの動画像を取得する（ステップＳ４０４）。
　続いて、制御部１４は、ガイダンスポインタの値が上限値である“１１”であるか否かを判別する（ステップＳ４０５）。
　制御部１４は、ガイダンスポインタの値が“１１”未満であれば（ステップＳ４０５；Ｎｏ）、全てのガイダンスを未だ表示していないとして、ガイダンスポインタの値を１加算した後（ステップＳ４０６）、ステップＳ４０２に戻る。
　これに対して、制御部１４は、ガイダンスポインタの値が“１１”であれば（ステップＳ４０５；Ｙｅｓ）、全てのガイダンスを表示したとして、ステップＳ４０４で取得した被験者の顔の動画像から、被験者の顔に表れる微表情を検出する（ステップＳ４０７）。
　制御部１４は、ステップＳ４０７で検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類する（ステップＳ４０８）。
　続いて、制御部１４は、被験者の顔の動画像における、タイプ別に分類された各微表情の割合を求める（ステップＳ４０９）。
　そして、制御部１４は、微表情の割合に基づいて、被験者のストレスを判定してから（ステップＳ４１０）、ストレス判定処理を終了する。
　以上説明したように、本実施形態に係るストレス判定装置１は、撮像部１３と、制御部１４と、を備える。撮像部１３は、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する。制御部１４は、撮像部１３で撮像して得られた被験者の顔の画像（動画像）から、被験者の顔に表れる微表情を検出する。そして、制御部１４は、検出した微表情の割合に基づいて、被験者のストレスを判定する。具体的に、制御部１４は、検出した微表情をタイプ別に分類し、タイプ別に分類した微表情の割合に基づいて、被験者のストレスを判定する。
　このように、被験者の顔の動画像から検出した微表情の割合に基づいて、被験者のストレスを判定することで、複数の感情が複雑に入り組んだ被験者の真の感情から、ストレスを正確に判定することができる。
　なお、本発明は、上記の実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記の実施形態の変形態様について、説明する。
　上記の実施形態において、制御部１４は、微表情の割合に基づいて、被験者のストレスを判定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部１４は、微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定するようにしてもよい。
　この場合。制御部１４は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類する。すなわち、制御部１４は、上記の実施形態における“Negative”を、さらに“Negative1”及び“Negative2”のいずれかに分類する。
　具体的に、制御部１４は、検出した微表情が「怒り」である場合、微表情のタイプを“Negative1”に分類する。
　また、制御部１４は、検出した微表情が「悲しみ」である場合、微表情のタイプを“Negative2”に分類する。
　さらに、制御部１４は、検出した微表情が「嫌悪」である場合、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別し、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
　また、制御部１４は、検出した微表情が「恐怖」である場合、その継続期間が所定期間以上であるか否かにより、瞬間的であるか継続的であるかを判別し、継続期間が所定期間未満であれば瞬間的であると判別し、微表情のタイプを“Other”に分類する。一方、制御部１４は、継続期間が所定期間以上であれば継続的であると判別し、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別する。そして、制御部１４は、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
　次に、制御部１４は、微表情の割合に基づいて、被験者の感情を、“ニュートラル”、“ハッピー”、“イライラ”、及び“落ち込み”のいずれかに推定する。
　具体的に、制御部１４は、“Positive”に分類される微表情の割合と、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合と、が略等しい場合、被験者の感情を“ニュートラル”であるものと推定する。
　また、制御部１４は、“Positive”に分類される微表情の割合が、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“ハッピー”であるものと推定する。
　さらに、制御部１４は、“Negative1”に分類される微表情の割合が、“Positive”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“イライラ”しているものと推定する。
　そして、制御部１４は、“Negative2”に分類される微表情の割合が、“Positive”及び“Negative1”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“落ち込み”しているものと推定する。
　そして、制御部１４は、被験者の感情から、ストレスを判定すればよい。
　具体的に、制御部１４は、被験者の感情が“ハッピー”である場合、被験者のストレスを「低い」若しくは「やや低い」と判定すればよい。
　また、制御部１４は、被験者の感情が“ニュートラル”である場合、被験者のストレスを「標準」と判定すればよい。
　そして、制御部１４は、被験者の感情が“イライラ”若しくは“落ち込み”である場合、被験者のストレスを「やや高い」若しくは「高い」と判定すればよい。
　このように、制御部１４は、検出した微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定する。具体的に、制御部１４は、検出した微表情をタイプ別に分類し、タイプ別に分類した微表情の割合に基づいて、被験者の感情を推定し、推定した被験者の感情から、被験者のストレスを判定する。これにより、本変形例においても、複数の感情が複雑に入り組んだ被験者の真の感情から、ストレスを正確に判定することができる。
　上記の実施形態において、制御部１４は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative”、及び“Other”のいずれかに分類するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部１４は、微表情のタイプを分類しなくてもよい。この場合、検出した微表情の割合、即ち「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、及び「驚き」といった６種類の微表情の検出割合に基づいて、被験者のストレスを判定してもよい。例えば、制御部１４は、微表情のタイプを分類することなく、「喜び」の微表情の割合に基づいて、被験者のストレスを判定すればよい。　また、上記の変形例において、制御部１４は、検出した微表情毎に、微表情のタイプを“Positive”、“Negative1”、“Negative2”、及び“Other”のいずれかに分類するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、制御部１４は、微表情のタイプを分類しなくてもよい。この場合、検出した微表情の割合、即ち「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、及び「驚き」といった６種類の微表情の検出割合に基づいて、被験者の感情を推定してもよい。
　上記の実施形態において、ストレス判定装置１の制御部１４が被験者のストレスを判定するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、ストレス判定装置１とネットワークを介して接続された所定のサーバ装置（サーバコンピュータ）が被験者のストレスを判定してもよい。この場合、ストレス判定装置１の制御部１４は、撮像部１３で撮像して得られた被験者の顔の動画像をネットワークを介してサーバ装置に送信する。そして、サーバ装置は、ストレス判定装置１からネットワークを介して受信した被験者の顔の動画像から、被験者の顔に表れる微表情を検出し、検出した微表情の割合に基づいて、被験者のストレスを判定すればよい。
　上記の実施形態において、制御部１４のＣＰＵが実行するプログラムは、予めＲＯＭ、並びに記憶部１１等に記憶されるものとして説明したが、本発明はこれに限定されるものではなく、上述の処理を実行させるためのプログラムを、既存の汎用コンピュータに適用することで、上記の実施形態に係るストレス判定装置１として機能させてもよい。
　このようなプログラムの提供方法は任意であり、例えばコンピュータが読取可能な記録媒体（フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等）に格納して配布してもよいし、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより提供してもよい。
　さらに、上記の処理をＯＳ（Operating System）とアプリケーションプログラムとの分担、又はＯＳとアプリケーションプログラムとの協働によって実行する場合には、アプリケーションプログラムのみを記録媒体やストレージに格納してもよい。また、搬送波にプログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）に上記プログラムを掲示し、ネットワークを介してプログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。
　なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明の一実施例を説明するためのものであり、本発明の範囲を限定するものではない。
　１　ストレス判定装置
１１　記憶部
１２　タッチパネル
１３　撮像部
１４　制御部
　２　ガイダンステーブル

Claims (6)

  1. 　被験者の顔を撮像する撮像部（１３）と、
    　前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の割合に基づいて、該被験者のストレスを判定する制御部（１４）と、
    　を備えるストレス判定装置（１）。
  2. 　前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者のストレスを判定する、
    　ことを特徴とする請求項１に記載のストレス判定装置（１）。
  3. 　前記制御部（１４）は、検出した微表情の割合に基づいて、該被験者の感情を推定し、該推定した該被験者の感情から、該被験者のストレスを判定する、
    　ことを特徴とする請求項１に記載のストレス判定装置（１）。
  4. 　前記制御部（１４）は、検出した微表情をタイプ別に分類し、該タイプ別に分類した微表情の割合に基づいて、該被験者の感情を推定する、
    　ことを特徴とする請求項３に記載のストレス判定装置（１）。
  5. 　撮像部（１３）が、被験者の顔を撮像し、
    　制御部（１４）が、前記撮像部（１３）で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、
    　該制御部（１４）が、該検出した微表情の割合に基づいて、該被験者のストレスを判定する、
    　ことを特徴とするストレス判定方法。
  6. 　コンピュータに、
    　被験者の顔を撮像する手順と、
    　該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、
    　該検出した微表情の割合に基づいて、該被験者のストレスを判定する手順と、
    　を実行させるためのプログラム。
PCT/JP2021/027425 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム WO2023002636A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180102049.6A CN117915831A (zh) 2021-07-21 2021-07-21 精神压力判定装置、精神压力判定方法及程序
PCT/JP2021/027425 WO2023002636A1 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム
JP2023522536A JP7323248B2 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/027425 WO2023002636A1 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023002636A1 true WO2023002636A1 (ja) 2023-01-26

Family

ID=84979043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027425 WO2023002636A1 (ja) 2021-07-21 2021-07-21 ストレス判定装置、ストレス判定方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP7323248B2 (ja)
CN (1) CN117915831A (ja)
WO (1) WO2023002636A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
JP2018126209A (ja) * 2017-02-06 2018-08-16 ソフトバンクロボティクス株式会社 制御装置、制御方法及び制御プログラム
CN109830280A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
CN110110574A (zh) * 2018-01-30 2019-08-09 普天信息技术有限公司 心理压力参数的获取方法和标注方法
CN111353354A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
US20200265396A1 (en) * 2019-02-14 2020-08-20 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for modifying customer attention levels at purchase transaction terminals based on expressions
CN111967363A (zh) * 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法
JP2021037795A (ja) * 2019-08-30 2021-03-11 株式会社デンソー 車両制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258204B (zh) * 2012-02-21 2016-12-14 中国科学院心理研究所 一种基于Gabor和EOH特征的自动微表情识别方法
CN109784185A (zh) * 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的客户餐饮评价自动获取方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
JP2018126209A (ja) * 2017-02-06 2018-08-16 ソフトバンクロボティクス株式会社 制御装置、制御方法及び制御プログラム
CN110110574A (zh) * 2018-01-30 2019-08-09 普天信息技术有限公司 心理压力参数的获取方法和标注方法
CN109830280A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 心理辅助分析方法、装置、计算机设备和存储介质
CN111353354A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种人体应激性信息识别方法、装置及电子设备
US20200265396A1 (en) * 2019-02-14 2020-08-20 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for modifying customer attention levels at purchase transaction terminals based on expressions
JP2021037795A (ja) * 2019-08-30 2021-03-11 株式会社デンソー 車両制御装置
CN111967363A (zh) * 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法

Also Published As

Publication number Publication date
JPWO2023002636A1 (ja) 2023-01-26
CN117915831A (zh) 2024-04-19
JP7323248B2 (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
US10517521B2 (en) Mental state mood analysis using heart rate collection based on video imagery
Bilakhia et al. The MAHNOB Mimicry Database: A database of naturalistic human interactions
CN109154860B (zh) 情感/认知状态触发记录
JP2015505087A (ja) 広告効果の感情に基づく評価
US20220383389A1 (en) System and method for generating a product recommendation in a virtual try-on session
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
US20240144306A1 (en) Systems and methods for assessing implicit associations
JP7278972B2 (ja) 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、情報処理方法、及び、プログラム
Lee et al. Predicting mind-wandering with facial videos in online lectures
WO2023002636A1 (ja) ストレス判定装置、ストレス判定方法、及びプログラム
Varela et al. Looking at faces in the wild
US20130052621A1 (en) Mental state analysis of voters
US20200226012A1 (en) File system manipulation using machine learning
WO2022259560A1 (ja) 感情推定装置、感情推定方法、及びプログラム
Arendsen et al. When and how well do people see the onset of gestures?
US20210097629A1 (en) Initiating communication between first and second users
US20220124256A1 (en) Conditional display of object characteristics
JP2020086559A (ja) 感情分析システム
WO2023145350A1 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2022209912A1 (ja) 集中値算出システム、集中値算出方法、プログラム、及び、集中値算出モデル生成システム
Masai Seamless Avatar Expression Transfer: Merging Camera and Smart Eyewear Embedded with Photo-Reflective Sensor Technologies
Nishiyama et al. Design of a cognitive user-support system for skin progress analysis using a smart phone
US11978281B2 (en) Facial expression alterations
US20220407827A1 (en) Information processing system, control method thereof, and non-transitory computer-readable storage medium
WO2023053784A1 (ja) 顔タイプ診断装置、顔タイプ診断方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950986

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2023522536

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180102049.6

Country of ref document: CN