WO2019069910A1 - 情動判定装置、情動判定方法、及びプログラム - Google Patents

情動判定装置、情動判定方法、及びプログラム Download PDF

Info

Publication number
WO2019069910A1
WO2019069910A1 PCT/JP2018/036853 JP2018036853W WO2019069910A1 WO 2019069910 A1 WO2019069910 A1 WO 2019069910A1 JP 2018036853 W JP2018036853 W JP 2018036853W WO 2019069910 A1 WO2019069910 A1 WO 2019069910A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
index
emotion
determination
interval
Prior art date
Application number
PCT/JP2018/036853
Other languages
English (en)
French (fr)
Inventor
恵美 湯田
早野　順一郎
Original Assignee
日本電気株式会社
公立大学法人名古屋市立大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 公立大学法人名古屋市立大学 filed Critical 日本電気株式会社
Publication of WO2019069910A1 publication Critical patent/WO2019069910A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval

Definitions

  • the present invention relates to an emotion determination device, an emotion determination method, and a program.
  • Priority is claimed on Japanese Patent Application No. 2017-193092, filed Oct. 2, 2017, the content of which is incorporated herein by reference.
  • Patent Document 1 images an expression of a subject under test with an imaging device and determines an objective emotion of the subject based on a behavioral response of the subject.
  • the subject in order to image a subject's expression, the subject is required to perform a test in front of an imaging device. In this case, the subject is conscious of being imaged. For this reason, in the conventional technology, it is difficult to obtain a more natural test subject's behavioral response, and it may be difficult to accurately determine the test subject's emotions.
  • the subject's physiological response is less likely to be affected by the subject's consciousness than the behavioral response. Therefore, if the subject's emotion can be determined based on the subject's physiological response, the judgment result of the emotion is The impact on the environment can be reduced.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an emotion determination apparatus, an emotion determination method, and a program for determining an emotion of a subject based on a physiological response of the subject.
  • One aspect of the present invention is an acquisition unit for acquiring at least two indices based on heart beat information indicating a time change of a heart beat interval of a subject as a first index and a second index, and a predetermined index of the first index
  • the criteria and the criteria of the second index are based on the determination criteria in which the criteria of the subject are associated with each other for each type of emotion of the subject, and the first index and the second index of the subject acquired by the acquisition unit.
  • a determination unit that determines emotions of the subject.
  • the first index is an index based on an RR interval of the heart beat interval
  • the second index is based on a low frequency component of the RR interval. It is an index.
  • the first index is an index based on a high frequency component of the RR interval of the heart beat interval
  • the second index is a low frequency of the RR interval. It is a component based indicator.
  • the determination unit is based on the determination criterion and the first index and the second index of the subject acquired in time series by the acquisition unit. Further determine the subject's emotional change over time.
  • the determination unit determines the temporal change of the subject's emotion based further on a change criterion which is a reference of the temporal change of the subject's emotion.
  • the determination unit is based on the determination criterion and the first index and the second index of the subject acquired by the acquisition unit in a predetermined period. The change in period of the subject's emotion in the predetermined period is further determined.
  • the computer acquires at least two indices based on heart beat information indicating a time change of a heart beat interval of a subject as the first index and the second index, and the first predetermined
  • the reference of the index and the reference of the second index are based on the judgment reference in which the reference of the second index and the reference of the second index are associated with each other for each type of emotion of the subject, and the first index and the second index of the acquired subject. It is an emotion determination method which determines a subject's emotion.
  • an acquiring step of acquiring at least two indices based on heart beat information indicating a time change of a subject's heart beat interval as a first index and a second index in a computer is predetermined.
  • the subject's emotion can be determined by the subject's physiological response.
  • FIG. 1 is a diagram showing an outline of an emotion determination system 1 according to a first embodiment.
  • the emotion determination system 1 includes an electrode SC1 and an emotion determination device 10.
  • the electrode SC1 is attached to the skin of a subject whose emotion is to be determined (hereinafter, subject EN).
  • the electrode SC1 is a potential generated on the skin surface of the subject EN and detects an action potential of the heart.
  • the electrode SC1 supplies a signal indicating the detected action potential of the heart (hereinafter referred to as a cardiac potential signal) to the emotion determination device 10.
  • the emotion determination device 10 acquires a cardiac potential signal from the electrode SC1.
  • the emotion determination device 10 acquires a time interval of heart beats of the subject EN (hereinafter referred to as a heart beat interval) based on the acquired cardiac potential signal.
  • the emotion determination device 10 determines the emotion of the subject EN based on the index based on the acquired heartbeat interval.
  • FIG. 2 is a diagram showing an example of the configuration of the emotion determination system 1 according to the first embodiment.
  • the emotion determination device 10 includes a control unit 100 and a storage unit 200.
  • the storage unit 200 is realized by, for example, a hard disk drive (HDD), a flash memory, a random access memory (RAM), a read only memory (ROM), or the like.
  • the determination criterion information D1 is stored in advance.
  • FIG. 3 is a diagram showing an example of Russell's ring model.
  • emotion can be defined by two dimensions centered on an index of arousal level (Arousal) and an index of positive or negative level of emotion (Valence).
  • the emotion determination device 10 uses a heartbeat interval, that is, an average value of RR intervals (hereinafter, an average RR interval) as an index of the arousal level (Arousal).
  • the emotion determination device 10 uses the standard deviation of the amplitude of the low frequency component of the RR interval (hereinafter referred to as LF (Low Frequency) amplitude standard deviation) as an index of the positive degree or negative degree (Valence) of emotion.
  • LF Low Frequency
  • the determination reference information D1 is information in which the reference of the predetermined average RR interval and the reference of the LF amplitude standard deviation are associated with each other for each type of the subject EN.
  • the average RR interval is an example of the first index.
  • the LF amplitude standard deviation is an example of the second index.
  • the heartbeat interval may be an interval from a certain Q wave to the next Q wave other than the RR interval, or may be an interval from a certain QRS wave to the next QRS wave.
  • FIG. 4 is a diagram showing an example of the determination criterion information D1 according to the first embodiment.
  • the emotion determination device 10 determines “joy”, “care”, “surprise” and “sadness”.
  • the determination reference information D1 an average RR interval of about “782 [ms]” and an LF amplitude standard deviation of about “2.14 [ms]” are associated with each other as a reference of “joy”.
  • the average RR interval of about “737 [ms]” and the LF amplitude standard deviation of about “1.04 [ms]” are mutually associated.
  • an average RR interval of about “788 [ms]” and an LF amplitude standard deviation of about “1.37 [ms]” are associated with each other.
  • an average RR interval of about “817 [ms]” and an LF amplitude standard deviation of about “1.94 [ms]” are associated with each other.
  • control unit 100 is realized by execution of a program stored in the storage unit 200 by a processor such as a CPU (Central Processing Unit).
  • the control unit 100 includes, for example, an acquisition unit 110, an index acquisition unit 120, a determination unit 130, and an output unit 140 as its functional units.
  • These functional units may be realized by hardware such as a large scale integration (LSI), an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA) or the like, or realized by cooperation of software and hardware. It may be done.
  • LSI large scale integration
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the acquisition unit 110 acquires a cardiac potential signal of the subject EN from the electrode SC1.
  • the acquisition unit 110 associates the acquired cardiac potential signal with the time when the cardiac potential signal is acquired, and supplies the index acquisition unit 120 constantly or at a predetermined time interval.
  • the index acquisition unit 120 acquires the first index and the second index based on the temporal change of the cardiac potential signal acquired by the acquisition unit 110. For example, each time the index acquisition unit 120 acquires a cardiac potential signal from the acquisition unit 110, the subject EN can obtain a subject EN based on the cardiac potential signal acquired during a predetermined time period before the time when the cardiac potential signal is acquired. Get the RR interval of The predetermined time is, for example, about one minute. Also, the index acquisition unit 120 acquires the average RR interval (that is, the first index) based on the acquired RR interval.
  • FIG. 5 is a diagram showing an example of an averaging of the RR intervals when the subject EN is feeling “joy”.
  • a waveform WRR1 shown in FIG. 5 is an averaged waveform of RR intervals when seven subjects EN respectively feel "joy”.
  • FIG. 6 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “careful”.
  • the waveform WRR2 shown in FIG. 6 is an added average waveform of the RR intervals when the 16 subjects EN each feel "care”.
  • FIG. 7 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “surprise”.
  • FIG. 7 is an added average waveform of the RR intervals when nine subjects EN respectively feel “surprised”.
  • FIG. 8 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “sadness”.
  • a waveform WRR4 shown in FIG. 8 is an averaged waveform of RR intervals when ten subjects EN each feel "sadness”.
  • the index acquisition unit 120 obtains a low frequency component from the RR interval acquired using, for example, the complex demodulation method.
  • the low frequency component of the RR interval is, for example, frequency components from 0.04 [Hz] to 0.15 [Hz] among frequency components included in the RR interval.
  • the index acquisition unit 120 acquires an LF amplitude standard deviation (that is, a second index) which is a standard deviation of the amplitudes of the low frequency components based on the low frequency components included in the acquired RR interval.
  • FIG. 9 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "joy".
  • the waveform WLF1 shown in FIG. 9 is an added average waveform of the amplitudes of the LF components of the RR interval when each of the seven subjects EN feels “joy”.
  • FIG. 10 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "care”.
  • the waveform WLF2 shown in FIG. 10 is an added average waveform of the amplitudes of the LF components of the RR interval when each of the 16 subjects EN feels "worrying".
  • FIG. 9 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "joy”.
  • the waveform WLF1 shown in FIG. 9 is an added average waveform of the amplitudes of the LF components of the RR interval when each of the seven subjects EN feels “joy”.
  • FIG. 11 is a diagram illustrating an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling “surprise”.
  • a waveform WLF3 illustrated in FIG. 11 is an added average waveform of the amplitudes of the LF components of the RR interval when nine subjects EN respectively feel “surprise”.
  • FIG. 12 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "sadness”.
  • a waveform WLF4 shown in FIG. 12 is an added average waveform of the amplitudes of the LF components of the RR interval when ten subjects EN each feel "sadness".
  • the determination unit 130 determines the emotion of the subject EN based on the determination criterion information D1 and the average RR interval and the LF amplitude standard deviation of the subject EN acquired by the index acquisition unit 120. Specifically, the determination unit 130 matches the value of the average RR interval of the subject EN acquired by the index acquisition unit 120 and the value of the LF amplitude standard deviation with the range of each emotion shown in the determination reference information D1. In the case, it is determined that the subject EN feels the emotion.
  • the range of each emotion means that the value of the average RR interval is within “ ⁇ 0.5” and the value of the LF amplitude standard deviation is “ ⁇ 0. 6” from the reference value of each emotion shown in the judgment criterion information D1. The range is within 5 ".
  • the index acquisition unit 120 instructs the subject EN to select each emotion (“joy” in this example) shown in the determination reference information D1. It is determined not to feel "care”, “surprise” and “sadness”).
  • the determination unit 130 supplies the output unit 140 with information indicating the determination result of the determination of the emotion of the subject EN.
  • the output unit 140 outputs information indicating the determination result determined by the determination unit 130.
  • the output unit 140 may transmit, for example, information indicating the determination result to a terminal (not shown) connected to the emotion determination apparatus 10 so as to be able to transmit and receive information, and stores the information indicating the determination result in the storage unit 200. May be output and stored.
  • FIG. 13 is a diagram showing an example of the operation of the emotion determination device 10 according to the first embodiment.
  • the acquisition unit 110 acquires a cardiac potential signal from the electrode SC1 (step S110).
  • the index acquisition unit 120 acquires the first index and the second index based on the time change of the cardiac potential signal acquired by the acquisition unit 110 (step S120).
  • the determination unit 130 determines whether the first index and the second index acquired by the index acquisition unit 120 match the reference of each emotion indicated by the determination reference information D1 (step S130). If the first index and the second index acquired by the index acquisition unit 120 match any of the ranges of emotions indicated by the determination reference information D1 (step S130; YES), the determination unit 130 determines an emotion that the subject EN matches.
  • step S140 It is determined that the user is feeling (step S140). If the first index and the second index acquired by the index acquisition unit 120 do not match any of the ranges of emotions indicated by the determination reference information D1 (step S130; NO), the determination unit 130 determines that the subject EN is the determination reference information D1. It is determined that the emotion shown in is not felt (step S150).
  • FIG. 14 is a diagram showing an example of the determination result of the emotion of the subject EN according to the first embodiment.
  • the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 5 and the LF amplitude standard deviation (point P1 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "joy”. Also, the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 6 and the LF amplitude standard deviation (point P2 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "worried”.
  • the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 7 and the LF amplitude standard deviation (point P3 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "surprised”. Further, the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 8 and the LF amplitude standard deviation (point P4 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "sadness".
  • the emotion determination device 10 uses the first index (in this example, the average RR interval) and at least two indices based on the heart beat information indicating the time change of the heart beat interval of the subject EN.
  • the acquisition unit (in this example, the index acquisition unit 120 in this example) acquired as the second index (in this example, the LF amplitude standard deviation), the reference of the predetermined average RR interval and the reference of the LF amplitude standard deviation
  • the subject EN based on the determination criteria (in this example, the determination criteria information D1) mutually associated for each type of emotion and the average RR interval of the subject EN acquired by the index acquisition unit 120 and the LF amplitude standard deviation
  • a determination unit 130 that determines the emotion of the subject.
  • a behavioral response may not show an emotion appropriately depending on a subject's EN's consciousness.
  • the emotion of the subject EN is not indicated in the expression of the subject EN when the subject EN holds a smile or is conscious of maintaining the expressionlessness.
  • the emotion determination device 10 of the present embodiment determines the emotion of the subject EN based on the heartbeat interval which is a physiological response of the subject EN.
  • the emotion determination device 10 of the present embodiment can determine the emotion of the subject EN more accurately, based on the physiological response of the subject EN.
  • a polygraph is known as a means for determining the emotion of the subject EN based on a physiological response.
  • it has been required in some cases to simultaneously acquire a plurality of physiological responses such as respiration, pulse and blood pressure of the subject EN.
  • the emotion of the subject EN can be determined simply and objectively by acquiring only the heartbeat interval as the physiological response of the subject EN.
  • emotion determination system 2 an emotion determination system of the present embodiment
  • FIG. 15 is a diagram showing an overview of an emotion determination system 2 according to the second embodiment.
  • the emotion determination system 2 includes an electrode SC1 and an emotion determination device 11.
  • the emotion determination device 11 includes a control unit 100 and a storage unit 201.
  • the storage unit 201 stores determination criterion information D1 and change criterion information D2.
  • the change reference information D2 indicates the reference of the time change of the emotion of the subject EN.
  • FIG. 16 is a diagram showing an example of the change reference information D2 according to the second embodiment.
  • a test is performed on the subject EN such that temporal changes in emotion occur in the order of “surprise”, “joy”, “care” and “sadness”.
  • the test includes, for example, viewing of video content, browsing of books and magazines, and appreciation of works of art.
  • the change criterion information D2 indicates that the time change of the emotion of the subject EN acquired in time series by the index acquisition unit 120 occurs in the order of “surprise”, “joy”, “care” and “sadness” .
  • the index acquisition unit 120 of the present embodiment acquires a cardiac potential signal from the acquisition unit 110 at a predetermined timing.
  • the predetermined timing is the timing at which the emotion of the subject EN changes during the period of the test given to the subject EN.
  • the index acquisition unit 120 acquires the electrocardiogram signal at each timing at which a test is performed in which “surprise”, “joy”, “care”, and “sadness” occur.
  • the index acquisition unit 120 acquires the average RR interval and the LF amplitude standard deviation based on the time change of the cardiac potential signal acquired at each timing.
  • the determination unit 130 determines the time change of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation acquired at each timing by the index acquisition unit 120.
  • FIG. 17 is a diagram showing an example of the determination result of the emotion of the subject EN according to the second embodiment.
  • the emotion determination device 11 is based on the average RR interval based on the RR interval shown in FIG. 7 and the LF amplitude standard deviation (point P11 shown in the figure) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "surprised”.
  • the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 5 and the LF amplitude standard deviation (point P12 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "joy".
  • the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 8 and the LF amplitude standard deviation (point P13 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "sadness”.
  • the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 6 and the LF amplitude standard deviation (point P14 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "worried”.
  • the determination unit 130 determines that the temporal change of the emotion of the subject EN changes in the order of “surprise”, “joy”, “sadness” and “care”.
  • the change criterion information D2 indicates that the time change of the emotion of the subject EN acquired in time series by the index acquisition unit 120 occurs in the order of "surprise”, “joy”, “care” and "sadness”. Show. That is, the temporal change in emotion of the subject EN does not match the reference of temporal change in emotion of the subject EN indicated by the change reference information D2. Therefore, the determination unit 130 determines that the time change of the emotion of the subject EN is not appropriate.
  • the determination unit 130 of the emotion determination device 11 of the present embodiment includes the determination criterion information D1, and the first index of the subject EN acquired in time series by the index acquisition unit 120 (in this example, the average RR The emotion of the subject EN further based on the interval) and the second index (in this example, the LF amplitude standard deviation) and the change reference (the change reference information D2 in this example) which is the reference of the temporal change of the test subject's emotion. Determine the time change of
  • the emotion determination device 11 of the present embodiment it is possible to conduct a test on the subject EN that causes a change in emotion, and appropriately determine whether the emotion changes with time. Therefore, according to the emotion determination device 11 of the present embodiment, it is possible to provide information to be used as a reference when diagnosing whether a symptom of dementia is appearing in the subject EN.
  • the creator of the video content may want to cause the subject EN to change a desired emotion according to the created video content.
  • the emotion determination device 11 of the present embodiment it can be objectively determined whether or not a desired emotion time change occurs in the subject EN.
  • the determination unit 130 determines whether the time change of the emotion of the subject EN matches the change reference information D2
  • the present invention is not limited thereto.
  • the determination unit 130 may be configured to determine whether or not some change (temporal change) has occurred in the emotion of the subject EN by a test. In this case, the determination unit 130 determines the time change of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired in time series by the index acquisition unit 120 and the determination reference information D1. Do.
  • the emotion determination device 11 of the present embodiment determines whether or not the subject EN changes with time in the test, and determines whether the subject EN has a symptom of dementia or not. Can provide information that In addition, the emotion determination device 11 of the present embodiment can provide information to be used as a reference when determining whether or not the subject EN can cause a time change of emotion based on video content or the like.
  • the determination unit 130 changes the time of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired in time series by the index acquisition unit 120 and the determination reference information D1.
  • the determination unit 130 may be configured to determine whether or not any emotion is generated in the subject EN during a predetermined period (for example, during a period during which a test is being performed).
  • the determination unit 130 determines the time change of the subject's emotion in the predetermined period based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired by the index acquisition unit 120 in the predetermined period. .
  • the emotion determination device 11 of the present embodiment determines whether or not the subject EN has an emotion by the test, and information to be used as a reference when diagnosing whether a symptom of dementia appears in the subject EN Can be provided.
  • the emotion determination device 11 of the present embodiment can provide information that is used as a reference when determining whether the subject EN can be caused to produce emotion by video content or the like.
  • the emotion determination device 10 may be configured to determine the emotion of the subject EN based on, for example, the shape of the waveform indicating the average RR interval in a predetermined period and the shape of the average LF amplitude waveform in the predetermined period. .
  • the determination reference information D1 is information in which the information indicating the reference waveform of the average RR interval of the subject EN and the information indicating the reference waveform of the average LF amplitude are associated with each other for each type of emotion.
  • the information indicating the reference waveform may be information indicating the value of the reference waveform by a predetermined time interval (resolution), or may be an image indicating the reference waveform.
  • the determination unit 130 determines the waveform shape indicating the average RR interval of the subject EN and the waveform indicating the average LF amplitude, the reference waveform of the average RR interval of a certain emotion and the reference waveform of the average LF amplitude indicated by the determination reference information D1.
  • the predetermined period for acquiring the shape of the waveform of the average RR interval and the shape of the waveform of the average LF amplitude may be a period in which the lengths are different for each type of emotion.
  • the first index is the average RR interval
  • the present invention is not limited to this.
  • the first index may be configured to use an average value of the amplitudes of the high frequency components based on the amplitude of the high frequency components included in the RR interval.
  • the high frequency component of the RR interval is, for example, a frequency component from 0.15 [Hz] to 0.40 [Hz] among frequency components included in the RR interval.
  • the heart beat interval of test subject EN was acquired based on the cardiac electric potential signal acquired by electrode SC1
  • the heartbeat interval may be acquired based on an image obtained by imaging the subject EN, for example.
  • the heartbeat interval of the subject EN may be acquired, and the pulse interval of the subject EN is acquired based on the pulse wave signal. It may be used instead of the interval.
  • index were acquired by the frequency domain (frequency spectrum) of the RR space
  • the first index and the second index may be acquired by analysis of a non-linear region of the RR interval of the subject EN, or may be acquired by analysis of a time domain of the RR interval of the subject EN.
  • each unit included in the emotion determination device 10 or the emotion determination device 11 in each of the above embodiments may be realized by dedicated hardware, and may be realized by a memory and a microprocessor, It is also good.
  • each unit included in the emotion determination device 10 or the emotion determination device 11 is configured by a memory and a CPU (central processing unit), and a program for realizing a function of each component included in the emotion determination device 10 or the emotion determination device 11 is stored.
  • the function may be realized by loading and executing it.
  • a program for realizing the function of each part included in the emotion determination device 10 or the emotion determination device 11 is recorded in a computer readable recording medium, and the program recorded in the recording medium is read into a computer system and executed. You may process by doing.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the "computer system” also includes a homepage providing environment (or display environment) if the WWW system is used.
  • the “computer-readable recording medium” means a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included.
  • the program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.

Abstract

情動判定装置は、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得部と、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定部と、を備える。

Description

情動判定装置、情動判定方法、及びプログラム
　本発明は、情動判定装置、情動判定方法、及びプログラムに関する。
　本願は、２０１７年１０月２日に、日本に出願された特願２０１７－１９３０９２号に基づき優先権を主張し、その内容をここに援用する。
　従来、撮像装置によってテスト中の被験者の表情を撮像し、被験者の行動反応から当該被験者の客観的な情動を判定する技術が開示されている（例えば、特許文献１）。
特開２０１２－１２０２０６号公報
　しかしながら、従来の技術では、被験者の表情を撮像するため、被験者は、撮像装置の前でテストを実施することが求められる。この場合、被験者には、撮像されているという意識が働く。このため、従来の技術では、より自然な被験者の行動反応を取得することが困難であり、正確に被験者の情動を判定することが困難であるおそれがあった。
　ここで、被験者の生理的反応には、行動反応に比べて被験者の意識の影響が表れにくい、したがって、被験者の生理的反応に基づいて、被験者の情動を判定することができれば、情動の判定結果への影響を低減させることができる。
　本発明は、上記問題に鑑みて為されたものであり、被験者の生理的反応に基づいて当該被験者の情動を判定する情動判定装置、情動判定方法、及びプログラムを提供することを目的とする。
　本発明の一態様は、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得部と、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定部と、を備える情動判定装置である。
　また、本発明の一態様の情動判定装置において、前記第１指標とは、前記心拍動間隔のＲＲ間隔に基づく指標であって、前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である。
　また、本発明の一態様の情動判定装置において、前記第１指標とは、前記心拍動間隔のＲＲ間隔の高周波成分に基づく指標であって、前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である。
　また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記被験者の情動の時間変化を更に判定する。
　また、本発明の一態様の情動判定装置において、前記判定部は、前記被験者の情動の時間変化の基準である変化基準に更に基づいて、前記被験者の情動の時間変化を判定する。
　また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記所定の期間における前記被験者の情動の期間変化を更に判定する。
　また、本発明の一態様は、コンピュータが、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得し、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する、情動判定方法である。
　また、本発明の一態様は、コンピュータに、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得ステップと、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定ステップと、を実行させるためのプログラムである。
　本発明によれば、被験者の生理的反応によって当該被験者の情動を判定することができる。
第１実施形態に係る情動判定システムの概要を示す図である。 第１実施形態に係る情動判定システムの構成の一例を示す図である。 ラッセルの円環モデルの一例を示す図である。 第１実施形態に係る判定基準情報の一例を示す図である。 被験者が「喜び」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。 被験者が「心配」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。 被験者が「驚き」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。 被験者が「悲しみ」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。 被験者が「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。 被験者が「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。 被験者が「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。 被験者が「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。 第１実施形態に係る情動判定装置の動作の一例を示す図である。 第１実施形態に係る被験者の情動の判定結果の一例を示す図である。 第２実施形態に係る情動判定システムの概要を示す図である。 第２実施形態に係る変化基準情報の一例を示す図である。 第２実施形態に係る被験者の情動の判定結果の一例を示す図である。
［第１実施形態］
　以下、本発明の第１実施形態について図面を参照しながら説明する。まず、図１を参照して、情動判定システム１の概要について説明する。
＜情動判定システム１の概要＞
　図１は、第１実施形態に係る情動判定システム１の概要を示す図である。情動判定システム１は、電極ＳＣ１と、情動判定装置１０とを備える。電極ＳＣ１は、情動の判定対象の被験者（以下、被験者ＥＮ）の皮膚に貼付される。電極ＳＣ１は、被験者ＥＮの皮膚表面に生じる電位であって、心臓の活動電位を検出する。電極ＳＣ１は、検出した心臓の活動電位を示す信号（以下，心電位信号）を情動判定装置１０に供給する。
　情動判定装置１０は、電極ＳＣ１から心電位信号を取得する。情動判定装置１０は、取得した心電位信号に基づいて被験者ＥＮの心拍の時間間隔（以下、心拍動間隔）を取得する。また、情動判定装置１０は、取得された心拍動間隔に基づく指標によって、被験者ＥＮの情動を判定する。
＜情動判定システム１の構成＞
　図２は、第１実施形態に係る情動判定システム１の構成の一例を示す図である。
　図２に示す通り、情動判定装置１０は、制御部１００と、記憶部２００とを備える。記憶部２００は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）や、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などにより実現される。記憶部２００には、予め判定基準情報Ｄ１が記憶される。
＜判定基準情報Ｄ１について＞
　図３は、ラッセルの円環モデルの一例を示す図である。
　従来、情感は、覚醒度（Ａｒｏｕｓａｌ）の指標と、感情のポジティブ度又はネガティブ度（Ｖａｌｅｎｃｅ）の指標とを軸とする二次元によって定義できる可能性があることが知られている。本実施形態において、情動判定装置１０は、覚醒度（Ａｒｏｕｓａｌ）の指標として、心拍動間隔、つまり、ＲＲ間隔の平均値（以下、平均ＲＲ間隔）を用いる。また、情動判定装置１０は、感情のポジティブ度又はネガティブ度（Ｖａｌｅｎｃｅ）の指標として、ＲＲ間隔の低周波成分の振幅の標準偏差（以下、ＬＦ（Ｌｏｗ　Ｆｒｅｑｕｅｎｃｙ）振幅標準偏差）を用いる。平均ＲＲ間隔及びＬＦ振幅標準偏差の具体的な取得方法については、後述する。本実施形態において、判定基準情報Ｄ１とは、予め定められた平均ＲＲ間隔の基準及びＬＦ振幅標準偏差の基準が、被験者ＥＮの種類毎に互いに対応付けられた情報である。ここで、平均ＲＲ間隔とは、第１指標の一例である。また、ＬＦ振幅標準偏差とは、第２指標の一例である。なお、心拍動間隔は、ＲＲ間隔の他、あるＱ波から次のＱ波までの間隔であってもよく、あるＱＲＳ波から次のＱＲＳ波までの間隔であってもよい。
　図４は、第１実施形態に係る判定基準情報Ｄ１の一例を示す図である。
　図４に示される通り、本実施形態において、情動判定装置１０は、「喜び」、「心配」、「驚き」及び「悲しみ」を判定する。具体的には、
判定基準情報Ｄ１には、「喜び」の基準として、「７８２［ｍｓ］」程度の平均ＲＲ間隔と、「２．１４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１には、「心配」を示す基準として、「７３７［ｍｓ］」程度の平均ＲＲ間隔と、「１．０４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１は、「悲しみ」を示す基準として、「７８８［ｍｓ］」程度の平均ＲＲ間隔と、「１．３７［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１は、「驚き」を示す基準として、「８１７［ｍｓ］」程度の平均ＲＲ間隔と、「１．９４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
＜制御部１００について＞
　図２に戻り、制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサが記憶部２００に記憶されたプログラムを実行することによって実現される。制御部１００は、例えば、取得部１１０と、指標取得部１２０と、判定部１３０と、出力部１４０とをその機能部として備える。これらの機能部は、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
　取得部１１０は、電極ＳＣ１から被験者ＥＮの心電位信号を取得する。本実施形態において、取得部１１０は、取得した心電位信号と、当該心電位信号を取得した時刻とを対応付けて、常時又は所定の時間間隔において指標取得部１２０に供給する。
　指標取得部１２０は、取得部１１０によって取得された心電位信号の時間変化に基づいて、第１指標と、第２指標とを取得する。指標取得部１２０は、例えば、取得部１１０から心電位信号を取得する度に、心電位信号を取得した時刻よりも所定の時間だけ過去の間において取得された心電位信号に基づいて、被験者ＥＮのＲＲ間隔を取得する。所定の時間とは、例えば、１分程度の間である。また、指標取得部１２０は、取得したＲＲ間隔に基づいて、平均ＲＲ間隔（つまり、第１指標）を取得する。
　図５は、被験者ＥＮが「喜び」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図５に示す波形ＷＲＲ１は、７人の被験者ＥＮがそれぞれ「喜び」を感じている場合のＲＲ間隔の加算平均波形である。図６は、被験者ＥＮが「心配」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図６に示す波形ＷＲＲ２は、１６人の被験者ＥＮがそれぞれ「心配」を感じている場合のＲＲ間隔の加算平均波形である。図７は、被験者ＥＮが「驚き」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図７に示す波形ＷＲＲ３は、９人の被験者ＥＮがそれぞれ「驚き」を感じている場合のＲＲ間隔の加算平均波形である。図８は、被験者ＥＮが「悲しみ」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図８に示す波形ＷＲＲ４は、１０人の被験者ＥＮがそれぞれ「悲しみ」を感じている場合のＲＲ間隔の加算平均波形である。
　図２に戻り、指標取得部１２０は、例えば、ｃｏｍｐｌｅｘ　ｄｅｍｏｄｕｌａｔｉｏｎ法を用いて取得したＲＲ間隔から低周波数成分を求める。ここで、ＲＲ間隔の低周波成分とは、例えば、ＲＲ間隔に含まれる周波数成分のうち、０．０４［Ｈｚ］から０．１５［Ｈｚ］までの周波数成分である。指標取得部１２０は、取得したＲＲ間隔に含まれる低周波数成分に基づいて、低周波成分の振幅の標準偏差であるＬＦ振幅標準偏差（つまり、第２指標）を取得する。
　図９は、被験者ＥＮが「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図９に示す波形ＷＬＦ１は、７人の被験者ＥＮがそれぞれ「喜び」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１０は、被験者ＥＮが「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。
図１０に示す波形ＷＬＦ２は、１６人の被験者ＥＮがそれぞれ「心配」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１１は、被験者ＥＮが「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図１１に示す波形ＷＬＦ３は、９人の被験者ＥＮがそれぞれ「驚き」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１２は、被験者ＥＮが「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図１２に示す波形ＷＬＦ４は、１０人の被験者ＥＮがそれぞれ「悲しみ」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。
　図２に戻り、判定部１３０は、判定基準情報Ｄ１と、指標取得部１２０が取得した被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動を判定する。
具体的には、判定部１３０は、指標取得部１２０が取得した被験者ＥＮの平均ＲＲ間隔の値と、ＬＦ振幅標準偏差の値とが、判定基準情報Ｄ１に示される各情動の範囲と合致する場合、被験者ＥＮが当該情動を感じていると判定する。各情動の範囲とは、判定基準情報Ｄ１に示される各情動の基準値から、平均ＲＲ間隔の値が「±０．５」以内であって、かつＬＦ振幅標準偏差の値が「±０．５」以内の範囲である。また、指標取得部１２０は、当該範囲内に被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差が合致しない場合、被験者ＥＮには、判定基準情報Ｄ１に示す各情動（この一例では、「喜び」、「心配」、「驚き」及び「悲しみ」）を感じていないと判定する。判定部１３０は、被験者ＥＮの情動を判定した判定結果を示す情報を出力部１４０に供給する。
　出力部１４０は、判定部１３０が判定した判定結果を示す情報を出力する。出力部１４０は、例えば、情動判定装置１０と情報の送受信が可能に接続された端末（不図示）に対して判定結果を示す情報を送信してもよく、判定結果を示す情報を記憶部２００に出力し記憶させてもよい。
＜情動判定装置１０の動作について＞
　図１３は、第１実施形態に係る情動判定装置１０の動作の一例を示す図である。
　取得部１１０は、電極ＳＣ１から心電位信号を取得する（ステップＳ１１０）。指標取得部１２０は、取得部１１０によって取得された心電位信号の時間変化に基づいて、第１指標と、第２指標とを取得する（ステップＳ１２０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が、判定基準情報Ｄ１が示す各情動の基準と合致するか否かを判定する（ステップＳ１３０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が判定基準情報Ｄ１の示す各情動の範囲のいずれかと合致する場合（ステップＳ１３０；ＹＥＳ）、被験者ＥＮが合致する情動を感じていると判定する（ステップＳ１４０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が判定基準情報Ｄ１の示す各情動の範囲のいずれかと合致しない場合（ステップＳ１３０；ＮＯ）、被験者ＥＮが判定基準情報Ｄ１に示す情動を感じていないと判定する（ステップＳ１５０）。
＜情動判定装置１０による被験者ＥＮの情動の判定結果＞
　図１４は、第１実施形態に係る被験者ＥＮの情動の判定結果の一例を示す図である。
　情動判定装置１０は、図５に示すＲＲ間隔に基づく平均ＲＲ間隔及び図９に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「喜び」を感じていると判定する。また、情動判定装置１０は、図６に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１０に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ２）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「心配」を感じていると判定する。また、情動判定装置１０は、図７に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１１に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ３）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「驚き」を感じていると判定する。また、情動判定装置１０は、図８に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１２に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ４）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「悲しみ」を感じていると判定する。
＜第１実施形態のまとめ＞
　以上説明したように、本実施形態の情動判定装置１０は、被験者ＥＮの心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標（この一例では、平均ＲＲ間隔）及び第２指標（この一例では、ＬＦ振幅標準偏差）として取得する取得部（この一例では、指標取得部１２０）と、予め定められた平均ＲＲ間隔の基準及びＬＦ振幅標準偏差の基準が、被験者ＥＮの情動の種類毎に互いに対応付けられた判定基準（この一例では、判定基準情報Ｄ１）と、指標取得部１２０によって取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動を判定する判定部１３０と、を備える。
　従来、被験者ＥＮの表情の変化等の行動反応に基づいて、当該被験者ＥＮの情動を判定する技術が知られている。行動反応は、被験者ＥＮの意識によっては情動を適切に示さない場合がある。例えば、被験者ＥＮが笑いをこらえたり、無表情を保とうと意識したりすることにより、被験者ＥＮの表情には、当該被験者ＥＮの情動が示されない。
　これに対し、本実施形態の情動判定装置１０は、被験者ＥＮの生理的反応である心拍動間隔によって当該被験者ＥＮの情動を判定する。被験者ＥＮは、一般に、心拍等の生理的反応の変化を意識して抑制することが困難である。したがって、本実施形態の情動判定装置１０は、被験者ＥＮの生理的反応に基づいて、当該被験者ＥＮの情動をより精度高く判定することができる。
　また、従来、被験者ＥＮの情動を生理的反応に基づいて判定する手段として、ポリグラフが知られている。しかしながら、ポリグラフを用いて被験者ＥＮの情動を判定する場合、当該被験者ＥＮの呼吸、脈拍及び血圧等の複数の生理的反応を同時に取得することが求められる場合があった。
　本実施形態の情動判定装置１０によれば、被験者ＥＮの生理的反応として心拍動間隔のみを取得することによって、当該被験者ＥＮの情動を簡便な構成、かつ客観的に判定することができる。
［第２実施形態］
　以下、本発明の第２実施形態について図面を参照しながら説明する。まず、図１５を参照して、本実施形態の情動判定システム（以下、情動判定システム２）の概要について説明する。
＜情動判定システム２の概要＞
　図１５は、第２実施形態に係る情動判定システム２の概要を示す図である。情動判定システム２は、電極ＳＣ１と、情動判定装置１１とを備える。情動判定装置１１は、制御部１００と、記憶部２０１とを備える。記憶部２０１には、判定基準情報Ｄ１と、変化基準情報Ｄ２とが記憶される。変化基準情報Ｄ２とは、被験者ＥＮの情動の時間変化の基準を示す。
＜変化基準情報Ｄ２について＞
　図１６は、第２実施形態に係る変化基準情報Ｄ２の一例を示す図である。
　本実施形態において、被験者ＥＮには、情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じるような試験が行われる。この試験とは、例えば、映像コンテンツの視聴や、書籍や雑誌の閲覧や、芸術作品の鑑賞等である。これに伴い、変化基準情報Ｄ２は、指標取得部１２０によって時系列に取得された被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。
　図１５に戻り、本実施形態の指標取得部１２０は、所定のタイミングにおいて、取得部１１０から心電位信号を取得する。所定のタイミングとは、被験者ＥＮに与えられる試験の期間のうち、被験者ＥＮの情動が変化するタイミングである。この一例では、指標取得部１２０は、「驚き」、「喜び」、「心配」及び「悲しみ」が生じるような試験が行われている各タイミングにおいて心電位信号を取得する。指標取得部１２０は、各タイミングにおいて取得した心電位信号の時間変化に基づいて、平均ＲＲ間隔と及びＬＦ振幅標準偏差を取得する。
　判定部１３０は、指標取得部１２０が各タイミングにおいて取得した平均ＲＲ間隔と及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動の時間変化を判定する。
　図１７は、第２実施形態に係る被験者ＥＮの情動の判定結果の一例を示す図である。
　情動判定装置１１は、図７に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１１に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１１）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「驚き」を感じていると判定する。次に、情動判定装置１１は、図５に示すＲＲ間隔に基づく平均ＲＲ間隔及び図９に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１２）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「喜び」を感じていると判定する。次に、情動判定装置１１は、図８に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１２に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１３）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「悲しみ」を感じていると判定する。次に、情動判定装置１１は、図６に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１０に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１４）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「心配」を感じていると判定する。
　これにより、判定部１３０は、被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「悲しみ」及び「心配」の順に変化していると判定する。上述したように、変化基準情報Ｄ２は、指標取得部１２０によって時系列に取得された被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。つまり、被験者ＥＮの情動の時間変化と、変化基準情報Ｄ２が示す被験者ＥＮの情動の時間変化の基準とは、合致しない。したがって、判定部１３０は、被験者ＥＮの情動の時間変化が適切ではないと判定する。
＜第２実施形態のまとめ＞
　以上説明したように、本実施形態の情動判定装置１１の判定部１３０は、判定基準情報Ｄ１と、指標取得部１２０によって時系列に取得された被験者ＥＮの第１指標（この一例では、平均ＲＲ間隔）及び第２指標（この一例では、ＬＦ振幅標準偏差）と、被験者ＥＮの情動の時間変化の基準である変化基準（この一例では、変化基準情報Ｄ２）に更に基づいて、被験者ＥＮの情動の時間変化を判定する。
　ここで、被験者ＥＮに認知症の症状が現れている場合、被験者ＥＮに対して情動に変化が生じるような試験が行われていても、当該被験者ＥＮの情動に時間変化が生じない場合がある。本実施形態の情動判定装置１１によれば、被験者ＥＮに対して情動に変化が生じるような試験を行い、適切に情動が時間変化しているか否かを判定することができる。したがって、本実施形態の情動判定装置１１によれば、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。
　また、映像コンテンツの作成者等は、作成した映像コンテンツによって所望の情動の変化を被験者ＥＮに生じさせたい場合がある。本実施形態の情動判定装置１１によれば、所望の情動の時間変化が被験者ＥＮに生じているか否かを客観的に判定することができる。
＜被験者ＥＮに何らかの情動の変化が生じているか否かを判定する場合＞
　なお、上述では、判定部１３０が、被験者ＥＮの情動の時間変化が変化基準情報Ｄ２と合致するか否かを判定する場合について説明したが、これに限られない。判定部１３０は、例えば、試験によって、被験者ＥＮの情動に何らかの変化（時間変化）が生じているか否かを判定する構成であってもよい。この場合、判定部１３０は、指標取得部１２０によって時系列に取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差と、判定基準情報Ｄ１とに基づいて、被験者ＥＮの情動の時間変化を判定する。これにより、本実施形態の情動判定装置１１は、試験によって、被験者ＥＮに情動の時間変化が生じているか否かを判定し、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置１１は、映像コンテンツ等によって被験者ＥＮに情動の時間変化を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。
＜被験者ＥＮに何らかの情動の変化が生じているか否かを判定する場合＞
　また、上述では、判定部１３０が、指標取得部１２０によって時系列に取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差と、判定基準情報Ｄ１とに基づいて、被験者ＥＮの情動の時間変化を判定する場合について説明したが、これに限られない。判定部１３０は、例えば、所定の期間中（例えば、試験が行われている期間中）において、被験者ＥＮに何らかの情動が生じているか否かを判定する構成であってもよい。この場合、判定部１３０は、所定の期間において指標取得部１２０によって取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、前記所定の期間における前記被験者の情動の時間変化を判定する。これにより、本実施形態の情動判定装置１１は、試験によって、被験者ＥＮに情動が生じているか否かを判定し、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置１１は、映像コンテンツ等によって被験者ＥＮに情動を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。
＜平均ＲＲ間隔の形状及び平均ＬＦ振幅の形状＞
　なお、上述では、情動判定装置１０が平均ＲＲ間隔の値及びＬＦ振幅標準偏差の値に基づいて、被験者ＥＮの情動を判定する場合について説明したが、これに限られない。情動判定装置１０は、例えば、所定の期間における平均ＲＲ間隔を示す波形の形状及び、所定の期間における平均ＬＦ振幅の波形の形状に基づいて、被験者ＥＮの情動を判定する構成であってもよい。この場合、判定基準情報Ｄ１は、被験者ＥＮの平均ＲＲ間隔の基準波形を示す情報と、平均ＬＦ振幅の基準波形を示す情報とが、情動の種類毎に互いに対応付けられた情報である。基準波形を示す情報とは、当該基準波形の値を所定の時間間隔（分解能）によって示す情報であってもよく、当該基準波形を示す画像であってもよい。
　判定部１３０は、例えば、被験者ＥＮの平均ＲＲ間隔を示す波形の形状及び平均ＬＦ振幅を示す波形が、判定基準情報Ｄ１が示す、ある情動の平均ＲＲ間隔の基準波形及び平均ＬＦ振幅の基準波形と合致、又は相似する波形の形状である場合、被験者ＥＮが当該情動を感じていると判定する。
　なお、平均ＲＲ間隔の波形の形状、平均ＬＦ振幅の波形の形状を取得する所定の期間は、情動の種類毎に長さが異なる期間であってもよい。
　なお、上述では、第１指標が平均ＲＲ間隔である場合について説明したが、これに限られない。第１指標は、例えば、平均ＲＲ間隔に代えて、ＲＲ間隔に含まれる高周波数成分の振幅に基づいて、高周波成分の振幅の平均値を用いる構成であってもよい。ここで、ＲＲ間隔の高周波成分とは、例えば、ＲＲ間隔に含まれる周波数成分のうち、０．１５［Ｈｚ］から０．４０［Ｈｚ］までの周波数成分である。
　また、上述では、電極ＳＣ１によって取得した心電位信号に基づいて、被験者ＥＮの心拍動間隔を取得する場合について説明したが、これに限られない。心拍動間隔は、例えば、被験者ＥＮを撮像した画像に基づいて、当該被験者ＥＮの心拍動間隔が取得されてもよく、脈波信号に基づいて、当該被験者ＥＮの脈拍間隔を取得し、心拍動間隔の代りに用いてもよい。
　また、上述では、被験者ＥＮのＲＲ間隔を周波数領域（周波数スペクトル）によって第１指標及び第２指標を取得する場合について説明したが、これに限られない。第１指標及び第２指標は、被験者ＥＮのＲＲ間隔の非線形領域の解析によって取得されてもよく、被験者ＥＮのＲＲ間隔の時間領域の解析によって取得されてもよい。
　また、上記の各実施形態における情動判定装置１０又は情動判定装置１１が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
　また、情動判定装置１０又は情動判定装置１１が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、情動判定装置１０又は情動判定装置１１が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
　また、情動判定装置１０又は情動判定装置１１が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
１、２…情動判定システム、１０、１１…情動判定装置、１００…制御部、１１０…取得
部、１２０…指標取得部、１３０…判定部、１４０…出力部、２００、２０１…記憶部、
Ｄ１…判定基準情報、Ｄ２…変化基準情報、ＥＮ…被験者

Claims (8)

  1. 　被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得部と、
    　予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定部と、
    　を備える情動判定装置。
  2. 　前記第１指標とは、前記心拍動間隔のＲＲ間隔に基づく指標であって、
    　前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である、
    　請求項１に記載の情動判定装置。
  3. 　前記第１指標とは、前記心拍動間隔のＲＲ間隔の高周波成分に基づく指標であって、
    　前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である、
    　請求項１又は請求項２に記載の情動判定装置。
  4. 　前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動の時間変化を更に判定する、
    　請求項１から請求項３のいずれか一項に記載の情動判定装置。
  5. 　前記判定部は、前記被験者の情動の時間変化の基準である変化基準に更に基づいて、前記被験者の情動の時間変化を判定する、
    　請求項４に記載の情動判定装置。
  6. 　前記判定部は、
    　前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記所定の期間における前記被験者の情動の時間変化を更に判定する、
    　請求項１から請求項４のいずれか一項に記載の情動判定装置。
  7. 　コンピュータが、
    　被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得し、
    　予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する、
    　情動判定方法。
  8. 　コンピュータに、
    　被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得ステップと、
    　予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定ステップと、
    　を実行させるためのプログラム。
PCT/JP2018/036853 2017-10-02 2018-10-02 情動判定装置、情動判定方法、及びプログラム WO2019069910A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-193092 2017-10-02
JP2017193092A JP7058383B2 (ja) 2017-10-02 2017-10-02 情動判定装置、情動判定方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019069910A1 true WO2019069910A1 (ja) 2019-04-11

Family

ID=65994878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036853 WO2019069910A1 (ja) 2017-10-02 2018-10-02 情動判定装置、情動判定方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7058383B2 (ja)
WO (1) WO2019069910A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272888B1 (en) 2021-06-22 2022-03-15 Nft Ip Holdings Llc Devices and systems that measure, quantify, compare, package, and capture human content in databases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128579A (ja) * 2013-12-05 2015-07-16 Ｐｓｔ株式会社 推定装置、プログラム、推定装置の作動方法および推定システム
WO2016108754A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Method and apparatus for deriving a mental state of a subject
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128579A (ja) * 2013-12-05 2015-07-16 Ｐｓｔ株式会社 推定装置、プログラム、推定装置の作動方法および推定システム
WO2016108754A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Method and apparatus for deriving a mental state of a subject
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017121286A (ja) * 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHI, HONGYU ET AL.: "Differences of Heart Rate Variability Between Happiness and Sadness Emotion States: A Pilot Study", J. MED. BIOL. ENG., vol. 37, no. 4, August 2017 (2017-08-01), pages 527 - 539, XP055590659 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272888B1 (en) 2021-06-22 2022-03-15 Nft Ip Holdings Llc Devices and systems that measure, quantify, compare, package, and capture human content in databases
US11382570B1 (en) 2021-06-22 2022-07-12 Nft Ip Holdings Llc Encrypted securitized databases for devices and systems that measure, quantify, compare, package, and capture data

Also Published As

Publication number Publication date
JP7058383B2 (ja) 2022-04-22
JP2019063324A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
Giannakakis et al. Review on psychological stress detection using biosignals
Hogervorst et al. Combining and comparing EEG, peripheral physiology and eye-related measures for the assessment of mental workload
Katsigiannis et al. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices
Blascovich et al. Social psychophysiology for social and personality psychology
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
Gürkök et al. Brain–computer interfaces for multimodal interaction: a survey and principles
Strait et al. Too much humanness for human-robot interaction: exposure to highly humanlike robots elicits aversive responding in observers
US10325066B2 (en) System for mental health clinical application
KR20170032179A (ko) 심리생리학적 모델을 이용한 피험자의 심리 상태 표현
Valenza et al. Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification
KR20200071647A (ko) 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법
Javorka et al. Role of respiration in the cardiovascular response to orthostatic and mental stress
KR20170130207A (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Stevanovic et al. Physiological responses to affiliation during conversation: Comparing neurotypical males and males with Asperger syndrome
van den Broek et al. Unobtrusive sensing of emotions (USE)
da Silveira et al. Ongoing challenges of evaluating mulsemedia QoE
WO2019069910A1 (ja) 情動判定装置、情動判定方法、及びプログラム
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
Harrison et al. EEG and fMRI agree: Mental arithmetic is the easiest form of imagery to detect
US10799139B2 (en) Method and system for EEG signal processing
Liu et al. Disordered high-frequency oscillation in face processing in schizophrenia patients
Hwang et al. Classification of motion sickness levels using multimodal biosignals in real driving conditions
Shugaba et al. Surgical stress: the muscle and cognitive demands of robotic and laparoscopic surgery
JP2016067480A (ja) 生体情報検出装置
Lee et al. The virtual pole: Exploring human responses to fear of heights in immersive virtual environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18863998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18863998

Country of ref document: EP

Kind code of ref document: A1