WO2016143759A1 - 感情推定装置及び感情推定方法 - Google Patents
感情推定装置及び感情推定方法 Download PDFInfo
- Publication number
- WO2016143759A1 WO2016143759A1 PCT/JP2016/057041 JP2016057041W WO2016143759A1 WO 2016143759 A1 WO2016143759 A1 WO 2016143759A1 JP 2016057041 W JP2016057041 W JP 2016057041W WO 2016143759 A1 WO2016143759 A1 WO 2016143759A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- brain
- emotion
- calculated
- pupil diameter
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
Definitions
- the present invention relates to an emotion estimation apparatus and an emotion estimation method using brain activity measurement, pupil diameter measurement, and facial expression measurement in combination.
- Patent Document 1 an apparatus for evaluating the strength of emotion based on the pupil diameter, which is strongly related to emotion, has been proposed.
- Patent Document 2 an apparatus for estimating emotions by measuring a change in a predetermined part of the face.
- JP 2011-239891 A Japanese Patent No. 5445981
- an index capable of estimating an emotion even when the eyes are closed is extracted from physiological variables that change with the emotion, and a more reliable emotion estimation and a more stable emotion estimation are performed.
- An object of the present invention is to provide an emotion estimation device capable of
- an emotion estimation apparatus is an emotion estimation apparatus that estimates a subject's emotion, and acquires a brain potential signal acquisition unit that acquires the brain potential signal of the subject and a face image of the subject.
- Facial image acquisition means pupil diameter acquisition means for acquiring the pupil diameter of the subject, brightness information acquisition means for acquiring brightness information of the visual recognition target of the subject, the acquired pupil diameter, the acquired Based on the correspondence between the brightness information and the brightness information acquired in advance and the pupil diameter of the subject, the degree of attention representing the pupil diameter from which the influence of the brightness of the visual target is eliminated is calculated and the acquired A facial image feature amount representing the degree of facial expression change is obtained based on the amount of displacement of each position of the predetermined portion of the face image from the position of the predetermined portion at a preset normal time.
- An emotion estimation device comprising: an emotion estimation means for estimating an emotion of a subject.
- the emotion estimation unit estimates the emotion of the subject based on the calculated face image feature amount and brain potential data, and the calculated attention level a predetermined time ago.
- the emotion estimation means is a value obtained by dividing the difference between the calculated degree of attention and the average value of the degree of attention when the subject's eyes are open with the standard deviation of the degree of attention when the eyes are open.
- the pupil diameter score, the difference between the calculated face image feature amount and the average value of the face image feature amount when the subject's eyes are open, divided by the standard deviation of the face image feature amount when the eyes are open A certain facial expression score, and an electroencephalogram score that is a value obtained by dividing the difference between the calculated brain potential data and the average value of the brain potential data of the subject at the time of resting eyes by the standard deviation of the brain potential data at the time of resting eyes, Based on the above, the subject's emotion is estimated.
- the emotion estimation means uses the numerical value generated by linearly combining only the data above or below a predetermined threshold in each of the pupil diameter score, the facial expression score, and the electroencephalogram score. Estimate the subject's emotions.
- the emotion estimation means binarizes the pupil diameter score, the facial expression score, and the electroencephalogram score using respective predetermined threshold values, and the logical product of the respective binarized data Is used to estimate the subject's emotion.
- the brain potential signal acquisition means acquires signals from the brain using sensors attached to three different locations on the subject's head surface.
- a signal in a specific frequency band resulting from the activity in the deep brain is extracted from the brain potential signal acquired by each sensor, and data is extracted from the extracted signal at a sampling period, and 3 extracted for each sensor.
- Based on the phase relationship of two time-series data calculate the correlation value indicating the correlation of the signals acquired in each sensor, and analyze the signal from the deep brain based on the calculated correlation value
- An index value for determining is calculated, and the index value is calculated as brain potential data.
- An emotion estimation method as one aspect of the present invention is a method for estimating a subject's emotion, the step of acquiring a brain potential signal of the subject, the step of acquiring a face image of the subject, and the pupil of the subject
- a step of calculating the degree of attention representing the pupil diameter from which the influence of the brightness of the visual target is eliminated, and the respective positions of the predetermined portions of the acquired face image are set in advance.
- a facial image feature amount representing the degree of facial expression change is extracted and extracted from the acquired brain potential signal Calculating brain potential data based on a signal in a specific frequency band resulting from activity; estimating the subject's emotion based on the calculated attention level, facial image feature amount, and brain potential data; This is an emotion estimation method.
- human emotions can be estimated with higher accuracy in various situations including when the eyes are closed. Can do.
- FIG. 1 is a schematic diagram of an emotion estimation apparatus according to an embodiment of the present invention. It is a schematic diagram of the brain activity measuring device A used in the emotion estimation device according to one embodiment of the present invention. It is a schematic diagram of the brain activity measuring device B used in the emotion estimation device according to one embodiment of the present invention. It is a figure which shows the external appearance schematic diagram of the hat mounting
- FIG. 11 is a diagram of the healthy person in FIG. 10 viewed from above, in which the area where the three signals have the same sign is shown in white, and the area where any one of the three signals is different in black FIG.
- FIG. 11 is a diagram of the healthy person in FIG. 10 viewed from above, in which the area where the three signals have the same sign is shown in white, and the area where any one of the three signals is different in black FIG.
- FIG. 11 is a diagram of the healthy person in FIG. 10 viewed from above, in which the area where the three signals have the same sign is shown in white, and the area where any one of the three signals is different in black FIG.
- FIG. 11 is a diagram of the healthy person in FIG. 10 viewed from above, in which the area where the three signals have the same sign is shown in white, and the area where any one of the three signals is different in black FIG.
- FIG. 11 is a diagram of the healthy person in FIG. 10 viewed from above, in which the area where the three signals have the same sign is shown
- FIG. 12 is a top view of the three-dimensional display of the Alzheimer's disease patient in FIG. 11, where the areas where the three signals have the same sign are shown in white, and the areas where any one of the three signals is different are black FIG.
- FIG. It is a figure which shows the measurement condition by the pupil diameter measuring device (EMR-AT VOXER) used in the emotion estimation apparatus which concerns on one Embodiment of this invention. It is a figure which shows the measurement condition by the pupil diameter measuring device (EMR-9) used in the emotion estimation apparatus which concerns on one Embodiment of this invention.
- FIG. 17 shows a data processing result when viewing a pleasure video in the experiment shown in FIG.
- FIG. 18 is a diagram illustrating a difference between Z scores of two dNAT values (frontal and occipital) when viewing a pleasure video and watching a sadness video in the experiment illustrated in FIG. 17 performed using the emotion estimation apparatus according to the first embodiment. is there.
- It is a data processing block diagram of the emotion estimation apparatus which concerns on Embodiment 2 of this invention.
- FIG. It is a figure which shows the two-dimensional index value display at the time of the sadness moving image viewing performed using the emotion estimation apparatus which concerns on Embodiment 3.
- the emotion estimation device 100 includes a brain activity measurement device 140, an eyeball photographing device (pupil diameter measurement device) 150, a facial expression measurement camera 160, and a computer 110 that is communicably connected thereto. And an input device (for example, a mouse and a keyboard) 120 and an output device (for example, a display) 130 connected to the computer 110.
- the computer 110 includes a processing unit 111, a storage unit 112, and a communication unit 113, and these components are connected by a bus 114 and are connected to the input device 120 and the output device 130 through the bus 114.
- Signals or data obtained from the brain activity measuring device 140, the eyeball photographing device 150, and the facial expression measuring camera 160 are, for example, emotion estimation means (brain potential information processing means) of the computer 110 connected to the bus 114 via an I / O port. , Pupil diameter information processing means, and face image information processing means).
- the processed data can be output to the output device 130.
- the processing unit 111 includes a processor that controls each unit, and performs various processes using the storage unit 112 as a work area.
- the processing means, calculations, etc. can be executed by a program stored in the storage unit 112.
- the pupil diameter measuring device is realized by the eye photographing device 150 and the pupil diameter information processing means
- the facial expression measuring device is realized by the facial expression measuring camera 160 and the face image information processing means.
- the input device 120 allows the user to change setting values and the like.
- Brain activity measuring device As a brain activity measuring device, the device described in Japanese Patent Nos. 4145344 and 5118230 and academic journals (Yuri Watanabe, Yohei Kobayashi, Toshimitsu Takeshi, Yukio Kosugi, Takashi Asada, “A trial of brain function evaluation based on temporal and spatial fluctuations of brain waves”
- the apparatus described in the 6th Clinical Brain Potential Study Group, 2014) for example, a digital electroencephalograph ESAM648 manufactured by the Brain Function Laboratory
- An example of a brain activity measuring device to be used will be described below together with its principle.
- an exemplary brain activity measuring apparatus 200A includes a plurality of electrodes (for example, around 21 electrodes) 201a to 201n, an amplifier 202 that amplifies the brain potential measured by the electrodes 201, It has a multiplexer 203, an analog / digital converter (A / D converter) 204, and a computer 110 including an input (output) interface.
- the plurality of electrodes are composed of, for example, about 21 electrodes, and are mounted on the head to measure brain potential based on brain functional activity.
- the electrode in this case is arranged at a position determined according to the International 10-20 method (International 10-20 standard) or the same, and the electrode is also attached to the right earlobe as a reference potential (not shown). ).
- the brain potential measured by the electrode 201 is supplied to an analog / digital converter (A / D converter) 204 via an amplifier 202 and a multiplexer 203, and the digitized measured brain potential data is sent to a computer 110 via an input interface.
- a / D converter analog / digital converter
- the measured brain potential data may be passed as it is, or it has a specific frequency band (for example, a predetermined frequency band wider than the frequency of the alpha wave) due to the brain activity specified in advance. Only the components may be output after digital filtering.
- brain potential data acquired from any electrode is normalized at a predetermined frequency (for example, the window width to be normalized is set).
- Z power is 4.7 Hz to 18.7 Hz, and the power in the band of 17.2 Hz to 31.3 Hz is normalized using the power as a reference), and the Z score is calculated using the normalized brain potential data.
- an average Z score of T3, T4, and F7 is calculated as an electroencephalogram score. Data processing described later is performed using the data calculated here.
- T3 normalized brain potential data (preferably 10 or more) when the subject's eyes are at rest is acquired, and an average value (Xave) or standard deviation (Xsd) is calculated from the acquired data.
- Xave average value
- Xsd standard deviation
- the Z score calculated here is used as an electroencephalogram score. It should be understood that the number of data necessary for calculating the average value and the like necessary for calculating the Z score may vary depending on the number of data that can be acquired when the eyes are at rest.
- Z score calculation method One example of Z score calculation is described below. Specifically, if the total power in the band for each channel is T i (i is the channel number), (Formula 1) (K and l are power bins of the power spectrum, any value with k ⁇ l), and the power ratio by this total power (Formula 2) Is first calculated. Next, the average between channels was subtracted for each frequency bin as follows, and the following S i, j was defined as a NAT state quantity. (Formula 3) q i ⁇ 0,1 is 1 when the corresponding channel is used and 0 when it is not used, and is 1 in normal 21ch measurement.
- another exemplary brain activity measuring apparatus 200B includes a head-mounted unit 210 having three electrodes 211, and a 3ch amplifier / band filter 220 connected to the three electrodes 211 via a signal cable. And the computer 110 connected to the 3ch amplifier / band filter 220 and a signal cable. Furthermore, the brain activity measuring apparatus 200B further includes a reference electrode 212 for measuring a reference potential.
- the reference electrode 212 is used as a dead electrode, and is preferably a clip electrode for connecting the earlobe.
- the reference electrode 212 is connected to the 3ch amplifier / band filter 220.
- the three electrodes 211 are fixed by a fixing tool 213.
- the fixture 213 is, for example, a boomerang-shaped plastic fixture cut out from a helmet.
- the head mounting part 210 has two electrodes of Fpz (defined as the midpoint between Fp1 and Fp2) and Oz (defined as the midpoint between O1 and O2) in the electrode arrangement of the international 10-20 method as shown in FIG.
- a test subject is mounted
- the subject can be worn so that three electrodes are arranged at positions P3, P4, and Oz on the back of the head.
- the head mounting part 210 can selectively use three electrodes using a helmet-type electrode based on the International 10-20 method.
- the electrode 211 is preferably a porous fiber electrode containing physiological saline, and the upper part of the electrode is composed of a conductive wire connecting metal cylinder.
- the head-mounted part may be a hat-mounted type.
- FIG. 2c shows a schematic diagram of the outer appearance of the cap-mounted electrode
- FIG. 2d shows a schematic diagram of a conductive rubber electrode as a reference electrode.
- the head mounting portion 210 is obtained by attaching three measurement electrodes 211 to a mesh hat.
- the electrode 211 is connected to a shielded cable 215 connected to the preamplifier 214, and a porous conductive rubber containing saline is preferably used.
- the preamplifier 214 has a function of an amplifier of the 3ch amplifier / band filter 220 and is connected to the computer via the band filter.
- the reference electrode 212 is a conductive rubber electrode 216 that is electrically connected to the preamplifier, thereby eliminating the need for an earlobe connection clip electrode.
- a metal film 217 is installed between the circumferential conductive rubber electrode and the cap in order to equalize the potential of the conductive rubber and reduce the contact resistance when the cable from the preamplifier 214 is connected.
- the three electrodes for measurement and the reference electrode have a wireless communication function, and similarly, the brain obtained from the measurement electrodes 211 (three) and the reference electrode 212 to the computer 110 having the wireless communication function.
- a difference between the potential signals can be transmitted wirelessly as three brain potential signals.
- the reference electrode 212 is preferably disposed at the center of the three electrodes 211 for measurement. Also, a total of four potential signals of the three electrodes 211 for measurement and the reference electrode 212 are transmitted to the computer, the difference between the measurement electrode 211 and the reference electrode 212 is calculated in the computer, and three brain potential signals are input. It is good.
- one set of three electrodes is used, but in one embodiment of the present invention, two sets of the three electrodes (frontal and occipital) are used to measure the ⁇ wave band.
- the aforementioned brain activity measuring device B When measuring the ⁇ wave band, the aforementioned brain activity measuring device B is used, which is mainly used for extracting brain potential features associated with fear and sadness.
- a brain potential signal obtained by extracting a ⁇ wave band (2-4 Hz) from the frontal region (F3, F4, Cz) and the occipital region (P3, P4, Oz) is obtained and calculated.
- the Z score of the dNAT value is calculated using the obtained dNAT value.
- the calculated Z score is calculated as an electroencephalogram score. Data processing described later is performed using the data calculated here.
- a method for calculating the Z score of the dNAT value to be measured will be described.
- dNAT values (preferably 10 or more) when the subject's eyes are at rest are acquired, and an average value and standard deviation are calculated from the acquired data. Using this average value and standard deviation, the Z score of the dNAT value to be measured is calculated. Note that one dNAT value is calculated every 10 seconds.
- the measurement principle of the brain activity measurement apparatus B and the dNAT value calculation method will be described.
- the brain activity measuring apparatus 200B can identify Alzheimer type dementia with high probability by measuring brain activity using three electrodes (actually in NL (healthy person) and AD (Alzheimer patient) experiments). And achieves high probability of identification).
- the principle is as follows.
- This measurement device assumes an equivalent dipole power supply in the deep brain.
- the potential distribution measurement for analyzing the dipole potential activity is limited to electrodes arranged at three different locations on the scalp.
- this phase relationship is evaluated based on the fact that there is a strong phase relationship among the potential waveforms observed at these three electrodes.
- the temporal behavior of the equivalent dipole power source assumed in the deep brain is approximately estimated.
- the seismic waves with epicenters on the surface layer vary greatly from observation point to observation point.
- seismometers placed at close distances have almost the same amplitude and phase. This phenomenon is equivalent to the observation of the P wave.
- the potential waveform appearing on the surface based on the activity in the deep brain is almost in phase on the surface at a short distance, so only the data with the same sign of the three potentials is added.
- correlation data can be extracted by using only data with the same code as a calculation target. However, all data can also be the target of calculation.
- a signal having the same sign as the three potentials is selected.
- an earlobe that does not directly reflect cortical activity can be used as the reference potential for determining the sign of the potential.
- the direct current component is blocked by the bandpass filter of the amplifier, the time for each electrode is substantially reduced. The sign from the average is determined.
- how to take a reference potential is not limited to these, A conductive rubber electrode can also be used.
- a difference between a brain potential signal obtained from three electrodes for measurement having a wireless communication function and a brain potential signal obtained from a reference electrode arranged at the center of the three electrodes is used as three brain potential signals. It can also be set as the structure transmitted by radio
- the computer has a band filter function.
- a triple correlation value is calculated.
- the triple correlation value is expressed as ⁇ 1 and ⁇ 2 with respect to the potential signal of one electrode when the low frequency band potential signals from the three electrodes are respectively EVA (t), EVB (t), and EVC (t).
- EVA t
- EVB t
- EVC t
- Use product with time-shifted signal Equation 7 shown below is an example of the triple correlation value St.
- T is a calculation target time of the triple correlation value
- ⁇ t is a data sampling period of each potential signal
- N is a constant for normalization, and is, for example, the number of calculations of a product of three signals.
- An index is calculated by performing a predetermined calculation using the calculated triple correlation value, and identification determination of a dementia patient or the like can be performed using the index.
- the minute current source is assumed in the direction from the south pole to the north pole in the center of the sphere. .
- the potential distribution produced by this current source on the surface of the sphere is + in the northern hemisphere,-in the southern hemisphere, and zero on the equator, as shown in FIG. 4a.
- this current source rotates clockwise in a period T seconds within a plane including points P1 and P2 having different longitudes of 180 degrees on the equator and NP and SP.
- the spherical surface potential distribution at each time point changes every 90 degrees of rotation angle as shown in FIGS. 4b, 4c, and 4d.
- Three electrodes A, B, and C are arranged on the vertices of triangles parallel to the planes P1, NP, P2, and SP on the surface of the sphere.
- the correlation value is calculated by Equation 7, and the calculation result is plotted on the delay parameter space of FIG.
- the time evolution of the potentials of the electrodes A, B, and C is as shown in the graph of FIG. 4e, and each electrode changes with a sine wave having a period T in a relationship of a phase difference 1 / 3T.
- the values of ⁇ 1 and ⁇ 2 with which the signs of these electrodes are the same are 1/3 + k and 2/3 + k (k is an integer), respectively.
- a characteristic having a peak at the period T as shown in the plot is obtained.
- the position where one of the electrodes deviates from the peak by a half cycle does not match the sign of the electrode because one electrode always has the opposite phase to the other two electrodes. For this reason, values are not plotted at positions indicated by white circles.
- the rotation of the equivalent dipole power supply in the deep brain can be observed as a plot on the two-dimensional delay parameter space.
- dNAT Value Calculation Method A triple correlation value calculation method for quantitatively evaluating a decrease in brain function due to dementia will be described below, and a dNAT value calculation method will be described.
- FIG. 7 is a diagram showing processing blocks of the triple correlation evaluation apparatus 700, which is realized by a 3ch amplifier / bandpass filter and a computer. As shown in FIG. 7, a brain potential waveform in a specific frequency band is extracted from the signal amplified by the brain potential amplifier 701 by the BPF 702.
- the process implemented here can be changed in the range which does not deviate from the meaning.
- This normalization process is preferably performed every second, but is not limited thereto.
- the frequency extraction processing by the band pass filter is performed either before or after the normalization processing. Moreover, it is preferable to perform noise processing before the normalization processing. Noise processing, for example, 1) Excluding segments of ⁇ 100 ⁇ V or more 2) Excluding flat potentials (when the potential is constant for 25 msec or more) 3) Excluding cases where a potential within ⁇ 1 ⁇ V continues for 1 second or more, It consists of the process.
- the signs of the three signals are all positive (EVA (t)> 0, EVB (t- ⁇ 1)> 0, EVC (t- ⁇ 2)> 0), or all negative (EVA (t) ⁇ 0, EVB Only the signal of (t ⁇ 1) ⁇ 0 and EVC (t ⁇ 2) ⁇ 0) is processed (S803).
- S804 time lag
- the triple correlation value Si is obtained every second, and the average value of the T triple correlation values is finally set as the triple correlation value, and the time shifts ⁇ 1 and ⁇ 2 are also shifted by ⁇ t seconds within one second and tripled.
- Si is calculated every second up to the total data T seconds (S 1 , S 2 ,..., S T ).
- T (seconds) is preferably 10 (seconds).
- Si is not limited to being calculated every second.
- the possible values of ⁇ 1 and ⁇ 2 are times equal to or less than 1 second equal to an integral multiple of the sampling period, but the maximum value of these values is not limited to 1 second.
- the sampling period is not limited to 0.005 seconds.
- the triple correlation value can also be calculated by Equation 8 without performing the code determination of the three signals.
- FIG. 10 shows a pseudo three-dimensional display of a triple correlation value distribution of a brain potential waveform of a healthy person.
- t In i + 1
- Si ⁇ 1, ⁇ 2 in which EVA (t), EVB (t- ⁇ 1), and EVC (t- ⁇ 2) have the same sign is plotted.
- the triple correlation distribution in the feature space is smooth, and this distribution moves with the transition of the observation time.
- the brain potential waveform observed from an Alzheimer's disease patient is shown in FIG.
- fine peaks are often distributed in a complex manner, but in this case as well, the distribution itself moves as the observation time changes. Comparing the two figures, it can be seen that the large difference in the triple correlation value distribution between the healthy subject and the Alzheimer's disease patient is the smoothness of the distribution.
- an index for quantitatively evaluating a decrease in brain function due to dementia is calculated.
- the tree-like distribution is regularly arranged in the data of the healthy subject within the two delay time parameter spaces, whereas the tree-like distribution is arranged in the data of the Alzheimer's disease patient.
- the irregularity of is large.
- the coordinate axes are rotated so that the tree rows are parallel to the ⁇ 1 and ⁇ 2 axes.
- FIG. 12a is an example of a healthy person, and a three-dimensional display diagram as shown in FIG. 10 is viewed from above.
- a region where three waveforms have the same sign is displayed in white, and one of the three signals is displayed.
- One area with a different code is represented in black.
- the white rectangular areas are spaced apart from the adjacent white rectangular areas in the vertical and horizontal directions.
- the vertical and horizontal directions of the white squares are evenly arranged, or the white squares are disturbed, the normal person (NL) and the Alzheimer's disease patient (AD) Can be separated.
- AD Alzheimer's disease patient
- the above index SD is an example of the dNAT value.
- this index is calculated based on the NL and AD. It has been found that at the intersection, it shows a recognition rate of 68%.
- the triple correlation value of the Alzheimer patient is more fluctuating with respect to ⁇ 1 and ⁇ 2 than the healthy subject.
- the sensitivity specificity curve when discrimination is performed based on this index shows high probability discrimination.
- this index shows a discrimination rate of 65% at the intersection of NL and AD. It turns out.
- pupil diameter measuring instrument As a pupil diameter measuring device, there are a device described in Japanese Patent Application Laid-Open No. 2011-239891 and Japanese Patent No. 5445981, and journals of academic societies (Wataru Kurashima, Koichi Kikuchi, Kazutoshi Ueda, “A new method of emotion evaluation by integrating pupil diameter reaction and facial expression reaction” ”, Image Information, Industrial, Vol. 43, No. 6 (Vol. 807, June 2011) can be used. An example of a pupil diameter measuring device to be used will be described below together with its principle.
- An apparatus for measuring a subject's reaction by observing a shadow image displayed on a video display An apparatus for measuring a subject's reaction by observing a shadow image displayed on a video display.
- a facial expression measuring camera 160 for photographing a face is installed on the video display apparatus to photograph the subject's face.
- the position of the eye is measured by the principle of triangulation by two cameras that track the position of the eye under the display.
- the eye gaze direction and the pupil diameter of the subject are measured with an infrared telephoto lens by infrared irradiation. measure.
- EMR-AT VOXER manufactured by NAC Image Technology, Inc.
- This is a device that measures the eye reaction of the subject by looking at the display screen as shown in FIG. is there.
- a system that can measure the line of sight and pupil diameter without wearing a device on the subject, and tracks the eyes of the face with the left and right cameras 150a to measure the direction and distance of the subject's eyes based on the principle of triangulation.
- the telephoto lens 150b of the camera in the center accurately captures the pupil and measures its diameter.
- the central camera 150c is an infrared camera.
- the pupil diameter measuring device is connected to the computer 110 and the facial expression measuring camera 160, and the acquired data can be stored in the computer 110.
- EMR-9 Portable type
- NAC Image Technology, Inc. This is a head-mounted type as shown in FIG. It is a device that measures where you are looking at by looking at the arrangement of equipment in the room.
- a hat-type head mount device to be worn on the subject's head is equipped with a visual image capturing camera (with a microphone) 150d and a camera 150e for capturing a visual line direction and a pupil diameter, and the visual image, the visual line direction, and the pupil diameter are measured.
- the face is photographed by a facial expression measuring camera 160 (not shown) that photographs the face from the tip of the eaves of the hat.
- the acquired data can be stored in the computer 110 via wireless communication.
- the pupil diameter decreases when viewing bright objects, and the pupil diameter increases when viewing dark objects.
- the pupil diameter measured by the measuring device is a mixture of attention and this light / dark reaction. Therefore, it is necessary to delete the pupil diameter corresponding to the light-dark reaction.
- the pupil diameter and the size of the enlargement / reduction thereof vary greatly depending on the individual.
- Attention level calculation method One example of attention level calculation is described below.
- the attention level measurement (“EMR-AT VOXER") when viewing a display image indoors displays a step-by-step basic luminance screen on the display and measures the effect of the subject's basic luminance on the pupil diameter. Do.
- a basic luminance screen that changes stepwise is displayed on the display, and the pupil diameter at the basic luminance of the subject is measured and registered in advance.
- the pupil diameter when viewing the viewing target may be smaller than the pupil diameter when viewing the registered basic brightness screen.
- the visual target is viewed more bored than when the basic luminance screen is viewed, and the degree of attention (Y) is negative.
- the Z score calculated using this attention level is calculated as the pupil diameter score. Data processing described later is performed using the data calculated here.
- the degree of attention Y indicates “normal” when 0.5> Y ⁇ 0, “slight attention” when 1> Y ⁇ 0.5, and Y ⁇ 1. Is determined to be “pretty attention”, and “Y bored” when Y ⁇ 0.
- the pupil diameter measuring device is a brightness (luminance) measuring device (not shown) that measures the luminance of the visual recognition target. ) Or a brightness (luminance) measuring device (not shown) in another part of the emotion measuring device, and the pupil diameter measuring device can use the acquired luminance data.
- the attention level measurement (“EMR-9”) in the open space, the screen of the wall in a room is changed from black to white in the same way as the attention level measurement when viewing the display image.
- the “basic luminance—pupil diameter” data of the subject is measured, and the attention level (pupil diameter score) is calculated by performing the same processing as described above.
- facial expression measuring instrument As a facial expression measuring instrument, the devices described in Japanese Patent Application Laid-Open No. 2011-239891 and Japanese Patent No. 5445981 (Junichi Kurashima, Koichi Kikuchi "New proposal of emotion evaluation by combining pupil diameter reaction and facial expression reaction” 14th Japan The device described in the Facial Society Conference, O2-02, 2009) can be used.
- the facial expression measuring device is realized by a facial expression measuring camera 160 and a program stored in a storage unit or the like.
- the facial expression measuring camera 160 can be installed as shown in FIG.
- the program for example, “Face Analysis Software FO version” manufactured by Natsume Sogo Research Institute can be used.
- An example of the facial expression measuring device to be used will be described below together with its principle.
- Face image feature amount calculation method One example of the face image feature amount (expression level) is described below.
- the technology that captures human emotions is already familiar with the smile measurement technology called smile shutter.
- FIG. 14 shows a facial expression line drawing model and feature amounts.
- the first factor is a correlative transition structure with the central points (P2, P4, P6) of the eyebrows, upper eyelids, and upper and lower lips in FIG. 2 as the central axis. It is deeply involved.
- the second factor indicates a correlated displacement structure having feature points (P1, P3, P5) that are deeply related to eyebrow and eye tilt (gradient) as a central axis.
- the third factor is related to the inclination of the mouth that becomes the shape of the mouth or the shape of the mouth (P7, P8, P9).
- 2 points inside the eyes that are slightly changed in any expression are added as the base point of the lower center of the eyes and the amount of displacement of each feature point.
- stickers that serve as marks are attached to each part that captures changes in facial expressions, and measurements are taken with a camera. It should be noted that sticking a sticker that becomes a mark on the face in this way is uncomfortable for the subject, but since the user gets used to it over time, the uncomfortable feeling disappears.
- FIG. 16 shows three structural variables, namely, a first canonical variable (curvature, disclosure), a second canonical variable (mouth inclination), and a third canonical variable (eyebrows and eye inclination).
- the coordinates are obtained by creating a three-dimensional space as an axis and setting the positions of all feature points on the normal face as the origin (0, 0, 0).
- the position of the coordinates of the six emotion points shown in FIG. 16 is an example in which the positions of the coordinates of the “typical facial expression” of the six emotions are plotted.
- the minus ( ⁇ ) area of the coordinate is an area when the movement of curvature, disclosure, and inclination is reversed from the normal state.
- emotion category determination based on emotional semantic evaluation is performed.
- a perceived face is represented by a point in the emotional semantic space, it is classified into a specific emotion category. That is, there is a structural transition point of the face at the time of test on or near the line from the origin (0,0,0) of the emotional meaning space to the coordinate position of the typical expression of the six emotions when the subject acts. It is considered a thing. Therefore, the emotion is judged by whether or not the facial structural transition point at the time of the subject's test is on or near the emotion line, and how much emotion is compared with the distance from the origin to the coordinate position of the typical facial expression. It can be determined whether it is a level.
- the first canonical variable is a visual dimension that classifies surprises and fears from other categories.
- a face having a shape in which the eyes and mouth are closed and the shape including those of the eyebrows is linear is determined to be a face of a category different from surprise or fear.
- the second canonical variable inclination of the mouth
- the first canonical variable cannot be categorized clearly, and it is a joy among “joy”, “sadness”, “disgust”, and “anger”.
- the visual dimension is categorized. Among faces with low curvature and disclosure, the more the mouth shape becomes V-shaped, the more the face is judged to be joyful, while the more the face becomes inverted V-shaped. There is a tendency to judge it as a face of anger, disgust, and sadness.
- the third canonical variable (inclination of eyebrows and mouth) is a dimension for classifying anger, disgust, and sadness that are similar on the first canonical variable and the second canonical variable.
- expression score can be calculated by the face image feature amounts .SIGMA.A i P i based on the amount of displacement from the position of the normal state of each feature point in FIG. 15.
- i is the index of the expression part of each feature point
- P is the amount of displacement from the base point of each feature point
- A is the weighting coefficient.
- the weighting coefficient A is set in consideration of the above-mentioned emotional meaning space and the maximum displacement amount from the normal position of each feature point.
- the analysis algorithm is the method of Prof. Yamada from Nihon University (Yamada Hiroshi “Explanatory Model for Perceptual Judgment Process of Facial Expression” Japanese Psychological Review, Vol.43, No.2, 2000).
- the Z score calculated using the basic six emotion data (facial expression (emotional) level, facial image feature amount) is calculated as the facial expression score.
- data processing described later is performed.
- the subject looks at the video content presented on the 20-inch liquid crystal screen installed in front of the sitting position with a spacing of about 70 cm, and listens to the sound from the speaker installed on the side of the screen. Measurements were made on the configuration.
- NAT Neuronal Activity Topography
- Toshimitsu Musha, Haruyasu Matsuzaki, Yohei Kobayashi, Yoshiwo Okamoto, Mieko Tanaka
- Takashi Asada EEG Markers for Characterizing Anomalous Activities of Cerebral Neurons in NAT (Neuronal Activity Topography) Method, IEEE Trans Biomed Eng., Vol.60, no.8, pp.2332-22013. Used extended.
- an electroencephalogram score calculated using the above-described brain activity measuring apparatus A was used.
- the window width for normalizing the electroencephalogram was set to 4.7 Hz to 18.7 Hz, and the power in the band of 17.2 Hz to 31.3 Hz was normalized based on the power.
- the power in the band of 17.2 Hz to 31.3 Hz was normalized based on the power.
- the NAT state is calculated for each segment length of 0.64 seconds and time increments of 1/30 seconds. It was calculated and used as the NAT control (average value for calculating Z score, standard deviation) of the individual's resting eyes. Similarly, when viewing each video content, the NAT state was calculated with a segment length of 0.64 seconds and a time increment of 1/30 seconds, and converted to a Z score map using the control described above. This standardization makes it easier to understand the statistical characteristics of the NAT state at that moment compared to the resting open eye state.
- FIG. 19 shows the time average of each person's Z score map when viewing a relaxed image, excluding the blinking portion.
- FIG. 20 shows the time average of each person's Z score map when viewing a pleasure video.
- the characteristics of each person's map are not so many when viewing the relaxed image of FIG. 19, but when viewing the pleasure video of FIG. 20, each person's map reads the characteristics common to the left and right T3 and T4. Can do.
- the average of 10 persons is compared for each electrode, it becomes as shown in FIG. 21, and significant differences were confirmed at T3, T4, F7, and the like.
- the pupil diameter score peaked about 1.5 seconds earlier as seen from the reference point (time shift 0) of the electroencephalogram score. It can also be seen that the facial expression score has a high correlation over ⁇ about 5 seconds. Therefore, with regard to the pupil diameter score, after performing a delay operation of about 1.5 seconds and integrating it with the electroencephalogram score obtained from the electroencephalogram ⁇ wave, more accurate facial expression estimation becomes possible. Even when the eyes cannot be measured, a score similar to the pupil diameter score may be obtained only from the electroencephalogram ⁇ wave component.
- the same sign component is extracted with three electrodes arranged in a regular triangle shape on the scalp, and the triple correlation is not detected.
- Deep brain activity was analyzed by a brain potential analysis method for evaluating regularity (the aforementioned dNAT method). In general, it is said that in the ⁇ wave band, brain activity in the frontal region is activated rather than the occipital region in fear.
- the average value of the difference between the dNAT values of the frontal head and the back of the head increases with the passage of time in the second half.
- the average value was calculated in the temporal development result of the attention degree (pupil diameter change)
- the attention degree value was high in the latter half of the content, as in the dNAT value, and this average attention degree was high in the second half. (See FIG. 25).
- FIG. 27 shows a data processing block diagram of the emotion estimation apparatus according to one embodiment of the present invention.
- data is acquired from each measurement (S2701, S2711, S2721), and an electroencephalogram score (Z score average of T3, T4, F7 or Z score of dNAT values of frontal and occipital)
- an electroencephalogram score Z score average of T3, T4, F7 or Z score of dNAT values of frontal and occipital
- pupil diameter data attention level
- face image feature amount data emotion level and emotion level of basic 6 emotions
- threshold processing is performed on the calculated data with the threshold ⁇ e (S2703).
- the threshold process is a process that uses, for example, only a value equal to or greater than each threshold ⁇ e as data.
- the electroencephalogram score of the brain potential data subjected to the threshold processing is weighted by the weight setting We (S2724).
- the pupil diameter data is first subjected to probability parameter extraction (pupil diameter score calculation) (S2713).
- Data is delayed by setting the delay time before or after the threshold processing (S2714). This is because, as shown in FIG. 23, the pupil diameter data tends to react quickly to the brain potential data, and this time lag is corrected. Subsequently, the weight is set by the weight setting Wp (S2716).
- the facial image feature quantity data is first subjected to probability parameter extraction (expression score calculation) (S2723).
- the probability parameter extraction is performed in the same manner as the pupil diameter data.
- threshold processing is performed on the calculated data with the threshold ⁇ f (S2724).
- weighting is performed by the weight setting Wf (S2725).
- Emotion estimation is performed based on the numerical values obtained from these weighted sums (S2741).
- the calculation based on these weighted sums is merely an example, and each data can be calculated by a predetermined four arithmetic operations.
- the weights other than the electroencephalogram measurement can be set to zero when the eyes are closed.
- Certain parameter extraction can be performed by, for example, linear discrimination by the classical maximum likelihood determination method or function identification method as described in (Masato Goto, Manabu Kobayashi, “Introduction Pattern Recognition and Machine Learning”, Chapter 1, Corona). (L. Breimen, J. H. Friedman, R. A. Olshen, C. J. Stone: Classification and Regression Trees, Wadsworth & Books (1984)) It can also be done by building.
- FIG. 28a is a parameter (electroencephalogram score) extracted from an electroencephalogram
- FIG. 28b is a parameter extracted from an expression (expression facial score)
- FIG. 28c is a temporal transition of a parameter (pupil diameter score) extracted from the pupil diameter.
- the solid line is when watching a sad video.
- FIGS. 29 shows a transition when watching a joy video
- FIG. 30 shows a transition when watching a sad video.
- the brain activity measuring device B is used to measure two dNAT signals that evaluate spatial and temporal fluctuations of the ⁇ wave in the deep frontal region and the ⁇ wave in the deep occipital region. By taking the difference or ratio, the change of the suppression site in the brain becomes obvious and the change of emotion is extracted.
- the frequency range is set to a ⁇ wave band of 2 to 4 Hz.
- FIG. 32 shows the difference in the Z-score value of the dNAT value for the latter half of the content that has a great influence on emotions in story development when viewing joyful video content and sadness content, with the frontal and occipital resting eyes open as controls ( The average value of 10 persons) is shown.
- sad content the Z score is distributed on the positive side, and the effect of suppressing the reward system of the frontal region is well expressed.
- the content of joy is negatively suppressed, that is, the reward-related activities are maintained normally.
- FIG. 33 shows a data processing block diagram of the emotion estimation apparatus according to another embodiment of the present invention.
- data is acquired from each measurement (S2701, S2711, S2721), and an electroencephalogram score (Z score average of T3, T4, F7 or Z score of dNAT values of frontal and occipital)
- an electroencephalogram score Z score average of T3, T4, F7 or Z score of dNAT values of frontal and occipital
- pupil diameter data pupil diameter score, attention level
- face image feature amount data emotion level and emotion level of basic 6 emotions
- probability parameters are extracted from the calculated data (S2713, S2723).
- Threshold processing is performed on each of these data using the respective threshold values ⁇ e, ⁇ p, and ⁇ f (S2707, S2717, S2727).
- this threshold processing for example, binarization is performed using data that is equal to or greater than the threshold values ⁇ e, ⁇ p, and ⁇ f.
- Emotion estimation is performed from the numerical value obtained by the logical product of the binarized data (S2742).
- the logical product is only an example, and in general, it can be replaced with a logical function such as majority logic. Note that the pupil diameter data is delayed by setting the delay time before or after threshold processing in the same manner as in the first embodiment (S2714).
- FIG. 33 shows a joy movie viewing time
- FIG. 35 shows a sadness movie viewing time.
- the logical operation is a product operation
- a more reliable processing result that satisfies the three conditions can be obtained.
- the measurement includes the time when the eye is closed
- the logical output obtained from the pupil diameter may be forcibly set to 1 in the logical product. it can.
- the expression score obtained from the face image By performing such arithmetic processing, even when the subject closes his eyes during the measurement time, an output value can be obtained from information from the electroencephalogram, and seamless measurement becomes possible.
- FIG. 3 A data processing block diagram of the emotion estimation apparatus according to one embodiment of the present invention is shown in FIG. As shown in the figure, first obtain data from each measurement (S2701, S2721), EEG score (Z score average of T3, T4, F7, or Z score of dNAT values of frontal and occipital), and Face image feature data (emotion level and emotion level of basic six emotions) is calculated (S2702, S2722). For the face image feature data, probability parameters are extracted from the calculated data (S2723).
- each subject that changes from moment to moment in coordinates with the abscissa representing facial expression score (eg positive emotion level) and the ordinate representing electroencephalogram score (eg ⁇ wave joy index (T score average of T3, T4, F7)) are plotted as trajectories (S2743).
- FIG. 37a is a two-dimensional index value display when viewing pleasure content
- FIG. 37b is a two-dimensional index value display when viewing sadness content.
- the two-dimensional index value is located within the boundary of the dotted line when viewing the sadness moving image, but is almost outside the boundary when viewing the joyful moving image.
- emotion estimation using only brain waves is performed by combining attention determination based on pupil diameter change using the enlargement of the pupil diameter when a person pays attention and facial expression determination based on facial expression measurement.
- a wider, detailed, and accurate emotion estimation is possible. That is, according to the present invention, many applications such as content evaluation such as television, movie, and advertisement, product evaluation, and marketing evaluation such as store display evaluation are possible.
- DESCRIPTION OF SYMBOLS 100 Emotion estimation apparatus 110 Computer 111 Processing part 112 Storage part 113 Communication part 120 Input apparatus 130 Output apparatus 140, 200 Brain activity measuring apparatus 150 Eyeball imaging apparatus 160 Facial expression measurement camera 201, 211 Electrode 202 Amplifier 203 Multiplexer 204 A / D conversion Device 210 Head mounting part 212 Reference electrode 213 Fixing tool 214 Preamplifier 215 Shielded cable 216 Conductive rubber electrode 217 Metal film 220 3ch amplifier / band filter 601 Electrode EA 602 Electrode EB 603 Electrode EC 700 Triple Correlation Evaluation Device 701 3ch Brain Potential Amplifier 702 3ch Bandpass Filter 703 Triple Correlation Value Calculation Unit 704 Triple Correlation Display Unit 705 Index Value Calculation Unit
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
より信頼性のある感情推定、かつより安定的な感情推定が可能な感情推定装置を提供する。 本発明は、被験者の脳電位信号を取得し、被験者の顔映像を取得し、被験者の瞳孔径を取得し、被験者の視認対象の明るさ情報を取得し、取得された瞳孔径、取得された明るさ情報、及び予め取得された明るさ情報と被験者の瞳孔径との対応関係に基づいて、視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出し、取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出し、取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出し、並びに、算出された注目度、顔画像特徴量、及び脳電位データに基づいて被験者の感情を推定する感情推定装置である。
Description
本発明は、脳活動測定、瞳孔径計測、及び顔表情計測を併用した感情推定装置及び感情推定方法に関する。
コマーシャル用ビデオコンテンツの評価や、ヒトの使い心地の優劣評価が必要なコンシューマ商品開発の現場などでは、時々刻々と変化するヒトの感情をより客観的かつ定量的に評価するシステムの開発が望まれている。
従来、商品評価などの分野では、被験者がどのように感じたかを、アンケートによって調査する方法が一般的であるが、意図的に感情を偽って報告する場合もあり、客観性に欠けるのみならず、継時的なモニタリングが困難であった。これを解決する一つの方法としては、感情との関連が強い瞳孔径による感情の強さを評価する装置が提案されている(特許文献1)。しかし瞳孔計測のみの方法では、感情の強度は測定できても、悲しみで感情が高ぶっているのか、喜びで感情が高まっているのかの区別は困難であった。これに、併せて、顔の所定部位の変化を測定することで、感情を推定する装置も開発されている(特許文献2)。
しかしながら、瞳孔計測や、顔画像の計測に基づいた感情推定方法では、計測の特性上、眼を閉じた状態での感情の状態推定は、事実上困難であった。本発明では、感情に伴って変化する生理学的な変量の中から、眼を閉じた場合でも感情の推定が可能な指標を抽出し、より信頼性のある感情推定、かつより安定的な感情推定が可能な感情推定装置を提供することを目的とする。
上記の課題は以下の特徴を有する本発明によって解決される。すなわち本発明の一態様としての感情推定装置は、被験者の感情を推定する感情推定装置であって、上記被験者の脳電位信号を取得する脳電位信号取得手段と、上記被験者の顔映像を取得する顔映像取得手段と、上記被験者の瞳孔径を取得する瞳孔径取得手段と、上記被験者の視認対象の明るさ情報を取得する明るさ情報取得手段と、上記取得された瞳孔径、上記取得された明るさ情報、及び予め取得された明るさ情報と上記被験者の瞳孔径との対応関係に基づいて、上記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出し、上記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における上記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出し、取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出し、並びに、上記算出された注目度、顔画像特徴量、及び脳電位データに基づいて上記被験者の感情を推定する感情推定手段と、を備える感情推定装置である。
本発明の一態様として、上記感情推定手段は、上記算出された顔画像特徴量及び脳電位データ、並びに所定時間前の上記算出された注目度に基づいて上記被験者の感情を推定する。
本発明の一態様として、上記感情推定手段は、上記算出された注目度と上記被験者の安静開眼時の注目度の平均値との差を当該安静開眼時の注目度の標準偏差で除した値である瞳孔径スコア、上記算出された顔画像特徴量と上記被験者の安静開眼時の顔画像特徴量の平均値との差を当該安静開眼時の顔画像特徴量の標準偏差で除した値である表情スコア、及び上記算出された脳電位データと上記被験者の安静開眼時の脳電位データの平均値との差を当該安静開眼時の脳電位データの標準偏差で除した値である脳波スコア、に基づいて上記被験者の感情を推定する。
本発明の一態様として、上記感情推定手段は、上記瞳孔径スコア、上記表情スコア、及び上記脳波スコアそれぞれにおける所定の閾値以上又は以下のデータのみを線形結合して生成された数値を用いて上記被験者の感情を推定する。
本発明の一態様として、上記感情推定手段は、上記瞳孔径スコア、上記表情スコア、及び上記脳波スコアをそれぞれの所定の閾値を用いて二値化し、二値化されたそれぞれのデータの論理積を用いて上記被験者の感情を推定する。
本発明の一態様として、上記脳電位信号取得手段は、上記被験者の頭部表面の3つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得するものであり、上記感情推定手段は、それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、それぞれのセンサごとに抽出された3つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出する。
本発明の一態様としての感情推定方法は、被験者の感情を推定する方法であって、上記被験者の脳電位信号を取得するステップと、上記被験者の顔映像を取得するステップと、上記被験者の瞳孔径を取得するステップと、上記被験者の視認対象の明るさ情報を取得するステップと、上記取得された瞳孔径、上記取得された明るさ情報、及び予め取得された明るさ情報と上記被験者の瞳孔径との対応関係に基づいて、上記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出するステップと、上記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における上記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出ステップと、取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出するステップと、上記算出された注目度、顔画像特徴量、及び脳電位データに基づいて上記被験者の感情を推定するステップと、を有する感情推定方法である。
本発明によれば、取得された瞳孔径、顔表情、及び脳電位信号のデータを解析することで、眼を閉じた場合を含む様々な状況において、ヒトの感情をより高い精度で推定することができる。
これより図面を参照して、感情推定装置について説明する。装置構成及び原理について説明した後、各実施形態の説明を行う。
[装置概要]
感情推定装置100は、図1に示すように、脳活動測定装置140と、眼球撮影装置(瞳孔径測定器)150と、表情測定用カメラ160と、これらと通信可能に接続されるコンピュータ110と、コンピュータ110に接続される入力装置(例えばマウス、キーボード)120及び出力装置(例えばディスプレイ)130とを含む。コンピュータ110は、処理部111、記憶部112、通信部113を備え、これらの各構成部はバス114によって接続され、またバス114を通して入力装置120及び出力装置130に接続される。脳活動測定装置140、眼球撮影装置150及び表情測定用カメラ160から得られる信号又はデータは、例えばI/Oポートを介してバス114に接続されたコンピュータ110の感情推定手段(脳電位情報処理手段、瞳孔径情報処理手段、及び顔画像情報処理手段)によって処理される。処理されたデータは、出力装置130に出力することができる。処理部111は、各部を制御するプロセッサを備えており、記憶部112をワーク領域として各種処理を行う。上記処理手段、演算等は記憶部112内に格納されたプログラムによって実行することができる。なお、瞳孔径測定器は眼球撮影装置150及び瞳孔径情報処理手段により実現され、表情測定器は表情測定用カメラ160及び顔画像情報処理手段により実現される。入力装置120によりユーザは設定値等を変更することができる。
感情推定装置100は、図1に示すように、脳活動測定装置140と、眼球撮影装置(瞳孔径測定器)150と、表情測定用カメラ160と、これらと通信可能に接続されるコンピュータ110と、コンピュータ110に接続される入力装置(例えばマウス、キーボード)120及び出力装置(例えばディスプレイ)130とを含む。コンピュータ110は、処理部111、記憶部112、通信部113を備え、これらの各構成部はバス114によって接続され、またバス114を通して入力装置120及び出力装置130に接続される。脳活動測定装置140、眼球撮影装置150及び表情測定用カメラ160から得られる信号又はデータは、例えばI/Oポートを介してバス114に接続されたコンピュータ110の感情推定手段(脳電位情報処理手段、瞳孔径情報処理手段、及び顔画像情報処理手段)によって処理される。処理されたデータは、出力装置130に出力することができる。処理部111は、各部を制御するプロセッサを備えており、記憶部112をワーク領域として各種処理を行う。上記処理手段、演算等は記憶部112内に格納されたプログラムによって実行することができる。なお、瞳孔径測定器は眼球撮影装置150及び瞳孔径情報処理手段により実現され、表情測定器は表情測定用カメラ160及び顔画像情報処理手段により実現される。入力装置120によりユーザは設定値等を変更することができる。
[脳活動測定装置]
脳活動測定装置としては、特許4145344号や特許5118230号に記載の装置や学会誌(渡邉ゆり、小林洋平、武者利光、小杉幸夫、朝田隆、「脳波の時空間ゆらぎによる脳機能評価の一試み」第6回臨床脳電位研究会、2014)に記載の装置(例えば脳機能研究所製デジタル脳波計ESAM648)を使用することができる。使用する脳活動測定装置の例示をその原理とともに以下に説明する。
脳活動測定装置としては、特許4145344号や特許5118230号に記載の装置や学会誌(渡邉ゆり、小林洋平、武者利光、小杉幸夫、朝田隆、「脳波の時空間ゆらぎによる脳機能評価の一試み」第6回臨床脳電位研究会、2014)に記載の装置(例えば脳機能研究所製デジタル脳波計ESAM648)を使用することができる。使用する脳活動測定装置の例示をその原理とともに以下に説明する。
[脳活動測定装置A]
1つの例示としての脳活動測定装置200Aは、図2aに示すように、複数の電極(例えば21個前後の電極)201a~201nと、電極201で測定された脳電位を増幅する増幅器202と、マルチプレクサ203と、アナログ/デジタル変換器(A/D変換器)204と、入力(出力)インタフェースを含むコンピュータ110と、を有する。
1つの例示としての脳活動測定装置200Aは、図2aに示すように、複数の電極(例えば21個前後の電極)201a~201nと、電極201で測定された脳電位を増幅する増幅器202と、マルチプレクサ203と、アナログ/デジタル変換器(A/D変換器)204と、入力(出力)インタフェースを含むコンピュータ110と、を有する。
複数の電極は、例えば21個前後の電極からなり、頭部に装着されて脳機能活動に基づく脳電位を測定するが、予めこれらの21個前後の電極を配置したキャップ又はヘルメットを頭部に装着して脳電位を測定するよう構成しても良い。勿論、キャップ又はヘルメット以外の手法であっても、脳機能活動に基づく脳電位を測定できるものであれば良い。なおこの場合の電極は、国際10-20法(International 10-20 standard)又はこれに準じて決められた位置に配置するとともに、基準電位として、例えば右耳朶にも電極を装着する(図示せず)。電極201で測定された脳電位は増幅器202及びマルチプレクサ203を介してアナログ/デジタル変換器(A/D変換器)204に供給され、デジタル化された測定脳電位データは入力インタフェースを介してコンピュータ110に供給されるが、入力インタフェースでは測定脳電位データをそのまま通過させてもよいし、或いは予め指定した脳活動に起因する特定の周波数帯域(例えばアルファ波の周波数より広い所定の周波数帯域)を持つ成分のみをデジタル・フィルタリング処理を行ってから出力しても良い。
本装置を用いた脳波計測及び処理方法が前述した特許公報に掲載されているが、本発明の1つの実施形態においては、β波帯域を測定する際に用いる。
β波帯域の測定をする際は前述した脳活動測定装置200Aを用いるが、これは主に喜びに伴う脳電位特徴量の抽出に用いる。本発明の1つの実施形態においては、任意の電極(本発明において好ましくはT3、T4、F7の3つの電極)より取得した脳電位データを所定の周波数で規格化し(例えば規格化する窓幅を4.7Hz~18.7Hzとし、そのパワーを基準として17.2Hz~31.3Hzの帯域のパワーを規格化)、規格化された脳電位データを用いて、Zスコアを算出する。好ましくは、T3、T4、F7のZスコア平均を脳波スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。
ここでT3(他の電極についても同様)のZスコアの算出方法について記載する。まずT3を測定する前に被験者の安静開眼時のT3の規格化された脳電位データを(好ましくは10個以上)取得し、取得したデータから平均値(Xave)や標準偏差(Xsd)を算出する。この平均値や標準偏差を用いて、測定対象のT3の規格化された脳電位データ(X(t))のZスコアを算出する(Z(t)=(X(t)-Xave)/Xsd)。ここで算出したZスコアを脳波スコアとする。なおZスコア算出に必要な平均値等を算出するのに必要なデータの個数は、安静開眼時に取得できるデータ数によって変わることがあることを理解されたい。
Zスコア算出方法
Zスコア算出の1つの例示を以下に記載する。具体的にはチャンネルごとに帯域内の総パワーをTi (iはチャンネル番号)とすると、
(式1)
として計算され(kとlはパワースペクトルの周波数binでk<lとする任意の値)、この総パワーによるパワーレシオ
(式2)
がまず計算される。次に各周波数binごとに以下のようにチャンネル間の平均を引き、以下のSi,jをNAT状態量として定義した。
(式3)
qi∈0,1は該当するチャンネルを使用する場合は1に使用しない場合は0となり、通常の21ch計測ではすべて1となっている。Si,jは本装置ではリアルタイムに計測されるため、時間をtとするとSi,j (t)表現され、安静時における時間平均と標準偏差を
(式4)
(式5)
として計算しコントロールとする。特定タスク内でのSi,j (t)をZスコアとして統計的に表現する。
(式6)
Zスコア算出の1つの例示を以下に記載する。具体的にはチャンネルごとに帯域内の総パワーをTi (iはチャンネル番号)とすると、
(式1)
として計算され(kとlはパワースペクトルの周波数binでk<lとする任意の値)、この総パワーによるパワーレシオ
(式2)
がまず計算される。次に各周波数binごとに以下のようにチャンネル間の平均を引き、以下のSi,jをNAT状態量として定義した。
(式3)
qi∈0,1は該当するチャンネルを使用する場合は1に使用しない場合は0となり、通常の21ch計測ではすべて1となっている。Si,jは本装置ではリアルタイムに計測されるため、時間をtとするとSi,j (t)表現され、安静時における時間平均と標準偏差を
(式4)
(式5)
として計算しコントロールとする。特定タスク内でのSi,j (t)をZスコアとして統計的に表現する。
(式6)
[脳活動測定装置B]
他の例示としての脳活動測定装置200Bは、図2bに示すように、3つの電極211を有する頭部装着部210と、当該3つの電極211と信号ケーブルで接続された3ch増幅器・帯域フィルタ220と、当該3ch増幅器・帯域フィルタ220と信号ケーブルで接続されたコンピュータ110と、を有する。さらに脳活動測定装置200Bは、基準電位測定用の基準電極212をさらに有する。基準電極212は不感電極として使用され、好ましくは耳朶接続用クリップ電極である。基準電極212は、3ch増幅器・帯域フィルタ220に接続される。頭部装着部210は、固定具213によって3つの電極211が固定される。固定具213は、例えばヘルメットから切り出したブーメラン状プラスティック製の固定具である。また頭部装着部210は、図3に示すような国際10-20法の電極配置にFpz(Fp1、Fp2の中間点として定義)、Oz(O1、O2の中間点として定義)の2電極を追加した電極のうちの3つの電極位置に各電極が配置されるように、被験者へ装着する。例えば図3に示すように、後頭部のP3、P4、Ozの位置に3つの電極が配置されるように被験者へ装着することができる。あるいは頭部装着部210は、国際10-20法に基づくヘルメット型電極を用いて、選択的に3つの電極を使用することもできる。電極211は、好ましくは生理食塩水を含んだ多孔質ファイバー電極であり、電極上部は導線接続用金属円筒で構成される。
他の例示としての脳活動測定装置200Bは、図2bに示すように、3つの電極211を有する頭部装着部210と、当該3つの電極211と信号ケーブルで接続された3ch増幅器・帯域フィルタ220と、当該3ch増幅器・帯域フィルタ220と信号ケーブルで接続されたコンピュータ110と、を有する。さらに脳活動測定装置200Bは、基準電位測定用の基準電極212をさらに有する。基準電極212は不感電極として使用され、好ましくは耳朶接続用クリップ電極である。基準電極212は、3ch増幅器・帯域フィルタ220に接続される。頭部装着部210は、固定具213によって3つの電極211が固定される。固定具213は、例えばヘルメットから切り出したブーメラン状プラスティック製の固定具である。また頭部装着部210は、図3に示すような国際10-20法の電極配置にFpz(Fp1、Fp2の中間点として定義)、Oz(O1、O2の中間点として定義)の2電極を追加した電極のうちの3つの電極位置に各電極が配置されるように、被験者へ装着する。例えば図3に示すように、後頭部のP3、P4、Ozの位置に3つの電極が配置されるように被験者へ装着することができる。あるいは頭部装着部210は、国際10-20法に基づくヘルメット型電極を用いて、選択的に3つの電極を使用することもできる。電極211は、好ましくは生理食塩水を含んだ多孔質ファイバー電極であり、電極上部は導線接続用金属円筒で構成される。
他の例示として、頭部装着部は帽子装着型であってもよい。図2cにその帽子装着型電極の外観概要図を、図2dに基準電極としての導電性ゴム電極の概要図を示す。頭部装着部210は、メッシュ状帽子に測定用の電極211が3つ取り付けられたものである。電極211はプリアンプ214と接続されたシールドケーブル215と接続され、好ましくは食塩水を含んだ多孔質導電性ゴムが使用される。なおプリアンプ214は、3ch増幅器・帯域フィルタ220の増幅器の機能を有するものであり、帯域フィルタを経由してコンピュータに接続される。基準電極212は、プリアンプと電気的に接続された導電性ゴム電極216であり、これによって耳朶接続用クリップ電極は不要となる。ここで、導電性ゴム状の電位均一化と、プリアンプ214からのケーブル接続の際の接触抵抗の低減を図るため、円周状の導電性ゴム電極と帽子の間には金属フィルム217が設置される。
他の例示として、測定用の3つの電極及び基準電極は無線通信機能を有し、同様に無線通信機能を有するコンピュータ110へ、測定用の電極211(3つ)と基準電極212から得られる脳電位信号の差分を3つの脳電位信号として、無線で送信するように構成することもできる。基準電極212は、測定用の3つの電極211の中央に配置されるのが好適である。また、測定用の3つの電極211及び基準電極212の電位信号の合計4つをコンピュータへ送信し、コンピュータにおいて測定用の電極211と基準電極212の差分を計算し、3つの脳電位信号の入力としてもよい。
上記の例示は3つの電極1セット使用する構成であるが、本発明の1つの実施形態においてはδ波帯域を測定するのに当該3つの電極を2セット(前頭部、後頭部)用いる。
δ波帯域の測定をする際は前述した脳活動測定装置Bを用いるが、これは主に恐怖、悲しみに伴う脳電位特徴量の抽出に用いる。本発明の1つの実施形態においては、前頭部(F3、F4、Cz)、後頭部(P3、P4、Oz)から、δ波帯域(2~4Hz)を抽出した脳電位信号を取得して算出したdNAT値を用いてdNAT値のZスコアを算出する。この算出されたZスコアを脳波スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。ここで測定対象のdNAT値のZスコアの算出方法について記載する。まず測定対象のdNAT値を測定する前に被験者の安静開眼時のdNAT値を(好ましくは10個以上)取得し、取得したデータから平均値や標準偏差を算出する。この平均値や標準偏差を用いて、測定対象のdNAT値のZスコアを算出する。なおdNAT値は10秒ごとに1個算出される値である。続いて脳活動測定装置Bの測定原理、dNAT値算出方法について説明する。
測定原理
脳活動測定装置200Bは、3つの電極を用いた脳活動測定によって、アルツハイマー型認知症を高い確率で識別することができる(実際にNL(健常者)とAD(アルツハイマー患者)において実験を行い、高い確率での識別を実現している)。この原理は次の通りである。
脳活動測定装置200Bは、3つの電極を用いた脳活動測定によって、アルツハイマー型認知症を高い確率で識別することができる(実際にNL(健常者)とAD(アルツハイマー患者)において実験を行い、高い確率での識別を実現している)。この原理は次の通りである。
本測定装置においては、脳深部に等価ダイポール電源を仮定している。ここで、このダイポール電位活動を解析するための電位分布測定を、頭皮上に配置した3つの異なる場所に配置された電極に限定して行う場合を考える。脳深部に電源がある場合には、これら3つの電極で観測される電位波形には、強い位相関係が存在するという事実に基づいて、この位相関係を評価する。このようにして、脳深部に仮定した等価ダイポール電源の時間的な挙動を近似的に推定する。これは、地震波に例えれば、表層に震源を持つ地震波が観測地点ごとに大きく異なるのに比し、深部に震源を持つ地震波では、近い距離をおいて配置された地震計ではほぼ同じ振幅・位相のP波が観測されることと同等な現象である。
脳活動測定装置Bでは、脳深部の活動に基づいて表面に現れる電位波形は近い距離離れた表面においてはほぼ同位相であることから、3つの電位の符号が同一であるデータのみを加算する方式を定義する。すなわち同一符号のデータのみを演算の対象とすることで、相関を有するデータを抽出することができる。ただし、すべてのデータを演算の対象とすることもできる。
具体的な情報処理としては、まず3つの電位信号が入力されると、3つの電位が同符号の信号を選択する。電位の符号を判定する際の基準電位は、例えば皮質活動を直接反映しない耳朶が用いられうるが、増幅器の帯域フィルタで直流分は遮断されるので、実質的には、各々の電極ごとの時間平均から見た正負の符号を判定することになる。なお基準電位の取り方はこれらに限定されず、導電性ゴム電極も使用することができる。さらには、無線通信機能を有する測定用の3つの電極から得られる脳電位信号と、当該3つの電極の中央に配置される基準電極から得られる脳電位信号の差分を、3つの脳電位信号として無線で送信する構成とすることもできる。この場合は、コンピュータが帯域フィルタの機能を有する。
続いて3重相関値を算出する。3重相関値は、3つの電極からの低周波帯域の電位信号をそれぞれEVA(t)、EVB(t)、EVC(t)としたとき、1つの電極の電位信号に対し、τ1、τ2の時間ずれのある信号との積を使用する。以下に示す式7は3重相関値Stの1つの例示である。Tは3重相関値の演算対象時間であり、Δtは各電位信号のデータサンプリング周期であり、Nは規格化するための定数であって、例えば3つの信号の積の計算回数である。
(式7)
算出された3重相関値を用いて所定の演算を行うことにより指標を算出し、当該指標により、認知症患者などの識別判定を行うことができる。
(式7)
算出された3重相関値を用いて所定の演算を行うことにより指標を算出し、当該指標により、認知症患者などの識別判定を行うことができる。
上述の演算で得られる遅延パラメータ空間上の3重相関プロットが、脳深部の等価ダイポール電源の挙動とどのような関係にあるかを、均一媒質からなる球状モデルを用いて説明する。以下では、説明の都合上、球モデル各部の呼称を地球になぞらえ、北極(NP)南極(SP)、赤道等と記載する。
脳深部の活動は、等価的に、深部に微小電流源があるように、脳の表面上で観測されることから、球の中心部に、南極から北極に向かう方向に微小電流源を仮定する。この電流源が球表面上につくる電位分布は、図4aに示すように、北半球では+、南半球では-、赤道上ではゼロ電位となる。また、この電流源は、赤道上180度経度の異なる点P1、P2と、NP、SPを含む面内で、周期T秒で時計方向に回転する。回転角度90度ごとに各時点での球表面電位分布は、図4b、図4c、図4dのように逐次変化する。この電位変化を球の表面上に、面P1、NP、P2、SPに平行な三角形の頂点に、3つの電極A、B、Cを配置する。各電極から測定された電位波形は、式7により相関値が計算され、計算結果が図5の遅延パラメータ空間上にプロットされる。
A、B、Cの各電極の電位の時間発展は図4eのグラフのようになり、各電極は位相差1/3Tの関係で周期Tの正弦波で変化をする。電極Aを基準にみるとこれらの電極の符号が最も一致するτ1、τ2の値はそれぞれ1/3+kと2/3+k(kは整数)であり、結果として図5における縦横方向に黒丸のプロットで示されるような、周期Tでピークを持つ特性が得られる。またこれらのピークからいずれかの電極が半周期ずれるような位置は、1つの電極が必ず他の2つの電極と逆位相になるため電極の符号が一致することはない。そのため白丸のプロットで示されるような位置は値がプロットされない。
上述のように、脳深部の等価ダイポール電源の回転を2次元の遅延パラメータ空間上のプロットとして観測することができる。
以上では、単一の等価ダイポール電源が球状の脳深部で滑らかに回転した場合について記載しているが、ダイポールが複数ある場合や、回転が滑らかでない場合には、図5上のプロットは、同符号条件を満たす個々のケースが複雑に分布し、遅延パラメータ空間上に細かい凹凸となって現れる。
dNAT値算出方法
以下に認知症による脳機能の低下についての定量的な評価をするための3重相関値の算出方法について説明するとともに、dNAT値算出方法について説明する。
以下に認知症による脳機能の低下についての定量的な評価をするための3重相関値の算出方法について説明するとともに、dNAT値算出方法について説明する。
ここではまず認知症による脳機能の低下を定量的な評価を目的とし、特に3電極から得られる脳電位の空間的ゆらぎを評価する。図6に示すように、3つの電極EA601、EB602、EC603が三角形の各頂点部分に配置され、別途設置される基準電極と、各電極との差として、電位信号VA(t)、VB(t)、VC(t)が計測される。各電位信号は、脳電位信号の3重相関評価装置によって処理される。図7は3重相関評価装置700の処理ブロックを示す図であり、3ch増幅器・帯域フィルタとコンピュータによって実現される。図7に示すように、脳電位増幅器701によって増幅された信号はBPF702によって、特定の周波数帯の脳電位波形が抽出される。
次に、これら3つの信号による3重相関値Sの算出方法について示す。抽出された信号は3重相関値算出部によって、図8のフローチャートに示すように処理される。図8は、i秒からi+1秒における3重相関値Si(i=1、2、…、T)を算出する処理のフローチャートを示す。なお、ここで実施される処理は、趣旨を逸脱しない範囲において変更することができる。
前述の通り3つの信号が入力されるとサンプリング周期でデータが抽出され(S801)、それぞれの電極の電位ごとに標準偏差(σA、σB、σC)で割って規格化(EVA(t) =VA(t)/σA、EVB(t) =VB(t)/σB、EVC(t) =VC(t)/σC)される(S702)。この規格化処理は1秒ごとに行うのが好ましいが、これに限定されない。
なおバンドパスフィルタによる周波数抽出処理は、規格化処理の前後いずれかに行われる。また規格化処理の前には、ノイズ処理を行うのが好ましい。ノイズ処理は、例えば、1)±100μV以上のセグメントを除く、2)フラットな電位(25msec以上一定の電位だった場合)を除く、3)±1μV以内の電位が1秒以上続く場合は除く、という処理から構成される。
ここで、上記3つの信号は、電極EAに対し、電極EBはτ1、電極ECはτ2の時間のずれがあるものとする。続いて、3つの信号の符号がすべて正(EVA(t)>0、EVB(t-τ1)>0、EVC(t-τ2)>0)、又はすべて負(EVA(t)<0、EVB(t-τ1)<0、EVC(t-τ2)<0)の信号のみを計算対象とする処理をする(S803)。以下の式8に示すように、3重相関値は時間ずれのある、3つの電位信号の積を加算することで求められる(S804)。この処理は、tがt=i+1秒となるまでΔt秒ずつずらして行われる(S806,S807)。なお図8ではt=i秒からi+1秒における3重相関値Siを算出していることからも分かる通り、全データ(T秒)について一度に計算するのではなく、所定時間ごとに、例えば1秒ごとに、3重相関値Siを求めT個の3重相関値の平均値を最終的には3重相関値とし、時間ずれτ1、τ2も1秒の中でΔt秒ずつずらして3重相関値を算出する。例えば、電位データサンプリング周波数をfs(Hz)とすると、fs=200Hzの場合はΔt=1/fs=0.005秒ずつずらして、3つの電位信号の積を算出する。また、1秒ごとに3つの信号が正または負になった時の回数Nを求め(S805)、最後に割る(S808)。式8に1秒ごとの、3重相関値Siの計算式を示す。
(式8)
(i=1、2、…、T、τ1=Δt、2Δt、…、1(秒)、τ2=Δt、2Δt、…、1(秒))
(式8)
(i=1、2、…、T、τ1=Δt、2Δt、…、1(秒)、τ2=Δt、2Δt、…、1(秒))
このようにして、1秒ごとにSiを全データT秒まで計算する(S1、S2、・・・、ST)。T(秒)は好ましくは10(秒)である。ただしSiは1秒ごとに算出されることに限定されない。τ1及びτ2の取りうる値はサンプリング周期の整数倍に等しい1秒以下の時間であるが、これらの値の大きさの最大値は1秒に限定されない。またサンプリング周期は0.005秒に限定されない。なお3重相関値は、3つの信号の符号判定を行わずに、式8によって算出することもできる。
この結果は、図9に示すように3重相関表示部によって2つの遅延パラメータ(τ1、τ2)が形成する特徴空間上にプロットすることで、2つの遅延パラメータ(τ1、τ2)が形成する特徴空間上にプロットされた3重相関値分布の疑似3次元表示をすることができる。図10は、健常者脳電位波形の3重相関値分布の疑似3次元表示を示すものであるが、相関を有しないデータの影響を排除するため、予め定められたtの値、例えばt=i+1、においてEVA(t)、EVB(t-τ1)及びEVC(t-τ2)のすべてが同符号であったSi(τ1,τ2)のみをプロットしたものである。プロットするSiをこのように限定することにより、ノイズを除去し、より良い精度で3重相関値分布の疑似3次元表示を示すことができる。
図10に示すように、健常者後頭部から観測される脳電位波形については、特徴空間内の3重相関分布は滑らかで、この分布は観測時刻の推移とともに移動する。これに対して、アルツハイマー病患者から観測される脳電位波形を図11に示す。3重相関値の分布は、細かいピークが複雑に分布する場合が多いが、この場合も観測時刻の推移とともに分布自体が移動する。両図を比較して、健常者とアルツハイマー病患者の3重相関値分布の大きな違いは、分布の滑らかさにあることがわかる。
上記のように算出された3重相関値を用いて、認知症による脳機能の低下について定量的な評価をするための指標を算出する。図10及び図11で示したように、2つの遅延時間パラメータ空間内で、健常者のデータでは、樹木状の分布が規則的に並ぶのに対し、アルツハイマー病患者のデータでは、樹木状の分布の不規則性が大である。この差を定量的に表現するために、図12aに示すように、樹木の列がτ1、τ2軸に平行となるように、座標軸を回転する。図12aは健常者の例であるが、図10に示すような3次元表示の図を上から見た図で、3つの波形が同符号をとる領域を白で表示し、3信号のどれか1つ符号が異なる領域を黒で表す。このような表示をすると、健常者の場合には規則的な格子縞となるのに対して、アルツハイマー病患者のデータでは、図12bに示すように、格子縞が乱れることが分かった。そこで、この乱れを定量化するために、以下の指標を定義する。
図12a、図12bに示すように白い四角形の領域は、隣接する白い四角形の領域と、縦横方向にそれぞれ間隔を有する。その間隔を図12cに示すように、dxi(i=1,2、…、m)、dyj(j=1,2、…、n)とする。このdxiとdyjがτ1方向とτ2方向において、それぞれ白い四角形の縦横が均等に並んでいるか、あるいは白い四角形が乱れて並んでいるかを判断することで健常者(NL)とアルツハイマー病患者(AD)を分離することができる。ADにおいては、τ1、τ2のどちらかのばらつきが偏って大きい傾向がある。なお、NLであってもADであっても、縦横の四角形は規則的に並んでいる為、τ1、τ2ともに任意の時間における、隣接する白い四角形間の距離で評価を行うことができる。具体的には式9、式10に示すように、m個のdxiの標準偏差Std_dxとn個のdyjの標準偏差Std_dyを算出し、2つの標準偏差の平均値を指標値SDとする。
(式9)
(式10)
(式11)
(式9)
(式10)
(式11)
上記の指標SDは、dNAT値の1つの例示である。なお指標SDを用いて、健常者(NL)52例とアルツハイマー病患者(AD)20例を分離した場合の判別結果から得られた感度特異度曲線によれば、本指標は、NLとADの交点において、68%の識別率を示すことが判明している。
また3重相関値の値は、アルツハイマー患者は健常者に比べ、τ1、τ2に対し、変動が激しい。また、式8で算出された1秒ごとの3重相関値の変動も、アルツハイマー病患者の方が健常者よりも変動が激しい。そこで、式8の標準偏差をstd_Siとし、i=1、2、…、10までの10個の標準偏差を算出した。さらに、この10個の標準偏差の標準偏差std_Sと10個の標準偏差の平均値ave_Sを算出し、標準偏差と平均値の比を指標Ssとした。
(式12)
(式13)
(式14)
(式15)
(式12)
(式13)
(式14)
(式15)
上記の指標SDとSsを用いて、算出された指標d(d=0.375×Ss+SD1)は、dNAT値の1つの例示である。本指標をもとに、判別を行った際の感度特異度曲線は、高い確率の識別を示す。なお指標dを用いて、NL52例とAD20例を分離した場合の判別結果から得られた感度特異度曲線によれば、本指標は、NLとADの交点において65%の識別率を示すことが判明している。
[瞳孔径測定器]
瞳孔径測定器としては、特開2011-239891号や特許5445981号に記載の装置や学会誌(倉島渡、菊池光一、植田和利「瞳孔径反応と顔表情反応の融合による情感評価の新しい方法」、影像情報、Industrial、第43巻、第6号(通巻807号)2011年6月号)に記載の装置を使用することができる。使用する瞳孔径測定器の例示を、その原理とともに以下に説明する。
瞳孔径測定器としては、特開2011-239891号や特許5445981号に記載の装置や学会誌(倉島渡、菊池光一、植田和利「瞳孔径反応と顔表情反応の融合による情感評価の新しい方法」、影像情報、Industrial、第43巻、第6号(通巻807号)2011年6月号)に記載の装置を使用することができる。使用する瞳孔径測定器の例示を、その原理とともに以下に説明する。
デスクトップ型(ディスプレイ映像視認時の反応)
映像表示ディスプレイに映る影像を見て被験者の反応を計測する装置で、映像ディスプレイ装置の上に顔を撮影する表情測定用カメラ160を設置して被験者の顔を撮影する。同時にディスプレイの下にある目の位置を追尾する2つのカメラにより、三角測量の原理で目の位置を測定し、その結果により、赤外線照射により赤外線望遠レンズで被験者の目の視線方向と瞳孔径を計測する。
映像表示ディスプレイに映る影像を見て被験者の反応を計測する装置で、映像ディスプレイ装置の上に顔を撮影する表情測定用カメラ160を設置して被験者の顔を撮影する。同時にディスプレイの下にある目の位置を追尾する2つのカメラにより、三角測量の原理で目の位置を測定し、その結果により、赤外線照射により赤外線望遠レンズで被験者の目の視線方向と瞳孔径を計測する。
このタイプの装置としては、例えばナックイメージテクノロジー社製の「EMR-AT VOXER」を利用することができ、これは図13aのように、ディスプレイ画面を見て被験者の目の反応を計測する装置である。被験者に装置を装着することなく視線と瞳孔径を計測できるシステムで、左右のカメラ150aで顔の目を追尾して、被験者の目のありかを三角測量の原理で方向と距離を測っている。その方向と距離に従って、中央にあるカメラの望遠レンズ150bが瞳孔を正確に捉えてその直径を計測する。このとき、目が暗いと正確に計れないので、中央のカメラ150cの下から目に感じない赤外線を発射している。したがって、中央のカメラ150cは赤外線カメラである。瞳孔径測定器は、コンピュータ110及び表情測定用カメラ160と接続され、取得されたデータはコンピュータ110に格納することができる。
ポータブル型(空間視認情景の反応)
このタイプの装置としては、例えばナックイメージテクノロジー社製の「EMR-9」を利用することができ、これは図13bのようにヘッドマウント式で、頭に装着したまま動きまわって、外の景色、室内の機器の配置などを見て、どこを注目して見ているかを計測する装置である。被験者の頭に装着する帽子タイプのヘッドマウント装置に、視認映像撮影カメラ(マイク付)150d、視線方向と瞳孔径を撮影するカメラ150eを装備し、視認映像、視線方向と瞳孔径を計測する。あわせて帽子のひさしの先端から顔を撮影する表情測定用カメラ160(図示せず)により顔を撮影する。常に頭に装着固定されているので、カメラと目の関係も固定されており、目の位置を測定・追尾する必要がない点だけが「EMR-AT VOXER」と異なる。なお取得されたデータは、無線通信を介してコンピュータ110に格納することができる。
このタイプの装置としては、例えばナックイメージテクノロジー社製の「EMR-9」を利用することができ、これは図13bのようにヘッドマウント式で、頭に装着したまま動きまわって、外の景色、室内の機器の配置などを見て、どこを注目して見ているかを計測する装置である。被験者の頭に装着する帽子タイプのヘッドマウント装置に、視認映像撮影カメラ(マイク付)150d、視線方向と瞳孔径を撮影するカメラ150eを装備し、視認映像、視線方向と瞳孔径を計測する。あわせて帽子のひさしの先端から顔を撮影する表情測定用カメラ160(図示せず)により顔を撮影する。常に頭に装着固定されているので、カメラと目の関係も固定されており、目の位置を測定・追尾する必要がない点だけが「EMR-AT VOXER」と異なる。なお取得されたデータは、無線通信を介してコンピュータ110に格納することができる。
瞳孔は、明るいものを見ると瞳孔径が小さくなり、暗いものを見ると瞳孔径が大きくなる。計測装置で計測した瞳孔径は、注目度とこの明暗反応とが混在している。そのため、明暗反応に相当する瞳孔径を削除する必要がある。また、瞳孔径とその拡大、縮小の大きさは個人により大きく異なる。
注目度算出方法
注目度算出の1つの例示を以下に記載する。屋内におけるディスプレイ影像視認時の注目度計測(「EMR-AT VOXER」)は、ディスプレイに段階的に変化する基本輝度画面を表示して、被験者の基本輝度における瞳孔径への影響を計測することで行う。
注目度算出の1つの例示を以下に記載する。屋内におけるディスプレイ影像視認時の注目度計測(「EMR-AT VOXER」)は、ディスプレイに段階的に変化する基本輝度画面を表示して、被験者の基本輝度における瞳孔径への影響を計測することで行う。
ディスプレイに段階的に変化する基本輝度画面を表示して、被験者の基本輝度における瞳孔径を計測して事前登録しておく。被験者が視認対象を見ているときの、視認対象の輝度と瞳孔径(U)を計測し、登録済みの同じ輝度での基本輝度画面での瞳孔径(R)との差(U-R)を「注目度に相当する瞳孔径(P=U-R)」として計算している。さらに、個人差をなくして、同じ尺度で注目度を表示するため、注目度に相当する瞳孔径と、基本輝度画面での被験者の瞳孔径の最大変化値(Q=最暗時の瞳孔径(M)-最明時の瞳孔径(s))との比を、被験者の視認対象への注目度(Y)(瞳孔径変化、瞳孔径スコア)としている。すなわち、以下の式16で表すことができる。
(式16)
(式16)
被験者が視認対象を見ているときの、視認対象の輝度の瞳孔径と登録済みの同じ輝度での基本輝度画面での瞳孔径との差が“0”の場合、注目度はないことになる。また、視認対象が基本輝度画面の輝度と同じ輝度画面でありながら、視認対象視認時の瞳孔径が登録済みの基本輝度画面視認時の瞳孔径より小さくなることもある。この場合は基本輝度画面を見ているときよりも退屈して視認対象を見ていることになり、注目度(Y)はマイナスになる。この注目度を用いて算出されたZスコアを瞳孔径スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。
ちなみに今までの計測経験から、注目度Yにより、0.5>Y≧0であるときは「普通」、1>Y≧0.5であるときは「やや注目」、Y≧1であるときは「かなり注目」、Y<0であるときは「退屈」と判定している。また上記のとおり、注目度算出にあたっては視認対象の明るさ(例えば輝度)を計測する必要があるため、瞳孔径測定器は視認対象の輝度を計測する明るさ(輝度)計測装置(図示せず)を備えるか、又は感情測定装置の他の部分に明るさ(輝度)計測装置(図示せず)を備え、瞳孔径測定器は取得された輝度データを使用することができる。
なおオープン空間での視認対象への注目度計測(「EMR-9」)についても、ディスプレイ影像視認時の注目度計測と同じように、ある部屋での壁のスクリーンに黒から白に変化させて、被験者の「基本輝度―瞳孔径」データを計測しておき、上記と同様の処理を行うことで注目度(瞳孔径スコア)を算出する。
[表情測定器]
表情測定器としては、特開2011-239891号や特許5445981号に記載の装置や学会誌(倉島渡、菊池光一「瞳孔径反応と顔表情反応の融合による情感評価の新しい提案」第14回日本顔学会大会、O2-02、2009)に記載の装置を使用することができる。表情測定器は、表情測定用カメラ160と記憶部等に格納されるプログラムにより実現される。なお表情測定用カメラ160は、図13に示すように設置することができる。またプログラムとしては、例えば夏目綜合研究所製の「Face Analysis Software FO版」を利用することができる。使用する表情測定器の例示を、その原理とともに以下に説明する。
表情測定器としては、特開2011-239891号や特許5445981号に記載の装置や学会誌(倉島渡、菊池光一「瞳孔径反応と顔表情反応の融合による情感評価の新しい提案」第14回日本顔学会大会、O2-02、2009)に記載の装置を使用することができる。表情測定器は、表情測定用カメラ160と記憶部等に格納されるプログラムにより実現される。なお表情測定用カメラ160は、図13に示すように設置することができる。またプログラムとしては、例えば夏目綜合研究所製の「Face Analysis Software FO版」を利用することができる。使用する表情測定器の例示を、その原理とともに以下に説明する。
顔画像特徴量算出方法
顔画像特徴量(表情レベル)の1つの例示を以下に記載する。人間の感情を捉える技術は、すでにスマイルシャッターなどと呼ばれる笑顔を測る技術でおなじみである。ここでは、顔表情解析の基本6感情(「幸福(喜び)度」=(面白度(笑い)を含む)、「悲しみ度」、「怒り度」、「恐怖度」、「嫌悪度」、「驚き度」)を判定する。
顔画像特徴量(表情レベル)の1つの例示を以下に記載する。人間の感情を捉える技術は、すでにスマイルシャッターなどと呼ばれる笑顔を測る技術でおなじみである。ここでは、顔表情解析の基本6感情(「幸福(喜び)度」=(面白度(笑い)を含む)、「悲しみ度」、「怒り度」、「恐怖度」、「嫌悪度」、「驚き度」)を判定する。
まずここで、表情測定方法を以下に説明する。第1ステップとして、表情に関係する視覚的情報(表情情報)抽出を行う。この抽出段階では、顔の中の様々に変化する眉毛、目、口などの「傾斜性」、「湾曲性・開示性」と言う構造の変化を観察している。図14に、顔面表情線画モデルと特徴量を示す。顔の表情を把握する場合、顔の中で変化可能な眉毛、目、口等の変化(形と量)を抽出することにある。その第1因子は図2の眉、上まぶた、上下唇の中点(P2、P4、P6)を中軸とする相関的な変移構造を示すもので、いわば各部の形状全体の湾曲性ないしは開閉に深く関与するものである。第2の因子は眉や目の傾き具合(傾斜性)に深く関わるような特徴点(P1、P3、P5)を中軸とする相関的変位構造を示すものである。第3の因子は口のへの字型あるいは逆への字型になる口の傾斜性に関与するもの(P7、P8、P9)である。目の開閉を確実に計測するため、目の下中心と、それらの各特徴点の変位量の基点として、どのような表情に置いても変化の僅少な両目元の内側の2ポイントを加え、合計12ポイントを特徴点として計測することで十分であるが、実際には図15のように顔の表情の変化をとらえる各部にマークとなるシールを貼って、カメラで撮影して計測する。なお、このように顔にマークとなるシールを貼ることは、被験者にとっては違和感があるが、時間が経つと慣れるため、その違和感はなくなる。また、現在はシールを貼らずに顔表情の変化を計測する技術がある。
第2ステップとして、表情情報の感情的意味評価を行う。図16は、3つの構造変数、すなわち、第1正準変数(湾曲性、開示性)、第2正準変数(口の傾斜性)、第3正準変数(眉と目の傾斜性)を軸とする3次元空間を作り、平常時の顔での全特徴点の位置を原点(0,0,0)にした座標である。ここで、図16に示した6感情ポイントの座標の位置は、6感情の「典型的表情」の座標の位置をプロットした例である。座標のマイナス(-)領域は、湾曲性、開示性、傾斜性の動きが平常状態から逆になった場合のエリアである。被験者の被験時の知覚された顔の構造変数が、感情的意味空間のこの座標の位置に特定されると、それにより特定の感情カテゴリーに分類されることになる。
第3ステップとして、感情的意味評価に基づく感情カテゴリー判定を行う。知覚された顔が感情的意味空間の1点に表象されると、それにより特定の感情カテゴリーに分類される。すなわち、感情的意味空間の原点(0,0,0)から、被験者の演技した時の6感情の典型的表情の座標位置への線上またはその近くに、被験時の顔の構造変移点があるものと考えられる。したがって、被験者の被験時の顔の構造変移点が、どの感情の線上または線の近くにあるかにより感情を判定し、原点から典型的表情の座標位置までの距離と比較してどの程度の感情レベルかを判定することができる。第1正準変数(湾曲性、開示性)については、驚きや恐れを他のカテゴリーから類別する視覚的次元になっている。つまり、目や口が丸く大きく開かれ、眉も大きく弓なりに湾曲したような顔の形状は「驚き」の顔。その過程が弱くなると「恐れ」の顔と判断される。逆に目や口が閉じられ、眉を含めたそれらの形状が直線的になるような形状の顔は、驚きや恐れとは異なるカテゴリーの顔と判断される。第2正準変数(口部の傾斜性)については、第1正準変数では明確な類別が可能ではなかったカテゴリー群である「喜び」「悲しみ」「嫌悪」「怒り」の中から喜びを類別する視覚的次元になっている。湾曲性・開示性の程度が低い形状を持つ顔の中でも、口の形状がV字型になればなるほど、そのような形状の顔を喜びと判断し、一方、逆V字型になればなるほど怒り、嫌悪、悲しみの顔と判断する傾向がある。第3正準変数(眉と口の傾斜性)については、第1正準変数、第2正準変数上では類似していた怒り、嫌悪、悲しみを類別する次元である。つまり、湾曲性・開示性の程度が低く、口の傾斜性においても逆V字形になるような形状の顔でも、眉や目が垂れ下がるような形状を持つ顔を悲しみと判断し、逆にそれらが釣り上がっているような形状の顔を怒りの顔、また中程度のものは嫌悪の顔と判断する傾向がある。
上記を踏まえ、例えば表情スコアは、図15の各特徴点の平常時の位置からの変位量に基づいた顔画像特徴量ΣAiPiにより算出することができる。ここでiは、各特徴点の表情パーツのインデックス、Pは各特徴点の基点からの変位量、Aは重み付け係数を表すものである。ここで、重み付け係数Aは、上記の感情的意味空間や各特徴点の平常時の位置からの最大変位量を考慮して設定される。
なお解析アルゴリズムは日本大学の山田教授の方法(山田寛「顔面表情の知覚的判断過程に関する説明モデル」Japanese Psychological Review、Vol.43、No.2、2000)を採用し、本アルゴリズムを用いて得られる基本6感情のデータ(表情(感情)レベル、顔画像特徴量)を用いて算出されたZスコアを表情スコアとして算出する。ここで後述するデータ処理を実施する。
[実験概要]
本発明は前述した装置を用いて実現されるが、個別の実施形態の理解を容易にするために、実施した実験について説明する。
本発明は前述した装置を用いて実現されるが、個別の実施形態の理解を容易にするために、実施した実験について説明する。
実験は前述した装置を用いて、被験者は座位正面、間隔約70cmで設置されている20インチ液晶画面上に提示されるビデオコンテンツを正視するとともに、画面脇に設置されたスピーカより音声を聴取する構成で測定を行った。
計測条件は以下の通りである。被験者10名(平均年齢23.6才、全員成人女性)を公募により募り、書面によりインフォームドコンセントを取得した後、国際10-20法に準拠した21電極(図3)を頭皮上に設置し、リラックス画像(120s)、笑顔動画(116s)、悲しみ動画(195s)、恐怖動画(196s)の4種を順次提示し、ビデオカメラによる表情計測、瞳孔径計測、および脳電位の同時計測を行った。脳電位はHPF=1.6Hz、LPF=50Hz、サンプリング周波数200Hzで記録した。
また、各動画視聴後には、再度動画と同じ音声を聞きながら安静閉眼状態で脳電位を記録し、その直後に筆記による印象についてのアンケート調査を実施した。アンケートは、「イライラした」「楽しかった」「悲しかった」「リラックスした」「怖かった」の5項目につき、「1=そう思わない」から「7=そう思う」までの7段階で回答してもらった。各ビデオコンテンツから想定される代表的な感性状態は、アンケート結果より、リラックス画像視聴時は「リラックス」、同様に、笑顔動画視聴時は「喜び」、悲しみ動画視聴時は「悲しみ」、恐怖動画視聴時は「恐怖」「ストレス」、と判断して各種解析を実施した。実験プロトコルの詳細は図17に示す。
脳電位の解析に先立ち、前頭部の電極には瞬きによる過大ノイズが混入するため、瞳孔径から瞬目のイベントを検出し、過大ノイズの除去を行った後、β帯域、θ帯域及びδ帯域を抽出するBPF処理を経て、各ビデオコンテンツから想定される感性状態に伴う脳電位特徴量の抽出を行い、瞳孔径解析・表情解析から得られる感性情報との関連を調査した。具体的には、前述したように脳電位データ(T3、T4、F7のZスコア平均又は前頭部及び後頭部のdNAT値のZスコア)、瞳孔径データ、表情データを取得し、これらのデータを用いて解析を行った。なおノイズ除去方法について簡単に説明する。まず瞳孔径データ算出時において、瞬目はデータエラー等で検出することができる。そこで検出された信号(瞬目検出信号)を用いて、瞬目除去処理部は瞬目検出信号から疑似瞬目波形を生成し、取得した脳電位データから瞬目ノイズを除去する。この処理は、特に前頭部から低い周波数の脳電位計測を行う場合に効果が大きい。
リラックス画像視聴時の状態と、笑顔動画視聴時の状態を瞳孔径により比較すると、図18のようになり有意に笑顔動画視聴時の方が瞳孔径は大きいことがわかった(t(8)=2.48、p<0.05)(計測が正常に行われた9人の平均値)。このことより、被験者は笑顔動画視聴時において、より興味を持って視聴していることが分かった。なお、t()はt検定を行うときのt値を示し、この場合は有意水準5%で差が見られたことを示している。
これに関連した視聴時の喜び指標としての脳波の特徴を抽出するために、脳波のパワーのバランスを統計的に調べるNAT(Neuronal Activity Topography)(Toshimitsu Musha, Haruyasu Matsuzaki, Yohei Kobayashi, Yoshiwo Okamoto, Mieko Tanaka, and Takashi Asada, EEG Markers for Characterizing Anomalous Activities of Cerebral Neurons in NAT (Neuronal Activity Topography) Method, IEEE Trans Biomed Eng., vol.60, no.8, pp.2332-2338, Aug. 2013.)を拡張して用いた。ここでNAT状態の計算においては、例えば前述の脳活動測定装置Aを用いて算出される脳波スコアを用いた。本実験では脳波を規格化する窓幅を4.7Hz~18.7Hzとし、そのパワーを基準として17.2Hz~31.3Hzの帯域のパワーを規格化した。また個々人の脳波には大きな差があるため、そのベースラインの差を除去するために、以下のような方法でビデオコンテンツの差のみを抽出した。
まず実験開始後最初の安静開眼2分について、セグメント長0.64秒、時間刻み1/30秒ごとにNAT状態を計算し、セグメント内に瞬目がないデータだけを取り出して平均と標準偏差を計算し、その個人の安静開眼のNATコントロール(Zスコアを算出するための平均値、標準偏差)とした。同様に各ビデオコンテンツ視聴時においてセグメント長0.64秒、時間刻み1/30秒でNAT状態を計算し、前述したコントロールを用いてZスコアマップに変換した。この規格化により、安静開眼状態と比較してその瞬間のNAT状態が、統計的にどの程度特徴を持っているかがわかりやすいようにした。
図19はリラックス画像視聴時における各人のZスコアマップの瞬目部分を除いた時間平均、同様に図20は喜び動画視聴時における各人のZスコアマップの時間平均である。これらを比較すると図19のリラックス画像視聴時には各人のマップにはあまり特徴はみられないものの、図20の喜び動画視聴時には各人のマップには左右T3、T4付近に共通した特徴を読み取ることができる。電極ごとに10人分の平均を比較すると図21のようになり、T3、T4、F7などで顕著な差を確認した。リラックス画像視聴時と喜び動画視聴時とで対応有りの比較を行ったところ、T3において(t(9)=4.65、p<0.001)またT4において(t(9)=5.52、p<0.001)有意な差を確認した。またF7においてもある程度の差を確認した(t(9)=2.01、p<0.05)。
NAT状態のβパターン(β波から得られる脳波スコア)がどの程度リアルタイムに喜びの感情の指標となっているかを評価するために、特徴が顕著であったT3、T4、F7の平均値の時系列データと、表情評価による喜びの指標の時間発展を比較した。図22a、図22b、図22cは前述した脳波から評価した喜びの指標の平均値(T3、T4、F7のZスコア平均値)、表情から評価した喜びの指標の平均値(表情レベル(顔画像特徴量データ)の平均値)、瞳孔径から評価した喜びの指標の平均値(注目度(瞳孔径データ)の平均値)、をそれぞれ時系列にグラフ化したものである。脳波については10人の平均を、表情と瞳孔径については計測が正常に行われた9人の平均である。これらのデータは視聴コンテンツの推移に連動するものと考えられるため、類似性のあるパターンで時間発展していくことが予想される。脳波スコアに対する、表情スコアと瞳孔径スコアの相互相関関数について調べたところ、図23のような結果となった。
図23から、脳波スコアの基準点(時間ずれ0)から見て、瞳孔径スコアが約1.5秒程度早くピークを出していることが分かる。また、表情スコアは、±約5秒間に亘って高い相関を持つことが分かる。そこで、瞳孔径スコアについては、約1.5秒程度の遅延操作をしたうえで、脳波β波から得られる脳波スコアと統合することで、より精度の高い表情推定が可能となり、また、瞳孔径スコアが測定不能な閉眼時も、脳波β波成分のみから、瞳孔径スコアと類似したスコアが得られる可能性がある。
さらに脳活動測定装置Bを用いて、恐怖動画視聴時の脳電位特徴を抽出する為に、頭皮上に正三角形状に配置された3電極で同符号成分を抽出し、その3重相関の不規則性を評価する脳電位解析手法(前述のdNAT法)により脳深部活動の解析を行った。一般的に、δ波帯において、恐怖時は後頭部よりも前頭部の脳活動が活性化すると言われている。そこでδ波値(2Hz~4Hz)において、前頭部(F3、F4、Cz)と後頭部(P3、P4、Oz)で解析を行い、個人の安静開眼時をコントロールとしたdNAT値のZスコア値を算出した。具体的なZスコアの算出方法は脳活動測定装置Bの項で前述した通りである。恐怖の度合いが高かった2つ目の恐怖コンテンツを視聴した5名の平均値を算出したところ、最も恐怖シーンが出現するコンテンツ後半において、前頭部で後頭部に比べ、増加する特徴がみられた(図24参照)。そのため、特に恐怖シーンが出現する後半において、前頭部と後頭部のdNAT値の差分の平均値(個人ごとの前頭部と後頭部のdNAT値差分平均)が、後半部の時間経過に伴い増加していることが分かる。また、注目度(瞳孔径変化)の時間発展結果において平均値を算出したところ、dNAT値と同様に、コンテンツ後半において注目度の値が高くなっており、これは平均注目度が後半に高くなっていることを示している(図25参照)。
続いて恐怖動画視聴時と同様に、dNAT値を用いて、悲しみ動画視聴時の解析を行った。悲しみ動画を視聴した10名の平均値を算出したところ、最も悲しいシーンが出現する後半部において、恐怖動画視聴時同様に、前頭部で後頭部に比べ、増加する特徴が見られた(図26a参照)。また、注目度(瞳孔径変化)の時間発展結果においてもdNAT値と同様に、後半部で注目度が大きい値を示しており、平均注目度がコンテンツ後半部で高いことを示した(図26b参照)。さらに、この時の悲しみ感情度(表情レベル(悲しみ))の指標の時間発展を調べたところ、コンテンツ後半で悲しみ感情が大きく表出していることが分かった(図26c参照)。
以上より、3つのスコアを適切な遅延量を与えたうえで同時に評価することで、より安定した感情推定が可能であることが考えられる。
[実施形態1]
本発明の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図27に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2711、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、瞳孔径データ(注目度)、及び顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2712、S2722)。
本発明の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図27に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2711、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、瞳孔径データ(注目度)、及び顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2712、S2722)。
脳波スコアについては、算出されたデータに対して閾値θeにより閾値処理を行う(S2703)。閾値処理は、例えばそれぞれの閾値θe以上の値のみデータとして使用する処理である。閾値処理された脳電位データの脳波スコアは、加重設定Weにより重みづけされる(S2724)。
瞳孔径データは、まず確率パラメータ抽出(瞳孔径スコア算出)を行う(S2713)。確率パラメータ抽出は、脳電位データにおける脳波スコアの算出と同様であり、次のとおりである。まず被験者の安静開眼時の瞳孔径データを(好ましくは10個以上)取得し、取得したデータから平均値(Xave)及び標準偏差(Xsd)を算出する。この平均値及び標準偏差を用いて、測定対象の瞳孔径データ(X(t))の瞳孔径スコア(Zスコア)を算出し(Z(t)=(X(t)-Xave)/Xsd)、この値を抽出することが確率パラメータ抽出である。その後、算出されたデータに対して閾値θpにより閾値処理を行う(S2715)。閾値処理の前又は後で遅延時間設定により、データに遅延がつけられる(S2714)。これは図23に示す通り、瞳孔径データは脳電位データに対して早く反応する傾向があり、この時間的なずれを補正するためである。続いて加重設定Wpにより重みづけされる(S2716)。
顔画像特徴量データも、まず確率パラメータ抽出(表情スコア算出)を行う(S2723)。確率パラメータ抽出は、瞳孔径データと同様の処理が行われる。その後、算出されたデータに対して閾値θfにより閾値処理を行う(S2724)。続いて加重設定Wfにより重みづけされる(S2725)。
これらの加重和により得られた数値により感情推定を行う(S2741)。ただし、これらの加重和による演算は例示であって、各データを所定の四則演算により算出することもできる。また加重和による演算を行う場合、閉眼時に脳波計測以外の加重をゼロとすることができる。なお確実パラメータ抽出は、例えば(後藤正幸、小林学、「入門パターン認識と機械学習」、第一章、コロナ社)にあるような古典的な最尤決定法や関数識別法による線形判別、また(L. Breimen, J. H. Friedman, R. A. Olshen, C. J. Stone: Classification and Regression Trees, Wadsworth & Books (1984) )にあるようなCARTアルゴリズムやバギング法による学習による決定木を構築することによって行うこともできる。
本実施形態の例示の1つとして笑顔動画視聴時と悲しみ動画視聴時における、瞳孔径スコア、脳波スコア(脳活動測定装置Aを用いる)、表情スコアの10人のアンサンブル平均の比較例は以下のようになる。図28aが脳波から抽出したパラメータ(脳波スコア)、図28bが表情から抽出したパラメータ(表情スコア)、図28cが瞳孔径から抽出したパラメータ(瞳孔径スコア)の時間的な推移であり、破線が喜び動画視聴時、実線が悲しみ動画視聴時である。喜びと悲しみの両動画については同程度の注目がなされているが、感情については差があることが読み取れる。
このデータを元に、脳波のパラメータについてはθe=0.5を閾値に、表情のパラメータについてはθf=0を閾値に、瞳孔径のパラメータはθp=0.6を閾値とし、Wf=0.3、We=1、Wp=1として加重和を計算した計算した例を図29、図30に示す。図29は喜び動画視聴時の推移、図30は悲しみ動画視聴時の推移である。
本実施形態の他の例示の1つとしては、脳活動測定装置Bを用いて、前頭深部のδ波と、後頭深部のδ波の空間的、時間的ゆらぎを評価する2つのdNATの信号の差もしくは比率をとることで、脳内の抑制部位の変化を顕在化させ、感情の変化を抽出する。なお本発明においては周波数範囲をδ波帯域2~4Hzとしている。
δ波値(2Hz~4Hz)において、前頭部(F3、F4、Cz)、後頭部(P3、P4、Oz)で解析を行い、個人の安静開眼時をコントロールとしたdNAT値のZスコア値を算出した。図31に示すように、アンケート結果より恐怖の度合いが高かった2つ目の恐怖コンテンツを視聴した5名の平均値を算出したところ、最も恐怖シーンが出現するコンテンツ後半において、前頭部で後頭部に比べ、増加する特徴がみられた。
さらに、上記と同様の解析を悲しみ動画コンテンツと喜び動画コンテンツを視聴した際に行ったところ、悲しみ動画は後頭部に比べ前頭部のdNAT値が大きくなるのに対し、喜び動画は前頭部に比べ後頭部のdNAT値が大きくなる傾向が見られる。図32に、喜び動画コンテンツ視聴時と悲しみコンテンツ視聴時、ストーリー展開上感情への影響が大きいコンテンツ後半について、前頭部と後頭部の安静開眼時をコントロールとしたdNAT値のZスコア値の差分(10名の平均値)を取った結果を示す。悲しみのコンテンツでは、Zスコアが正側に分布し、前頭部の報酬系抑制の効果が良く表れている。対して、喜びのコンテンツでは抑制が負、すなわち報酬系の活動が正常に保たれていることを示している。
[実施形態2]
本発明の他の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図33に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2711、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、瞳孔径データ(瞳孔径スコア、注目度)、顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2712、S2722)。瞳孔径データ及び顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う(S2713、S2723)。これらの各データにそれぞれの閾値θe、θp、θfにより閾値処理を行う(S2707、S2717、S2727)。ここでの閾値処理は、例えばそれぞれの閾値θe、θp、θf以上のデータと未満のデータで二値化する。二値化されたデータの論理積により得られた数値から感情推定を行う(S2742)。論理積は一例を示しただけであり、一般には、多数決論理等の論理関数で置き換えることもできる。なお瞳孔径データは、実施形態1と同様にして閾値処理の前又は後で遅延時間設定により、データに遅延がつけられる(S2714)。
本発明の他の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図33に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2711、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、瞳孔径データ(瞳孔径スコア、注目度)、顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2712、S2722)。瞳孔径データ及び顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う(S2713、S2723)。これらの各データにそれぞれの閾値θe、θp、θfにより閾値処理を行う(S2707、S2717、S2727)。ここでの閾値処理は、例えばそれぞれの閾値θe、θp、θf以上のデータと未満のデータで二値化する。二値化されたデータの論理積により得られた数値から感情推定を行う(S2742)。論理積は一例を示しただけであり、一般には、多数決論理等の論理関数で置き換えることもできる。なお瞳孔径データは、実施形態1と同様にして閾値処理の前又は後で遅延時間設定により、データに遅延がつけられる(S2714)。
本実施形態の例示の1つとして図33に示した各閾値パラメータをθe=0.5、θf=0、θp=0.6を閾値とし、閾値処理で二値化し、その論理積を用いた場合は図34、図35のようになる。図34は喜び動画視聴時、図35は悲しみ動画視聴時である。
論理演算を、積の演算とする場合には、3つの条件を満たした、より信頼性の高い処理結果を得ることができる。しかしながら、測定に閉眼時を含む場合には、瞳孔径計測から閉眼が確認された場合には、論理積の中で、瞳孔径から得られる論理出力は強制的に論理値を1とすることができる。また、顔画像から得られる表情スコアについても同様である。このような演算処理を行うことで、測定時間中に被験者が目を閉じた場合についても、脳波からの情報で、出力値を得ることができ、シームレスな測定が可能となる。
[実施形態3]
本発明の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図36に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、及び顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2722)。顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う(S2723)。続いて横軸を表情スコア(例えばポジティブ感情度)、縦軸を脳波スコア(例えばβ波の喜び指標(T3、T4、F7のZスコア平均))とした座標に、時々刻々と変化する各被験者の2次元指標値(座標)を軌跡としてプロットする(S2743)。例えば図37aは喜びコンテンツ視聴時の2次元指標値表示であり、図37bは悲しみコンテンツ視聴時の2次元指標値表示である。2次元指標値は、悲しみ動画視聴時では点線の境界内に位置するのに対し、喜び動画視聴時ではほとんどが境界の外に位置する。各スコアをガウス分布と仮定しZスコアとすると、座標(x,y)の位置の確率密度はexp(x2/2)*exp(y2/2)に比例するため、表情スコアをx、脳波スコアをyとし、原点からの各二次元上の点までの距離r=(x2+y2)1/2を評価することで、被験者の感情が喜んでいるか悲しんでいるかを高精度で評価することができる。
本発明の1つの実施形態に係る感情推定装置のデータ処理ブロック図を図36に示す。図に示すように、まず各々の測定からデータを取得し(S2701、S2721)、脳波スコア(T3、T4、F7のZスコア平均、又は前頭部と後頭部のdNAT値のZスコアなど)、及び顔画像特徴量データ(基本6感情の感情度、感情レベル)を算出する(S2702、S2722)。顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う(S2723)。続いて横軸を表情スコア(例えばポジティブ感情度)、縦軸を脳波スコア(例えばβ波の喜び指標(T3、T4、F7のZスコア平均))とした座標に、時々刻々と変化する各被験者の2次元指標値(座標)を軌跡としてプロットする(S2743)。例えば図37aは喜びコンテンツ視聴時の2次元指標値表示であり、図37bは悲しみコンテンツ視聴時の2次元指標値表示である。2次元指標値は、悲しみ動画視聴時では点線の境界内に位置するのに対し、喜び動画視聴時ではほとんどが境界の外に位置する。各スコアをガウス分布と仮定しZスコアとすると、座標(x,y)の位置の確率密度はexp(x2/2)*exp(y2/2)に比例するため、表情スコアをx、脳波スコアをyとし、原点からの各二次元上の点までの距離r=(x2+y2)1/2を評価することで、被験者の感情が喜んでいるか悲しんでいるかを高精度で評価することができる。
上記の実施形態のように、人が注目すると瞳孔径が拡大することを利用した瞳孔径変化による注目度判定、そして顔の表情計測による表出感情の判定を合わせることにより、脳波だけによる感情推定より幅広く、きめ細かい、正確な感情推定が可能になる。すなわち、本発明により、テレビや映画、広告等のコンテンツ評価、商品評価、店舗陳列評価等のマーケッティング評価等多くの応用が可能となる。
以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
100 感情推定装置
110 コンピュータ
111 処理部
112 記憶部
113 通信部
120 入力装置
130 出力装置
140、200 脳活動測定装置
150 眼球撮影装置
160 表情測定用カメラ
201、211 電極
202 増幅器
203 マルチプレクサ
204 A/D変換器
210 頭部装着部
212 基準電極
213 固定具
214 プリアンプ
215 シールドケーブル
216 導電性ゴム電極
217 金属フィルム
220 3ch増幅器・帯域フィルタ
601 電極EA
602 電極EB
603 電極EC
700 3重相関評価装置
701 3ch脳電位増幅器
702 3chバンドパスフィルタ
703 3重相関値算出部
704 3重相関表示部
705 指標値算出部
110 コンピュータ
111 処理部
112 記憶部
113 通信部
120 入力装置
130 出力装置
140、200 脳活動測定装置
150 眼球撮影装置
160 表情測定用カメラ
201、211 電極
202 増幅器
203 マルチプレクサ
204 A/D変換器
210 頭部装着部
212 基準電極
213 固定具
214 プリアンプ
215 シールドケーブル
216 導電性ゴム電極
217 金属フィルム
220 3ch増幅器・帯域フィルタ
601 電極EA
602 電極EB
603 電極EC
700 3重相関評価装置
701 3ch脳電位増幅器
702 3chバンドパスフィルタ
703 3重相関値算出部
704 3重相関表示部
705 指標値算出部
Claims (7)
- 被験者の感情を推定する感情推定装置であって、
前記被験者の脳電位信号を取得する脳電位信号取得手段と、
前記被験者の顔映像を取得する顔映像取得手段と、
前記被験者の瞳孔径を取得する瞳孔径取得手段と、
前記被験者の視認対象の明るさ情報を取得する明るさ情報取得手段と、
前記取得された瞳孔径、前記取得された明るさ情報、及び予め取得された明るさ情報と前記被験者の瞳孔径との対応関係に基づいて、前記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出し、
前記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における前記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出し、
取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出し、並びに、
前記算出された注目度、顔画像特徴量、及び脳電位データに基づいて前記被験者の感情を推定する感情推定手段と、
を備える感情推定装置。 - 前記感情推定手段は、
前記算出された顔画像特徴量及び脳電位データ、並びに所定時間前の前記算出された注目度に基づいて前記被験者の感情を推定する、請求項1に記載の感情推定装置。 - 前記感情推定手段は、
前記算出された注目度と前記被験者の安静開眼時の注目度の平均値との差を当該安静開眼時の注目度の標準偏差で除した値である瞳孔径スコア、前記算出された顔画像特徴量と前記被験者の安静開眼時の顔画像特徴量の平均値との差を当該安静開眼時の顔画像特徴量の標準偏差で除した値である表情スコア、及び前記算出された脳電位データと前記被験者の安静開眼時の脳電位データの平均値との差を当該安静開眼時の脳電位データの標準偏差で除した値である脳波スコア、に基づいて前記被験者の感情を推定する請求項1又は2に記載の感情推定装置。 - 前記感情推定手段は、
前記瞳孔径スコア、前記表情スコア、及び前記脳波スコアそれぞれにおける所定の閾値以上又は以下のデータのみを線形結合して生成された数値を用いて前記被験者の感情を推定する、請求項3に記載の感情推定装置。 - 前記感情推定手段は、
前記瞳孔径スコア、前記表情スコア、及び前記脳波スコアをそれぞれの所定の閾値を用いて二値化し、二値化されたそれぞれのデータの論理積を用いて前記被験者の感情を推定する、請求項3に記載の感情推定装置。 - 前記脳電位信号取得手段は、
前記被験者の頭部表面の3つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得するものであり、
前記感情推定手段は、
それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、
それぞれのセンサごとに抽出された3つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び
算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出する、請求項1から5のいずれか1項に記載の感情推定装置。 - 被験者の感情を推定する方法であって、
前記被験者の脳電位信号を取得するステップと、
前記被験者の顔映像を取得するステップと、
前記被験者の瞳孔径を取得するステップと、
前記被験者の視認対象の明るさ情報を取得するステップと、
前記取得された瞳孔径、前記取得された明るさ情報、及び予め取得された明るさ情報と前記被験者の瞳孔径との対応関係に基づいて、前記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出するステップと、
前記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における前記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出ステップと、
取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出するステップと、
前記算出された注目度、顔画像特徴量、及び脳電位データに基づいて前記被験者の感情を推定するステップと、を有する感情推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017505336A JP6899989B2 (ja) | 2015-03-06 | 2016-03-07 | 感情推定装置及び感情推定方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562129034P | 2015-03-06 | 2015-03-06 | |
US62/129,034 | 2015-03-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016143759A1 true WO2016143759A1 (ja) | 2016-09-15 |
Family
ID=56880251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/057041 WO2016143759A1 (ja) | 2015-03-06 | 2016-03-07 | 感情推定装置及び感情推定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6899989B2 (ja) |
WO (1) | WO2016143759A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017119109A (ja) * | 2015-12-28 | 2017-07-06 | 小林 洋平 | ストレス判定装置及び方法 |
JP2018057510A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社脳機能研究所 | ストレス評価装置及び方法 |
JP2019154789A (ja) * | 2018-03-13 | 2019-09-19 | ニプロ株式会社 | 気分障害測定装置および気分障害測定方法 |
JP2020002514A (ja) * | 2018-06-29 | 2020-01-09 | 大成建設株式会社 | ヘルメット |
JPWO2020194529A1 (ja) * | 2019-03-26 | 2020-10-01 | ||
CN113052064A (zh) * | 2021-03-23 | 2021-06-29 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113397544A (zh) * | 2021-06-08 | 2021-09-17 | 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) | 一种病患情绪监测方法及系统 |
WO2022070821A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社島津製作所 | 生体情報計測システム |
WO2022107288A1 (ja) * | 2020-11-19 | 2022-05-27 | 日本電信電話株式会社 | 推定装置、推定方法、および、推定プログラム |
WO2022180852A1 (ja) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008246117A (ja) * | 2007-03-30 | 2008-10-16 | Fujifilm Corp | 画像提示装置、画像提示方法、およびプログラム |
WO2011042989A1 (ja) * | 2009-10-09 | 2011-04-14 | Kikuchi Kouichi | 視認情景に対する視認者情感判定装置 |
JP2014219937A (ja) * | 2013-05-10 | 2014-11-20 | パナソニック株式会社 | 嗜好判断システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003290179A (ja) * | 2002-04-02 | 2003-10-14 | Japan Tobacco Inc | 感覚感性評価システム |
-
2016
- 2016-03-07 JP JP2017505336A patent/JP6899989B2/ja active Active
- 2016-03-07 WO PCT/JP2016/057041 patent/WO2016143759A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008246117A (ja) * | 2007-03-30 | 2008-10-16 | Fujifilm Corp | 画像提示装置、画像提示方法、およびプログラム |
WO2011042989A1 (ja) * | 2009-10-09 | 2011-04-14 | Kikuchi Kouichi | 視認情景に対する視認者情感判定装置 |
JP2014219937A (ja) * | 2013-05-10 | 2014-11-20 | パナソニック株式会社 | 嗜好判断システム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017119109A (ja) * | 2015-12-28 | 2017-07-06 | 小林 洋平 | ストレス判定装置及び方法 |
JP7136264B2 (ja) | 2015-12-28 | 2022-09-13 | ニプロ株式会社 | ストレス判定装置、プログラム及び方法 |
JP2021118908A (ja) * | 2015-12-28 | 2021-08-12 | ニプロ株式会社 | ストレス判定装置、プログラム及び方法 |
JP2018057510A (ja) * | 2016-10-03 | 2018-04-12 | 株式会社脳機能研究所 | ストレス評価装置及び方法 |
JP7098974B2 (ja) | 2018-03-13 | 2022-07-12 | ニプロ株式会社 | 気分障害測定装置および気分障害測定方法 |
JP2019154789A (ja) * | 2018-03-13 | 2019-09-19 | ニプロ株式会社 | 気分障害測定装置および気分障害測定方法 |
WO2019176905A1 (ja) * | 2018-03-13 | 2019-09-19 | ニプロ株式会社 | 気分障害測定装置および気分障害測定方法 |
JP2020002514A (ja) * | 2018-06-29 | 2020-01-09 | 大成建設株式会社 | ヘルメット |
JP7359532B2 (ja) | 2018-06-29 | 2023-10-11 | 大成建設株式会社 | ヘルメット |
JPWO2020194529A1 (ja) * | 2019-03-26 | 2020-10-01 | ||
JP7207520B2 (ja) | 2019-03-26 | 2023-01-18 | 日本電気株式会社 | 興味判定装置、興味判定システム、興味判定方法及びプログラム |
US11887349B2 (en) | 2019-03-26 | 2024-01-30 | Nec Corporation | Interest determination apparatus, interest determination system, interest determination method, and non-transitory computer readable medium storing program |
WO2022070821A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社島津製作所 | 生体情報計測システム |
WO2022107288A1 (ja) * | 2020-11-19 | 2022-05-27 | 日本電信電話株式会社 | 推定装置、推定方法、および、推定プログラム |
JP7444286B2 (ja) | 2020-11-19 | 2024-03-06 | 日本電信電話株式会社 | 推定装置、推定方法、および、推定プログラム |
WO2022180852A1 (ja) * | 2021-02-26 | 2022-09-01 | 株式会社I’mbesideyou | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム |
CN113052064A (zh) * | 2021-03-23 | 2021-06-29 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
CN113052064B (zh) * | 2021-03-23 | 2024-04-02 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
CN113057633A (zh) * | 2021-03-26 | 2021-07-02 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113397544B (zh) * | 2021-06-08 | 2022-06-07 | 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) | 一种病患情绪监测方法及系统 |
CN113397544A (zh) * | 2021-06-08 | 2021-09-17 | 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) | 一种病患情绪监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6899989B2 (ja) | 2021-07-07 |
JPWO2016143759A1 (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016143759A1 (ja) | 感情推定装置及び感情推定方法 | |
Abdelrahman et al. | Cognitive heat: exploring the usage of thermal imaging to unobtrusively estimate cognitive load | |
Kanjo et al. | Towards unravelling the relationship between on-body, environmental and emotion data using sensor information fusion approach | |
KR101739058B1 (ko) | 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치 | |
CN111651060B (zh) | 一种vr沉浸效果的实时评估方法和评估系统 | |
Krzywicki et al. | A non-contact technique for measuring eccrine sweat gland activity using passive thermal imaging | |
KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
Kacha et al. | Electrophysiological evaluation of perceived complexity in streetscapes | |
JP2017217486A (ja) | 集中度評価装置、集中度評価方法、及びプログラム | |
Quek et al. | Ultra-coarse, single-glance human face detection in a dynamic visual stream | |
Al-Barrak et al. | NeuroPlace: making sense of a place | |
CN109923529A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2021118908A (ja) | ストレス判定装置、プログラム及び方法 | |
Okada et al. | Advertisement effectiveness estimation based on crowdsourced multimodal affective responses | |
CN110353671B (zh) | 一种基于视频调制和脑电信号的视觉注视位置测量方法 | |
Masui et al. | Measurement of advertisement effect based on multimodal emotional responses considering personality | |
van Beers et al. | A comparison between laboratory and wearable sensors in the context of physiological synchrony | |
Mavridou et al. | Towards valence detection from EMG for Virtual Reality applications | |
Collin et al. | Effects of band-pass spatial frequency filtering of face and object images on the amplitude of N170 | |
CN111414835B (zh) | 一种由恋爱冲动引发的脑电信号的检测判定方法 | |
Zou et al. | Quantifying the impact of urban form on human experience: Experiment using virtual environments and electroencephalogram | |
JP6834318B2 (ja) | ストレス評価装置及び方法 | |
Schneider et al. | Electrodermal responses to driving maneuvers in a motion sickness inducing real-world driving scenario | |
Okamoto et al. | Blind signal processing of facial thermal images based on independent component analysis | |
Kim et al. | An Affective Situation Labeling System from Psychological Behaviors in Emotion Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16761727 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017505336 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16761727 Country of ref document: EP Kind code of ref document: A1 |