WO2024252602A1 - 処理装置、処理方法及び処理プログラム - Google Patents

処理装置、処理方法及び処理プログラム Download PDF

Info

Publication number
WO2024252602A1
WO2024252602A1 PCT/JP2023/021296 JP2023021296W WO2024252602A1 WO 2024252602 A1 WO2024252602 A1 WO 2024252602A1 JP 2023021296 W JP2023021296 W JP 2023021296W WO 2024252602 A1 WO2024252602 A1 WO 2024252602A1
Authority
WO
WIPO (PCT)
Prior art keywords
empathy
content
user
cognitive
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021296
Other languages
English (en)
French (fr)
Inventor
藍李 太田
信哉 志水
愛 中根
高雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025525563A priority Critical patent/JPWO2024252602A1/ja
Priority to PCT/JP2023/021296 priority patent/WO2024252602A1/ja
Publication of WO2024252602A1 publication Critical patent/WO2024252602A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to a processing device, a processing method, and a processing program.
  • Human empathy can be broadly divided into two types: emotional empathy and cognitive empathy, both of which have their strengths and weaknesses. It is said that the ideal form of empathy in communication is one that balances these two types of empathy.
  • the present invention has been made in consideration of the above, and aims to provide a processing device, processing method, and processing program that can measure empathetic reactions to content in real time and adjust and process the empathetic elements of the content to create an empathic state suited to the intended use.
  • the processing device is characterized by having an estimation unit that measures the degree of empathy of a user viewing image, video or audio content via an output device based on at least biometric data of the user, a setting unit that sets an empathy parameter, which is a parameter that reflects the degree of processing to which the empathy elements of the content should be processed, based on the difference between a target empathy level that is preset for the content and the empathy level of the user measured by the estimation unit, and a processing unit that processes the content to be provided to the user to adjust the empathy elements based on the empathy parameter, and outputs the processed content from the output device.
  • an estimation unit that measures the degree of empathy of a user viewing image, video or audio content via an output device based on at least biometric data of the user
  • a setting unit that sets an empathy parameter, which is a parameter that reflects the degree of processing to which the empathy elements of the content should be processed, based on the difference between a target empathy level that is preset for the content and the empathy level of the user measured by the estimation unit
  • the present invention it is possible to measure empathic reactions to content in real time and adjust and process the empathic elements of the content to create an empathic state suited to the intended use.
  • FIG. 1 is a diagram illustrating an example of a configuration of a processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the configuration of the processing device illustrated in FIG.
  • FIG. 3 is a diagram showing the relationship between the EDA value in the empathic state and each empathic state.
  • FIG. 4 is a sequence diagram showing a processing procedure of the processing method according to the embodiment.
  • FIG. 5 is a flowchart showing the procedure of the empathy state estimation process shown in FIG.
  • FIG. 6 is a flowchart showing the procedure of the parameter setting process shown in FIG.
  • FIG. 7 is a diagram illustrating an example of a computer in which a processing device is realized by executing a program.
  • Content that includes stories and emotions induces various empathic states in the recipient, but the ease with which people can empathize emotionally and cognitively varies depending on individual characteristics, and the empathic states evoked by each individual differ even when exposed to the same content.
  • a processing device that measures emotional and cognitive empathy for content in real time, processes the content, and personalizes the content, adjusting and processing the empathy elements of the content to create an empathy state that matches the intended use of the content.
  • Emotional empathy involves changes in one's own emotions and is empathy that allows one to understand the other person by synchronizing with their emotions.
  • the results of recognizing these two empathic states are used to adjust and modify content, making it possible to personalize content to suit the intended use.
  • FIG. 1 is a diagram showing an example of the configuration of a processing system according to an embodiment.
  • a processing system 100 according to an embodiment includes a data acquisition device 10, a processing device 20, and an output device 30.
  • the data acquisition device 10 acquires various data including biometric data of the user. Specifically, the data acquisition device 10 acquires brain activity data, electrodermal activity (EDA), or heart rate data of the user viewing the content output from the output device 30 as biometric data. The data acquisition device 10 may also acquire video data capturing the user's facial expressions, etc.
  • EDA electrodermal activity
  • the data acquisition device 10 may also acquire video data capturing the user's facial expressions, etc.
  • the content is assigned an emotion label that indicates the emotion that people empathize with the content.
  • the content creator assigns an emotion label to each scene in the content.
  • the content creator may measure the reactions of multiple viewers and assign emotion labels based on the statistics, or may set emotion labels based on data on viewers who have the reaction the creator intended.
  • the viewer user, a psychological counselor, or a user instructor may assign an emotion label to each scene in the content.
  • Emotion labels include "sad" and "happy.”
  • the processing device 20 measures the user's emotional and cognitive empathy with the content based on the video data and biometric data acquired by the data acquisition device 10. Based on the measurement results, the processing device 20 adjusts and processes the empathy elements of the content to suit the user, and outputs the processed target content from the output device 30.
  • the output device 30 provides the target content processed by the processing device 20 to the user.
  • the output device 30 is, for example, composed of a display and a speaker.
  • the content output from the output device 30 is an image, video or audio showing the target.
  • FIG. 2 is a diagram showing an example of the configuration of the processing device 20 shown in Fig. 1.
  • the processing device 20 shown in FIG. 2 is realized, for example, by loading a specific program into a computer or the like including a ROM (Read Only Memory), a RAM (Random Access Memory), a CPU (Central Processing Unit), etc., and having the CPU execute the specific program.
  • the processing device 20 also has a communication interface for sending and receiving various information to and from other devices connected via a network, etc.
  • the processing device 20 has an empathy state estimation unit 21, a parameter setting unit 22 (setting unit), and a content processing unit 23 (processing unit).
  • the empathy state estimation unit 21 measures the user's degree of empathy with the content based on the biometric data of the user viewing the image, video or audio content via the output device 30.
  • the empathy state estimation unit 21 receives input of video data such as facial expressions and biometric data such as brain waves and heart rate transmitted from the data acquisition device 10. The empathy state estimation unit 21 then performs empathy state estimation using the video data and biometric data. The empathy state estimation unit 21 then measures and outputs the degree of emotional empathy and the degree of cognitive empathy.
  • the empathy state estimation unit 21 takes in data with a time window of 5 seconds or 10 seconds, and with a sliding window of 0.5 seconds or 1 second, and measures the degree of emotional empathy and the degree of cognitive empathy at any time, thereby realizing continuous content processing by the processing device 20.
  • the parameter setting unit 22 sets an empathy parameter based on the difference between a target empathy level preset for the content and the user's empathy level measured by the estimation unit.
  • the empathy parameter is a parameter that reflects the direction and strength to which the empathy element of the content is to be processed.
  • the empathy parameter includes the magnitude of the empathy element of the content provided to the user, and a positive (+) direction indicating that the empathy element is to be strengthened or a negative (-) direction indicating that the empathy element is to be weakened.
  • the parameter setting unit 22 uses the time series data of the target empathy level that was set anew when the content was created to set the empathy parameter. Then, based on the difference between the target empathy level and the measured empathy level, the parameter setting unit 22 determines the magnitude and direction of the empathy parameter and whether to strengthen or weaken the empathy element.
  • the parameter setting unit 22 sets the direction of the empathy parameter (ease of empathy) in the negative direction. If the user's empathy level falls below the target empathy level, this means that the user does not empathize very much (it is low), so the parameter setting unit 22 sets the direction of the empathy parameter in the positive direction to strengthen the empathy expression of the content.
  • the parameter setting unit 22 may set the strength (magnitude) of the empathy parameter to increase or decrease the strength in stages, for example, or may set the strength (magnitude) of the empathy parameter so that a single adjustment eliminates the difference between the target empathy level and the user's empathy level.
  • the content processing unit 23 processes the content to be provided to the user to adjust the empathy elements based on the empathy parameters set by the parameter setting unit 22, and outputs the processed content from the output device 30.
  • the content processing unit 23 adjusts the "empathy elements" of each aspect of emotional empathy and cognitive empathy of the preset content using empathy parameters.
  • Empathy elements are expressions and information related to empathy contained in the content.
  • Empathy elements of emotional empathy include the emotional strength of facial expressions, the emotional strength of voices, and the strength of emotional presentation expressions (such as color contrast and volume of presentation sounds).
  • Empathy elements of cognitive empathy include the amount of description of the story that is the subject of empathy, and the degree of emphasis of the scenes and people that are the subject of empathy.
  • the empathy state estimation unit 21 will be described.
  • the empathy state estimation unit 21 has a preprocessing unit 211, a first estimation unit 212, a second estimation unit 213, an emotional empathy level measurement unit 214 (first measurement unit), and a cognitive empathy level measurement unit 215 (second measurement unit).
  • the empathy state estimation unit 21 will be described taking as an example a case where the empathy state estimation unit 21 measures the emotional empathy level and the cognitive empathy level using brain activity data of a user.
  • the pre-processing unit 211 performs pre-processing on the data to be input to the first estimation unit 212 and the second estimation unit 213.
  • the pre-processing unit 211 captures brain activity data with a time window of 5 seconds or 10 seconds, and a sliding window of 0.5 seconds or 1 second, and inputs the brain activity data in sliding window units to the first estimation unit 212 and the second estimation unit 213.
  • the pre-processing unit 211 may separate the brain activity data into frequency bands, and input each of the separated frequency bands to the first estimation unit 212 and the second estimation unit 213.
  • the first estimation unit 212 has a self-emotion estimator 2121 that estimates the user's own emotions based on the user's brain activity data.
  • the self-emotion estimator 2121 is pre-trained, and estimates the emotional state of the estimation subject from the input user's brain activity data, and outputs the self-emotion (emotion category or emotion dimension).
  • the second estimation unit 213 has a cognitive emotion estimator 2131 that estimates the cognitive emotion recognized by the user from the object recognized by the user based on the user's brain activity data.
  • the cognitive emotion estimator 2131 is pre-trained, and estimates the emotion recognized by the estimation target from the empathic object from the input user's brain activity data, and outputs it as a cognitive emotion (emotion category or emotion dimension).
  • the emotional empathy measurement unit 214 measures the degree of agreement between the self-emotion output from the self-emotion estimator 2121 and the emotion label of the emotional stimulus, and outputs the measured degree of agreement as the emotional empathy degree. Note that the emotional empathy measurement unit 214 calculates the correlation or distance between the self-emotion output from the self-emotion estimator 2121 and the emotion label of the emotional stimulus as the degree of agreement.
  • the cognitive empathy measurement unit 215 measures the degree of agreement between the cognitive emotion output from the cognitive emotion estimator 2131 and the emotion label of the emotional stimulus, and outputs this as cognitive empathy.
  • the cognitive empathy measurement unit 215 calculates the correlation or distance between the cognitive emotion output from the cognitive emotion estimator 2131 and the emotion label of the emotional stimulus as the degree of agreement.
  • the emotional empathy measurement unit 214 and the cognitive empathy measurement unit 215 process the brain activity data captured by the preprocessing unit 211 in sliding window units of 0.5 seconds or 1 second, and therefore measure and output the emotional empathy and cognitive empathy in sliding window units of 0.5 seconds or 1 second.
  • the self-emotion estimator 2121 and the cognitive emotion estimator 2131 are trained on training data classified based on the correlation between EDA value data and emotion changes (Reference 1).
  • Reference 1 Lopez-Gil, Juan-Miguel et al., “Method for Improving EEG Based Emotion Recognition by Combining It with Synchronized Biometric and Eye Tracking Technologies in a Non-invasive and Low Cost Way”, rontiers in computational neuroscience vol. 10 85. 19 Aug. 2016, doi:10.3389/fncom.2016.00085.
  • the EDA value is known as biometric data that reflects the activity of the autonomic nerves in the body.
  • Reference 1 describes that the EDA value fluctuates when emotions change significantly. Based on this, we hypothesized that the EDA value fluctuates during emotional empathy, which is accompanied by a change in one's own emotions, and that the EDA value does not fluctuate significantly during cognitive empathy, which is not accompanied by a change in one's own emotions. Based on this, we formulated the hypothesis shown in Figure 3 and created training data for the self-emotion estimator and cognitive emotion estimator.
  • FIG. 3 is a diagram showing the relationship between the EDA value in an empathic state and each empathic state.
  • the empathic state when there is a fluctuation in the EDA value, the empathic state is set to be one in which emotional empathy is more prevalent than cognitive empathy, and the brain activity data is set to be one in which self-emotions are more prevalent than cognitive emotions.
  • the empathic state when there is no fluctuation in the EDA value, is set to be one in which cognitive empathy is more prevalent than emotional empathy, and the brain activity data is set to be one in which cognitive emotions are more prevalent than self-emotions.
  • brain activity data of the subject when recognizing an emotional stimulus that is an image, video or audio of an object of empathy and is given an emotional label indicating the empathetic emotion, and EDA value data of the subject when the brain activity data is measured are obtained. Then, by capturing changes in emotion from fluctuations in the EDA value, the simultaneously measured brain activity data is classified into a state where emotional empathy is dominant and a state where cognitive empathy is dominant, and the self-emotion estimator 2121 and the cognitive emotion estimator 2131 are trained respectively.
  • the brain activity data is classified into first brain activity data corresponding to time periods in which the numerical fluctuations of the EDA value data are outside a specified range, and second brain activity data corresponding to time periods in which the numerical fluctuations of the EDA value data are within a specified range.
  • the specified range may be set based on accumulated data of the brain activity data and EDA value data of multiple subjects in the past, or may be set for each subject based on the fluctuation state of the EDA value data.
  • the first brain activity data corresponds to an empathic state in which self-emotions are dominant over cognitive-emotions, and emotional empathy is dominant over cognitive empathy.
  • the second brain activity data corresponds to an empathic state in which cognitive-emotions are dominant over self-emotions, and cognitive empathy is dominant over emotional empathy.
  • the self-emotion estimator 2121 is trained using the first brain activity data as training data for the self-emotion estimator 2121.
  • the cognitive emotion estimator 2131 is trained using the second brain activity data as training data for the cognitive emotion estimator 2131.
  • the parameter setting section 22 has an emotional empathy parameter setting section 221 (first setting section) and a cognitive empathy parameter setting section 222 (second setting section).
  • the emotional empathy parameter setting unit 221 uses time series data of a target emotional empathy level that is set in advance for the content that the user is viewing.
  • the target emotional empathy level is set, for example, when the content is created.
  • the emotional empathy parameter setting unit 221 calculates the difference between this target emotional empathy level and the emotional empathy level measured by the empathy state estimation unit 21, and sets an emotional empathy parameter that adjusts the emotional empathy of the content to be provided to the user based on the calculated difference.
  • the emotional empathy parameter setting unit 221 determines the magnitude and direction of the emotional empathy parameter based on the calculated difference.
  • the cognitive empathy parameter setting unit 222 uses time series data of a target cognitive empathy level that is set in advance for the content that the user is viewing.
  • the target cognitive empathy level is set, for example, when the content is created.
  • the cognitive empathy parameter setting unit 222 calculates the difference between this target cognitive empathy level and the cognitive empathy level measured by the empathy state estimation unit 21, and sets the cognitive empathy parameter of the content to be provided to the user based on the calculated difference.
  • the cognitive empathy parameter setting unit 222 determines the magnitude and direction of the cognitive empathy parameter.
  • Example 1 of a method for setting a target value for empathy For example, a setting example of a target value of empathy (target empathy) in the case where a content creator wants to induce a uniform empathy state in viewers will be described.
  • the target values are preset over time for the target emotional empathy and target cognitive empathy values that the content creator set when creating the content.
  • the processing device 20 processes the content using the preset values set by the content creator, allowing the viewer to always watch content that has been adjusted to achieve the empathy state of the target value set by the creator.
  • Example 2 of a method for setting a target value for empathy
  • Example 2 an example of setting target values when a viewer (user) adjusts content to suit his/her own characteristics and preferences will be described.
  • the user can set the target empathy level by referring to the user's own empathy level data previously measured.
  • the target value can also be a preset over time of the target empathy level value set by the content creator when creating the content (such as level "-3" which makes it easier to empathize than no processing, or level "5" which makes it more difficult to empathize than no processing).
  • the user for example, is naturally sensitive to sad scenes and wants to watch without becoming too emotionally exhausted, they can set the preset level for the sadness emotion alone to level 3, for example, and watch content that has been processed to reduce the expression of sadness.
  • Example 3 of a method for setting a target value for empathy [Example 3 of a method for setting a target value for empathy] Next, an example of setting a target value for the empathy level when used in an empathy training scene will be described.
  • a psychological counselor or instructor sets a target value according to the level of the viewer (user).
  • the setter may set each target empathy level in detail over time.
  • the setter may set the target value based on the empathy level measured when the viewer watches unprocessed content.
  • the target value can also be a preset over time of the target empathy level that the content creator set when creating the content (such as level -3, which makes it easier to empathize than no processing, or level 5, which makes it more difficult to empathize than no processing).
  • the person setting up the training can measure the level of empathy while watching the unedited content again, and evaluate the training by comparing it with the level of empathy when watching the unedited content before the training.
  • the content processing unit 23 adjusts the "empathy elements" of each aspect of emotional empathy and/or cognitive empathy of the preset content by using parameters.
  • Empathy elements are expressions and information related to empathy contained in content.
  • empathy elements of emotional empathy include the emotional intensity of facial expressions, the emotional intensity of voice, and the intensity of emotional presentation (such as color contrast and volume of presentation sound).
  • empathy elements of cognitive empathy include the amount of description of the story that is the subject of empathy, and the degree of emphasis of the scene or person that is the subject of empathy.
  • the content processing unit 23 processes the content in a direction that makes it more likely to cause emotional empathy.
  • the content processing unit 23 adjusts the AU (Action Unit: facial feature points) so that a smiling facial expression appears more cheerful.
  • the content processing unit 23 applies an image filter that increases the degree of smiling at an arbitrary level. In this way, the content processing unit 23 processes the content mainly using image processing technology.
  • the content processing unit 23 enhances voice features that correspond to the emotional expression of the dialogue. In this way, the content processing unit 23 processes the content mainly using voice processing technology.
  • the content processing unit 23 processes the content in a direction that makes it less likely for cognitive empathy to occur.
  • the content processing unit 23 processes the content in a direction that weakens the level of emotional immersion by lowering the volume of these sounds or deleting sounds that are originally quiet.
  • the cognitive empathy parameter value is a positive value.
  • the content processing unit 23 supplements the amount of information by inserting a narration that has already been created as part of the content for a certain section of the content.
  • the cognitive empathy parameter value is a negative value.
  • cognitive empathy becomes less likely to occur as attention to the target person (performer) decreases.
  • the content processing unit 23 processes the content by reducing cuts and scenes that only feature the target person, or shortening cuts and scenes that only feature the target person, so as to divert attention from the target person.
  • Adjusting the degree of cognitive empathy basically involves manipulating the amount of information contained in the content.
  • the content processing unit 23 can use voice recognition and summarization technologies to summarize the lines of the characters, making it possible to process the content in such a way as inserting subtitles to supplement information, cutting out specific scenes, and omitting lines.
  • [Processing Procedure] 4 is a sequence diagram showing a processing procedure of the processing method according to the embodiment.
  • the data acquisition device 10 acquires biometric data of a user who is viewing image, video or audio content (step S1), and transmits the acquired biometric data to the processing device 20 (step S2).
  • the processing device 20 performs an empathy state estimation process to measure the user's empathy level for the content based on the received biometric data (step S3).
  • the processing device 20 performs a parameter setting process to set an empathy parameter based on the difference between a target empathy level preset for the content and the user's empathy level measured in the empathy state estimation process (step S4).
  • the processing device 20 performs a content processing process to adjust the empathy elements of the content to be provided to the user based on the empathy parameters set in step S4 (step S5).
  • the processing device 20 transmits the processed target content to the output device 30 (step S6), and the output device 30 outputs the processed target content (step S7).
  • Fig. 5 is a flowchart showing the processing procedure of the empathy state estimation process shown in Fig. 4.
  • the empathy state estimation unit 21 receives biometric data (e.g., brain activity data) of the estimation subject who recognizes the emotional stimulus (step S11), it performs a predetermined preprocessing and then inputs this brain activity data to the self-emotion estimator 2121 and the cognitive emotion estimator 2131.
  • biometric data e.g., brain activity data
  • the self-emotion estimator 2121 performs a first estimation process to estimate the self-emotion of the estimation target based on the user's brain activity data (step S12).
  • the emotional empathy measurement unit 214 measures the degree of agreement between the self-emotion estimated by the self-emotion estimator 2121 and the emotion label of the emotional stimulus as the emotional empathy (step S13), and outputs the measured emotional empathy (step S14).
  • the second estimation unit 213 performs a second estimation process in which the cognitive emotion estimator 2131 estimates the cognitive emotion recognized by the estimation subject from the object recognized by the estimation subject based on the brain activity data of the estimation subject (step S15).
  • the cognitive empathy measurement unit 215 measures the degree of agreement between the cognitive emotion estimated by the cognitive emotion estimator 2131 and the emotion label of the emotional stimulus as the cognitive empathy (step S16), and outputs the measured cognitive empathy (step S17).
  • Fig. 6 is a flowchart showing the procedure of the parameter setting process shown in Fig. 4.
  • the parameter setting unit 22 when the parameter setting unit 22 receives and accepts the input of the emotional empathy degree (step S21), it calculates the difference between the target emotional empathy degree and the input emotional empathy degree (step S22).
  • the parameter setting unit 22 sets an emotional empathy parameter based on the difference calculated in step S22 (step S23) and outputs it to the content processing unit 23 (step S24).
  • the parameter setting unit 22 When the parameter setting unit 22 receives and accepts the input of the cognitive empathy degree (step S25), it calculates the difference between the target cognitive empathy degree and the input cognitive empathy degree (step S26). The parameter setting unit 22 sets a cognitive empathy parameter based on the difference calculated in step S26 (step S27) and outputs it to the content processing unit 23 (step S28).
  • the processing device 20 measures the user's empathy level for the content based on biometric data of the user viewing the content.
  • the processing device 20 sets an empathy parameter, which is a parameter reflecting the degree of processing of the empathy element of the content, based on the difference between a target empathy level preset for the content and the user's empathy level.
  • the processing device 20 processes the content to be provided to the user to adjust the empathy element, based on the empathy parameter, and causes the output device 30 to output the processed content.
  • the processing device 20 adjusts the empathy elements of the content based on a preset target value for empathy and the results of continuous empathy measurement while the content is being viewed, thereby enabling personalization of the content to suit the intended use. Furthermore, the processing device 20 adjusts the empathy elements in almost real time based on the results of empathy measurement, which is measured, for example, every 0.5 seconds or 1 second, and feeds back the processed content to the user (viewer), making it possible to provide content suited to the intended use and the user.
  • the processing device 20 determines the magnitude and direction of the parameters for each of the emotional empathy parameters and the cognitive empathy parameters based on the difference between a preset target empathy level and the measurement result of the continuous empathy level while viewing the content.
  • the processing device 20 adjusts the strength of each emotional empathy element and each cognitive empathy element using the emotional empathy parameters and cognitive empathy parameters. In this way, the processing device 20 can provide the user with content whose empathy elements have been optimized to suit the user by adjusting the empathy elements of the content for both the emotional and cognitive empathy levels.
  • the processing device 20 also makes it possible to process the content so that it approaches the target empathy level set by the user.
  • the processing device 20 can process the content so as to induce the empathic state intended by the content creator.
  • the person who sets the target empathy level is the user who is the viewer, the user can set a target empathy level in advance when they want to watch content but do not want to become too emotional (avoid emotional fatigue) or when they want to understand the content without cognitive load (make cognitive empathy easier).
  • the processing device 20 adjusts the empathy elements to be closer to the user's settings, so the user can watch content in the empathic state they desire.
  • the following method can be considered. For example, first, the empathy level of the subject viewing unadjusted content is measured, and based on the measurement results of the empathy level over time, content that has been processed to increase the difficulty of empathy for the subject is provided to the subject. Next, using the processing device 20, the subject's empathy level as he or she views the processed content is repeatedly measured, while the subject views the content that has been processed to increase the difficulty of empathy. The subject is again made to view the unadjusted content, and the difference between the initially measured empathy level and the current empathy level (improvement in empathy level) is fed back in real time.
  • EDA value data is used to classify brain activity data into first brain activity data and second brain activity data to train the self-emotion estimator 2121 and the cognitive emotion estimator 2131
  • brain activity data may also be classified using other biodata that can capture autonomic nerve activity, such as an electrocardiogram.
  • the brain activity data may be classified into first brain activity data that corresponds to a time period in which the fluctuation in the numerical values of the biodata is outside a specified range, and second brain activity data that corresponds to a time period in which the fluctuation in the numerical values of the biodata is within a specified range.
  • the empathy state estimation unit 21 may also measure the degree of emotional empathy and the degree of cognitive empathy using biometric data other than the user's brain activity data. In this case, the empathy state estimation unit 21 performs preprocessing according to the input biometric data, and then measures the degree of emotional empathy and the degree of cognitive empathy. For example, when using EDA value data, the empathy state estimation unit 21 performs feature extraction processing as preprocessing.
  • the empathy state estimation unit 21 may measure either the emotional empathy degree or the cognitive empathy degree.
  • the parameter setting unit 22 sets the emotional empathy parameter or the cognitive empathy parameter according to the type of empathy degree input
  • the content processing unit 23 processes the content using the emotional empathy parameter or the cognitive empathy parameter.
  • the empathy state estimation unit 21 may measure the empathy degree based on an image capturing the facial expression of the user.
  • the empathy degree is not limited to two types, the emotional empathy degree and the cognitive empathy degree.
  • the processing device 20 may also store a history of the empathy parameters set by the parameter setting unit 22, allowing the user himself or the user's instructor, etc., to understand the user's empathy state based on the empathy parameters.
  • Each component of the processing device 20 is a functional concept, and does not necessarily have to be physically configured as shown in the figure.
  • the specific form of distribution and integration of the functions of the processing device 20 is not limited to that shown in the figure, and all or part of it can be functionally or physically distributed or integrated in any unit depending on various loads, usage conditions, etc.
  • each process performed by the processing device 20 may be realized, in whole or in part, by a CPU, a GPU (Graphics Processing Unit), and a program analyzed and executed by the CPU and GPU. Furthermore, each process performed by the processing device 20 may be realized as hardware using wired logic.
  • [program] 7 is a diagram showing an example of a computer in which a program is executed to realize the processing device 20.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These components are connected by a bus 1080.
  • the memory 1010 includes a ROM 1011 and a RAM 1012.
  • the ROM 1011 stores a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to a hard disk drive 1090.
  • the disk drive interface 1040 is connected to a disk drive 1100.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to a mouse 1110 and a keyboard 1120, for example.
  • the video adapter 1060 is connected to a display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS (Operating System) 1091, an application program 1092, a program module 1093, and program data 1094. That is, the program that defines each process of the processing device 20 is implemented as a program module 1093 in which code executable by the computer 1000 is written.
  • the program module 1093 is stored, for example, in the hard disk drive 1090.
  • a program module 1093 for executing processes similar to the functional configuration of the processing device 20 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-mentioned embodiment is stored as program data 1094, for example, in memory 1010 or hard disk drive 1090.
  • the CPU 1020 reads the program module 1093 or program data 1094 stored in memory 1010 or hard disk drive 1090 into RAM 1012 as necessary and executes it.
  • the program module 1093 and program data 1094 may not necessarily be stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like.
  • the program module 1093 and program data 1094 may be stored in another computer connected via a network (such as a LAN (Local Area Network), WAN (Wide Area Network)).
  • the program module 1093 and program data 1094 may then be read by the CPU 1020 from the other computer via the network interface 1070.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

処理装置（２０）は、出力装置を介して、画像、映像または音声のコンテンツを視聴するユーザの、少なくとも生体データを基に、コンテンツに対するユーザの共感度を計測する共感状態推定部（２１）と、コンテンツに対して予め設定された目標共感度と、共感状態推定部（２１）が計測したユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定するパラメータ設定部（２２）と、共感パラメータに基づいて、ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを出力装置から出力させるコンテンツ加工部（２３）と、を有することを特徴とする。

Description

処理装置、処理方法及び処理プログラム
　本発明は、処理装置、処理方法及び処理プログラムに関する。
　人間の「共感」には大きく分けて「感情的共感」と「認知的共感」の２つが存在し、どちらも長所・短所が存在する。この２つの共感をバランスよく行うことがコミュニケーションにおける理想的な共感であるとされている。
Rollin　McCraty,　"New　Frontiers　in　Heart　Rate　Variability　and　Social　Coherence　Research:　Techniques,　Technologies,　and　Implications　for　Improving　Group　Dynamics　and　Outcomes",　Front.　Public　Health　5:267.　doi:　10.3389/fpubh.2017.00267. Silke　Anders,　Jakob　Heinzle,　Nikolaus　Weiskopf,　Thomas　Ethofer,　John-Dylan　Haynes,　"Flow　of　affective　information　between　communicating　brains",　NeuroImage,　Volume　54,　Issue　1,　439-446,　2011.
　ここで、各種のトレーニング実現や要望に応じて、時系列のコンテンツを、コンテンツ視聴者の共感状態に応じてパーソナライズ化する技術が求められている。
　しかしながら、共感は、本来、動的な機能であり、時系列のコンテンツに対して、共感状態は連続的に変化する。上記の方法、検査は、主観的・客観的に各項目を評価するテストであるため、リアルタイムでの共感評価が困難であるという問題があった。このため、時系列のコンテンツを、コンテンツ視聴者の共感状態に応じて調整、加工することは困難であった。
　本発明は、上記に鑑みてなされたものであって、コンテンツに対する共感反応をリアルタイムで計測し、利用用途に合わせた共感状態となるようにコンテンツの共感要素を調整、加工することができる処理装置、処理方法及び処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る処理装置は、出力装置を介して、画像、映像または音声のコンテンツを視聴するユーザの、少なくとも生体データを基に、前記コンテンツに対する前記ユーザの共感度を計測する推定部と、前記コンテンツに対して予め設定された目標共感度と、前記推定部が計測した前記ユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定する設定部と、前記共感パラメータに基づいて、前記ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを前記出力装置から出力させる加工部と、を有することを特徴とする。
　本発明によれば、コンテンツに対する共感反応をリアルタイムで計測し、利用用途に合わせた共感状態となるようにコンテンツの共感要素を調整、加工することができる。
図１は、実施の形態に係る処理システムの構成の一例を示す図である。 図２は、図１に示す処理装置の構成の一例を示す図である。 図３は、共感状態にあるときのＥＤＡ値と各共感状態との関係を示す図である。 図４は、実施の形態に係る処理方法の処理手順を示すシーケンス図である。 図５は、図４に示す共感状態推定処理の処理手順を示すフローチャートである。 図６は、図４に示すパラメータ設定処理の処理手順を示すフローチャートである。 図７は、プログラムが実行されることにより、処理装置が実現されるコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［実施の形態］
　音楽や動画コンテンツ等に対して受け手に生じる「共感」の反応は、コンテンツの価値や効果を決める重要な感性である。例えば、映画などの映像作品の制作者にとっては、視聴者の内面に生じさせたい特定の状態のねらいがある。その一方で、ねらい通りの反応を視聴者の内面に一律に引き起こすのは容易ではない。
　ストーリーや感情を含むコンテンツは、受け手の様々な共感状態を引き起こすが、個人の特性によって、感情的共感・認知的共感のしやすさにばらつきがあり、同じコンテンツに対しても個人ごとに引き起こされる共感状態は異なるためである。
　そこで、実施の形態では、コンテンツに対する感情的共感・認知的共感をリアルタイムで計測してコンテンツを加工し、コンテンツをパーソナライズすることで、コンテンツの利用用途に合わせた共感状態となるように、コンテンツの共感要素を調整、加工する処理装置を提案する。
　ここで、感情的共感及び認知的共感について定義する。感情的共感は、自己の感情変化を伴い、対象の感情と同期することで理解するという共感である。正しい感情的共感は、「自己の感情（以降、自己感情と記載）」＝「対象の感情」である。この感情的共感は、相手の感情を自分のことのように感じることができるという長所がある一方、自己の感覚が中心となり、相手の視点を考慮できないという短所がある。
　また、認知的共感は、自己の感情変化は伴わず、相手の状態を認知ベースで理解する共感である。正しい認知的共感は、「認知した相手の感情状態（以降、認知感情と記載）」＝「対象の感情」である。認知的共感は、感情に振り回されずに、得られる情報から相手の状態を推測できるという長所がある一方、感情的な側面の推測が不十分である可能性があるという短所がある。
　実施の形態では、これら２つの共感状態を認識した結果をコンテンツの調整、加工に用いることで、利用用途に合わせたコンテンツのパーソナライズを可能とする。
［処理システム］
　実施の形態に係る処理システムについて説明する。図１は、実施の形態に係る処理システムの構成の一例を示す図である。図１に示すように、実施の形態に係る処理システム１００は、データ取得装置１０、処理装置２０、及び、出力装置３０を有する。
　データ取得装置１０は、ユーザの生体データを含む各種データを取得する。具体的には、データ取得装置１０は、出力装置３０から出力されたコンテンツを視聴するユーザの脳活動データ、皮膚電気活動（Electro　Dermal　Activity：ＥＤＡ）、或いは、心拍データを生体データとして取得する。また、データ取得装置１０は、ユーザの表情などを撮像した映像データを取得してもよい。
　ここで、コンテンツには、このコンテンツに共感する共感する感情を示す感情ラベルが付与されている。例えば、コンテンツの制作者側が、コンテンツの場面ごとに感情ラベルを付与する。コンテンツの制作者が、複数の視聴者の反応を計測して、その統計を基に感情ラベルを付与するほか、製作者が狙った反応をした視聴者のデータを基に感情ラベルを設定してもよい。また、後述するように、視聴者であるユーザ、心理カウンセラーやユーザの指導者等が、コンテンツの場面ごとに感情ラベルを付与してもよい。感情ラベルとして、「悲しい」、「楽しい」などがある。
　処理装置２０は、データ取得装置１０が取得した映像データや生体データを基に、コンテンツに対するユーザの感情的共感度及び認知的共感度を計測する。処理装置２０は、計測結果を基に、ユーザに合わせてコンテンツの共感要素を調整、加工し、加工した対象コンテンツを、出力装置３０から出力させる。
　出力装置３０は、処理装置２０が加工した対象コンテンツを出力することで、対象コンテンツをユーザに提供する。出力装置３０は、例えば、ディスプレイ及びスピーカーからなる。出力装置３０から出力されるコンテンツは、対象が写る画像、映像または音声である。
［処理装置］
　次に、処理装置２０について説明する。図２は、図１に示す処理装置２０の構成の一例を示す図である。
　図２に示す処理装置２０は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＣＰＵ（Central　Processing　Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、処理装置２０は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースを有する。処理装置２０は、共感状態推定部２１、パラメータ設定部２２（設定部）、及び、コンテンツ加工部２３（加工部）を有する。
　共感状態推定部２１は、出力装置３０を介して、画像、映像または音声のコンテンツを視聴するユーザの生体データを基に、コンテンツに対するユーザの共感度を計測する。
　共感状態推定部２１は、データ取得装置１０から送信された、表情などの映像データや、脳波、心拍などの生体データの入力を受け付ける。そして、共感状態推定部２１は、映像データ、生体データを用いた共感状態推定を行う。続いて、共感状態推定部２１は、感情的共感度と認知的共感度とを計測し、出力する。共感状態推定部２１では、データを、５秒や１０秒などの時間窓で、０．５秒や１秒のスライドウィンドウで取り込み、感情的共感度と認知的共感度との計測を随時行うことで、処理装置２０による連続的なコンテンツの加工を実現する。
　パラメータ設定部２２は、コンテンツに対して予め設定された目標共感度と、推定部が計測したユーザの共感度との差を基に、共感パラメータを設定する。共感パラメータは、どちらの方向に対して、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである。共感パラメータは、ユーザに提供するコンテンツの共感要素の大きさと、共感要素を強めることを示す正（＋）の方向または共感要素を弱めることを示す負（－）の方向と、を含む。
　パラメータ設定部２２は、共感パラメータの設定のために、コンテンツ制作時に改めて設定された目標共感度の時系列データを使用する。そして、パラメータ設定部２２は、目標共感度と計測した共感度との差を基に、共感パラメータの大きさと方向と、共感要素を強めるのか弱めるのかを決定する。
　例えば、パラメータ設定部２２は、ユーザの共感度が目標共感度を越える場合、共感パラメータの方向（共感のしやすさ）を負の方向に設定する。また、ユーザの共感度が目標共感度を下回る場合、ユーザがあまり共感できていない場合（低い場合）であるため、コンテンツの共感表現を強めるように、共感パラメータの方向を正の方向に設定する。そして、パラメータ設定部２２は、例えば、段階的に強度を増減するよう共感パラメータの強度（大きさ）を設定してもよいし、一度の調整で目標共感度とユーザの共感度との差がなくなるように、共感パラメータの強度（大きさ）を設定してもよい。
　コンテンツ加工部２３は、パラメータ設定部２２によって設定された共感パラメータに基づいて、ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを出力装置３０から出力させる。
　コンテンツ加工部２３は、予め設定したコンテンツの感情的共感及び認知的共感の各側面の「共感要素」の調整を、共感パラメータを用いて行う。共感要素は、コンテンツに含まれる共感に関する表現・情報である。感情的共感の共感要素としては、表情の感情的な強さ、音声の感情的な強さ、感情的な演出表現の強さ（色調コントラストや演出音の大きさなど）などがある。認知的共感の共感要素としては、共感対象となるストーリーの記述量や、共感対象となる場面や人物の強調度などがある。
［共感状態推定部］
　共感状態推定部２１について説明する。共感状態推定部２１は、前処理部２１１、第１の推定部２１２、第２の推定部２１３、感情的共感度計測部２１４（第１の計測部）、及び認知的共感度計測部２１５（第２の計測部）を有する。以降において、共感状態推定部２１は、ユーザの脳活動データを用いて、感情的共感度と認知的共感度とを計測する場合を例に説明する。
　前処理部２１１は、第１の推定部２１２、第２の推定部２１３に入力するデータに対する前処理を行う。前処理部２１１は、脳活動データを、５秒や１０秒などの時間窓で、０．５秒や１秒のスライドウィンドウで取り込み、スライドウィンドウ単位で脳活動データを第１の推定部２１２、第２の推定部２１３に入力する。前処理部２１１は、脳活動データを、周波数帯域ごとに分離し、分離した周波痛帯域ごとに、第１の推定部２１２、第２の推定部２１３に入力してもよい。
　第１の推定部２１２は、ユーザの脳活動データを基に、ユーザの自己感情を推定する自己感情推定器２１２１を有する。自己感情推定器２１２１は、訓練済みであり、入力されたユーザの脳活動データから、推定対象者自身の感情状態を推定し、自己感情（感情カテゴリもしくは感情次元）として出力する。
　第２の推定部２１３は、ユーザの脳活動データを基に、ユーザが認識した対象から認識した認知感情を推定する認知感情推定器２１３１を有する。認知感情推定器２１３１は、訓練済みであり、入力されたユーザの脳活動データから、推定対象者が共感対象から認識した感情を推定し、認知感情（感情カテゴリもしくは感情次元）として出力する。
　感情的共感度計測部２１４は、自己感情推定器２１２１から出力された自己感情と、感情刺激の感情ラベルとの一致度を計測し、計測した一致度を、感情的共感度として出力する。なお、感情的共感度計測部２１４は、一致度として、自己感情推定器２１２１から出力された自己感情と、感情刺激の感情ラベルとの相関または距離を算出する。
　認知的共感度計測部２１５は、認知感情推定器２１３１から出力された認知感情と、感情刺激の感情ラベルとの一致度を計測し、認知的共感度として出力する。認知的共感度計測部２１５は、一致度として、認知感情推定器２１３１から出力された認知感情と、感情刺激の感情ラベルとの相関または距離を算出する。感情的共感度計測部２１４及び認知的共感度計測部２１５は、前処理部２１１によって取り込まれた０．５秒や１秒のスライドウィンドウ単位で脳活動データを処理するため、０．５秒や１秒のスライドウィンドウ単位で感情的共感度及び認知的共感度を計測し、出力する。
［推定器の訓練］
　なお、自己感情推定器２１２１及び認知感情推定器２１３１は、ＥＤＡ値データと、感情変化との相関（参考文献１）を基に、分類された訓練データを基に訓練されている。
参考文献１：Lopez-Gil,　Juan-Miguel　et　al.,　“Method　for　Improving　EEG　Based　Emotion　Recognition　by　Combining　It　with　Synchronized　Biometric　and　Eye　Tracking　Technologies　in　a　Non-invasive　and　Low　Cost　Way”,　rontiers　in　computational　neuroscience　vol.　10　85.　19　Aug.　2016,　doi:10.3389/fncom.2016.00085.
　ＥＤＡ値は、体内の自律神経の活動を反映する生体データとして知られている。参考文献１では、感情が大きく変化するとＥＤＡ値が変動を示すことが記載されている。これより、自己感情の変化を伴う感情的共感時にはＥＤＡ値が変動し、自己感情の変化を伴わない認知的共感時にはＥＤＡ値は大きく変動しないとし、図３に示す仮説をたて、自己感情推定器と認知感情推定器との訓練データを作成した。
　図３は、共感状態にあるときのＥＤＡ値と各共感状態との関係を示す図である。実施の形態では、図３に示すように、ＥＤＡ値に変動がある場合、共感状態は、認知的共感よりも感情的共感が優位であり、脳活動データは、認知感情よりも自己感情が優位であると設定した。また、実施の形態では、ＥＤＡ値に変動がない場合、共感状態は、感情的共感よりも認知的共感が優位であり、脳活動データは、自己感情よりも認知感情が優位であると設定した。
　これに応じて、共感する対象が写る画像、映像または音声であって共感する感情を示す感情ラベルが付与された感情刺激の認識時における被験者の脳活動データと、脳活動データの計測時における被験者のＥＤＡ値データとを取得する。そして、ＥＤＡ値の変動から感情の変化を捉えることで、同時計測した脳活動データを、感情的共感が優位である状態と、認知的共感が優位である状態とに分類し、それぞれ自己感情推定器２１２１と認知感情推定器２１３１との訓練を行う。
　具体的には、脳活動データを、ＥＤＡ値データのうち数値の変動が所定範囲外である時間帯に対応する第１の脳活動データと、ＥＤＡ値データのうち数値の変動が所定範囲以内である時間帯に対応する第２の脳活動データと、に分類する。なお、所定範囲は、過去の複数の被験者の脳活動データとＥＤＡ値データとの蓄積データを基に設定してもよいし、ＥＤＡ値データの変動状態を基に被験者ごとに設定してもよい。
　第１の脳活動データでは、認知感情よりも自己感情が優位であり、認知的共感よりも感情的共感が優位である共感状態に対応する。第２の脳活動データでは、自己感情よりも認知感情が優位であり、共感状態は、感情的共感よりも認知的共感が優位である。
　そして、自己感情推定器２１２１は、第１の脳活動データを自己感情推定器２１２１の訓練データとして訓練される。また、認知感情推定器２１３１は、第２の脳活動データを認知感情推定器２１３１の訓練データとして訓練される。
［パラメータ設定部］
　パラメータ設定部２２について説明する。パラメータ設定部２２は、感情的共感パラメータ設定部２２１（第１の設定部）、及び、認知的共感パラメータ設定部２２２（第２の設定部）を有する。
　感情的共感パラメータ設定部２２１は、ユーザが視聴するコンテンツに対して予め設定された目標感情的共感度の時系列データを使用する。目標感情的共感度は、例えば、コンテンツのコンテンツ制作時に設定される。
　感情的共感パラメータ設定部２２１は、この目標感情的共感度と、共感状態推定部２１が計測した感情的共感度との差を算出し、算出した差を基に、ユーザに提供するコンテンツの感情的共感を調整する感情的共感パラメータを設定する。感情的共感パラメータ設定部２２１は、算出した差を基に、感情的共感パラメータの大きさと方向を決定する。
　認知的共感パラメータ設定部２２２は、ユーザが視聴するコンテンツに対して予め設定された目標認知的共感度の時系列データを使用する。目標認知的共感度は、例えば、コンテンツ制作時に設定される。
　認知的共感パラメータ設定部２２２は、この目標認知的共感度と、共感状態推定部２１が計測した認知的共感度との差を算出し、算出した差を基に、ユーザに提供するコンテンツの認知的共感パラメータを設定する。認知的共感パラメータ設定部２２２は、認知的共感パラメータの大きさと方向を決定する。
［共感度の目標値の設定方法例１］
　例えば、コンテンツ制作者が、視聴者に一様の共感状態を引き出したい場合の共感度の目標値（目標共感度）の設定例について説明する。
　目標値は、コンテンツ制作者がコンテンツ制作時に設定した目標感情的共感度、目標認知的共感度の値の経時的なプリセットを用いる。コンテンツ制作者により設定されたプリセット値を用いて処理装置２０がコンテンツを加工することによって、視聴者は、常に、製作者設定の目標値の共感状態になるように調整されたコンテンツを視聴することができる。
［共感度の目標値の設定方法例２］
　次に、視聴者（ユーザ）が自身の特性や好みに合わせてコンテンツの調整を行う場合の目標値の設定例について説明する。
　この場合、ユーザは、以前計測したユーザ自身の共感度データを参考に、ユーザ自身で目標共感度を設定できる。目標値は、コンテンツ制作者がコンテンツ制作時に設定した目標共感度の値の経時的なプリセット（無加工より共感しやすくするレベル「－３」や、無加工より共感を難しくするレベル「５」など）を用いることもできる。
　上記の場合、ユーザが、例えば、性格的に悲しいシーンに弱く、あまり感情的に疲れずに視聴したい場合は、悲しみの感情のみについて、プリセットのレベルをレベル３などに設定することで、悲しみの表現が弱く加工されたコンテンツを視聴することが可能になる。
［共感度の目標値の設定方法例３］
　次に、共感トレーニングのシーンで使用する場合の共感度の目標値の設定例について説明する。
　心理カウンセラーや指導者（設定者）が、視聴者（ユーザ）のレベルに合わせて目標値を設定する。目標値は、設定者が各目標共感度を経時的に細かく設定してもよい。この場合、設定者は、視聴者が無加工のコンテンツを視聴したときに計測した共感度の値を参考に設定してもよい。
　目標値は、共感パラメータを事前に設定することで、共感度の差分算出なしに、映像全体に一律の強さで加工をかけることもできる。
　目標値は、コンテンツ制作者がコンテンツ制作時に設定した目標共感度の値の経時的なプリセット（無加工より共感しやすくするレベル-３や、無加工より共感を難しくするレベル５など）を用いることもできる。
　トレーニングの場合、共感を難しくする方向に加工したコンテンツを繰り返し視聴し、視聴中の自身の共感度計測結果をモニタリングすることで、共感をコントロールする力が身につくと考えられる。
　設定者は、トレーニングの最後に、改めて無加工のコンテンツを視聴しながら共感度計測を行い、トレーニング前に無加工のコンテンツを視聴した時の共感度と比較することで、トレーニングの評価を行うことができる。
［コンテンツ加工部］
　コンテンツ加工部２３について説明する。コンテンツ加工部２３は、予め設定したコンテンツの感情的共感及び／または認知的共感の各側面の「共感要素」の調整を、パラメータを用いて行う。
　共感要素は、コンテンツに含まれる共感に関する表現及び情報である。例えば、感情的共感の共感要素として、表情の感情的な強さ、音声の感情的な強さ、感情的な演出表現の強さ（色調コントラストや演出音の大きさなど）などがある。例えば、認知的共感の共感要素として、共感対象となるストーリーの記述量や、共感対象となる場面や人物の強調度などがある。
［感情的共感パラメータを用いる例］
　具体的に、感情的共感パラメータを用いてコンテンツを加工する場合について説明する。
　まず、感情的共感パラメータ値がプラス（正）の値の場合について説明する。コンテンツ加工部２３は、感情的共感が起こりやすい方向にコンテンツを加工する。
　例えば、コンテンツ加工部２３は、表情の共感特徴の場合、笑顔の表情であればより笑顔になるようにＡＵ（Action　Unit：顔の特徴点）を調整する。或いは、コンテンツ加工部２３は、表情の共感特徴の場合、任意のレベルで笑顔度を増すような画像フィルタをかけるなどする。このように、コンテンツ加工部２３は、主に画像処理技術によりコンテンツの加工を行う。
　例えば、コンテンツ加工部２３は、音声の共感特徴の場合、セリフの感情的な表現に対応する音声特徴を強める。このように、コンテンツ加工部２３は、主に音声処理技術によりコンテンツの加工を行う。
　感情的共感パラメータ値がマイナス（負）の値の場合について説明する。この場合、コンテンツ加工部２３は、認知的共感が起こりにくい方向にコンテンツを加工する。
　例えば、演出としての音（ＢＧＭ（背景音楽）や、ＳＥ（効果音）など）の共感特徴の場合、基本的にこれらは感情的な表現を強めるために演出として用いられる。コンテンツ加工部２３は、これらの音量を小さくすることや、もともと小さな音については削除することで、感情的な没入度を弱める方向にコンテンツの加工を行う。
［認知的共感パラメータを用いる例］
　具体的に、認知的共感パラメータを用いてコンテンツを加工する場合について説明する。
　認知的共感パラメータ値がプラス（正）の値の場合について説明する。コンテンツ内で説明される情報量が少ないほど、認知的共感を正確に行うことが難しくなる。このため、コンテンツ加工部２３は、認知的共感パラメータ値がプラス（正）の場合はコンテンツの一定区間、あらかじめコンテンツの一部として制作済みのナレーションを挿入することで情報量の補完を行う。
　認知的共感パラメータ値がマイナスの値の場合について説明する。この場合、認知的共感は対象者（出演者）への注意が減少するほど生じにくくなる。このことから、コンテンツ加工部２３は、対象者から注意がそれるように、対象者のみのカットやシーンを減らすことや、対象者のみのカットやシーンを短くすることでコンテンツの加工を行う。
　認知的共感度の調整については、基本的にコンテンツに含まれる情報量の操作になる。このため、コンテンツ加工部２３は、音声認識技術及び要約技術によって、登場人物のセリフを要約することで、情報を補う字幕の挿入や、特定のシーンのカット、セリフの省略といった加工が可能になる。
［処理手順］
　図４は、実施の形態に係る処理方法の処理手順を示すシーケンス図である。データ取得装置１０は、画像、映像または音声のコンテンツを視聴するユーザの生体データを取得し（ステップＳ１）、取得した生体データを処理装置２０に送信する（ステップＳ２）。
　処理装置２０は、受信した生体データを基に、コンテンツに対するユーザの共感度を計測する共感状態推定処理を行う（ステップＳ３）。処理装置２０は、コンテンツに対して予め設定された目標共感度と、共感状態推定処理において計測されたユーザの共感度との差を基に、共感パラメータを設定するパラメータ設定処理を行う（ステップＳ４）。
　処理装置２０は、ステップＳ４において設定された共感パラメータに基づいて、ユーザに提供するコンテンツの共感要素を調整する加工を行うコンテンツ加工処理を行う（ステップＳ５）。処理装置２０は、加工後の対象コンテンツを出力装置３０に送信し（ステップＳ６）、出力装置３０は、加工後の対象コンテンツを出力する（ステップＳ７）。
［共感状態推定処理］
　次に、図４に示す共感状態推定処理（ステップＳ３）について説明する。図５は、図４に示す共感状態推定処理の処理手順を示すフローチャートである。
　図５に示すように、処理装置２０では、共感状態推定部２１が、感情刺激を認識する推定対象者の生体データ（例えば、脳活動データ）が入力されると（ステップＳ１１）、所定の前処理を行った後に、この脳活動データを、自己感情推定器２１２１及び認知感情推定器２１３１に入力する。
　第１の推定部２１２では、自己感情推定器２１２１が、ユーザの脳活動データを基に、推定対象者の自己感情を推定する第１の推定処理を行う（ステップＳ１２）。感情的共感度計測部２１４は、自己感情推定器２１２１が推定した自己感情と、感情刺激の感情ラベルとの一致度を感情的共感度として計測し（ステップＳ１３）、計測した感情的共感度を出力する（ステップＳ１４）。
　第２の推定部２１３は、認知感情推定器２１３１が、推定対象者の脳活動データを基に、推定対象者が認識した対象から認識した認知感情を推定する第２の推定処理を行う（ステップＳ１５）。認知的共感度計測部２１５は、認知感情推定器２１３１が推定した認知感情と、感情刺激の感情ラベルとの一致度を認知的共感度として計測し（ステップＳ１６）、計測した認知的共感度を出力する（ステップＳ１７）。
［パラメータ設定処理］
　次に、図４に示すパラメータ設定処理（ステップＳ４）について説明する。図６は、図４に示すパラメータ設定処理の処理手順を示すフローチャートである。
　処理装置２０では、パラメータ設定部２２が、感情的共感度の入力を受けて受け付けると（ステップＳ２１）、目標感情的共感度と、入力された感情的共感度との差を算出する（ステップＳ２２）。パラメータ設定部２２は、ステップＳ２２において算出した差を基に、感情的共感パラメータを設定して（ステップＳ２３）、コンテンツ加工部２３に出力する（ステップＳ２４）。
　パラメータ設定部２２が、認知的共感度の入力を受けて受け付けると（ステップＳ２５）、目標認知的共感度と、入力された認知的共感度との差を算出する（ステップＳ２６）。パラメータ設定部２２は、ステップＳ２６において算出した差を基に、認知的共感パラメータを設定して（ステップＳ２７）、コンテンツ加工部２３に出力する（ステップＳ２８）。
［実施の形態の効果］
　実施の形態に係る処理装置２０は、コンテンツを視聴するユーザの生体データを基に、コンテンツに対するユーザの共感度を計測する。処理装置２０は、コンテンツに対して予め設定された目標共感度とユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定する。処理装置２０は、共感パラメータに基づいて、ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを出力装置３０から出力させる。
　このように、処理装置２０は、予め設定した共感度の目標値と、コンテンツ視聴中の連測的な共感度の計測結果とを基に、コンテンツの共感要素を調整することで、利用目的に合わせたコンテンツのパーソナライズを可能にする。また、処理装置２０は、例えば０．５秒或いは１秒ごとに計測される共感度の計測結果を基に、ほぼリアルタイムに共感要素を調整、加工したコンテンツをユーザ（視聴者）へフィードバックすることで、利用目的と利用者に適したコンテンツの提供が可能となる。
　そして、処理装置２０は、感情的共感パラメータと認知的共感パラメータとのそれぞれについて、予め設定した目標共感度と、コンテンツ視聴中の連測的な共感度の計測結果との差を基に、パラメータの大きさと方向とを決定する。処理装置２０は、各感情的共感要素、各認知的共感要素について、感情的共感パラメータと認知的共感パラメータとを用いて、強度の調整を行う。このように、処理装置２０は、感情的共感度と認知的共感度との双方について、コンテンツの共感要素を調整することで、共感要素をユーザに合わせて最適化したコンテンツを、ユーザに提供することができる。
　また、処理装置２０は、設定者によって設定された目標共感度に近づくように、コンテンツを加工することを可能とする。
　このため、例えば、目標共感度の設定者がコンテンツ制作者である場合、処理装置２０は、コンテンツ制作者が意図した共感状態を引き起こすように、コンテンツを加工することができる。また、目標共感度の設定者が視聴者であるユーザである場合であって、ユーザが、コンテンツを視聴したいが、あまり感情的になりたくない（感情疲労を避けたい）ときや、認知的負荷なくコンテンツを理解したい（認知的共感を易しくしたい）ときに、予め目標の共感度を設定しておく。この場合、処理装置２０は、ユーザの設定に近くなる共感要素を調整するため、ユーザは、自身が希望する共感状態のコンテンツを視聴できる。
　また、対象者への共感トレーニングに応用する場合、下記の方法が考えられる。例えば、初めに調整なしのコンテンツを視聴する対象者の共感度を計測し、時系列の共感度の計測結果を基に、対象者にとって共感の難易度を上げる方向に加工したコンテンツを対象者に提供する。続いて、処理装置２０を用いて、加工したコンテンツを視聴する対象者の共感度を計測しながら繰り返し、共感の難易度を挙げる方向に加工したコンテンツを視聴させる。再度、調整なしのコンテンツを対象者に視聴させ、初めに計測した共感度と現在の共感度との差（共感度の改善度）をリアルタイムでフィードバックする。
　このように、処理装置２０を用いて、あえて共感を起こしにくい方向にパーソナライズしたコンテンツを出力することで、調整したコンテンツの継続使用により共感トレーニングが可能になる。この使用例の場合、例えば性格特性や神経発達症などによって共感を適切に行えない問題を抱える利用者に対する共感トレーニングに応用することができると考える。
　なお、本実施の形態では、ＥＤＡ値データを用いて、脳活動データを第１の脳活動データ及び第２の脳活動データに分類して自己感情推定器２１２１及び認知感情推定器２１３１を訓練した場合を例に説明したが、心電図など、自律神経活動を捉えることができる他の生体データを用いて脳活動データを分類してもよい。この場合、脳活動データを、生体データのうち数値の変動が所定範囲外である時間帯に対応する第１の脳活動データと、生体データのうち数値の変動が所定範囲以内である時間帯に対応する第２の脳活動データと、に分類すればよい。
　また、共感状態推定部２１は、ユーザの脳活動データ以外の生体データを用いて、感情的共感度と認知的共感度とを計測してもよい。この場合、共感状態推定部２１は、入力された生体データに応じた前処理を行ってから、感情的共感度及び認知的共感度を計測する。例えば、共感状態推定部２１は、ＥＤＡ値データを用いる場合には、前処理として、特徴量抽出処理を行う。
　また、共感状態推定部２１は、感情的共感度と認知的共感度とのいずれか一方を計測してもよい。この場合、パラメータ設定部２２は、入力された共感度の種別に応じて、感情的共感パラメータまたは認知的共感パラメータを設定し、コンテンツ加工部２３は、感情的共感パラメータまたは認知的共感パラメータを用いて、コンテンツを加工する。また、共感状態推定部２１は、ユーザの顔の表情を撮像した画像を基に、共感度を計測してもよい。また、共感度は、感情的共感度と認知的共感度との２種に限るものではない。
　また、処理装置２０は、パラメータ設定部２２が設定した共感パラメータの履歴を蓄積し、ユーザ自身、または、ユーザの指導者等が、共感パラメータを基にユーザの共感状況を把握できるようにしてもよい。
［実施の形態のシステム構成について］
　処理装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、処理装置２０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
　また、処理装置２０においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics　Processing　Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、処理装置２０においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
　また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
［プログラム］
　図７は、プログラムが実行されることにより、処理装置２０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating　System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、処理装置２０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、処理装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
　１０　データ取得装置
　２０　処理装置
　２１　共感状態推定部
　２２　パラメータ設定部
　２３　コンテンツ加工部
　３０　出力装置
　２１１　前処理部
　２１２　第１の推定部
　２１３　第２の推定部
　２１４　感情的共感度計測部
　２１５　認知的共感度計測部
　２２１　感情的共感パラメータ設定部
　２２２　認知的共感パラメータ設定部
　２１２１　自己感情推定器
　２１３１　認知感情推定器

Claims (7)

  1. 　出力装置を介して、画像、映像または音声のコンテンツを視聴するユーザの、少なくとも生体データを基に、前記コンテンツに対する前記ユーザの共感度を計測する推定部と、
    　前記コンテンツに対して予め設定された目標共感度と、前記推定部が計測した前記ユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定する設定部と、
    　前記共感パラメータに基づいて、前記ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを前記出力装置から出力させる加工部と、
    　を有することを特徴とする処理装置。
  2. 　前記共感パラメータは、前記共感要素の大きさと、前記共感要素を強めることを示す正の方向または弱めることを示す負の方向と、を含むことを特徴とする請求項１に記載の処理装置。
  3. 　前記推定部は、
    　前記コンテンツに対する前記ユーザの生体データを基に、前記ユーザの自己感情を推定する自己感情推定器を有する第１の推定部と、
    　前記自己感情推定器が推定した自己感情と、前記コンテンツの感情ラベルとの一致度を計測して、計測結果を感情的共感度として出力する第１の計測部と、
    　前記コンテンツに対する前記ユーザの生体データを基に、前記ユーザが認識した対象から認識した認知感情を推定する認知感情推定器を有する第２の推定部と、
    　前記認知感情推定器が推定した認知感情と、前記コンテンツの感情ラベルとの一致度を計測して、計測結果を認知的共感度として出力する第２の計測部と、
    　を有することを特徴とする請求項１に記載の処理装置。
  4. 　前記設定部は、
    　前記コンテンツに対して予め設定された目標感情的共感度と、前記第１の計測部が計測した前記ユーザの感情的共感度との差を基に、前記ユーザに提供するコンテンツの感情的共感を調整する感情的共感パラメータを設定する第１の設定部と、
    　前記コンテンツに対して予め設定された目標認定的共感度と、前記第２の計測部が計測した前記ユーザの認知的共感度との差を基に、前記ユーザに提供するコンテンツの認知的共感を調整する認知的共感パラメータを設定する第２の設定部と、
    　を有することを調整する請求項３に記載の処理装置。
  5. 　前記自己感情推定器は、共感する対象が写る画像、映像または音声であって共感する感情を示す感情ラベルが付与された感情刺激の認識時における被験者の脳活動データのうち、該脳活動データの計測時における前記被験者の生体データのうち数値の変動が所定範囲外である時間帯に対応する第１の脳活動データを訓練用データとして訓練され、
    　前記認知感情推定器は、前記感情刺激の認識時における被験者の脳活動データのうち、該脳活動データの計測時における前記被験者の生体データのうち数値の変動が所定範囲以内である時間帯に対応する第２の脳活動データを訓練用データとして訓練されることを特徴とする請求項３に記載の処理装置。
  6. 　処理装置が実行する処理方法であって、
    　出力装置を介して、画像、映像または音声のコンテンツを視聴するユーザの、少なくとも生体データを基に、前記コンテンツに対する前記ユーザの共感度を計測する工程と、
    　前記コンテンツに対して予め設定された目標共感度と、前記計測する工程において計測された前記ユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定する工程と、
    　前記共感パラメータに基づいて、前記ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを前記出力装置から出力させる工程と、
    　を含んだことを特徴とする処理方法。
  7. 　出力装置を介して、画像、映像または音声のコンテンツを視聴するユーザの、少なくとも生体データを基に、前記コンテンツに対する前記ユーザの共感度を計測するステップと、
    　前記コンテンツに対して予め設定された目標共感度と、前記計測するステップにおいて計測された前記ユーザの共感度との差を基に、どの程度の強度でコンテンツの共感要素を加工するかを反映するパラメータである共感パラメータを設定するステップと、
    　前記共感パラメータに基づいて、前記ユーザに提供するコンテンツの共感要素を調整する加工を行い、加工後のコンテンツを前記出力装置から出力させるステップと、
    　をコンピュータに実行させるための処理プログラム。
PCT/JP2023/021296 2023-06-08 2023-06-08 処理装置、処理方法及び処理プログラム Ceased WO2024252602A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525563A JPWO2024252602A1 (ja) 2023-06-08 2023-06-08
PCT/JP2023/021296 WO2024252602A1 (ja) 2023-06-08 2023-06-08 処理装置、処理方法及び処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021296 WO2024252602A1 (ja) 2023-06-08 2023-06-08 処理装置、処理方法及び処理プログラム

Publications (1)

Publication Number Publication Date
WO2024252602A1 true WO2024252602A1 (ja) 2024-12-12

Family

ID=93795642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021296 Ceased WO2024252602A1 (ja) 2023-06-08 2023-06-08 処理装置、処理方法及び処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2024252602A1 (ja)
WO (1) WO2024252602A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512861A (ja) * 2006-12-22 2010-04-30 ニューロ−インサイト プロプライアタリー リミティド コンピュータゲームの評価
JP2021107873A (ja) * 2019-12-27 2021-07-29 パナソニックＩｐマネジメント株式会社 音声特性変更システムおよび音声特性変更方法
US20220312071A1 (en) * 2021-03-26 2022-09-29 Sling Media Pvt Ltd System and method for using personal computing devices to determine user engagement while viewing an audio/video program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512861A (ja) * 2006-12-22 2010-04-30 ニューロ−インサイト プロプライアタリー リミティド コンピュータゲームの評価
JP2021107873A (ja) * 2019-12-27 2021-07-29 パナソニックＩｐマネジメント株式会社 音声特性変更システムおよび音声特性変更方法
US20220312071A1 (en) * 2021-03-26 2022-09-29 Sling Media Pvt Ltd System and method for using personal computing devices to determine user engagement while viewing an audio/video program

Also Published As

Publication number Publication date
JPWO2024252602A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
Wang et al. Multi-modal emotion recognition using EEG and speech signals
Kang et al. Pupil dilation patterns spontaneously synchronize across individuals during shared attention.
Zekveld et al. Pupil response as an indication of effortful listening: The influence of sentence intelligibility
Partala et al. Pupil size variation as an indication of affective processing
Zaidel et al. She is not a beauty even when she smiles: Possible evolutionary basis for a relationship between facial attractiveness and hemispheric specialization
Babiker et al. Pupillary behavior in positive and negative emotions
JP2019519053A (ja) 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム
Rohr et al. Affective responses to emotional words are boosted in communicative situations
Pinheiro et al. Laughter catches attention!
JP7701368B2 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
KR20160095464A (ko) 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법
Ambert-Dahan et al. Emotional recognition of dynamic facial expressions before and after cochlear implantation in adults with progressive deafness
Alsius et al. High visual resolution matters in audiovisual speech perception, but only for some
Fan et al. Sex matters: n:-back modulates emotional mismatch negativity
Biau et al. Synchronization by the hand: the sight of gestures modulates low-frequency activity in brain responses to continuous speech
Zanesco et al. Modulation of event-related potentials of visual discrimination by meditation training and sustained attention
Slessor et al. Examining the time course of young and older adults’ mimicry of enjoyment and nonenjoyment smiles.
Brown et al. Neurophysiological evidence for semantic processing of irrelevant speech and own-name detection in a virtual café
Karow et al. Affective communication in normal and brain-damaged adults: An overview
Arndt Neural correlates of quality during perception of audiovisual stimuli
Sato The timing of visual speech modulates auditory neural processing
Matyjek et al. Social Interaction Style in Autism: A Narrative Review of Social Behaviors and Outcomes in Autistic and Neurotypical Interactions
Paulmann et al. Early and late brain signatures of emotional prosody among individuals with high versus low power
WO2024252602A1 (ja) 処理装置、処理方法及び処理プログラム
Pinto et al. An ecological investigation of the capacity to follow simultaneous speech and preferential detection of ones’ own name

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525563

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE