WO2023074129A1 - 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム - Google Patents

情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム Download PDF

Info

Publication number
WO2023074129A1
WO2023074129A1 PCT/JP2022/033499 JP2022033499W WO2023074129A1 WO 2023074129 A1 WO2023074129 A1 WO 2023074129A1 JP 2022033499 W JP2022033499 W JP 2022033499W WO 2023074129 A1 WO2023074129 A1 WO 2023074129A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
emotion data
communication
data
user
Prior art date
Application number
PCT/JP2022/033499
Other languages
English (en)
French (fr)
Inventor
清士 吉川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023074129A1 publication Critical patent/WO2023074129A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to an information processing device, a communication support device, and a communication support system that support user communication by communicating the user's emotions to the other party.
  • Patent Literature 1 discloses an emotion estimation device that estimates the emotion of a conversation partner.
  • An information processing device includes a first emotion estimation unit, a second emotion estimation unit, an emotion data generation unit, and a communication unit.
  • the first emotion estimation unit is capable of generating first emotion data by estimating the user's emotion based on the detection result of the first sensing unit capable of detecting the user's behavior used in communication.
  • the second emotion estimating unit can generate second emotion data by estimating the user's emotion based on the detection result of the second sensing unit capable of detecting the user's movements and reactions that are not used for communication. It is.
  • the emotion data generation unit can determine a synthesis ratio of the first emotion data and the second emotion data, and uses the determined synthesis ratio to synthesize the first emotion data and the second emotion data. can generate the third emotion data.
  • the communication unit is capable of transmitting third emotion data.
  • a communication support device includes a first sensing unit, a first emotion estimation unit, a second sensing unit, a second emotion estimation unit, an emotion data generation unit, a communication and
  • the first sensing unit is capable of detecting behavior of a user used for communication.
  • the first emotion estimation unit can generate first emotion data by estimating the user's emotion based on the detection result of the first sensing unit.
  • the second sensing unit is capable of detecting user movements and reactions that are not used for communication.
  • the second emotion estimation unit can generate second emotion data by estimating the user's emotion based on the detection result of the second sensing unit.
  • the emotion data generation unit can determine a synthesis ratio of the first emotion data and the second emotion data, and uses the determined synthesis ratio to synthesize the first emotion data and the second emotion data. can generate the third emotion data.
  • the communication unit is capable of transmitting third emotion data.
  • a communication support system includes a first communication support device and a second communication support device.
  • the first communication support device includes a first sensing unit, a first emotion estimation unit, a second sensing unit, a second emotion estimation unit, an emotion data generation unit, and a first communication unit.
  • the first sensing unit is capable of detecting behavior of a user used for communication.
  • the first emotion estimation unit can generate first emotion data by estimating the user's emotion based on the detection result of the first sensing unit.
  • the second sensing unit is capable of detecting user movements and reactions that are not used for communication.
  • the second emotion estimation unit can generate second emotion data by estimating the user's emotion based on the detection result of the second sensing unit.
  • the emotion data generation unit can determine a synthesis ratio of the first emotion data and the second emotion data, and uses the determined synthesis ratio to synthesize the first emotion data and the second emotion data. can generate the third emotion data.
  • the first communication unit is capable of transmitting the third emotion data to the second communication support device.
  • the second communication support device has a second communication section and a user interface section.
  • the second communication unit is capable of receiving third emotion data.
  • the user interface section is capable of displaying the third emotion data received by the second communication section.
  • the first emotion data is generated by estimating the user's emotion based on the detection result of the first sensing unit.
  • Second emotion data is generated by estimating the user's emotion based on the detection result of the second sensing unit.
  • Third emotion data is generated by synthesizing the first emotion data and the second emotion data. This synthesizing process is performed using the determined synthetic ratio of the first emotion data and the second emotion data.
  • FIG. 1 is a block diagram showing a configuration example of a communication support device according to an embodiment of the present disclosure
  • FIG. 2 is an explanatory diagram showing one configuration example of a communication support system including the communication support device shown in FIG. 1;
  • FIG. 2 is an explanatory diagram showing an example of a display screen of the communication support device shown in FIG. 1;
  • FIG. 3 is an explanatory diagram showing another example of a display screen of the communication support device shown in FIG. 1;
  • FIG. 3 is an explanatory diagram showing another example of a display screen of the communication support device shown in FIG. 1;
  • FIG. 2 is an explanatory diagram showing the operation of the communication support device shown in FIG. 1;
  • FIG. 2 is a flowchart showing an operation example of the communication support device shown in FIG. 1;
  • 4 is a flowchart showing shared emotion data generation processing in the communication support device shown in FIG. 1;
  • FIG. 1 shows a configuration example of a communication support device 1 including an information processing device according to one embodiment.
  • the communication support device 1 is a device that supports communication between a user and a communication partner by being used by the user.
  • FIG. 2 shows a configuration example of the communication support system 100 when two users UA and UB communicate.
  • Communication between the two users UA and UB may be face-to-face communication or remote communication using, for example, a WEB (World Wide Web) conference system.
  • the communication support system 100 includes two communication support devices 1 (communication support devices 1A and 1B).
  • the communication support device 1A is a device used by the user UA
  • the communication support device 1B is a device used by the user UB.
  • Communication support devices 1A and 1B are configured to be able to communicate with each other.
  • the communication support device 1A transmits data representing the emotion of the user UA to the communication support device 1B
  • the communication support device 1B transmits data representing the emotion of the user UB to the communication support device 1A.
  • the user UA can grasp the emotion of the user UB
  • the user UB can grasp the emotion of the user UA, so that the communication support device 1 can realize better communication. ing.
  • two communication support devices 1 are provided in the communication support system 100, but the present invention is not limited to this.
  • three or more communication support devices A device 1 may be provided.
  • the communication support device 1 (FIG. 1) includes a public modal sensing unit 11, a private modal sensing unit 12, and an information processing device 20.
  • the public modal sensing unit 11 is configured to detect the public modal of the user using this communication support device 1 .
  • the public modal includes information related to the behavior of the user for communication, such as the user's facial expression, behavior, gestures, conversation content, language, tone, intonation, volume of voice, and number of words. It can be grasped easily. Since the public modal can be consciously controlled by the user, it can reflect not only the user's true intentions, but also the user's tatemae.
  • the public modal sensing unit 11 includes, for example, an image sensor, a microphone, and the like. The public modal sensing unit 11 detects such public modals and supplies the detection result to the information processing device 20 .
  • the private modal sensing unit 12 is configured to detect the private modal of the user using this communication support device 1 .
  • the private modal includes information about the user's life activities, such as the user's heart rate, perspiration, breathing rate, brain waves, blood flow, and hormones.
  • the closed modal includes, for example, information about the action of putting strength on muscles such as shoulders, arms, and legs, the action of clenching the hands, the action of clenching the teeth, the action of stretching the legs, and the like.
  • a private modal is a user's movement or reaction that is not used for communication, and is difficult to be grasped by, for example, a communication partner.
  • a closed modal is less consciously controlled by the user, and thus can reflect the user's true intentions.
  • the private modal sensing unit 12 includes, for example, sensors that detect these biometric information.
  • the private modal sensing unit 12 can use, for example, a wearable device.
  • the private modal sensing unit 12 detects such a private modal and supplies the detection result to the information processing device 20 .
  • the information processing device 20 is configured to generate shared emotion data DT3 based on the detection result of the public modal sensing unit 11 and the detection result of the private modal sensing unit 12.
  • the shared emotion data DT3 is supplied to other communication support devices used by the communication partner of the user.
  • the information processing device 20 may be, for example, a smart phone or a personal computer.
  • the information processing device 20 includes an external emotion estimation unit 21, an internal emotion estimation unit 22, a context dictionary storage unit 24, a context analysis unit 23, a shared emotion generation unit 25, a user interface unit 26, and a communication unit. 27.
  • the external emotion estimation unit 21, the internal emotion estimation unit 22, the context analysis unit 23, and the shared emotion generation unit 25 are implemented by a processor such as a CPU (Central Processing Unit) executing application software.
  • a processor such as a CPU (Central Processing Unit) executing application software.
  • the external emotion estimation unit 21 generates external emotion data DT1 by estimating the emotion (external emotion) of the user using the communication support device 1 based on the detection result of the public modal sensing unit 11. configured as
  • the external emotion data DT1 includes a parameter Ae indicating arousal and a parameter Ve indicating emotional valence. These parameters Ae and Ve are parameters used in Russell's cyclic model of emotion.
  • the external emotion estimation unit 21 selects data to be used for estimating the external emotion from among the detection results of the public modal sensing unit 11, for example, based on an operation input by the user using the user interface unit 26. can do.
  • the extrinsic emotion estimator 21 supplies the generated extrinsic emotion data DT1 to the shared emotion generator 25 .
  • the internal emotion estimation unit 22 generates internal emotion data DT2 by estimating the emotion (internal emotion) of the user using the communication support device 1 based on the detection result of the private modal sensing unit 12. configured to
  • the internal emotion data DT2 includes a parameter Ai indicating arousal and a parameter Vi indicating emotional valence. These parameters Ai and Vi are parameters used in Russell's cyclic model of emotion, like the parameters Ae and Ve described above.
  • the internal emotion estimator 22 supplies the generated internal emotion data DT2 to the shared emotion generator 25 .
  • the context analysis unit 23 is configured to analyze context, which is communication attribute information between the user and the communication partner, based on the image data and audio data included in the detection results of the public modal sensing unit 11 . Specifically, the context analysis unit 23 analyzes, for example, the type of communication, the number of people in communication, the attributes of the communication partner, the relationship between the user and the communication partner, the user's impression of the communication partner, Analyze information such as frequency.
  • the “type of communication” is selected from a plurality of options such as company internal meeting, company internal section meeting, lecture, discussion, class reunion, and party, for example.
  • “Number of people in communication” is selected from a plurality of options such as, for example, a large number of people, a small number of people, and one-on-one.
  • the "attribute of the communication partner” is selected from a plurality of options such as, for example, the president, manager, subordinate, business partner, cooperating company, person with more experience than oneself, elder, higher rank, lower rank, and celebrity. be.
  • “Personal relationship between the user and the communication partner” is selected from a plurality of options such as acquaintance, close friend, relative, and first meeting, for example.
  • the “user's impression of the communication partner” is selected from a plurality of options such as, for example, love, love, normal, dislike, and hate.
  • “Frequency with which the user and the communication partner meet” is selected from a plurality of options such as, for example, meeting often, meeting occasionally, meeting after a long absence, and meeting for the first time.
  • the context analysis unit 23 sets the threshold TH, the wakefulness offset A, and the non-awakening offset B based on the analysis result of the context.
  • These three parameters are used when the shared emotion generator 25 generates the shared emotion data DT3 by synthesizing the external emotion data DT1 and the internal emotion data DT2, as will be described later. be.
  • the threshold TH is a threshold for the parameter Ae included in the external emotion data DT1, and is a parameter used to determine which of the two methods of generating the shared emotion data DT3 should be used.
  • Arousal level offset A and non-awakening level offset B are parameters for adjusting a synthesis ratio when performing synthesis processing based on external emotion data DT1 and internal emotion data DT2.
  • the context analysis unit 23 continuously performs such processing while the user communicates.
  • the context analysis unit 23 then supplies the set threshold value TH, arousal offset A, and non-arousal offset B to the shared emotion generation unit 25 .
  • the context dictionary storage unit 24 is configured to store various data used when the context analysis unit 23 analyzes the context.
  • the context dictionary storage unit 24 stores, for example, the type of communication, the number of people in communication, the attributes of the communication partner, the relationship between the user and the communication partner, the user's impression of the communication partner, the frequency with which the user and the communication partner meet, and the like. Stores data about multiple options.
  • the context analysis unit 23 analyzes the context based on the data stored in the context dictionary storage unit 24.
  • the context dictionary storage unit 24 also stores data input by the user by operating the user interface unit 26 and analysis results of the context analysis unit 23 .
  • the shared emotion generation unit 25 supplies the generated shared emotion data DT3 to the user interface unit 26 and the communication unit 27 .
  • the shared emotion generator 25 also has a function of monitoring the generated shared emotion data DT3. For example, when the shared emotion data DT3 changes significantly in a short time, the user interface unit 26 changes the display mode when displaying the shared emotion data DT3.
  • the user interface unit 26 is configured to present information to the user and to receive operation input by the user.
  • the user interface unit 26 includes, for example, a display panel, a touch panel, various buttons, a speaker, and the like.
  • the user interface unit 26 displays, for example, the shared emotion data DT3 generated by the shared emotion generation unit 25 and the shared emotion data DT4 related to the communication partner received by the communication unit 27 .
  • the user interface unit 26 also receives, for example, an operation input of an internal emotion disclosure level P indicating how much internal emotion is disclosed by the user.
  • FIG. 3 shows an example of a display screen displayed by the user interface unit 26.
  • FIG. This display screen D1 displays Russell's cyclic model of emotions. The vertical axis indicates arousal and the horizontal axis indicates emotional valence.
  • Two symbols SDT3 and SDT4 are displayed on the display screen D1.
  • the symbol SDT3 corresponds to the shared emotion data DT3 related to the user and is arranged at the position indicated by the parameters As and Vs included in the shared emotion data DT3.
  • the symbol SDT4 corresponds to the shared emotion data DT4 related to the communication partner, and is arranged at the position indicated by the parameters As and Vs included in the shared emotion data DT4.
  • the user of the communication support device 1 can confirm the emotion of the communication partner and also confirm the own emotion disclosed to the communication partner.
  • FIG. 4 shows another example of the display screen displayed by the user interface unit 26.
  • FIG. Two symbols SDT1 and SDT2 are also displayed on the display screen D2.
  • the symbol SDT1 corresponds to the user's external emotion data DT1 and is arranged at the position indicated by the parameters Ae and Ve included in the external emotion data DT1.
  • the symbol SDT2 corresponds to the user's internal emotion data DT2 and is arranged at the position indicated by the parameters Ai and Vi included in the internal emotion data DT2.
  • FIG. 5 shows another example of the display screen displayed by the user interface unit 26.
  • FIG. Two symbols SDT3 and SDT4 are displayed on the display screen D3.
  • the symbol SDT3 is displayed blinking. That is, in this example, since the shared emotion data DT3 has changed significantly in a short period of time, the shared emotion generator 25 changes the display mode of the shared emotion data DT3.
  • the symbol SDT3 is blinked, but the present invention is not limited to this.
  • the size and color of the symbol SDT3 may be changed, or a window or popup may be displayed. .
  • the display mode is changed in this example, the present invention is not limited to this, and a sound may be emitted or the information processing apparatus 20 may be vibrated.
  • a slider SL for receiving an operational input of the internal emotion disclosure level P by the user is displayed.
  • the user can adjust the inner emotion disclosure level P by operating this slider SL.
  • the internal emotion disclosure level P can be adjusted by operating the slider SL. can be adjusted. Thereby, for example, the change rate of the shared emotion data DT3 can be changed.
  • the communication unit 27 (FIG. 1) is configured to exchange data with another communication support device used by the communication partner of the user.
  • the communication unit 27 may perform wired communication or wireless communication. Also, the communication unit 27 may communicate directly with another communication support device, or may communicate via one or a plurality of relay devices.
  • the communication unit 27 transmits the shared emotion data DT3 generated by the shared emotion generation unit 25 by communicating with another communication support device used by the communication partner of the user, and transmits the shared emotion data DT4 related to the communication partner. receive.
  • the communication section 27 then supplies the received shared emotion data DT4 to the user interface section 26 .
  • the communication support device 1A transmits the shared emotion data DT3 related to the user UA to the communication support device 1B, and sends the shared emotion data DT3 to the user UB transmitted from the communication support device 1B.
  • the shared emotion data DT4 is received.
  • the communication support device 1B Thereby, the user UA can grasp the emotion of the user UB, and the user UB can grasp the emotion of the user UA.
  • the communication support system 100 uses the shared emotion data DT3 and DT4 to share emotions with the communication partner. Thereby, the communication support system 100 can perform better communication.
  • the communication support device 1 performs synthesis processing based on the external emotion data DT1 representing the external emotion and the internal emotion data DT2 representing the internal emotion, thereby disclosing and sharing the data with the communication partner.
  • Shared emotion data DT3 indicating the emotion to be generated.
  • the communication support device 1 can, for example, control the shared emotion disclosed to the communication partner, thereby realizing better communication.
  • the public modal sensing unit 11 corresponds to a specific example of the "first sensing unit” in the present disclosure.
  • the external emotion estimator 21 corresponds to a specific example of the "first emotion estimator” in the present disclosure.
  • the external emotion data DT1 corresponds to a specific example of "first emotion data” in the present disclosure.
  • the closed modal sensing unit 12 corresponds to a specific example of the "second sensing unit” in the present disclosure.
  • the internal emotion estimator 22 corresponds to a specific example of the "second emotion estimator” in the present disclosure.
  • the internal emotion data DT2 corresponds to a specific example of "second emotion data” in the present disclosure.
  • the shared emotion generator 25 corresponds to a specific example of the "emotion data generator” in the present disclosure.
  • the shared emotion data DT3 corresponds to a specific example of "third emotion data” in the present disclosure.
  • the context analysis unit 23 corresponds to a specific example of the “analysis unit” in the present disclosure.
  • the communication unit 27 corresponds to a specific example of "communication unit” in the present disclosure.
  • the user interface section 26 corresponds to a specific example of “user interface section” in the present disclosure.
  • the shared emotion data DT4 corresponds to a specific example of "fourth emotion data” in the present disclosure.
  • the public modal sensing unit 11 detects the public modal of the user using this communication support device 1 .
  • the private modal sensing unit 12 detects the private modal of the user using the communication support device 1 .
  • the external emotion estimation unit 21 estimates the external emotion of the user who uses the communication support device 1 based on the detection result of the public modal sensing unit 11, thereby obtaining external emotion data DT1.
  • the internal emotion estimator 22 generates internal emotion data DT2 by estimating the internal emotion of the user using the communication support device 1 based on the detection result of the closed modal sensing unit 12 .
  • the shared emotion generator 25 when the internal emotion disclosure level P is supplied from the user interface unit 26, the shared emotion generator 25 generates the internal emotion disclosure level P based on the external emotion data DT1 and the internal emotion data DT2. is used to generate shared emotion data DT3.
  • the user interface unit 26 displays, for example, the shared emotion data DT3 generated by the shared emotion generation unit 25 and the shared emotion data DT4 related to the communication partner received by the communication unit 27 .
  • the user interface unit 26 also receives, for example, an operation input of an internal emotion disclosure level P indicating how much internal emotion is disclosed by the user.
  • the communication unit 27 transmits the shared emotion data DT3 generated by the shared emotion generation unit 25 by communicating with another communication support device used by the communication partner of the user, and transmits the shared emotion data DT4 related to the communication partner. receive.
  • FIG. 7 shows an operation example of the communication support device 1.
  • FIG. 7 For example, when the user operates a communication start button in application software installed in the information processing device 20, the communication support device 1 starts the following operations.
  • the context analysis unit 23 sets the threshold TH, the wakefulness offset A, and the non-awakening offset B (step S101). Specifically, the context analysis unit 23 analyzes the context, which is attribute information of communication between users, based on the imaging data and audio data included in the detection result of the public modal sensing unit 11 . Then, the context analysis unit 23 sets the threshold TH, the wakefulness offset A, and the non-awakening offset B based on the context analysis result.
  • the external emotion estimation unit 21 generates external emotion data DT1 by estimating the external emotion of the user based on the detection result of the public modal sensing unit 11, and the internal emotion estimation unit 22 Internal emotion data DT2 is generated by estimating the user's internal emotion based on the detection result of the private modal sensing unit 12 (step S102).
  • the external emotion estimation unit 21 selects data to be used for estimating the external emotion from among the detection results of the public modal sensing unit 11, for example, based on an operation input by the user using the user interface unit 26. can do.
  • the internal emotion estimation unit 22 is used, for example, when estimating the internal emotion among the detection results of the private modal sensing unit 12 based on the operation input by the user using the user interface unit 26. You can choose which data to use.
  • the shared emotion generation unit 25 generates shared emotion data DT3 based on the external emotion data DT1 and the internal emotion data DT2 (step S103). Specifically, the shared emotion generating unit 25 performs synthesis processing using the threshold TH, the arousal offset A, and the non-awakening offset B based on the external emotion data DT1 and the internal emotion data DT2. Thus, shared emotion data DT3 is generated. Further, when the internal emotion disclosure level P is supplied from the user interface unit 26, the shared emotion generator 25 generates the internal emotion disclosure level P based on the external emotion data DT1 and the internal emotion data DT2. is used to generate shared emotion data DT3.
  • FIG. 8 shows an example of the process of generating shared emotion data DT3.
  • the shared emotion generator 25 confirms whether or not the internal emotion disclosure level P is supplied from the user interface 26 (step S111).
  • the shared emotion generator 25 When the internal emotion disclosure level P is supplied (“Y” in step S111), the shared emotion generator 25 generates the internal emotion disclosure level P and the parameters Ve and Ae included in the external emotion data DT1. , and parameters Vi and Ai included in the internal emotion data DT2, parameters Vs and As of the shared emotion data DT3 are calculated using the following equations (step S112).
  • the internal emotion disclosure level P indicates a value of 0 or more and 1 or less.
  • step S111 if the internal emotion disclosure level P is not supplied from the user interface unit 26 ("N" in step S111), the shared emotion generation unit 25 determines that the parameter Ae included in the external emotion data DT1 is It is checked whether or not it is larger than the threshold value TH (Ae>TH) (step S113).
  • the shared emotion generating unit 25 generates shared emotion data DT3 based on the tension level T and using the formula of step S115. Then, the process of generating the shared emotion data DT3 ends.
  • step S113 if the parameter Ae is not greater than the threshold TH ("Y" in step S113), the shared emotion generator 25 sets the parameter Ae, the non-awakening level offset B, and the minimum possible value of the parameter Ae.
  • the degree of relaxation R is calculated using the following formula (step S116).
  • R
  • the shared emotion generation unit 25 uses the following formula based on the degree of relaxation R, the parameters Ve and Ae included in the external emotion data DT1, and the parameters Vi and Ai included in the internal emotion data DT2. , parameters Vs and As of the shared emotion data DT3 are calculated (step S117).
  • the degree of relaxation R increases, the contribution of the parameters Vi and Ai included in the internal emotion data DT2 to the parameters Vs and As increases. contributes to the parameters Vs and As.
  • the shared emotion generator 25 generates the shared emotion data DT3 based on the degree of relaxation R using the formula of step S117. Then, the process of generating the shared emotion data DT3 ends.
  • the user interface unit 26 displays the shared emotion data DT3 as shown in FIGS. 3 to 5 (step S104).
  • the user interface unit 26 may display external emotion data DT1 and internal emotion data DT2 in addition to shared emotion data DT3, as shown in FIG.
  • the shared emotion generator 25 monitors the generated shared emotion data DT3. For example, when the shared emotion data DT3 changes significantly in a short period of time, the user interface unit 26 changes the displayed shared emotion data DT3. Change the display mode. Based on the instruction from the shared emotion generating section 25, the user interface section 26 blinks and displays the symbol SDT3 corresponding to the shared emotion data DT3, as shown in FIG. 4, for example. For example, when the shared emotion data DT3 changes significantly in a short period of time, and the user does not want the communication partner to notice the change in emotion, the internal emotion disclosure level P can be adjusted by operating the slider SL. can be adjusted. Thereby, for example, the change rate of the shared emotion data DT3 can be changed.
  • the user may change the data used when estimating the external emotion among the detection results of the public modal sensing unit 11, or change the data used when estimating the external emotion.
  • the data used when estimating the internal emotion may be changed. Even in this case, for example, the change rate of the shared emotion data DT3 can be changed.
  • the communication unit 27 transmits the shared emotion data DT3 related to the user and receives the shared emotion data DT4 related to the communication partner of the user (step S105).
  • the user interface unit 26 displays the shared emotion data DT4 received by the communication unit 27, as shown in FIGS. 3 to 5 (step S106).
  • the information processing device 20 confirms whether communication has ended (step S107). Specifically, the information processing apparatus 20 can confirm whether or not the communication has ended by confirming whether or not the user has operated the communication end button in the application software, for example. Further, the information processing device 20 can confirm whether or not the communication has ended based on the analysis result of the context analysis unit 23, for example.
  • the context analysis unit 23 analyzes the atmosphere of the place of communication, and updates the threshold TH, wakefulness offset A, and non-awakening offset B based on the analysis results.
  • the context analysis unit 23 detects a stark atmosphere in which there is no laughter at all, or when it detects an atmosphere in which there is a lot of flattering laughter, for example, the arousal level offset A.
  • the threshold TH By increasing the threshold TH, the ratio of external emotion included in shared emotion is increased. This makes it difficult to disclose internal emotions. For example, when a frank atmosphere with many jokes is detected, the context analysis unit 23 increases the absolute value of the non-awakening level offset B and lowers the threshold TH, thereby determining the content included in the shared emotion. increase the ratio of sexual emotions.
  • the context analysis unit 23 analyzes changes in the human relationship between the user and the communication partner, and calculates the threshold value TH, the wakefulness offset A, and the non-awakening offset B based on the analysis results. Update. Specifically, when the context analysis unit 23 detects that the emotional valence is in a “pleasant” state for a period longer than a predetermined length of time and the impression of the communication partner is “like,” Increase the ratio of internal emotions included in emotions. Further, when the context analysis unit 23 detects that the emotional valence state of "unpleasant” continues longer than a predetermined length of time and the impression of the communication partner is "disliked", it is included in the shared emotion. reduce the ratio of internal emotions that are
  • step S107 if the communication has ended ("N" in step S107), this process ends.
  • the communication support device 1 can be used, for example, in company meetings.
  • the meeting is, for example, a department meeting, a section meeting, a team meeting, or the like.
  • the conference may be held face-to-face or remotely using, for example, a web conference system.
  • a small number of employees, such as 2 or 3, and a large number of employees, such as 10 or more, may participate in such a meeting.
  • Each of the multiple employees uses the communication support device 1 .
  • shared emotions of a plurality of employees are displayed on the screens shown in FIGS.
  • the organizer of the meeting can grasp whether the participants are trying to concentrate on the meeting based on the participants' level of alertness (the vertical axis in Figures 3 to 5).
  • the conference organizer can grasp whether the participants have a positive or negative impression of the content of the discussion based on the participants' emotional valence (horizontal axis in FIGS. 3 to 5). It is possible to give well-balanced opportunities to speak to people with various opinions.
  • a speaker in a conference can grasp the degree of interest in his or her own remarks based on the arousal level of the participants.
  • the speaker in the conference can grasp the reaction to his/her statement based on the emotional valence of the participants.
  • the participants of the conference can confirm their own true intentions in response to others' utterances by confirming their own shared emotions displayed on the user interface unit 26 .
  • the participant can control, for example, how to disclose his or her emotion based on his or her position, using facial expressions, behavior, tone of voice, and the like.
  • the communication support device 1 generates shared emotion data DT3 representing shared emotions by performing synthesis processing based on external emotion data DT1 representing external emotions and internal emotion data DT2 representing internal emotions.
  • shared emotion data DT3 representing shared emotions by performing synthesis processing based on external emotion data DT1 representing external emotions and internal emotion data DT2 representing internal emotions.
  • the communication support device 1 can increase the ratio of internal emotions included in the shared emotions. Able to achieve good communication.
  • the communication support device 1 can be used, for example, in classes at educational sites such as junior high schools, high schools, and universities. Classes may be conducted face-to-face, or may be conducted remotely using, for example, a web conference system. Such classes may involve a large number of students, for example 30 or more.
  • a teacher and a plurality of students each use a communication support device 1 .
  • shared emotions of a plurality of students are collectively displayed on the screens shown in FIGS.
  • shared emotions of the student and a plurality of other students are displayed on the screens shown in FIGS.
  • the teacher can grasp whether the student is trying to concentrate on the lesson based on the student's arousal level (vertical axis in Figures 3 to 5).
  • the teacher can grasp whether they are interested in the content of the lesson or not. It is possible to devise ways to conduct classes that allow
  • students can check their own shared emotions displayed on the user interface unit 26 and behave so that the shared emotions indicate that they are concentrating on participating in the class.
  • students can find students who have the same interests as themselves, for example, based on the emotional valence of other students (horizontal axis in Figures 3-5), thus triggering communication among students. can be
  • the learner playing the role of the teacher can grasp whether the learner playing the role of the student is concentrating on the task based on the level of arousal of the learner playing the role of the student (vertical axis in FIGS. 3 to 5). can.
  • the learner acting as the teacher determined whether the learner acting as the student received his or her advice positively or negatively based on the emotional value of the learner acting as the student (horizontal axis in Figures 3 to 5). You can figure out how much.
  • the learner playing the role of the student gives advice based on the level of arousal of the learner playing the role of the teacher (the vertical axis in Figures 3 to 5). You can tell if they are. For example, when a learner playing the role of a teacher seriously considers and gives advice, the learner playing the role of a student is more likely to accept the advice.
  • the learner playing the role of the student can confirm his/her own shared emotion displayed on the user interface unit 26, and can act in such a way that the shared emotion indicates that he or she has taken the advice seriously. can act to show that they are unsatisfied with the advice.
  • the supervisor confirms the shared emotions of the learners acting as the teacher and the student displayed on the user interface unit 26, and confirms whether the two are communicating firmly and proceeding with the work. be able to. For example, if two people are communicating well and are proceeding with the work, it is possible to have the two people continue the work. Also, for example, when communication between two people is not going well, it is possible to take countermeasures such as exchanging the roles of the two people or having them form a pair with another person. Thereby, learning efficiency can be improved.
  • the communication support device 1 can be used, for example, in consulting. In this example, for example, it is assumed that a husband and wife receive consulting. This consulting may be performed face-to-face, or may be performed remotely using, for example, a web conference system.
  • Each of the consultant, husband and wife uses the communication support device 1 .
  • shared emotions of each couple are displayed on the screens shown in FIGS.
  • the shared emotions of each of the husband and wife are displayed on the screens shown in FIGS.
  • the communication support device 1 used by the husband includes shared emotion data DT3 related to the shared emotion disclosed to the consultant, shared emotion data DT3 related to the shared emotion disclosed to the wife, and shared emotion data DT3 related to the shared emotion displayed on the own device.
  • shared emotions disclosed to consultants the ratio of external emotions included in shared emotions is high
  • shared emotions disclosed to wife the ratio of internal emotions included in shared emotions is high. The same is true of his wife.
  • the consultant can grasp which of the explanations the consultant is interested in based on the couple's emotional value (horizontal axis in FIGS. 3 to 5), so that consulting can be effectively carried out. can be done.
  • the husband discloses shared emotions with a high ratio of internal emotions to his wife
  • the wife discloses shared emotions with a high ratio of internal emotions to her husband.
  • the communication support device 1 can be used, for example, in an online game in which multiple players cooperate. For example, assume a case of playing a game with a stranger. Each of the multiple players uses the communication support device 1 . For example, in the communication support device 1 used by the player, shared emotions of a plurality of players are displayed on the screens shown in FIGS.
  • the player can grasp whether other players accept his play style. For example, immediately after the start of the game, by lowering the ratio of internal emotions in shared emotions, communication is attempted while hiding true intentions. In addition, as time passes, by gradually increasing the ratio of internal emotions in shared emotions, they reveal their true intentions to each other. As a result, smooth mutual communication can be achieved. This allows them to get to know each other and then proceed to communication, eg chat or conversation.
  • the communication support device 1 can be used, for example, at a party.
  • the party can be face-to-face or remote.
  • Each party participant uses a communication support device 1 .
  • shared emotions of other participants are displayed on the screens shown in FIGS.
  • the participants can, for example, make it easier to interrupt the conversation by letting them know that they are interested in the topic, or You can make it easier for others to talk to you.
  • the participants by confirming their own shared emotions displayed on the user interface unit 26, the participants, for example, even if they are not interested in the topic, the shared emotions indicate that they are interested in the topic. can behave as if to show Also, for example, even if the participant finds the topic uncomfortable, he/she can calmly get over it so that such unpleasant emotion will not be conveyed to the other party.
  • the communication support device 1 can be used, for example, in live viewing.
  • the live performance may be performed with the participants gathered at the live venue, or may be performed remotely.
  • the operating company and the live participants each use the communication support device 1 .
  • shared emotions of live participants are displayed on the screens shown in FIGS.
  • shared emotions of the live participants are displayed on the screens shown in FIGS.
  • the staff of the operating company can grasp the reactions of the participants to the live performance based on the shared emotions of the participants of the live performance displayed on the user interface unit 26.
  • the staff of the operating company can, for example, extend the duration of the live performance if the participants are responding well, and can operate the event in accordance with the wishes of the participants.
  • live participants can disclose shared emotions with a high ratio of internal emotions when a group they like or a member they like is performing.
  • live participants can convey their emotions to the operating company.
  • Live participants may disclose shared emotions with a high proportion of internal emotions when a group they are not interested in is performing, or disclose shared emotions with a high proportion of external emotions.
  • the participants of the live can find out, for example, that a group they thought they were not interested in is actually their preferred group. can make new discoveries.
  • the communication support device 1 can be used, for example, in so-called online homecoming, in which a family living in a city remotely converses with a family in their hometown. Each of these family members uses a communication support device 1 . For example, in the communication support device 1 used by these families, shared emotions of both families are displayed on the screens shown in FIGS.
  • grandchildren can disclose their shared emotions to grandparents, for example, when they are happy, they can convey their happiness to their grandparents by disclosing shared emotions with a high proportion of internal emotions. .
  • the grandchild feels uncomfortable when the same topic is repeated, for example, by disclosing the shared emotion with a high ratio of external emotion, the grandchild can continue the conversation while being considerate. can.
  • the grandchild can gradually convey discomfort by, for example, gradually increasing the proportion of internal emotion included in the shared emotion.
  • the communication support device 1 can be used, for example, in medical care by a doctor. Consultation can be done face-to-face or remotely. A doctor and a patient each use the communication support device 1 . For example, the doctor and the patient, respectively, have their shared emotions displayed on the screens shown in FIGS. 3-5.
  • the doctor can grasp whether the patient is trying to concentrate on listening to the medical treatment results. Also, based on the patient's emotional valence (horizontal axis in FIGS. 3 to 5), the doctor can grasp whether the patient is satisfied or still dissatisfied and needs additional explanation.
  • the communication support device 1 generates the external emotion data DT1 by estimating the user's emotion based on the detection result of the public modal sensing unit 11 that detects the user's behavior used in communication.
  • Internal emotion that generates internal emotion data DT2 by estimating the user's emotion based on the detection results of the emotion estimation unit 21 and the closed modal sensing unit 12 that detects the user's movements and reactions that are not used in communication.
  • the estimating unit 22 determines the synthesis ratio of the external emotion data DT1 and the internal emotion data DT2, and uses the determined synthesis ratio to synthesize the external emotion data DT1 and the internal emotion data DT2, thereby obtaining the shared emotion data.
  • a shared emotion generator 25 for generating data DT3 is also provided.
  • the shared emotion generator 25 determines the synthesis ratio based on the external emotion data DT1. can be reduced.
  • the user interface unit 26 displays the shared emotion data DT3 related to the user and the shared emotion data DT4 related to the communication partner, so that the user can easily understand the emotions of himself and the communication partner. Better communication can be realized because it can be grasped.
  • the shared emotion generating unit 25 monitors changes in the emotion indicated by the shared emotion data DT3 related to the user, and the user interface unit 26 generates shared emotions based on the monitoring result of the shared emotion generating unit 25.
  • the display mode of the emotion data DT3 is changed. This allows the user to decide whether to disclose his/her shared emotion as is or modify the shared emotion. As a result, for example, an appropriate shared emotion can be disclosed, so better communication can be achieved.
  • the context analysis unit 23 analyzes the atmosphere of communication based on the detection result of the public modal sensing unit 11, and the shared emotion generation unit 25 synthesizes based on the analysis result of the context analysis unit 23. Since the ratio is determined, the shared emotion can be disclosed according to the atmosphere of communication, so better communication can be realized.
  • the external emotion estimation unit generates external emotion data by estimating the user's emotion based on the detection result of the public modal sensing unit that detects the behavior of the user used in communication.
  • an internal emotion estimating unit that generates internal emotion data by estimating the user's emotion based on the detection results of the closed modal sensing unit that detects the user's movements and reactions that are not used for communication;
  • a shared emotion generation unit that determines a synthesis ratio of the emotion data and the internal emotion data, and generates shared emotion data by synthesizing the external emotion data and the internal emotion data using the determined synthesis ratio; By doing so, better communication can be achieved.
  • the shared emotion generator determines the synthesis ratio based on the external emotion data. can be done.
  • the user interface unit displays the shared emotion data related to the user and the shared emotion data related to the communication partner, so that the user can easily grasp the emotions of himself and the communication partner. Therefore, better communication can be achieved.
  • the shared emotion generation unit monitors changes in the emotion indicated by the shared emotion data related to the user, and the user interface unit changes the display mode of the shared emotion data based on the monitoring result of the shared emotion generation unit. I changed it so that better communication can be achieved.
  • the context analysis unit analyzes the atmosphere of communication based on the detection result of the public modal sensing unit, and the shared emotion generation unit determines the synthesis ratio based on the analysis result of the context analysis unit. Therefore, better communication can be realized.
  • usage examples are not limited to those listed above, and can be applied to various uses for communication.
  • This technology can be configured as follows. According to the present technology having the following configuration, better communication can be achieved.
  • a first emotion estimation unit capable of generating first emotion data by estimating the user's emotion based on a detection result of a first sensing unit capable of detecting user's behavior used in communication
  • a second emotion estimating unit capable of generating second emotion data by estimating the user's emotion based on detection results of a second sensing unit capable of detecting movement and reaction of the user that are not used for communication.
  • a synthesis ratio of the first emotion data and the second emotion data can be determined, and by using the determined synthesis ratio to synthesize the first emotion data and the second emotion data an emotion data generation unit capable of generating third emotion data; and a communication unit capable of transmitting the third emotion data.
  • the information processing apparatus can determine the combining ratio based on the first emotion data.
  • the first emotional data includes a first component indicating arousal and a second component indicating emotional valence, The information processing apparatus according to (2), wherein the emotion data generation unit can determine the combining ratio based on the first component in the first emotion data.
  • the emotion data generation unit further comprises an analysis unit capable of analyzing an atmosphere of communication based on the detection result of the first sensing unit, The information processing apparatus according to any one of (1) to (3), wherein the emotion data generation section can determine the combination ratio based on an analysis result of the analysis section.
  • the information processing apparatus further comprising a user interface unit capable of displaying the third emotion data.
  • the third emotional data includes a first component indicating arousal and a second component indicating emotional valence,
  • the user interface unit causes the first component and the second component of the third emotion data to correspond to the first direction and the second direction on the display screen of the user interface unit, whereby the The information processing device according to (5), which is capable of displaying third emotion data.
  • the emotion data generation unit is capable of monitoring a change in emotion indicated by the third emotion data, The information processing apparatus according to (5) or (6), wherein the user interface section can change a display mode of the third emotion data based on a monitoring result of the emotion data generation section.
  • the user interface unit is capable of receiving an operation input of the synthesis ratio by the user,
  • the emotion data generating section can generate the third emotion data by synthesizing the first emotion data and the second emotion data using the synthesis ratio received by the user interface section.
  • the information processing apparatus according to any one of (5) to (7). (9) Equipped with a user interface,
  • the communication unit is further capable of receiving fourth emotion data transmitted from a communication partner,
  • the information processing apparatus according to any one of (1) to (8), wherein the user interface section can display the fourth emotion data.
  • the first communication support device a first sensing unit capable of detecting behavior of a user used for communication; a first emotion estimation unit capable of generating first emotion data by estimating the user's emotion based on the detection result of the first sensing unit; a second sensing unit capable of detecting movements and reactions of the user that are not used for communication; a second emotion estimation unit capable of generating second emotion data by estimating the user's emotion based on the detection result of the second sensing unit;
  • a synthesis ratio of the first emotion data and the second emotion data can be determined, and by using the determined synthesis ratio to synthesize the first emotion data and the second emotion data an emotion data generation unit capable of generating third emotion data; a first communication unit capable of transmitting the third emotion data to the second communication support device;
  • the second communication support device is a second communication unit capable of receiving the third emotion data;
  • a communication support system comprising: a user interface section capable of displaying the third emotion data received by the second communication section.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示の情報処理装置は、コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部の検出結果に基づいてユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、コミュニケーションに用いられないユーザの動きや反応を検出可能な第２のセンシング部の検出結果に基づいてユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、第１の情動データおよび第２の情動データの合成比率を決定可能であり、決定された合成比率を用いて、第１の情動データおよび第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、第３の情動データを送信可能な通信部とを備える。

Description

情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム
　本開示は、ユーザの情動を相手に伝えることによりユーザのコミュニケーションを支援する情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システムに関する。
　人同士がコミュニケーションを行う場合には、コミュニケーション相手の情動を把握することにより、より良いコミュニケーションを行うことができる場合がある。例えば、特許文献１には、会話相手の感情を推定する感情推定装置が開示されている。
特開２０１８－６８６１８号公報
　しかしながら、情動はプライバシーの要素も含むため、コミュニケーション相手の情動を把握しすぎる場合には、コミュニケーションがうまくいかないこともあり得る。よって、コミュニケーション相手への情動データの提供を制御できることが期待される。
　より良いコミュニケーションを実現することができる情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システムを提供することが望ましい。
　本開示の一実施の形態における情報処理装置は、第１の情動推定部と、第２の情動推定部と、情動データ生成部と、通信部とを備えている。第１の情動推定部は、コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部の検出結果に基づいてユーザの情動を推定することにより第１の情動データを生成可能なものである。第２の情動推定部は、コミュニケーションに用いられないユーザの動きや反応を検出可能な第２のセンシング部の検出結果に基づいてユーザの情動を推定することにより第２の情動データを生成可能なものである。情動データ生成部は、第１の情動データおよび第２の情動データの合成比率を決定可能であり、決定された合成比率を用いて、第１の情動データおよび第２の情動データを合成することにより第３の情動データを生成可能なものである。通信部は、第３の情動データを送信可能なものである。
　本開示の一実施の形態におけるコミュニケーション支援装置は、第１のセンシング部と、第１の情動推定部と、第２のセンシング部と、第２の情動推定部と、情動データ生成部と、通信部とを備えている。第１のセンシング部は、コミュニケーションに用いられるユーザの行動を検出可能なものである。第１の情動推定部は、第１のセンシング部の検出結果に基づいてユーザの情動を推定することにより第１の情動データを生成可能なものである。第２のセンシング部は、コミュニケーションに用いられないユーザの動きや反応を検出可能なものである。第２の情動推定部は、第２のセンシング部の検出結果に基づいてユーザの情動を推定することにより第２の情動データを生成可能なものである。情動データ生成部は、第１の情動データおよび第２の情動データの合成比率を決定可能であり、決定された合成比率を用いて、第１の情動データおよび第２の情動データを合成することにより第３の情動データを生成可能なものである。通信部は、第３の情動データを送信可能なものである。
　本開示の一実施の形態におけるコミュニケーション支援システムは、第１のコミュニケーション支援装置と、第２のコミュニケーション支援装置とを備えている。第１のコミュニケーション支援装置は、第１のセンシング部と、第１の情動推定部と、第２のセンシング部と、第２の情動推定部と、情動データ生成部と、第１の通信部とを有している。第１のセンシング部は、コミュニケーションに用いられるユーザの行動を検出可能なものである。第１の情動推定部は、第１のセンシング部の検出結果に基づいてユーザの情動を推定することにより第１の情動データを生成可能なものである。第２のセンシング部は、コミュニケーションに用いられないユーザの動きや反応を検出可能なものである。第２の情動推定部は、第２のセンシング部の検出結果に基づいてユーザの情動を推定することにより第２の情動データを生成可能なものである。情動データ生成部は、第１の情動データおよび第２の情動データの合成比率を決定可能であり、決定された合成比率を用いて、第１の情動データおよび第２の情動データを合成することにより第３の情動データを生成可能なものである。第１の通信部は、第３の情動データを第２のコミュニケーション支援装置に対して送信可能なものである。第２のコミュニケーション支援装置は、第２の通信部と、ユーザインタフェース部とを有している。第２の通信部は、第３の情動データを受信可能なものである。ユーザインタフェース部は、第２の通信部が受信した第３の情動データを表示可能なものである。
　本開示の一実施の形態における情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システムでは、第１のセンシング部の検出結果に基づいてユーザの情動が推定されることにより、第１の情動データが生成され、第２のセンシング部の検出結果に基づいてユーザの情動が推定されることにより、第２の情動データが生成される。そして、第１の情動データおよび第２の情動データが合成されることにより第３の情動データが生成される。この合成処理は、決定された第１の情動データおよび第２の情動データの合成比率を用いて行われる。
本開示の一実施の形態に係るコミュニケーション支援装置の一構成例を表すブロック図である。 図１に示したコミュニケーション支援装置を備えたコミュニケーション支援システムの一構成例を表す説明図である。 図１に示したコミュニケーション支援装置の表示画面の一例を表す説明図である。 図１に示したコミュニケーション支援装置の表示画面の他の一例を表す説明図である。 図１に示したコミュニケーション支援装置の表示画面の他の一例を表す説明図である。 図１に示したコミュニケーション支援装置の動作を表す説明図である。 図１に示したコミュニケーション支援装置の一動作例を表すフローチャートである。 図１に示したコミュニケーション支援装置における、共有情動データの生成処理を表すフローチャートである。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。
＜実施の形態＞
［構成例］
　図１は、一実施の形態に係る情報処理装置を備えたコミュニケーション支援装置１の一構成例を表すものである。コミュニケーション支援装置１は、ユーザが使用することにより、ユーザとコミュニケーション相手との間のコミュニケーションを支援する装置である。
　図２は、二人のユーザＵＡ，ＵＢがコミュニケーションを行う場合におけるコミュニケーション支援システム１００の一構成例を表すものである。二人のユーザＵＡ，ＵＢのコミュニケーションは、フェイストゥフェイスのコミュニケーションであってもよいし、例えばＷＥＢ（World Wide Web）会議システムを用いたリモートのコミュニケーションであってもよい。コミュニケーション支援システム１００は、２つのコミュニケーション支援装置１（コミュニケーション支援装置１Ａ，１Ｂ）を備えている。コミュニケーション支援装置１Ａは、ユーザＵＡが使用する装置であり、コミュニケーション支援装置１Ｂは、ユーザＵＢが使用する装置である。コミュニケーション支援装置１Ａ，１Ｂは、互いに通信を行うことができるように構成される。コミュニケーション支援装置１Ａは、ユーザＵＡの情動を示すデータをコミュニケーション支援装置１Ｂに送信し、コミュニケーション支援装置１Ｂは、ユーザＵＢの情動を示すデータをコミュニケーション支援装置１Ａに送信する。これにより、ユーザＵＡはユーザＵＢの情動を把握することができ、ユーザＵＢはユーザＵＡの情動を把握することができるので、コミュニケーション支援装置１は、より良いコミュニケーションを実現することができるようになっている。
　なお、この例では、コミュニケーション支援システム１００に２つのコミュニケーション支援装置１を設けたが、これに限定されるものではなく、例えば、ユーザが３人以上である場合には、３つ以上のコミュニケーション支援装置１を設けてもよい。
　コミュニケーション支援装置１（図１）は、公開モーダルセンシング部１１と、非公開モーダルセンシング部１２と、情報処理装置２０とを備えている。
　公開モーダルセンシング部１１は、このコミュニケーション支援装置１を使用するユーザの公開モーダルを検出するように構成される。公開モーダルは、例えば、そのユーザの表情、振る舞い、ジェスチャー、会話内容、言葉遣い、口調、イントネーション、声の大きさ、口数など、コミュニケーションを行うためのユーザの行動に関する情報を含み、例えばコミュニケーション相手によって容易に把握され得るものである。公開モーダルは、そのユーザにより意識的に制御することができるので、そのユーザの本音だけでなく、そのユーザの建前を反映したものになり得る。公開モーダルセンシング部１１は、例えば、イメージセンサやマイクロフォンなどを含んで構成される。公開モーダルセンシング部１１は、このような公開モーダルを検出し、その検出結果を情報処理装置２０に供給するようになっている。
　非公開モーダルセンシング部１２は、このコミュニケーション支援装置１を使用するユーザの非公開モーダルを検出するように構成される。非公開モーダルは、例えば、そのユーザの心拍数、発汗、呼吸数、脳波、血流量、ホルモンなど、そのユーザの生命活動に関する情報を含む。また、非公開モーダルは、例えば、肩、腕、足などの筋肉に力を入れる行動、手を握り締める行動、歯を食いしばる行動、足を延ばす行動などについての情報を含む。非公開モーダルは、コミュニケーションに用いないユーザの動きや反応であり、例えばコミュニケーション相手によって把握されにくいものである。非公開モーダルは、そのユーザにより意識的に制御しにくいので、そのユーザの本音を反映したものになり得る。非公開モーダルセンシング部１２は、例えば、これらの生体情報を検出するセンサを含んで構成される。非公開モーダルセンシング部１２は、例えばウェアラブルデバイスを用いることができる。非公開モーダルセンシング部１２は、このような非公開モーダルを検出し、その検出結果を情報処理装置２０に供給するようになっている。
　情報処理装置２０は、公開モーダルセンシング部１１の検出結果および非公開モーダルセンシング部１２の検出結果に基づいて、共有情動データＤＴ３を生成するように構成される。共有情動データＤＴ３は、そのユーザのコミュニケーション相手が使用する他のコミュニケーション支援装置に供給されるものである。情報処理装置２０は、例えば、スマートフォンであってもよいし、パーソナルコンピュータであってもよい。情報処理装置２０は、外的情動推定部２１と、内的情動推定部２２と、コンテキスト辞書記憶部２４と、コンテキスト解析部２３と、共有情動生成部２５と、ユーザインタフェース部２６と、通信部２７とを有している。外的情動推定部２１、内的情動推定部２２、コンテキスト解析部２３、および共有情動生成部２５は、例えばＣＰＵ（Central Processing Unit）などのプロセッサが、アプリケーションソフトウェアを実行することにより実現される。
　外的情動推定部２１は、公開モーダルセンシング部１１の検出結果に基づいて、このコミュニケーション支援装置１を使用するユーザの情動（外的情動）を推定することにより、外的情動データＤＴ１を生成するように構成される。外的情動データＤＴ１は、覚醒度（Arousal）を示すパラメータＡｅと、感情価（Valence）を示すパラメータＶｅとを含む。これらのパラメータＡｅ，Ｖｅは、ラッセル（Russell）の感情円環モデルにおいて用いられるパラメータである。外的情動推定部２１は、例えば、ユーザインタフェース部２６を用いたユーザによる操作入力に基づいて、公開モーダルセンシング部１１の検出結果のうちの、外的情動を推定する際に使用するデータを選択することができる。外的情動推定部２１は、生成した外的情動データＤＴ１を、共有情動生成部２５に供給するようになっている。
　内的情動推定部２２は、非公開モーダルセンシング部１２の検出結果に基づいて、このコミュニケーション支援装置１を使用するユーザの情動（内的情動）を推定することにより、内的情動データＤＴ２を生成するように構成される。内的情動データＤＴ２は、覚醒度を示すパラメータＡｉと、感情価を示すパラメータＶｉとを含む。これらのパラメータＡｉ，Ｖｉは、上述したパラメータＡｅ，Ｖｅと同様に、ラッセルの感情円環モデルにおいて用いられるパラメータである。内的情動推定部２２は、例えば、ユーザインタフェース部２６を用いたユーザによる操作入力に基づいて、非公開モーダルセンシング部１２の検出結果のうちの、内的情動を推定する際に使用するデータを選択することができる。内的情動推定部２２は、生成した内的情動データＤＴ２を、共有情動生成部２５に供給するようになっている。
　コンテキスト解析部２３は、公開モーダルセンシング部１１の検出結果に含まれる撮像データや音声データに基づいて、ユーザとコミュニケーション相手との間のコミュニケーションの属性情報であるコンテキストを解析するように構成される。具体的には、コンテキスト解析部２３は、例えば、コミュニケーションの種別、コミュニケーションの人数、コミュニケーション相手の属性、ユーザとコミュニケーション相手との間の人間関係、ユーザのコミュニケーション相手に対する印象、ユーザとコミュニケーション相手が会う頻度などの情報を解析する。“コミュニケーションの種別”は、例えば、会社の部内会議、会社の課内会議、講義、ディスカッション、同窓会、パーティなどの複数の選択肢から選択される。“コミュニケーションの人数”は、例えば、大人数、少人数、１対１などの複数の選択肢から選択される。“コミュニケーション相手の属性”は、例えば、社長、部長、部下、取引先、協力会社、自分よりも経験が豊富な人、年長者、格上者、格下者、有名人などの複数の選択肢から選択される。“ユーザとコミュニケーション相手との間の人間関係”は、例えば、知り合い、親友、身内、初対面などの複数の選択肢から選択される。“ユーザのコミュニケーション相手に対する印象”は、例えば、大好き、好き、普通、嫌い、大嫌いなどの複数の選択肢から選択される。“ユーザとコミュニケーション相手が会う頻度”は、例えば、よく会う、たまに会う、久しぶりに会う、初めて会うなどの複数の選択肢から選択される。
　そして、コンテキスト解析部２３は、このようなコンテキストの解析結果に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを設定する。これらの３つのパラメータは、後述するように、共有情動生成部２５が、外的情動データＤＴ１および内的情動データＤＴ２に基づいて合成処理を行うことにより共有情動データＤＴ３を生成する際に使用される。しきい値ＴＨは、外的情動データＤＴ１に含まれるパラメータＡｅに対するしきい値であり、共有情動データＤＴ３を生成する２つの方法のうちのどちらを使うかを判定するために用いられるパラメータである。覚醒度オフセットＡおよび非覚醒度オフセットＢは、外的情動データＤＴ１および内的情動データＤＴ２に基づいて合成処理を行う際の合成比率を調節するためのパラメータである。
　コンテキスト解析部２３は、ユーザがコミュニケーションを行う間、継続してこのような処理を行う。そして、コンテキスト解析部２３は、設定したしきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを、共有情動生成部２５に供給するようになっている。
　コンテキスト辞書記憶部２４は、コンテキスト解析部２３がコンテキストを解析する際に使用する様々なデータを記憶するように構成される。コンテキスト辞書記憶部２４は、例えば、コミュニケーションの種別、コミュニケーションの人数、コミュニケーション相手の属性、ユーザとコミュニケーション相手との間の人間関係、ユーザのコミュニケーション相手に対する印象、ユーザとコミュニケーション相手が会う頻度などの上記複数の選択肢についてのデータを記憶している。コンテキスト解析部２３は、コンテキスト辞書記憶部２４に記憶されたデータに基づいてコンテキストを解析する。また、コンテキスト辞書記憶部２４は、ユーザがユーザインタフェース部２６を操作することにより入力したデータや、コンテキスト解析部２３の解析結果をも記憶するようになっている。
　共有情動生成部２５は、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを用いて合成処理を行うことにより、共有情動データＤＴ３を生成するように構成される。また、共有情動生成部２５は、ユーザインタフェース部２６から内的情動開示度Ｐが供給された場合には、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、この内的情動開示度Ｐを用いて合成処理を行うことにより、共有情動データＤＴ３を生成することができるようになっている。この共有情動データＤＴ３は、ユーザのコミュニケーション相手に対して開示して共有すべき情動を示すデータである。共有情動データＤＴ３は、覚醒度を示すパラメータＡｓと、感情価を示すパラメータＶｓとを含む。これらのパラメータＡｓ，Ｖｓは、上述したパラメータＡｅ，ＶｅやパラメータＡｉ，Ｖｉと同様に、ラッセルの感情円環モデルにおいて用いられるパラメータである。共有情動生成部２５は、生成した共有情動データＤＴ３を、ユーザインタフェース部２６および通信部２７に供給するようになっている。
　また、共有情動生成部２５は、生成した共有情動データＤＴ３を監視する機能をも有している。そして、例えば、共有情動データＤＴ３が短時間で大きく変化した場合には、ユーザインタフェース部２６が共有情動データＤＴ３を表示する際の表示態様を変更するようになっている。
　ユーザインタフェース部２６は、情報をユーザに提示するとともに、ユーザによる操作入力を受け付けるように構成される。ユーザインタフェース部２６は、例えば、表示パネル、タッチパネル、各種ボタン、スピーカなどを含んで構成される。ユーザインタフェース部２６は、例えば、共有情動生成部２５が生成した共有情動データＤＴ３、および通信部２７が受信した、コミュニケーション相手に係る共有情動データＤＴ４を表示する。また、ユーザインタフェース部２６は、例えば、ユーザによる、内的情動をどの程度開示するかを示す内的情動開示度Ｐの操作入力を受け付ける。
　図３は、ユーザインタフェース部２６が表示する表示画面の一例を表すものである。この表示画面Ｄ１は、ラッセルの感情円環モデルを表示している。縦軸は覚醒度を示し、横軸は感情価を示す。この表示画面Ｄ１には、２つのシンボルＳＤＴ３，ＳＤＴ４が表示されている。シンボルＳＤＴ３は、ユーザに係る共有情動データＤＴ３に対応し、共有情動データＤＴ３に含まれるパラメータＡｓ，Ｖｓが示す位置に配置される。シンボルＳＤＴ４は、コミュニケーション相手に係る共有情動データＤＴ４に対応し、共有情動データＤＴ４に含まれるパラメータＡｓ，Ｖｓが示す位置に配置される。コミュニケーション支援装置１のユーザは、このような表示画面Ｄ１を見ることにより、コミュニケーション相手の情動を確認することができるとともに、コミュニケーション相手に開示される自分の情動を確認することができる。
　図４は、ユーザインタフェース部２６が表示する表示画面の他の一例を表すものである。この表示画面Ｄ２には、さらに、２つのシンボルＳＤＴ１，ＳＤＴ２が表示されている。シンボルＳＤＴ１は、ユーザに係る外的情動データＤＴ１に対応し、外的情動データＤＴ１に含まれるパラメータＡｅ，Ｖｅが示す位置に配置される。シンボルＳＤＴ２は、ユーザに係る内的情動データＤＴ２に対応し、内的情動データＤＴ２に含まれるパラメータＡｉ，Ｖｉが示す位置に配置される。
　図５は、ユーザインタフェース部２６が表示する表示画面の他の一例を表すものである。この表示画面Ｄ３には、２つのシンボルＳＤＴ３，ＳＤＴ４が表示されている。この例では、シンボルＳＤＴ３は、点滅して表示されている。すなわち、この例では、共有情動データＤＴ３が短時間で大きく変化したので、共有情動生成部２５が、共有情動データＤＴ３の表示態様を変更する。この例では、シンボルＳＤＴ３を点滅させたが、これに限定されるものではなく、これに代えて、例えば、シンボルＳＤＴ３の大きさや色を変えてもよいし、ウィンドウやポップアップを表示させてもよい。また、この例では表示態様を変更したが、これに限定されるものではなく、音を出してもよいし、情報処理装置２０を振動させてもよい。
　また、この表示画面Ｄ３には、ユーザによる内的情動開示度Ｐの操作入力を受け付けるスライダーＳＬが表示される。ユーザは、このスライダーＳＬを操作することにより、内的情動開示度Ｐを調節することができる。例えば、共有情動データＤＴ３が短時間で大きく変化した場合において、ユーザは、その情動の変化をコミュニケーション相手に悟られたくない場合に、このスライダーＳＬを操作することにより、内的情動開示度Ｐを調整することができる。これにより、例えば、共有情動データＤＴ３の変化率を変更することができる。
　通信部２７（図１）は、ユーザのコミュニケーション相手が使用する他のコミュニケーション支援装置との間で、データのやり取りを行うように構成される。通信部２７は、有線通信を行ってもよいし、無線通信を行ってもよい。また、通信部２７は、他のコミュニケーション支援装置と直接通信を行ってもよいし、１または複数の中継装置を介して通信を行ってもよい。通信部２７は、ユーザのコミュニケーション相手が使用する他のコミュニケーション支援装置と通信を行うことにより、共有情動生成部２５が生成した共有情動データＤＴ３を送信するとともに、コミュニケーション相手に係る共有情動データＤＴ４を受信する。そして、通信部２７は、受信した共有情動データＤＴ４をユーザインタフェース部２６に供給するようになっている。
　この構成により、例えば、コミュニケーション支援システム１００（図２）では、コミュニケーション支援装置１Ａは、ユーザＵＡに係る共有情動データＤＴ３をコミュニケーション支援装置１Ｂに送信し、コミュニケーション支援装置１Ｂから送信されたユーザＵＢに係る共有情動データＤＴ４を受信する。コミュニケーション支援装置１Ｂについても同様である。これにより、ユーザＵＡはユーザＵＢの情動を把握することができ、ユーザＵＢはユーザＵＡの情動を把握することができる。
　特に、コミュニケーション支援システム１００では、共有情動データＤＴ３，ＤＴ４を用いて、コミュニケーション相手と情動を共有する。これにより、コミュニケーション支援システム１００では、より良いコミュニケーションを行うことができる。
　すなわち、図６に示すように、外的情動は、コミュニケーション相手が容易に把握することができる情動である。しかしながら、人は、この外的情動を意識的に制御することができるので、外的情動は、人の本音を反映していない場合もあり得る。一方、内的情動は、コミュニケーション相手が容易に把握することができない情動である。人は、この内的情動を意識的に制御することは難しいので、内的情動は、人の本音を反映したものであり、その人の真の情動に近い。よって、人は、この内的情動を、コミュニケーション相手に対して隠したい場合がある。
　一般に、コミュニケーションを行う場合には、コミュニケーション相手の情動を把握することにより、より良いコミュニケーションを行うことができる。特に、物理的に互いに異なる地点にいる人々がコミュニケーションを行う場合や、互いによく知らない人々がコミュニケーションを行う場合には、コミュニケーション相手の情動を把握することは重要である。しかしながら、コミュニケーション相手の真の情動を把握しすぎると、コミュニケーションがうまくいかない可能性もある。また、真の情動は、プライバシーの観点から、開示したくない場合がある。
　そこで、コミュニケーション支援装置１は、外的情動を示す外的情動データＤＴ１、および内的情動を示す内的情動データＤＴ２に基づいて合成処理を行うことにより、コミュニケーション相手に対して開示して共有すべき情動を示す共有情動データＤＴ３を生成する。これにより、コミュニケーション支援装置１では、例えば、コミュニケーション相手に開示する共有情動を制御することができるので、より良いコミュニケーションの実現を図るようになっている。
　ここで、公開モーダルセンシング部１１は、本開示における「第１のセンシング部」の一具体例に対応する。外的情動推定部２１は、本開示における「第１の情動推定部」の一具体例に対応する。外的情動データＤＴ１は、本開示における「第１の情動データ」の一具体例に対応する。非公開モーダルセンシング部１２は、本開示における「第２のセンシング部」の一具体例に対応する。内的情動推定部２２は、本開示における「第２の情動推定部」の一具体例に対応する。内的情動データＤＴ２は、本開示における「第２の情動データ」の一具体例に対応する。共有情動生成部２５は、本開示における「情動データ生成部」の一具体例に対応する。共有情動データＤＴ３は、本開示における「第３の情動データ」の一具体例に対応する。コンテキスト解析部２３は、本開示における「解析部」の一具体例に対応する。通信部２７は、本開示における「通信部」の一具体例に対応する。ユーザインタフェース部２６は、本開示における「ユーザインタフェース部」の一具体例に対応する。共有情動データＤＴ４は、本開示における「第４の情動データ」の一具体例に対応する。
［動作および作用］
　続いて、本実施の形態のコミュニケーション支援装置１の動作および作用について説明する。
（全体動作概要）
　まず、図１を参照して、コミュニケーション支援装置１の全体動作概要を説明する。公開モーダルセンシング部１１は、このコミュニケーション支援装置１を使用するユーザの公開モーダルを検出する。非公開モーダルセンシング部１２は、このコミュニケーション支援装置１を使用するユーザの非公開モーダルを検出する。情報処理装置２０において、外的情動推定部２１は、公開モーダルセンシング部１１の検出結果に基づいて、このコミュニケーション支援装置１を使用するユーザの外的情動を推定することにより、外的情動データＤＴ１を生成する。内的情動推定部２２は、非公開モーダルセンシング部１２の検出結果に基づいて、このコミュニケーション支援装置１を使用するユーザの内的情動を推定することにより、内的情動データＤＴ２を生成する。コンテキスト解析部２３は、公開モーダルセンシング部１１の検出結果に含まれる撮像データや音声データに基づいて、ユーザとコミュニケーション相手との間のコミュニケーションの属性情報であるコンテキストを解析する。そして、コンテキスト解析部２３は、コンテキストの解析結果に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを設定する。コンテキスト辞書記憶部２４は、コンテキスト解析部２３がコンテキストを解析する際に使用する様々なデータを記憶する。共有情動生成部２５は、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを用いて合成処理を行うことにより、共有情動データＤＴ３を生成する。また、共有情動生成部２５は、ユーザインタフェース部２６から内的情動開示度Ｐが供給された場合には、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、この内的情動開示度Ｐを用いて合成処理を行うことにより、共有情動データＤＴ３を生成する。ユーザインタフェース部２６は、例えば、共有情動生成部２５が生成した共有情動データＤＴ３、および通信部２７が受信した、コミュニケーション相手に係る共有情動データＤＴ４を表示する。また、ユーザインタフェース部２６は、例えば、ユーザによる、内的情動をどの程度開示するかを示す内的情動開示度Ｐの操作入力を受け付ける。通信部２７は、ユーザのコミュニケーション相手が使用する他のコミュニケーション支援装置と通信を行うことにより、共有情動生成部２５が生成した共有情動データＤＴ３を送信するとともに、コミュニケーション相手に係る共有情動データＤＴ４を受信する。
（詳細動作）
　図７は、コミュニケーション支援装置１の一動作例を表すものである。例えば、ユーザが、情報処理装置２０にインストールされたアプリケーションソフトウェアにおいて、コミュニケーション開始ボタンを操作することにより、コミュニケーション支援装置１は、以下の動作を開始する。
　まず、コンテキスト解析部２３は、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを設定する（ステップＳ１０１）。具体的には、コンテキスト解析部２３は、公開モーダルセンシング部１１の検出結果に含まれる撮像データや音声データに基づいて、ユーザ間のコミュニケーションの属性情報であるコンテキストを解析する。そして、そして、コンテキスト解析部２３は、コンテキストの解析結果に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを設定する。
　次に、外的情動推定部２１は、公開モーダルセンシング部１１の検出結果に基づいて、ユーザの外的情動を推定することにより外的情動データＤＴ１を生成し、内的情動推定部２２は、非公開モーダルセンシング部１２の検出結果に基づいて、ユーザの内的情動を推定することにより内的情動データＤＴ２を生成する（ステップＳ１０２）。外的情動推定部２１は、例えば、ユーザインタフェース部２６を用いたユーザによる操作入力に基づいて、公開モーダルセンシング部１１の検出結果のうちの、外的情動を推定する際に使用するデータを選択することができる。同様に、内的情動推定部２２は、例えば、ユーザインタフェース部２６を用いたユーザによる操作入力に基づいて、非公開モーダルセンシング部１２の検出結果のうちの、内的情動を推定する際に使用するデータを選択することができる。
　次に、共有情動生成部２５は、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、共有情動データＤＴ３を生成する（ステップＳ１０３）。具体的には、共有情動生成部２５は、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを用いて合成処理を行うことにより、共有情動データＤＴ３を生成する。また、共有情動生成部２５は、ユーザインタフェース部２６から内的情動開示度Ｐが供給された場合には、外的情動データＤＴ１および内的情動データＤＴ２に基づいて、この内的情動開示度Ｐを用いて合成処理を行うことにより、共有情動データＤＴ３を生成する。
　図８は、共有情動データＤＴ３の生成処理の一例を表すものである。
　まず、共有情動生成部２５は、ユーザインタフェース部２６から内的情動開示度Ｐが供給されているかどうかを確認する（ステップＳ１１１）。内的情動開示度Ｐが供給されている場合（ステップＳ１１１において“Ｙ”）には、共有情動生成部２５は、この内的情動開示度Ｐ、外的情動データＤＴ１に含まれるパラメータＶｅ，Ａｅ、および内的情動データＤＴ２に含まれるパラメータＶｉ、Ａｉに基づいて、以下の式を用いて、共有情動データＤＴ３のパラメータＶｓ、Ａｓを算出する（ステップＳ１１２）。
Ｖｓ　＝　（１－Ｐ）×Ｖｅ　＋　Ｐ×Ｖｉ
Ａｓ　＝　（１－Ｐ）×Ａｅ　＋　Ｐ×Ａｉ
内的情動開示度Ｐは、０以上１以下の値を示す。内的情動開示度Ｐが大きいほど、内的情動データＤＴ２に含まれるパラメータＶｉ，ＡｉのパラメータＶｓ、Ａｓへの寄与が大きくなり、内的情動開示度Ｐが小さいほど、外的情動データＤＴ１に含まれるパラメータＶｅ，ＡｅのパラメータＶｓ、Ａｓへの寄与が大きくなる。そして、この共有情動データＤＴ３の生成処理は終了する。
　ステップＳ１１１において、ユーザインタフェース部２６から内的情動開示度Ｐが供給されていない場合（ステップＳ１１１において“Ｎ”）には、共有情動生成部２５は、外的情動データＤＴ１に含まれるパラメータＡｅがしきい値ＴＨよりも大きい（Ａｅ＞ＴＨ）かどうかを確認する（ステップＳ１１３）。
　ステップＳ１１３において、パラメータＡｅがしきい値ＴＨよりも大きい場合（ステップＳ１１３において“Ｙ”）には、共有情動生成部２５は、パラメータＡｅ、覚醒度オフセットＡ、およびパラメータＡｅがとり得る最大値Ａｅｍａｘに基づいて、以下の式を用いて、緊張度Ｔを算出する（ステップＳ１１４）。
Ｔ　＝　（Ａｅ＋Ａ）　／　Ａｅｍａｘ
緊張度Ｔは、例えば、パラメータＡｅが大きいほど大きい値になり、覚醒度オフセットＡが大きいほど大きい値になる。
　そして、共有情動生成部２５は、この緊張度Ｔ、外的情動データＤＴ１に含まれるパラメータＶｅ，Ａｅ、および内的情動データＤＴ２に含まれるパラメータＶｉ、Ａｉに基づいて、以下の式を用いて、共有情動データＤＴ３のパラメータＶｓ、Ａｓを算出する（ステップＳ１１５）。
Ｖｓ　＝　Ｔ×Ｖｅ　＋　（１－Ｔ）×Ｖｉ
Ａｓ　＝　Ｔ×Ａｅ　＋　（１－Ｔ）×Ａｉ
緊張度Ｔが大きいほど、外的情動データＤＴ１に含まれるパラメータＶｅ，ＡｅのパラメータＶｓ、Ａｓへの寄与が大きくなり、緊張度Ｔが小さいほど、内的情動データＤＴ２に含まれるパラメータＶｉ，ＡｉのパラメータＶｓ、Ａｓへの寄与が大きくなる。
　このように、パラメータＡｅがしきい値ＴＨよりも大きい場合（ステップＳ１１３において“Ｙ”）には、会社の会議など、緊張感が高いコミュニケーションの場が想定される。よって、共有情動生成部２５は、緊張度Ｔに基づいて、ステップＳ１１５の式を用いて共有情動データＤＴ３を生成する。そして、この共有情動データＤＴ３の生成処理は終了する。
　ステップＳ１１３において、パラメータＡｅがしきい値ＴＨより大きくない場合（ステップＳ１１３において“Ｙ”）には、共有情動生成部２５は、パラメータＡｅ、非覚醒度オフセットＢ、およびパラメータＡｅがとり得る最小値Ａｅｍｉｎに基づいて、以下の式を用いて、弛緩度Ｒを算出する（ステップＳ１１６）。
Ｒ　＝　｜Ａｅ＋Ｂ｜　／　｜Ａｅｍｉｎ｜
弛緩度Ｒは、例えば、パラメータＡｅが小さいほど大きい値になり、非覚醒度オフセットＢが小さいほど大きい値になる。
　そして、共有情動生成部２５は、この弛緩度Ｒ、外的情動データＤＴ１に含まれるパラメータＶｅ，Ａｅ、および内的情動データＤＴ２に含まれるパラメータＶｉ、Ａｉに基づいて、以下の式を用いて、共有情動データＤＴ３のパラメータＶｓ、Ａｓを算出する（ステップＳ１１７）。
Ｖｓ　＝　（１－Ｒ）×Ｖｅ　＋　Ｒ×Ｖｉ
Ａｓ　＝　（１－Ｒ）×Ａｅ　＋　Ｒ×Ａｉ
弛緩度Ｒが大きいほど、内的情動データＤＴ２に含まれるパラメータＶｉ，ＡｉのパラメータＶｓ、Ａｓへの寄与が大きくなり、弛緩度Ｒが小さいほど、外的情動データＤＴ１に含まれるパラメータＶｅ，ＡｅのパラメータＶｓ、Ａｓへの寄与が大きくなる。
　このように、パラメータＡｅがしきい値ＴＨよりも大きくない場合（ステップＳ１１３において“Ｎ”）には、友人とのコミュニケーションなど、リラックスしたコミュニケーションの場が想定される。よって、共有情動生成部２５は、弛緩度Ｒに基づいて、ステップＳ１１７の式を用いて共有情動データＤＴ３を生成する。そして、この共有情動データＤＴ３の生成処理は終了する。
　図７において、次に、ユーザインタフェース部２６は、図３～５に示したように、共有情動データＤＴ３を表示する（ステップＳ１０４）。ユーザインタフェース部２６は、図４に示したように、共有情動データＤＴ３に加え、外的情動データＤＴ１および内的情動データＤＴ２を表示してもよい。
　共有情動生成部２５は、生成した共有情動データＤＴ３を監視しており、例えば、共有情動データＤＴ３が短時間で大きく変化した場合には、ユーザインタフェース部２６が共有情動データＤＴ３に表示する際の表示態様を変更する。ユーザインタフェース部２６は、共有情動生成部２５からの指示に基づいて、例えば、図４に示したように、共有情動データＤＴ３に対応するシンボルＳＤＴ３を、点滅して表示する。例えば、共有情動データＤＴ３が短時間で大きく変化した場合において、ユーザは、その情動の変化をコミュニケーション相手に悟られたくない場合に、このスライダーＳＬを操作することにより、内的情動開示度Ｐを調整することができる。これにより、例えば、共有情動データＤＴ３の変化率を変更することができる。また、ユーザは、ユーザインタフェース部２６を操作することにより、公開モーダルセンシング部１１の検出結果のうちの、外的情動を推定する際に使用するデータを変更してもよいし、非公開モーダルセンシング部１２の検出結果のうちの、内的情動を推定する際に使用するデータを変更してもよい。この場合でも、例えば、共有情動データＤＴ３の変化率を変更することができる。
　次に、通信部２７は、ユーザに係る共有情動データＤＴ３を送信するとともに、ユーザのコミュニケーション相手に係る共有情動データＤＴ４を受信する（ステップＳ１０５）。
　次に、ユーザインタフェース部２６は、図３～５に示したように、通信部２７が受信した共有情動データＤＴ４を表示する（ステップＳ１０６）。
　次に、情報処理装置２０は、コミュニケーションが終了したかどうかを確認する（ステップＳ１０７）。具体的には、情報処理装置２０は、例えば、ユーザが、アプリケーションソフトウェアにおいて、コミュニケーション終了ボタンを操作したかどうかを確認することによりコミュニケーションが終了したかどうかを確認することができる。また、情報処理装置２０は、例えば、コンテキスト解析部２３の解析結果に基づいて、コミュニケーションが終了したかどうかを確認することができる。
　コミュニケーションがまだ終了していない場合（ステップＳ１０７において“Ｎ”）には、コンテキスト解析部２３は、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを更新する（ステップＳ１０８）。
　例えば、コンテキスト解析部２３は、コミュニケーションの場の雰囲気を解析し、その解析結果に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを更新する。
　具体的には、コンテキスト解析部２３は、例えば、笑いが一切ないような殺伐とした雰囲気を検出した場合や、お世辞笑いが多いような雰囲気を検出した場合には、例えば、覚醒度オフセットＡやしきい値ＴＨを高めることにより、共有情動に含まれる外的情動の比率を高める。これにより、内的情動を開示しにくくすることができる。コンテキスト解析部２３は、例えば、冗談が多いフランクな雰囲気を検出した場合には、例えば、非覚醒度オフセットＢの絶対値を高めるとともに、しきい値ＴＨを下げることにより、共有情動に含まれる内的情動の比率を高める。
　また、例えば、コンテキスト解析部２３は、ユーザとコミュニケーション相手との間の人間関係の変化を解析し、その解析結果に基づいて、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを更新する。具体的には、コンテキスト解析部２３は、感情価が“快”の状態が所定の長さの時間より長く継続し、コミュニケーション相手に対する印象が“好き”であることを検出した場合には、共有情動に含まれる内的情動の比率を高める。また、コンテキスト解析部２３は、感情価が“不快”の状態が所定の長さの時間より長く継続し、コミュニケーション相手に対する印象が“嫌い”であることを検出した場合には、共有情動に含まれる内的情動の比率を下げる。
　コンテキスト辞書記憶部２４は、このようにして、しきい値ＴＨ、覚醒度オフセットＡ、および非覚醒度オフセットＢを更新するとともに、この解析結果を記憶する。コンテキスト解析部２３は、これ以降において、この解析結果を利用して、解析を行う。そして、その後にステップＳ１０１の処理に戻り、コミュニケーションが終了するまで、ステップＳ１０１～Ｓ１０７の処理を繰り返す。
　ステップＳ１０７において、コミュニケーションが終了した場合（ステップＳ１０７において“Ｎ”）には、この処理は終了する。
　次に、コミュニケーション支援装置１について、複数の使用例を挙げて詳細に説明する。
（使用例Ｅ１）
　コミュニケーション支援装置１は、例えば、会社の会議において使用することができる。会議は、例えば、部の会議、課の会議、チームの会議などである。会議は、フェイストゥフェイスで行ってもよいし、例えばＷＥＢ会議システムを用いてリモートで行ってもよい。このような会議には、２～３人程度の少人数の社員や、１０人以上の大人数の社員が参加し得る。複数の社員のそれぞれは、コミュニケーション支援装置１を使用する。例えば、社員が使用するコミュニケーション支援装置１では、複数の社員の共有情動が図３～５に示した画面に表示される。
　例えば、会議の主催者は、参加者の覚醒度（図３～５の縦軸）に基づいて、参加者がその会議に集中しようとしているかどうかを把握することができる。また、会議の主催者は、参加者の感情価（図３～５の横軸）に基づいて、議論内容について肯定的な印象を有するのか否定的な印象を有するのかを把握することができるので、様々な意見を持つ人に対してバランスよく発言の機会を与えることができる。
　一方、例えば、会議の発言者は、参加者の覚醒度に基づいて、自分の発言に対する関心度を把握することができる。また、会議の発言者は、参加者の感情価に基づいて、自分の発言に対する反応を把握することができる。
　また、例えば、会議の参加者は、ユーザインタフェース部２６に表示される自分の共有情動を確認することにより、他人の発言に対する自分の本音を確認することができる。これにより、参加者は、例えば、自分の立場を踏まえて、どのように自分の情動を開示するかを、表情、振る舞い、口調などを用いて制御することができる。
　コミュニケーション支援装置１では、外的情動を示す外的情動データＤＴ１、および内的情動を示す内的情動データＤＴ２に基づいて合成処理を行うことにより、共有情動を示す共有情動データＤＴ３を生成する。これにより、会議の主催者、発言者、参加者は、内的情動を開示しすぎることがないので、より良いコミュニケーションを実現することができる。また、例えば、議論が進むにつれて、コミュニケーションの雰囲気が例えばよりフランクな雰囲気に変化した場合には、本音での議論が行われやすい。この場合には、コミュニケーション支援装置１では、共有情動に含まれる内的情動の比率を高くすることができるので、例えば会議の発言者は、参加者の真の情動を把握しやすくなるので、より良いコミュニケーションを実現することができる。
（使用例Ｅ２）
　コミュニケーション支援装置１は、例えば、中学校、高等学校、大学などの教育現場での授業において使用することができる。授業は、フェイストゥフェイスで行ってもよいし、例えばＷＥＢ会議システムを用いてリモートで行ってもよい。このような授業には、例えば３０人以上の大人数の生徒が参加し得る。先生および複数の生徒のそれぞれは、コミュニケーション支援装置１を使用する。例えば、先生が使用するコミュニケーション支援装置１では、複数の生徒の共有情動が図３～５に示した画面にまとめて表示される。また、例えば、生徒が使用するコミュニケーション支援装置１では、自分と、その他の複数の生徒の共有情動が図３～５に示した画面に表示される。
　例えば、先生は、生徒の覚醒度（図３～５の縦軸）に基づいて、生徒がその授業に集中しようとしているかどうかを把握することができる。特に、リモートの授業の場合には、例えば、全ての生徒のカメラ画像を確認して生徒が集中しているかどうかを確認するのは難しいが、コミュニケーション支援装置１を使用することにより、全ての生徒の状況を一目で確認することができる。また、先生は、生徒の感情価（図３～５の横軸）に基づいて、授業内容について興味があるのか興味がないのかを把握することができるので、例えばより多くの生徒が興味を持つことができるような授業を行うように工夫することができる。
　一方、例えば、生徒は、ユーザインタフェース部２６に表示される自分の共有情動を確認し、共有情動が、自分が授業に集中して参加していることを示すように、振る舞うことができる。また、生徒は、例えば他の生徒の感情価（図３～５の横軸）に基づいて、例えば自分と同じことに興味を持っている生徒を見つけることができるので、生徒間のコミュニケーションのトリガーになり得る。
（使用例Ｅ３）
　コミュニケーション支援装置１は、例えば、プログラミングの初学者がプログラム開発を行いながらプログラミングを学ぶ、いわゆるペアプログラミングにおいて使用することができる。このペアプログラミングは、フェイストゥフェイスで行ってもよいし、例えばＷＥＢ会議システムを用いてリモートで行ってもよい。ペアプログラミングには、同程度のプログラミングスキルを有する、先生役および生徒役の学習者と、作業を監督する監督者とが参加する。先生役の学習者、生徒役の学習者、および監督者のそれぞれは、コミュニケーション支援装置１を使用する。例えば、２人の学習者が使用するコミュニケーション支援装置１では、２人の学習者の共有情動が図３～５に示した画面に表示される。また、例えば、監督者が使用するコミュニケーション支援装置１では、２人の学習者の共有情動が図３～５に示した画面に表示される。
　例えば、先生役の学習者は、生徒役の学習者の覚醒度（図３～５の縦軸）に基づいて、生徒役の学習者が集中して作業を行っているかどうかを把握することができる。また、先生役の学習者は、生徒役の学習者の感情価（図３～５の横軸）に基づいて、自分のアドバイスを生徒役の学習者が肯定的に受け取ったかあるいは否定的に受け取ったかを把握することができる。
　一方、例えば、生徒役の学習者は、先生役の学習者の覚醒度（図３～５の縦軸）に基づいて、先生役の学習者が集中して真剣に検討した上で、アドバイスをしてくれているかどうかを把握することができる。例えば、先生役の学習者が真剣に検討してアドバイスをしてくれた場合には、生徒役の学習者は、そのアドバイスを受け入れやすい。また、生徒役の学習者は、ユーザインタフェース部２６に表示される自分の共有情動を確認し、共有情動が、自分がアドバイスを真摯に受け取ったことを示すように振る舞うことができ、あるいは共有情動が、自分がアドバイスに納得できていないことを示すように振る舞うことができる。
　また、例えば、監督者は、ユーザインタフェース部２６に表示される先生役および生徒役の学習者の共有情動を確認し、２人がしっかりとコミュニケーションをとって作業を進められているかどうかを確認することができる。例えば、２人がしっかりとコミュニケーションをとって作業を進められている場合には、そのまま２人に作業を行わせることができる。また、例えば、２人のコミュニケーションがうまくいっていない場合には、例えば２人の役割を交換し、あるいは他の人とペアを組ませるなどの対策を行うことができる。これにより、学習効率を高めることができる。
（使用例Ｅ４）
　コミュニケーション支援装置１は、例えば、コンサルティングにおいて使用することができる。この例では、例えば、夫婦でコンサルティングを受ける場合を想定する。このコンサルティングは、フェイストゥフェイスで行ってもよいし、例えばＷＥＢ会議システムを用いてリモートで行ってもよい。コンサルタント、夫、および妻のそれぞれは、コミュニケーション支援装置１を使用する。例えば、コンサルタントが使用するコミュニケーション支援装置１では、夫婦それぞれの共有情動が図３～５に示した画面に表示される。また、例えば、夫婦のそれぞれが使用するコミュニケーション支援装置１では、夫婦のそれぞれの共有情動が図３～５に示した画面に表示される。例えば、夫が使用するコミュニケーション支援装置１は、コンサルタントに開示する共有情動に係る共有情動データＤＴ３、妻に開示する共有情動に係る共有情動データＤＴ３、自分の装置に表示する共有情動に係る共有情動データＤＴ３を生成する。例えば、コンサルタントに開示する共有情動では、共有情動に含まれる外的情動の比率が高く、妻に開示する共有情動では、共有情動に含まれる内的情動の比率が高い。妻についても同様である。
　例えば、コンサルタントは、夫婦の感情価（図３～５の横軸）に基づいて、説明した内容のうちのどの内容に興味があるのかを把握することができるので、効果的にコンサルティングを行うことができる。
　一方、例えば、夫は、妻に対して内的情動の比率が高い共有情動を開示し、妻は、夫に対して内的情動の比率が高い共有情動を開示するので、ユーザインタフェース部２６に表示される夫婦の共有情動を確認することにより、コンサルタントの説明をどのように受け止めているかを、夫婦間で共有することができる。
（使用例Ｅ５）
　コミュニケーション支援装置１は、例えば、複数のプレイヤが協力するオンラインゲームにおいて使用することができる。例えば、知らない人とともにゲームを行う場合を想定する。複数のプレイヤのそれぞれは、コミュニケーション支援装置１を使用する。例えば、プレイヤが使用するコミュニケーション支援装置１では、複数のプレイヤの共有情動が図３～５に示した画面に表示される。
　例えば、プレイヤは、他のプレイヤの感情価（図３～５の横軸）に基づいて、他のプレイヤが自分のプレイスタイルを受け入れているのかどうかを把握することができる。例えば、ゲーム開始直後は、共有情動における内的情動の比率を低くすることにより、本音を隠しつつコミュニケーションを図る。また、時間が経過するにつれて、共有情動における内的情動の比率を徐々に高くすることにより、本音を互いに開示するようにする。これにより、互いの円滑な意思疎通を図ることができる。これにより、互いに打ち解けることができ、その後、例えばチャットや会話のコミュニケーションへと進むことができる。
（使用例Ｅ６）
　コミュニケーション支援装置１は、例えば、パーティにおいて使用することができる。パーティは、フェイストゥフェイスで行ってもよいし、リモートで行ってもよい。パーティの参加者のそれぞれは、コミュニケーション支援装置１を使用する。例えば、参加者が使用するコミュニケーション支援装置１では、他の参加者の共有情動が図３～５に示した画面に表示される。
　例えば、パーティでは、自分が関心がある話題であっても、なかなか会話に割り込めない場合があり得る。この場合に、例えば、自分の共有情動は他の人に開示されるので、参加者は、自分がその話題に関心があることを知らせることにより、例えば、会話に割り込みやすくすることができ、あるいは他の人から話しかけやすくすることができる。
　また、参加者は、ユーザインタフェース部２６に表示される自分の共有情動を確認することにより、例えば、自分がその話題に関心がない場合でも、共有情動が、自分がその話題に関心があることを示すように振る舞うことができる。また、例えば、参加者は、自分がその話題を不快に感じた場合でも、そのような不快な情動が相手に伝わらないように、穏便にやり過ごすこともできる。
　また、例えば異性と出会うことを目的としたパーティでは、異性に対しては、内的情動の比率を低い共有情動を開示し、同性に対しては、内的情動の比率が高い共有情動を開示することができる。これにより、異性に対しては、本音を隠し、同性に対しては、どの異性をお気に入りであるかどうかを知らせることができる。
（使用例Ｅ７）
　コミュニケーション支援装置１は、例えば、ライブビューイングにおいて使用することができる。ライブは、ライブ会場に参加者が集まって行ってもよいし、リモートで行ってもよい。運営会社、およびライブの参加者のそれぞれは、コミュニケーション支援装置１を使用する。例えば、運営会社が使用するコミュニケーション支援装置１では、ライブの参加者の共有情動が図３～５に示した画面に表示される。ライブの参加者が使用するコミュニケーション支援装置１では、ライブの参加者の共有情動が図３～５に示した画面に表示される。
　例えば、運営会社のスタッフは、ユーザインタフェース部２６に表示されるライブの参加者の共有情動に基づいて、ライブパフォーマンスに対する参加者の反応を把握することができる。そして、運営会社のスタッフは、例えば、参加者の反応が良い場合には、ライブパフォーマンスの時間を延長することができ、参加者の思いに沿った運営をすることができる。
　例えば、ライブの参加者は、自分が気に入っているグループや、気に入っているメンバーがパフォーマンスを行っている場合に、内的情動の比率が高い共有情動を開示することができる。これにより、ライブの参加者は、運営会社に対して、自己の情動を伝えることができる。ライブの参加者は、自分が興味がないグループがパフォーマンスを行っている場合に、内的情動の比率が高い共有情動を開示してもよいし、外的情動の比率が高い共有情動を開示してもよい。また、ライブの参加者は、ユーザインタフェース部２６に表示される自分の共有情動を確認することにより、例えば、自分は興味がないと思っていたグループが、実は好みのグループであることがわかるなど、新たな発見をすることができる。
（使用例Ｅ８）
　コミュニケーション支援装置１は、例えば、都市に住む家族が、故郷の家族とリモートで会話する、いわゆるオンライン帰省において使用することができる。これらの家族のそれぞれは、コミュニケーション支援装置１を使用する。例えば、これらの家族が使用するコミュニケーション支援装置１では、両家族の共有情動が図３～５に示した画面に表示される。
　例えば、故郷の家族である祖父母は、ユーザインタフェース部２６に表示される、都市に住む家族である孫の共有情動に基づいて、孫が喜んでいるのか、飽きているのかを容易に把握することができる。すなわち、例えばカメラ画像を観察するだけでは、孫の思いを把握するのは難しいが、コミュニケーション支援装置１を使用することにより、孫の思いを一目で確認することができる。そして、祖父母は、孫が飽きている場合には、例えば話題を変えるかどうかや、会話を終わらせるかどうかを判断することができる。
　例えば、孫は、自分の共有情動を祖父母に開示することができるので、例えば、うれしい場合には、内的情動の比率が高い共有情動を開示することにより、うれしい思いを祖父母に伝えることができる。また、孫は、例えば、同じ話題が繰り返された場合などにおいて不快に感じた場合でも、外的情動の比率が高い共有情動を開示することにより、気を使いつつ継続して会話を行うことができる。また、孫は、例えば、共有情動に含まれる内的情動の比率を徐々に大きくすることにより、不快であることを徐々に伝えることができる。
（使用例Ｅ９）
　コミュニケーション支援装置１は、例えば、医師による診療において使用することができる。診療は、フェイストゥフェイスで行ってもよいし、リモートで行ってもよい。医師および患者のそれぞれは、コミュニケーション支援装置１を使用する。例えば、医師および患者のそれぞれは、医師および患者の共有情動が図３～５に示した画面に表示される。
　例えば、医師は、患者の覚醒度（図３～５の縦軸）に基づいて、患者が診療結果を集中して聞こうとしているかどうかを把握することができる。また、医師は、患者の感情価（図３～５の横軸）に基づいて、患者が納得したのか、あるいはまだ不満に思っており追加の説明が必要なのかを把握することができる。
　以上のように、コミュニケーション支援装置１では、コミュニケーションに用いられるユーザの行動を検出する公開モーダルセンシング部１１の検出結果に基づいてユーザの情動を推定することにより外的情動データＤＴ１を生成する外的情動推定部２１と、コミュニケーションに用いられないユーザの動きや反応を検出する非公開モーダルセンシング部１２の検出結果に基づいてユーザの情動を推定することにより内的情動データＤＴ２を生成する内的情動推定部２２と、外的情動データＤＴ１および内的情動データＤＴ２の合成比率を決定し、決定された合成比率を用いて、外的情動データＤＴ１および内的情動データＤＴ２を合成することにより共有情動データＤＴ３を生成する共有情動生成部２５とを設けるようにした。これにより、コミュニケーション支援装置１では、コミュニケーション相手に開示する共有情動を制御することができるので、例えばユーザのプライバシーを考慮して、適切に共有情動を共有することができるので、より良いコミュニケーションを実現することができる。
　また、コミュニケーション支援装置１では、共有情動生成部２５は、外的情動データＤＴ１に基づいて合成比率を決定するようにしたので、例えば、ユーザが合成比率を設定する場合に比べて、ユーザの負担を軽減することができる。
　また、コミュニケーション支援装置１では、ユーザインタフェース部２６が、ユーザに係る共有情動データＤＴ３および、コミュニケーション相手に係る共有情動データＤＴ４を表示するようにしたので、ユーザが自分およびコミュニケーション相手の情動を容易に把握することができるため、より良いコミュニケーションを実現することができる。
　また、コミュニケーション支援装置１では、共有情動生成部２５は、ユーザに係る共有情動データＤＴ３が示す情動の変化を監視し、ユーザインタフェース部２６は、共有情動生成部２５の監視結果に基づいて、共有情動データＤＴ３の表示態様を変更するようにした。これにより、ユーザは、自分の共有情動をそのまま開示するか、または共有情動を修正するかを判断することができる。その結果、例えば適切な共有情動を開示することができるので、より良いコミュニケーションを実現することができる。
　また、コミュニケーション支援装置１では、コンテキスト解析部２３は、公開モーダルセンシング部１１の検出結果に基づいてコミュニケーションの雰囲気を解析し、共有情動生成部２５は、コンテキスト解析部２３の解析結果に基づいて合成比率を決定するようにしたので、コミュニケーションの雰囲気に応じた共有情動を開示することができるので、より良いコミュニケーションを実現することができる。
［効果］
　以上のように本実施の形態では、コミュニケーションに用いられるユーザの行動を検出する公開モーダルセンシング部の検出結果に基づいてユーザの情動を推定することにより外的情動データを生成する外的情動推定部と、コミュニケーションに用いられないユーザの動きや反応を検出する非公開モーダルセンシング部の検出結果に基づいてユーザの情動を推定することにより内的情動データを生成する内的情動推定部と、外的情動データおよび内的情動データの合成比率を決定し、決定された合成比率を用いて、外的情動データおよび内的情動データを合成することにより共有情動データを生成する共有情動生成部とを設けるようにしたので、より良いコミュニケーションを実現することができる。
　本実施の形態では、共有情動生成部は、外的情動データに基づいて合成比率を決定するようにしたので、例えば、ユーザが合成比率を設定する場合に比べて、ユーザの負担を軽減することができる。
　本実施の形態では、ユーザインタフェース部が、ユーザに係る共有情動データおよび、コミュニケーション相手に係る共有情動データを表示するようにしたので、ユーザが自分およびコミュニケーション相手の情動を容易に把握することができるため、より良いコミュニケーションを実現することができる。
　本実施の形態では、共有情動生成部は、ユーザに係る共有情動データが示す情動の変化を監視し、ユーザインタフェース部は、共有情動生成部の監視結果に基づいて、共有情動データの表示態様を変更するようにしたので、より良いコミュニケーションを実現することができる。
　本実施の形態では、コンテキスト解析部は、公開モーダルセンシング部の検出結果に基づいてコミュニケーションの雰囲気を解析し、共有情動生成部は、コンテキスト解析部の解析結果に基づいて合成比率を決定するようにしたので、より良いコミュニケーションを実現することができる。
　以上、実施の形態および様々な使用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
　例えば、使用例は、以上に挙げたものに限定されるものではなく、コミュニケーションを行う様々な用途に適用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、より良いコミュニケーションを実現することができる。
（１）
　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
　前記第３の情動データを送信可能な通信部と
　を備えた情報処理装置。
（２）
　前記情動データ生成部は、前記第１の情動データに基づいて前記合成比率を決定可能である
　前記（１）に記載の情報処理装置。
（３）
　前記第１の情動データは、覚醒度を示す第１の成分と、感情価を示す第２の成分とを含み、
　前記情動データ生成部は、前記第１の情動データにおける前記第１の成分に基づいて前記合成比率を決定可能である
　前記（２）に記載の情報処理装置。
（４）
　前記情動データ生成部は、前記第１のセンシング部の検出結果に基づいてコミュニケーションの雰囲気を解析可能な解析部をさらに備え、
　前記情動データ生成部は、前記解析部の解析結果に基づいて前記合成比率を決定可能である
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記第３の情動データを表示可能なユーザインタフェース部をさらに備えた
　前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記第３の情動データは、覚醒度を示す第１の成分と、感情価を示す第２の成分とを含み、
　前記ユーザインタフェース部は、前記第３の情動データの前記第１の成分および前記第２の成分を、前記ユーザインタフェース部の表示画面における第１の方向および第２の方向に対応させることにより、前記第３の情動データを表示可能である
　前記（５）に記載の情報処理装置。
（７）
　前記情動データ生成部は、前記第３の情動データが示す情動の変化を監視可能であり、
　前記ユーザインタフェース部は、前記情動データ生成部の監視結果に基づいて、前記第３の情動データの表示態様を変更可能である
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記ユーザインタフェース部は、前記ユーザによる前記合成比率の操作入力を受け付けることが可能であり、
　前記情動データ生成部は、前記ユーザインタフェース部が受け付けた前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより前記第３の情動データを生成可能である
　前記（５）から（７）のいずれかに記載の情報処理装置。
（９）
　ユーザインタフェース部を備え、
　前記通信部は、さらに、通信相手から送信された第４の情動データを受信可能であり、
　前記ユーザインタフェース部は前記第４の情動データを表示可能である
　前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部と、
　前記第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部と、
　前記第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
　前記第３の情動データを送信可能な通信部と
　を備えたコミュニケーション支援装置。
（１１）
　第１のコミュニケーション支援装置と、
　第２のコミュニケーション支援装置と
　を備え、
　前記第１のコミュニケーション支援装置は、
　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部と、
　前記第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部と、
　前記第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
　前記第３の情動データを前記第２のコミュニケーション支援装置に対して送信可能な第１の通信部と
　を有し、
　前記第２のコミュニケーション支援装置は、
　前記第３の情動データを受信可能な第２の通信部と、
　前記第２の通信部が受信した前記第３の情動データを表示可能なユーザインタフェース部と
　を有する
　コミュニケーション支援システム。
　本出願は、日本国特許庁において２０２１年１１月１日に出願された日本特許出願番号２０２１－１７８９１３号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (11)

  1. 　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
    　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
    　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
    　前記第３の情動データを送信可能な通信部と
    　を備えた情報処理装置。
  2. 　前記情動データ生成部は、前記第１の情動データに基づいて前記合成比率を決定可能である
    　請求項１に記載の情報処理装置。
  3. 　前記第１の情動データは、覚醒度を示す第１の成分と、感情価を示す第２の成分とを含み、
    　前記情動データ生成部は、前記第１の情動データにおける前記第１の成分に基づいて前記合成比率を決定可能である
    　請求項２に記載の情報処理装置。
  4. 　前記情動データ生成部は、前記第１のセンシング部の検出結果に基づいてコミュニケーションの雰囲気を解析可能な解析部をさらに備え、
    　前記情動データ生成部は、前記解析部の解析結果に基づいて前記合成比率を決定可能である
    　請求項１に記載の情報処理装置。
  5. 　前記第３の情動データを表示可能なユーザインタフェース部をさらに備えた
    　請求項１に記載の情報処理装置。
  6. 　前記第３の情動データは、覚醒度を示す第１の成分と、感情価を示す第２の成分とを含み、
    　前記ユーザインタフェース部は、前記第３の情動データの前記第１の成分および前記第２の成分を、前記ユーザインタフェース部の表示画面における第１の方向および第２の方向に対応させることにより、前記第３の情動データを表示可能である
    　請求項５に記載の情報処理装置。
  7. 　前記情動データ生成部は、前記第３の情動データが示す情動の変化を監視可能であり、
    　前記ユーザインタフェース部は、前記情動データ生成部の監視結果に基づいて、前記第３の情動データの表示態様を変更可能である
    　請求項５に記載の情報処理装置。
  8. 　前記ユーザインタフェース部は、前記ユーザによる前記合成比率の操作入力を受け付けることが可能であり、
    　前記情動データ生成部は、前記ユーザインタフェース部が受け付けた前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより前記第３の情動データを生成可能である
    　請求項５に記載の情報処理装置。
  9. 　ユーザインタフェース部を備え、
    　前記通信部は、さらに、通信相手から送信された第４の情動データを受信可能であり、
    　前記ユーザインタフェース部は前記第４の情動データを表示可能である
    　請求項１に記載の情報処理装置。
  10. 　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部と、
    　前記第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
    　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部と、
    　前記第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
    　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
    　前記第３の情動データを送信可能な通信部と
    　を備えたコミュニケーション支援装置。
  11. 　第１のコミュニケーション支援装置と、
    　第２のコミュニケーション支援装置と
    　を備え、
    　前記第１のコミュニケーション支援装置は、
    　コミュニケーションに用いられるユーザの行動を検出可能な第１のセンシング部と、
    　前記第１のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第１の情動データを生成可能な第１の情動推定部と、
    　コミュニケーションに用いられない前記ユーザの動きや反応を検出可能な第２のセンシング部と、
    　前記第２のセンシング部の検出結果に基づいて前記ユーザの情動を推定することにより第２の情動データを生成可能な第２の情動推定部と、
    　前記第１の情動データおよび前記第２の情動データの合成比率を決定可能であり、決定された前記合成比率を用いて、前記第１の情動データおよび前記第２の情動データを合成することにより第３の情動データを生成可能な情動データ生成部と、
    　前記第３の情動データを前記第２のコミュニケーション支援装置に対して送信可能な第１の通信部と
    　を有し、
    　前記第２のコミュニケーション支援装置は、
    　前記第３の情動データを受信可能な第２の通信部と、
    　前記第２の通信部が受信した前記第３の情動データを表示可能なユーザインタフェース部と
    　を有する
    　コミュニケーション支援システム。
PCT/JP2022/033499 2021-11-01 2022-09-07 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム WO2023074129A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178913 2021-11-01
JP2021-178913 2021-11-01

Publications (1)

Publication Number Publication Date
WO2023074129A1 true WO2023074129A1 (ja) 2023-05-04

Family

ID=86157680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033499 WO2023074129A1 (ja) 2021-11-01 2022-09-07 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム

Country Status (1)

Country Link
WO (1) WO2023074129A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2019072371A (ja) * 2017-10-18 2019-05-16 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
JP2020113197A (ja) * 2019-01-16 2020-07-27 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2021157609A (ja) * 2020-03-27 2021-10-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2019072371A (ja) * 2017-10-18 2019-05-16 株式会社日立製作所 システム及び意思疎通を図るために行うアクションの評価方法
JP2020113197A (ja) * 2019-01-16 2020-07-27 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2021157609A (ja) * 2020-03-27 2021-10-07 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US9953650B1 (en) Systems, apparatus and methods for using biofeedback for altering speech
JP6798484B2 (ja) 情報処理システム、制御方法、およびプログラム
WO2018174088A1 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
Bente et al. Virtual gestures: embodiment and nonverbal behavior in computer-mediated communication
JP2019159707A (ja) 情報提示装置、情報提示方法及び情報提示プログラム
Bizzari Absent bodies: Psychotherapeutic challenges during COVID-19
WO2023074129A1 (ja) 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム
JP2007030050A (ja) ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法
Laban et al. Human-Robot Relationship: long-term effects on disclosure, perception and well-being
Rega et al. Liar (Language Interface For Autistic’s Rehabilitation): Technological Aids For Specialists Supporting The Acquisition Of Verbal Behavior In Persons With Autism
Kalantari et al. Using immersive virtual reality to enhance social interaction among older adults: a multi-site study
Huang et al. Toward rnn based micro non-verbal behavior generation for virtual listener agents
Ahmed et al. InterViewR: A mixed-reality based interview training simulation platform for individuals with autism
Allan et al. Communicating with people with dementia
Huang et al. Can a Virtual Listener Replace a Human Listener in Active Listening Conversation?
Thrasher Meeting in the Metaverse: Language Learners’ Insights into the Affordances of Virtual Reality
CN118140198A (zh) 信息处理设备、沟通支持设备和沟通支持系统
Krishna et al. Enriching social situational awareness in remote interactions: insights and inspirations from disability focused research
CN114566187A (zh) 具有会话后表示的系统、电子装置和相关方法
Boyd Designing and evaluating alternative channels: Visualizing nonverbal communication through AR and VR systems for people with autism
Steele et al. Design challenges of AAC apps, on wireless portable devices, for persons with aphasia
Malakhoff et al. Towards usage of avatar interviewers in web surveys
WO2021140800A1 (ja) コミュニケーション支援システムおよびコミュニケーション支援プログラム
Zhang et al. Estimating Speaker’s Engagement from Non-verbal Features Based on an Active Listening Corpus
Wright Using gaze direction to study human collaboration behaviour

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886463

Country of ref document: EP

Kind code of ref document: A1