WO2023145350A1 - 情報処理方法、情報処理システムおよびプログラム - Google Patents

情報処理方法、情報処理システムおよびプログラム Download PDF

Info

Publication number
WO2023145350A1
WO2023145350A1 PCT/JP2022/047742 JP2022047742W WO2023145350A1 WO 2023145350 A1 WO2023145350 A1 WO 2023145350A1 JP 2022047742 W JP2022047742 W JP 2022047742W WO 2023145350 A1 WO2023145350 A1 WO 2023145350A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
empathy
degree
information
target person
Prior art date
Application number
PCT/JP2022/047742
Other languages
English (en)
French (fr)
Inventor
幸弘 森田
慎之介 廣川
雄一 小早川
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2023145350A1 publication Critical patent/WO2023145350A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present disclosure relates to an information processing method using biometric information.
  • Patent Document 1 has room for improvement in terms of communication.
  • the present disclosure provides an information processing method that enables smoother communication.
  • An information processing method is an information processing method executed by one or more computers, wherein biometric information of each of a plurality of persons is acquired, and based on the acquired biometric information, the plurality of For each of at least one target person among the persons, a degree of sympathy between the reference person of the plurality of persons and the target person is derived, and each of the derived at least one target person is calculated.
  • Sympathy presentation information indicating the degree of empathy is generated according to the mode of presentation of the degree of empathy, and the generated empathy presentation information is output.
  • these generic or specific aspects may be realized by a system, method, integrated circuit, computer program, or a recording medium such as a computer-readable CD-ROM. and any combination of recording media.
  • the recording medium may be a non-temporary recording medium.
  • the information processing method of the present disclosure enables smoother communication.
  • FIG. 1 is a diagram showing the configuration of an information processing system according to an embodiment.
  • FIG. 2 is a block diagram showing an example of each configuration of a server and a terminal device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of an image displayed on the presentation unit of the terminal device according to the embodiment;
  • FIG. 4 is a diagram showing an example of a method of displaying empathy levels according to the embodiment.
  • FIG. 5 is a diagram showing another example of the empathy degree display method according to the embodiment.
  • FIG. 6 is a diagram showing another example of a method of displaying empathy levels in the embodiment.
  • FIG. 7 is a diagram for explaining an example of a presentation method other than the empathy level display in the embodiment.
  • FIG. 8 is a flowchart illustrating an example of a processing operation of a server according to the embodiment
  • FIG. FIG. 9 is a flowchart illustrating an example of person selection processing by the server according to the embodiment.
  • 10 is a flowchart illustrating an example of a part of processing operations of the server according to the embodiment
  • FIG. 11 is a flowchart illustrating an example of a part of the processing operation of the server according to the embodiment
  • FIG. 12 is a block diagram illustrating a configuration of an empathy analysis unit according to aspect 1 of the embodiment
  • FIG. 13A and 13B are diagrams for explaining an example of the heartbeat information of two persons acquired by the biological analysis unit according to aspect 1 of the embodiment, and the correlation of the heartbeat information.
  • FIG. 13A and 13B are diagrams for explaining an example of the heartbeat information of two persons acquired by the biological analysis unit according to aspect 1 of the embodiment, and the correlation of the heartbeat information.
  • FIG. 13A and 13B are diagrams for explaining an example of the heartbeat information
  • FIG. 14A is a diagram showing temporal changes in the heart rate of each of participants in online communication and temporal changes in the correlation coefficient between the two participants in aspect 1 of the embodiment.
  • 14B is a diagram for explaining an example of derivation of empathy level based on facial expressions in aspect 1 of the embodiment;
  • FIG. 15 is a flowchart showing processing operations of a biological analysis unit and an empathy analysis unit in aspect 1 of the embodiment;
  • FIG. 16 is a graph obtained by experiment in aspect 2 of the embodiment, showing the relationship between the RRI change amount, the CvRR change amount, and the stress factor.
  • FIG. 17 is a diagram for explaining a method of determining a stress factor by an empathy processing unit according to aspect 2 of the embodiment;
  • FIG. 18 is a diagram illustrating an example in which empathy levels are derived from stress factors of each of a plurality of persons in aspect 2 of the embodiment.
  • FIG. 19 is a block diagram showing configurations of a biological analysis unit and an empathy analysis unit in aspect 3 of the embodiment.
  • FIG. 20 is a diagram for explaining a method of determining a stress factor by an empathy processing unit according to aspect 3 of the embodiment.
  • 21 is a flowchart showing processing operations of a biological analysis unit and a degree of empathy analysis unit in aspect 3 of the embodiment;
  • FIG. FIG. 22 is a diagram illustrating an example of a method of presenting a degree of empathy according to Modification 1 of the embodiment.
  • FIG. 23 is a flowchart illustrating an example of a part of the processing operation of the server in Modification 1 of the embodiment
  • FIG. FIG. 24 is a diagram illustrating an example of a method of presenting a degree of empathy according to Modification 2 of the embodiment.
  • FIG. 25 is a diagram illustrating another example of the empathy level presentation method in Modification 2 of the embodiment.
  • 26 is a flowchart illustrating an example of person selection processing of the server in Modification 2 of the embodiment;
  • FIG. 27 is a flowchart illustrating an example of a part of the processing operation of the server in Modification 2 of the embodiment;
  • FIG. 28 is a flowchart illustrating an example of a part of the processing operation of the server in Modification 2 of the embodiment;
  • FIG. 29 is a diagram illustrating another example of the empathy level presentation method in Modification 2 of the embodiment.
  • FIG. 30 is a diagram illustrating an example of a method of presenting a degree of empathy according to Modification 3 of the embodiment.
  • 31 is a diagram illustrating an example of an image displayed on the presentation unit of the terminal device according to Modification 4 of the embodiment;
  • FIG. 32 is a diagram illustrating an example of an image displayed on the presentation unit of the terminal device according to Modification 5 of the embodiment;
  • each person When multiple people communicate face-to-face, each person obtains various information on the spot with their own five senses, and communicates by grasping the other person's state, including subtle nuances.
  • the amount of information about the other person's status that each person can obtain is considerably less than in face-to-face communication.
  • it is difficult to communicate appropriately, and various problems arise in communication, such as each person missing an opportunity to speak or being unable to understand the true meaning of the other person's remarks.
  • each person cannot properly grasp the state of the other person when he/she is speaking, he/she cannot know whether the other person sympathizes with his or her remarks.
  • an information processing method is an information processing method executed by one or more computers, in which biometric information of each of a plurality of persons is acquired, and based on the acquired biometric information, For each of at least one target person among the plurality of persons, a degree of empathy between a reference person among the plurality of persons and the target person is derived, and the derived at least one target person Sympathy presentation information indicating each empathy level in accordance with the presentation mode of the empathy level is generated, and the generated empathy presentation information is output.
  • the degree of sympathy between a reference person and at least one target person among a plurality of participants in the online communication is derived.
  • empathy presentation information indicating the degree of empathy is generated and output according to a presentation mode set by the participant or according to a predetermined presentation mode.
  • the degree of empathy shown in the empathy presentation information can be presented to the participants or the like according to the presentation mode. Therefore, the participants can easily grasp the degree of empathy, and can communicate with reference to the degree of empathy. In other words, participants can grasp how much other participants empathize with another participant, or how much other participants empathize with themselves. As a result, the participants can communicate more smoothly.
  • the speaker can easily grasp whether the listener understands the content of the speaker's transmission, and based on the result, the content of the transmission can be adjusted, and communication can be carried out more smoothly. can be done.
  • a selection process may be performed.
  • the plurality of candidate persons are, for example, all participants participating in online communication. Also, by selecting a reference person and at least one target person, the aforementioned multiple persons are selected.
  • a first reference person and a second reference person different from each other are selected as the reference persons from the plurality of candidate persons, and in the derivation of the empathy level, each of the at least one target person is selected.
  • a degree of empathy between the first reference person and the target person may be derived
  • a degree of empathy between the second reference person and the target person may be derived.
  • an image for receiving an input operation by the user is displayed, and the reference person and the at least one target person are selected by accepting the input operation according to the image.
  • the reference person and the at least one target person may be selected by acquiring voice data representing the user's utterance and accepting the voice data as the input operation. .
  • attribute information indicating attributes of each of the at least one target person is acquired, and based on the attribute information, one or more target persons belonging to the attribute are acquired for each attribute.
  • a representative empathy level which is a representative empathy level for the attribute, may be derived using each empathy level, and the empathy presentation information indicating the representative empathy level for each attribute may be generated.
  • a person identification image for identifying the target person may be displayed on the display.
  • an array of the person identification images of the at least one target person is displayed, and in the array, the degree of empathy of the at least one target person is displayed according to the presentation mode.
  • the person identification images of the at least one target person may be arranged in the order of .
  • the person identification image of the target person may be arranged at the head side of the array as the degree of sympathy of the target person increases.
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for that target person.
  • the user can easily grasp the degree of empathy of the target person from the sequence of one or more person identification images displayed.
  • the person identification image of each of the at least one target person may be displayed in a size corresponding to the empathy level of the target person according to the presentation mode.
  • the person identification image may be displayed larger as the degree of empathy of the target person identified by the person identification image increases.
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for that target person.
  • the user can easily grasp the degree of empathy of the target person from the size of each of the one or more person identification images displayed.
  • the person identification image of each of the at least one target person is displayed with display accuracy according to the degree of empathy of the target person according to the presentation mode, and the person identification is performed.
  • the image display accuracy may be a degree of similarity of the person identification image to a photographic image of the target person identified by the person identification image.
  • the person identification image may be displayed with the display accuracy that increases as the degree of empathy of the target person identified by the person identification image increases.
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for that target person.
  • the user can easily grasp the degree of empathy of the target person from the display accuracy of each of the one or more person identification images being displayed.
  • the person identification images of the at least one target person are displayed so as to express an action according to the degree of empathy of the target person according to the presentation mode. You may let
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for that target person.
  • the user can easily grasp the degree of empathy of the target person from the action represented by each of the one or more person identification images being displayed.
  • the empathy level between the two persons included in the pair is derived, and among the two persons one of which is the reference person and the other is the target person, and in the display of the person identification image, among the plurality of pairs from which the degree of empathy has been derived according to the presentation mode, is greater than a threshold Only the pair of person identification images corresponding to the degree of empathy may be displayed.
  • the environment of the user is transmitted to devices in the vicinity of the user who uses the one or more computers for each of the at least one target person.
  • the environment may be adjusted according to the degree of empathy.
  • the user's real environment can be adjusted according to the empathy level, and the empathy level can be presented to the user in an easy-to-understand manner.
  • the empathy level to be derived further indicates the degree of empathy of the reference person to the target person, or the degree of empathy of the target person to the reference person.
  • the direction of sympathy may be determined to indicate whether or not it is shown, and the determined direction of sympathy may be displayed on the display.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a diagram showing the configuration of an information processing system according to this embodiment.
  • An information processing system 1000 is a system for online communication, for example, and includes a server 100 and a plurality of terminal devices 200 .
  • Each of the plurality of terminal devices 200 is a computer used by the user when performing online communication.
  • a terminal device 200 is configured as a personal computer, smart phone, tablet terminal, or the like. That is, the user uses the terminal device 200 to participate in online communication. Note that the user is also called a participant who participates in the online communication.
  • the server 100 is a computer connected to a plurality of terminal devices 200 via a communication network Nt such as the Internet.
  • each terminal device 200 transmits the user's voice data to the server 100 via the communication network Nt when online communication is performed.
  • the server 100 receives the voice data from the terminal device 200, the server 100 transmits the received voice data to the terminal devices 200 of other users via the communication network Nt.
  • voice data is transmitted and received as described above, but the user's moving image data (also referred to as moving images) may be transmitted and received together with the voice data.
  • Communication between the server 100 and the terminal device 200 may use wired communication or wireless communication.
  • FIG. 2 is a block diagram showing an example of each configuration of the server 100 and the terminal device 200 according to this embodiment.
  • the terminal device 200 includes a sensor 201 , a biological analysis section 202 , an operation section 203 , a terminal communication section 204 , a presentation section 205 , a terminal control section 206 and a terminal storage section 210 .
  • the sensor 201 has, for example, a camera that captures the face of the user of the terminal device 200, and outputs a captured image obtained by capturing as sensing information. Note that this captured image is a moving image. Further, the sensor 201 has a microphone that acquires the user's voice, converts the voice into voice data that is an electric signal, and outputs the voice data.
  • the sensing information may include captured images and audio data.
  • the biological analysis unit 202 acquires the sensing information from the sensor 201 and analyzes the sensing information to generate biological information, which is information related to the user's biological body. Then, the biological analysis unit 202 outputs the biological information.
  • the biometric information may be, for example, information about the user's heartbeat (ie, heartbeat information) obtained from a captured image. Specifically, the biometric information may be information indicating parameters such as heart rate and heart rate fluctuation in time series. Also, the biometric information may be information indicating the facial expressions of the user in chronological order. For example, facial expressions are labeled or expressed by emotions.
  • the biological analysis unit 202 is provided in the terminal device 200 in this embodiment, it may be provided in the server 100 . In this case, sensing information output from the sensor 201 is transmitted from the terminal device 200 to the server 100 .
  • the presentation unit 205 includes, for example, a display that displays images and a speaker that outputs audio.
  • the display is, for example, a liquid crystal display, a plasma display, an organic EL (Electro-Luminescence) display, or the like, but is not limited to these.
  • presentation unit 205 is provided in terminal device 200 in the present embodiment, presentation unit 205 may be a device connected to terminal device 200 .
  • the operation unit 203 receives an input operation by the user and outputs a signal corresponding to the input operation to the terminal control unit 206.
  • Such an operation unit 203 is configured as, for example, a keyboard, a touch sensor, a touch pad, a mouse, a microphone, and the like.
  • the operation unit 203 may be configured as a touch panel together with the presentation unit 205 .
  • the operation unit 203 is provided on a display, and when the user touches an image such as an icon displayed on the display, the operation unit 203 receives an input operation corresponding to the image.
  • the terminal communication unit 204 communicates with the server 100 via the communication network Nt. This communication may be wired communication or wireless communication.
  • the terminal storage unit 210 is a recording medium, and stores, for example, a user ID, which is user identification information, and a person identification image, which will be described later.
  • a recording medium may be a hard disk drive, RAM (Random Access Memory), ROM (Read Only Memory), semiconductor memory, or the like. Also, the recording medium may be volatile or non-volatile.
  • the terminal control unit 206 controls the sensor 201, the biological analysis unit 202, the terminal communication unit 204, the presentation unit 205, and the terminal storage unit 210.
  • the terminal control unit 206 causes the terminal communication unit 204 to transmit the audio data output from the sensor 201 to the server 100 . Further, each time biological information is output from the biological analysis unit 202, the terminal control unit 206 causes the terminal communication unit 204 to transmit the biological information to the server 100 via the communication network Nt. In addition, when the user of the terminal device 200 having the terminal control unit 206 is selected as a reference person or a target person described later, the terminal control unit 206 causes the biometric information to be transmitted from the terminal communication unit 204 to the server 100. good too.
  • the terminal control unit 206 associates the user ID stored in the terminal storage unit 210 with the voice data and biometric information, and transmits the voice data and biometric information associated with the user ID. is transmitted from the terminal communication unit 204 .
  • the terminal control unit 206 displays the degree of empathy indicated by the empathy presentation information.
  • the presenting unit 205 is made to present according to the mode. That is, the presentation unit 205 presents the empathy level indicated by the empathy level presentation information to the user according to the mode of presentation of the empathy level under the control of the terminal control unit 206 .
  • the server 100 includes an empathy analysis unit 101 , a server communication unit 104 , a presentation processing unit 105 , a server control unit 106 and a server storage unit 110 .
  • the server communication unit 104 communicates with the terminal device 200 via the communication network Nt. This communication may be wired communication or wireless communication.
  • the server communication unit 104 is an example of an acquisition unit that acquires biometric information of each of a plurality of persons. That is, the server communication unit 104 receives biological information transmitted from each of the plurality of terminal devices 200 via the communication network Nt. A user ID is associated with this biometric information. Therefore, the server 100 can identify which participant the biometric information belongs to.
  • the server communication unit 104 also transmits the sympathy presentation information generated by the presentation processing unit 105 to the terminal device 200 via the communication network Nt.
  • the server storage unit 110 is a recording medium, and stores, for example, user IDs of users of the plurality of terminal devices 200 and person identification images associated with the user IDs.
  • Such recording media are hard disk drives, RAMs, ROMs, semiconductor memories, etc., as described above.
  • the recording medium may be volatile or non-volatile.
  • the empathy level analysis unit 101 derives the empathy level between the reference person and the target person based on the biometric information of each user of the plurality of terminal devices 200 . Then, empathy level analysis section 101 generates and outputs empathy level information indicating the empathy level.
  • the number of target persons may be two or more. Note that the reference person is a person among all the participants of the online communication, and the target person is a person other than the reference person among all the participants. That is, based on the biometric information acquired by the server communication unit 104, the empathy analysis unit 101, for each of at least one target person among the plurality of persons, the reference person among the plurality of persons, A degree of empathy with the target person is derived.
  • the degree of empathy is the degree of empathy between persons.
  • sympathy may be, for example, a state in which a person shares an emotional state, a mental state, a psychosomatic state, or the like.
  • sympathy may be a state in which one person agrees with another person's remarks, actions, or the like.
  • the empathy analysis unit 101 determines that the empathy between the two participants is large. Derive empathy.
  • Heartbeat-related information such as heart rate or heartbeat fluctuation reflects a person's inner state and is suitable for deriving empathy.
  • a facial expression sometimes reflects the inner state of a person, but it also includes external information such as a fake smile. Therefore, the empathy level analysis unit 101 may derive the empathy level using both the information about the heartbeat and the facial expression.
  • the biometric information indicates, for example, heart rate or heartbeat fluctuation, and facial expressions in chronological order.
  • the empathy level analysis unit 101 linearly combines the first empathy level derived based on the heartbeat information and the second empathy level derived based on the facial expression to obtain the final empathy level. can be derived. At this time, the first degree of empathy and the second degree of empathy are weighted and added. Then, when the heartbeat information is acquired with high accuracy, the empathy analysis unit 101 increases the weight of the first empathy level. , the weight of the second empathy may be increased.
  • the biometric information transmitted from the terminal device 200 is associated with a user ID. Therefore, by using the user ID of the reference person and the user ID of the target person, the empathy analysis unit 101 can identify the biometric information of the reference person and the biometric information of the target person. Also, it can be said that the empathy level between the reference person and the target person is the empathy level of the target person. Detailed processing contents of empathy analysis unit 101 in the present embodiment will be described at the end of the present embodiment.
  • the presentation processing unit 105 acquires empathy level information output from the empathy level analysis unit 101 and generates empathy presentation information based on the empathy level information. In other words, the presentation processing unit 105 generates empathy presentation information that indicates the empathy level of each of the derived at least one target person according to the presentation mode of the empathy level. Then, the presentation processing unit 105 outputs the generated sympathy presentation information.
  • presentation processing unit 105 is provided in server 100 in the present embodiment, but may be provided in terminal device 200 . In this case, the empathy level information generated by the empathy level analysis unit 101 is transmitted from the server 100 to the terminal device 200 .
  • the server control unit 106 controls the empathy analysis unit 101, the server communication unit 104, the presentation processing unit 105, and the server storage unit 110. For example, every time the server communication unit 104 receives biometric information, the server control unit 106 causes the empathy analysis unit 101 to execute processing based on the biometric information. Further, every time the presentation processing unit 105 generates and outputs empathy presentation information, the server control unit 106 causes the server communication unit 104 to transmit the empathy presentation information to the terminal device 200 . Further, when the server communication unit 104 receives voice data from the terminal device 200 , the server control unit 106 causes the server communication unit 104 to transmit the voice data to the other terminal device 200 . A speaker included in the presentation unit 205 of the terminal device 200 outputs the sound indicated by the sound data. Communication between the participants is carried out by transmitting and receiving such audio data.
  • FIG. 3 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • FIG. 3 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • the server control unit 106 of the server 100 When online communication is performed, the server control unit 106 of the server 100 first requests the user ID and the person identification image P from each terminal device 200 via the server communication unit 104, associates them, and stores them in the server. Stored in unit 110 . Then, the server control section 106 generates a setting image Ia including those person identification images P, and causes the setting image Ia to be transmitted from the server communication section 104 to the terminal device 200 .
  • the terminal control unit 206 of the terminal device 200 causes the presentation unit 205 to display the setting image Ia shown in FIG. 3, for example.
  • the setting image Ia includes, for example, a plurality of person identification images P, a reference person frame W1, a target person frame W2, and a display method selection button B1.
  • Each of the plurality of person identification images P is an image for identifying a user of the terminal device 200 (that is, a participant) participating in online communication.
  • This person identification image P is specifically the avatar of the participant who is the user.
  • An avatar is a character displayed as the user's alter-ego, and may be, for example, a graphical or pictorial image of a person resembling the user.
  • the avatar may be an image representing an animal, or may be an image of an object, scenery, or the like set by the user.
  • the person identification image P may be an image for identifying the user, and may be an image in which the user's name, nickname, user ID, etc. are written, or a still image (for example, a photographic image) of the user. , moving images, and the like.
  • the reference person frame W1, the target person frame W2, and the display method selection button B1 are graphic images used in a GUI (Graphical User Interface) for displaying the degree of empathy between participants in online communication.
  • GUI Graphic User Interface
  • the reference person frame W1 is an area for the user to select a reference person from a plurality of participants. For example, by operating the operation unit 203, the user selects the person identification image P corresponding to the reference person desired by the user from a plurality of person identification images P included in the setting image Ia, and selects the person identification image P corresponding to the reference person desired by the user. Place P in the reference person frame W1. Selection and arrangement of such person identification images P are performed by, for example, drag and drop. A reference person is selected in the terminal device 200 by selecting and arranging the person identification image P in this way.
  • the terminal control unit 206 sends reference person information indicating that the participant corresponding to the selected person identification image P is the reference person to the terminal communication unit 204. to the server 100.
  • This reference person information may be the user ID of the reference person.
  • the server control unit 106 of the server 100 selects the participant indicated by the reference person information as the reference person.
  • the target person frame W2 is an area for the user to select a target person from a plurality of participants. For example, by operating the operation unit 203, the user selects a person identification image P corresponding to the target person desired by the user from a plurality of person identification images P included in the setting image Ia, and selects the person identification image P corresponding to the target person desired by the user. Place P in the target person frame W2. Selection and arrangement of such person identification images P are performed by, for example, drag and drop. In addition, the target person is selected in the terminal device 200 by selecting and arranging the person identification image P in this manner. Also, if the user wishes to select multiple target persons, the user repeats the drag and drop described above.
  • the terminal control unit 206 sends the target person information indicating that the participant corresponding to the selected person identification image P is the target person to the terminal communication unit 204. to the server 100.
  • This target person information may be the user ID of the target person.
  • the server communication unit 104 receives the target person information
  • the server control unit 106 of the server 100 selects the participant indicated by the target person information as the target person.
  • the number of target persons to be selected may be one.
  • the terminal device 200 accepts an input operation from the user who uses the terminal device 200, thereby selecting a reference person and at least one person from a plurality of candidate persons who are all participants.
  • a person selection process is executed to select a target person.
  • the server 100 receives the input operation from the user using the server 100 via the terminal device 200 by receiving the reference person information and the target person information described above.
  • the server 100 executes person selection processing for selecting a reference person and at least one target person from a plurality of candidate persons. This allows the user to arbitrarily select a reference person and at least one target person. In other words, the user can arbitrarily select a person whose sympathy level is to be presented according to the user's situation. Therefore, user convenience can be improved.
  • the terminal device 200 displays the setting image Ia transmitted from the server 100 to display graphic images such as a reference person frame W1 and a target person frame W2 for receiving an input operation by the user. are displayed, and an input operation corresponding to those graphic images is received to select a reference person and at least one target person. Thereby, the visual operability for selecting the reference person and the target person can be improved.
  • the person selection process is performed using a GUI, but the person selection process may be performed using voice.
  • the microphone provided in the sensor 201 of the terminal device 200 acquires the voice of the user, converts the voice into voice data that is an electrical signal, and outputs the voice data as a signal indicating the user's input operation. .
  • the name, nickname, number, user ID, etc. of the person identified by the person identification image P are added and displayed.
  • the user speaks out the name and the like.
  • the terminal control unit 206 of the terminal device 200 acquires the voice data generated and output by the reading by the user, and accepts the voice data as an input operation to select the reference person and at least one target person. do.
  • the terminal control unit 206 causes the terminal communication unit 204 to transmit the reference person information indicating the selected reference person and the target person information indicating at least one selected target person to the server 100 .
  • the terminal control unit 206 causes the terminal communication unit 204 to transmit voice data representing the input operation to the server 100 .
  • the server control unit 106 of the server 100 acquires voice data generated by the user using the server 100 through the terminal device 200 (i.e., reading aloud as described above), similarly to the terminal device 200 described above, A reference person and at least one target person are selected by accepting the voice data as an input operation. This allows the user to easily select the reference person and the target person without using hands.
  • the display method selection button B1 is a button for selecting a display method for displaying the degree of empathy between the reference person and each of the plurality of target persons.
  • the terminal control unit 206 causes the presentation unit 205 to display the pull-down menu M.
  • the pull-down menu M includes names of display methods such as "arrangement”, "size", "real", and "action”.
  • Arrangement is a display method for arranging and displaying the person identification images P of a plurality of target persons in the order of their sympathy levels.
  • Size is a display method for adjusting and displaying the person identification image P of each of a plurality of target persons to a size corresponding to the empathy level of the target person.
  • “Real” is a display method in which the person identification image P of each of a plurality of target persons is displayed after being processed to display accuracy according to the degree of sympathy of the target person.
  • the display accuracy indicates the degree of similarity of the person identification image P to the photographic image of the target person. That is, in this display method, the person identification image P that is more similar to the photographic image is displayed as the degree of sympathy of the target person is higher.
  • “Action” is a display method for processing, transforming, or replacing the person identification image P of each of a plurality of target persons into an image showing the action according to the degree of empathy of the target person.
  • the terminal control unit 206 transmits display method information indicating the selected display method from the terminal communication unit 204 to the server 100.
  • the server communication unit 104 of the server 100 receives the reference person information, the target person information, and the display method information from the terminal device 200 . Further, when the server communication unit 104 receives the information, the server control unit 106 requests biometric information from the terminal devices 200 of the reference person and the target person indicated by the reference person information and the target person information. . This biometric information request is made via the server communication unit 104 . Then, the server communication unit 104 starts periodically receiving biometric information from those terminal devices 200 . Next, the empathy level analysis unit 101 receives the level of empathy between the reference person indicated by the reference person information and the target person indicated by the target person information from the terminal device 200 of these persons, and sends it to the server communication unit. It is derived using biometric information most recently received by 104 .
  • the empathy level analysis unit 101 derives the empathy level between each of the plurality of target persons and the reference person. Then, the presentation processing unit 105 generates empathy presentation information that indicates the degree of empathy of those target persons according to the presentation mode of the degree of empathy.
  • the presentation mode is a display method indicated by the display method information in the present embodiment.
  • FIG. 4 is a diagram showing an example of a method of displaying empathy.
  • the terminal control unit 206 of the terminal device 200 causes the presentation unit 205 to display, for example, the display image Ib shown in FIG. 4 based on the sympathy presentation information.
  • the sympathetic presentation information is generated according to the display method "arrangement" selected in the setting image Ia.
  • the person identification image P of the reference person selected in the setting image Ia is displayed in the reference person frame W1 of the display image Ib. Further, in the target person frame W2, the individual identification images P of the plurality of target persons selected in the setting image Ia are displayed in a state of being arranged in the order of the degree of sympathy of the target persons. Further, around the person identification image P arranged in the target person frame W2, the degree of empathy of the target person corresponding to the person identification image P may be displayed as a numerical value. For example, the degree of empathy may be displayed as a numerical value on the upper left of the person identification image P. As a specific example, the degree of empathy is displayed as a numerical value from 0 to 100.
  • the server 100 Since the biological information is periodically transmitted from the terminal device 200 , the server 100 repeatedly executes the process of generating sympathetic presentation information based on the most recent biological information and transmitting it to the terminal device 200 .
  • the terminal control unit 206 may update the arrangement of the plurality of person identification images P displayed in the target person frame W2 every time the terminal communication unit 204 receives the latest empathy presentation information. That is, the array is updated in real time. Thereby, the user can grasp at a glance the degree of empathy of the target person who empathizes with the reference person at arbitrary timing.
  • a plurality of target persons can be selected. Accordingly, the user can select a reference person and a plurality of target persons whose level of empathy the user wants to know, according to his/her own situation, and can recognize the level of empathy. For example, a user may select person A as a reference person and person B and person C as target persons, respectively.
  • the presentation unit 205 of the terminal device 200 of the user displays the degree of empathy between the person A and the person B and the degree of empathy between the person A and the person C.
  • the degree of empathy between person A and person C can be said to be the degree of empathy of person C with person A as a reference. That is, the presentation unit 205 displays the empathy levels of the person B and the person C, who are the target persons. In the example of FIG. 4, the degree of empathy of a plurality of target persons is displayed by arranging the person identification images P of those target persons.
  • the user may select the person identification images P of all the persons participating in the online communication and place them in the target person frame W2 by performing the above-described operations such as drag and drop.
  • a button or the like for collectively selecting the person identification images P of all the persons and arranging them in the target person frame W2 may be displayed in the setting image Ia as a graphic image used for the GUI.
  • the server communication unit 104 acquires biometric information of each of a plurality of persons. Then, based on the acquired biological information, the empathy analysis unit 101 calculates the distance between the reference person among the plurality of persons and the target person for each of at least one target person among the plurality of persons. Derive the degree of empathy in Then, the presentation processing unit 105 generates and outputs empathy presentation information indicating the empathy level of each of the derived at least one target person according to the presentation mode of the empathy level. The empathy presentation information output in this way is transmitted to the terminal device 200 by the server communication unit 104 .
  • the degree of empathy of at least one participant selected as a target person can be displayed, for example, according to a display method (that is, presentation mode) selected by the user. Therefore, the user can easily grasp the degree of empathy, and can communicate as one participant with reference to the degree of empathy. In other words, participants can grasp how much other participants empathize with another participant, or how much other participants empathize with themselves. As a result, the participants can communicate more smoothly. Also, even when a speaker sends a message to a large number of listeners, it is possible to present the degree of empathy between the speaker and each listener. As a result, the speaker can easily grasp whether the listener understands the content of the speaker's transmission, and based on the result, the content of the transmission can be adjusted, and communication can be carried out more smoothly. can be done.
  • a display method that is, presentation mode
  • presentation processing unit 105 is provided in server 100, but when presentation processing unit 105 is provided in terminal device 200, terminal device 200 performs the above-described processing. I can say. That is, in the terminal device 200 according to the present embodiment, the biological analysis unit 202 acquires the biological information of each of the multiple persons. Then, the terminal communication unit 204 transmits the biometric information to the server 100 , causes the empathy analysis unit 101 of the server 100 to derive the empathy level, and transmits the derived empathy level from the server 100 . In this way, the terminal device 200, for each of at least one target person among the plurality of persons, based on the acquired biometric information, determines the relationship between the reference person among the plurality of persons and the target person.
  • a process of deriving the degree of empathy is executed by using the server 100 .
  • the presentation processing unit 105 generates empathy presentation information indicating the empathy level of each of the derived at least one target person according to the presentation mode of the empathy level, and outputs the generated empathy presentation information. .
  • the server 100 causes the display of the presentation unit 205 to display a person identification image P for identifying each of at least one target person. This makes it easier to visually understand who the target person is.
  • an array of person identification images P for each of at least one target person is displayed.
  • the person identification images P of at least one target person are arranged in the order of empathy level of at least one target person according to a presentation mode such as the display method "line up".
  • the person identification image P of the target person is arranged at the head side of the array as the degree of sympathy of the target person increases.
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for the target person.
  • the user can easily grasp the empathy level of the target person from the sequence of one or more person identification images P displayed.
  • FIG. 5 is a diagram showing another example of the empathy level display method.
  • the sympathetic presentation information is generated according to the display method "size" selected in the setting image Ia.
  • the terminal control unit 206 of the terminal device 200 causes the presentation unit 205 to display, for example, the display image Ib shown in FIG. 5 based on the sympathy presentation information.
  • the person identification images P of each of the plurality of target persons selected in the setting image Ia are displayed. Moreover, the person identification image P is displayed in a size corresponding to the degree of empathy of the target person corresponding to the person identification image P.
  • FIG. 5 the person identification images P of each of the plurality of target persons selected in the setting image Ia are displayed. Moreover, the person identification image P is displayed in a size corresponding to the degree of empathy of the target person corresponding to the person identification image P.
  • the server 100 displays the person identification images P of at least one target person according to the presentation mode such as the display method "size". It is displayed on the presentation unit 205 of the terminal device 200 in a size corresponding to the empathy level of the target person. Specifically, the person identification image P is displayed larger as the degree of empathy of the target person identified by the person identification image P increases. Even in such a case, the empathy level between the reference person and at least one target person can be displayed in an easy-to-understand manner as the empathy level of the target person. In other words, the user can easily grasp the degree of empathy of the target person from the size of each of the one or more person identification images displayed.
  • the presentation processing unit 105 of the server 100 determines the display accuracy of the person identification image P of each of the plurality of target persons. Convert to display accuracy according to degrees. Specifically, the presentation processing unit 105 converts the display accuracy of the person identification image P to a higher display accuracy as the degree of empathy of the target person increases. That is, the presentation processing unit 105 acquires the photographic image of the target person from the server storage unit 110, and displays the image of the target person so that the display accuracy of the person identification image P of the target person matches the display accuracy according to the empathy level. A process to make the identification image P more similar to the photographic image or a process to make it more dissimilar is performed.
  • the process of making the person identification image P more similar to the photographic image is also called the process of making the person identification image P closer to the photographic image.
  • the display accuracy described above is also called a degree of realism. The higher the display accuracy of the person identification image P of the target person, that is, the higher the degree of realism, the more similar the person identification image P is to the photographic image of the target person.
  • Photographic images of each of the plurality of target persons are stored in the server storage unit 110 in association with the user ID of the target person.
  • the server control unit 106 causes the server communication unit 104 to transmit, to the terminal device 200, sympathy presentation information indicating the person identification images P with the converted display accuracy of each of the plurality of target persons.
  • the terminal control unit 206 of the terminal device 200 presents the display image Ib including the person identification images P of each of the plurality of target persons to the presentation unit 205 according to the sympathy presentation information. to display.
  • the user can easily grasp the empathy level of the target person of the person identification image P from the display accuracy (that is, the degree of realism) of the person identification image P displayed on the presentation unit 205 .
  • the person identification image P is similar to the photographic image of the target person, that is, if the person identification image P is close to the photographic image of the target person, the user can easily know that the target person has a high degree of empathy. can grasp.
  • the presentation processing unit 105 generates the person identification image P of the target person by processing the photographic image of the target person's face stored in the server storage unit 110 using an application program. Each time the empathy analysis unit 101 derives the degree of empathy of the target person, the presentation processing unit 105 reprocesses the photograph image by the degree of processing according to the degree of empathy.
  • the presentation processing unit 105 processes the photographic image by a smaller degree of processing as the degree of empathy increases. As a result, the display accuracy of the person identification image P is converted.
  • the server storage unit 110 may store a plurality of person identification images P having different display accuracies for each of a plurality of target persons in association with the user ID of the target person. In this case, the presentation processing unit 105 converts the display accuracy by replacing the person identification image P of the target person with the person identification image P having the display accuracy corresponding to the degree of empathy.
  • the server 100 displays the person identification images P of at least one target person according to the presentation mode such as the display method "Real".
  • the display is performed on the presentation unit 205 of the terminal device 200 with display accuracy according to the empathy level of the person.
  • the display accuracy of the person identification image P is the degree of similarity of the person identification image P to the photographic image of the target person identified by the person identification image P.
  • the person identification image P is displayed with higher display accuracy as the degree of empathy of the target person identified by the person identification image P increases.
  • the degree of empathy between the reference person and each of at least one target person can be displayed in an easy-to-understand manner as the degree of empathy for the target person.
  • the user can easily grasp the degree of empathy of the target person from the display accuracy of each of the one or more person identification images P being displayed.
  • FIG. 6 is a diagram showing another example of the empathy level display method.
  • the empathy presentation information is generated according to the display method "action" selected in the setting image Ia.
  • the terminal control unit 206 of the terminal device 200 causes the presentation unit 205 to display, for example, the person identification image P shown in FIG. 6 based on the sympathy presentation information.
  • the person identification image P representing a motion of laughing loudly is displayed as the degree of empathy of the target person increases.
  • the person identification image P may be displayed in such a manner that the greater the degree of sympathy of the target person, the greater the nodding motion.
  • the person identification image P representing the motion of crying more violently is displayed as the empathy level of the target person is smaller.
  • a person identification image P expressing a type of motion corresponding to the degree of sympathy of the target person may be displayed.
  • a person identification image P representing this action is generated by the presentation processing unit 105 of the server 100 .
  • the server storage unit 110 of the server 100 may store a plurality of person identification images P having different actions for each of a plurality of target persons in association with the user ID of the target person.
  • the presentation processing unit 105 replaces the person identification image P of the target person with a person identification image P representing an action according to the degree of empathy.
  • the person identification image P expressing the action may be a still image or an animation.
  • the server 100 displays the person identification images P of at least one target person according to the presentation mode such as the display method "action".
  • the presentation unit 205 of the terminal device 200 is caused to display as if an action corresponding to the degree of sympathy of the person is expressed.
  • the presentation unit 205 is made up of the display and speaker provided in the terminal device 200, but may be provided with a device communicably connected to the terminal device 200.
  • FIG. 7 is a diagram for explaining an example of a presentation method other than displaying empathy.
  • the presentation unit 205 may include, for example, at least one of the lighting device 205a and the smart speaker 205b.
  • the lighting equipment 205a is attached to the ceiling of the room in which the terminal device 200 operated by the user is installed, and illuminates the room.
  • a smart speaker 205b is installed in the room.
  • the terminal communication unit 204 of the terminal device 200 wirelessly communicates with each of the lighting device 205a and the smart speaker 205b. This wireless communication may be performed by Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), specified low-power radio, or other methods of communication. Also, wired communication may be performed instead of wireless communication.
  • the terminal control unit 206 of the terminal device 200 transmits a dimming signal instructing brightness corresponding to the degree of empathy indicated by the empathy presentation information to the terminal communication unit. 204 to the lighting equipment 205a.
  • the empathy level indicated by the empathy presentation information may be an average value of the empathy levels of the plurality of target persons.
  • the lighting device 205a emits light with the brightness indicated by the dimming signal.
  • the terminal control unit 206 of the terminal device 200 transmits an acoustic signal instructing sound corresponding to the degree of empathy indicated by the empathy presentation information to the terminal communication unit. 204 to the smart speaker 205b.
  • the acoustic signal may be a signal that indicates volume. In this case, when smart speaker 205b receives the acoustic signal, it outputs sound at the volume indicated by the acoustic signal.
  • the empathy level of the target person for the reference person can be effectively notified to the user by, for example, intervening in the real environment of the user of the terminal device 200 who is the reference person. can.
  • the realistic environment is controlled according to the degree of empathy.
  • the degree of empathy can be fed back to the reference person more easily.
  • server 100 instructs devices such as lighting device 205a and smart speaker 205b in the vicinity of the user according to a presentation mode such as intervention in a realistic environment with a degree of empathy for the user.
  • environment is adjusted to an environment according to each empathy level of at least one target person.
  • the user's realistic environment can be adjusted according to the empathy level, and the empathy level can be presented to the user in a more comprehensible manner.
  • Devices that adjust the environment are not limited to audio devices such as the lighting device 205a and the smart speaker 205b, but may be smartphones, mice, or other devices.
  • a smartphone or a mouse vibrates with a magnitude corresponding to the degree of empathy indicated by the empathy presentation information.
  • the terminal device 200 determines the degree of sympathy between the target person and the reference person with respect to the devices around the user who is the target person. You may perform the adjustment of the environment according to.
  • FIG. 8 is a flowchart showing an example of the processing operation of the server 100.
  • the server control unit 106 of the server 100 executes person selection processing based on the user's input operation to the terminal device 200 .
  • the server control unit 106 selects a plurality of persons including a reference person and at least one target person from all participants of the online communication (step S10).
  • the server communication unit 104 acquires the biometric information of the multiple persons (step S20).
  • the empathy analysis unit 101 derives empathy levels between the reference person and at least one target person based on the biological information acquired in step S20 (step S30). Then, the presentation processing unit 105 generates and outputs empathy presentation information indicating the derived empathy level according to the presentation mode (step S40).
  • the server control unit 106 causes the output sympathy presentation information to be transmitted from the server communication unit 104 to the terminal device 200 .
  • this terminal device 200 is the terminal device 200 that has received the user's input operation in step S10.
  • the server control unit 106 causes the presentation unit 205 of the terminal device 200 to present the degree of empathy according to the presentation mode (step S50).
  • step S50 the server control unit 106 determines whether or not to end the online communication process (step S60).
  • the server control unit 106 determines that the process should not end (No in step S60)
  • it causes each component of the server 100 to execute the process from step S10.
  • a new person may be selected as the reference person or the target person, or the selection of the reference person or the target person may be canceled.
  • the processes after step S20 may be repeatedly executed based on the already selected reference person or target person without such new selection or deselection.
  • the server control unit 106 determines that it should end (Yes in step S60), it ends the online communication process.
  • FIG. 9 is a flowchart showing an example of person selection processing of the server 100.
  • FIG. 9 is a flow chart showing in detail the process of step S10 of FIG.
  • the server control unit 106 selects a reference person from all participants in online communication based on the reference person information transmitted from the terminal device 200 (step S11). Then, the server control unit 106 selects a target person from all the participants based on the target person information transmitted from the terminal device 200 (step S12). At this time, when a plurality of target person information are transmitted from the terminal device 200, the server control unit 106 selects a plurality of target persons. Through such steps S11 and S12, a plurality of persons including the reference person and at least one target person are selected.
  • FIG. 10 is a flowchart showing an example of a part of the processing operation of the server 100.
  • FIG. Specifically, FIG. 10 is a flowchart showing detailed processing of steps S40 and S50 of FIG.
  • step S ⁇ b>40 first, the presentation processing unit 105 selects one display method from a plurality of empathy level display methods based on the display method information transmitted from the terminal device 200 and received by the server communication unit 104 .
  • the plurality of display methods are "line”, “size”, “real”, and “action” in the example shown in FIG.
  • the presentation processing unit 105 generates and outputs empathy presentation information indicating the degree of empathy according to the display method determined in step S41 (step S42).
  • the server control unit 106 causes the output sympathy presentation information to be transmitted from the server communication unit 104 to the terminal device 200 .
  • the server control unit 106 causes the presentation unit 205 of the terminal device 200 to present the degree of empathy according to the determined display method (step S50).
  • FIG. 11 is a flowchart showing an example of a part of the processing operation of the server 100.
  • FIG. Specifically, FIG. 11 is a flowchart showing another detailed process of step S50 in FIG.
  • the server control unit 106 causes the server communication unit 104 to transmit the sympathy presentation information to the terminal device 200 , so that devices around the terminal device 200 , that is, devices around the user of the terminal device 200 to control through.
  • the device is the lighting device 205a, the smart speaker 205b, etc. in the example of FIG. That is, the server control unit 106 adjusts the user's environment (e.g., brightness of lighting, sound, etc.) to an environment corresponding to the empathy level, thereby causing the device to execute processing for presenting the empathy level to the user. .
  • FIG. 12 is a block diagram showing the configuration of empathy analysis section 101 in this embodiment.
  • the empathy level analysis unit 101 in this aspect estimates the empathy level between a plurality of persons based on the sensing information of each of the plurality of persons obtained by the plurality of sensors 201 .
  • the empathy analysis unit 101 in this embodiment includes an empathy processing unit 12 and an output unit 13 .
  • the biological analysis unit 202 of the terminal device 200 acquires information regarding the heartbeats of each of the plurality of persons as heartbeat information.
  • This heartbeat information is an example of the biometric information described above.
  • the biological analysis unit 202 acquires the sensing information of each of the plurality of persons from the plurality of sensors 201, analyzes the sensing information, and acquires the heartbeat information of the person from the sensing information.
  • the sensor 201 has, for example, a camera that captures a person and generates a face image of the person as sensing information.
  • the face image is, for example, a moving image showing a person's face.
  • the biological analysis unit 202 acquires the person's RRI, heart rate, or heartbeat information indicating heartbeat fluctuation from the face image by video pulse wave extraction. That is, the biological analysis unit 202 acquires the heartbeat information based on the change in the chromaticity of the skin on the face of the person shown in the face image.
  • the RRI, heart rate, or heart rate fluctuation indicated by the heart rate information may be an average value over a period of about 1 to 5 minutes.
  • the RRI is the heartbeat interval (R-R intervals), which is the interval between the R-wave peaks of two consecutive heartbeats.
  • a heart rate is, for example, the number of beats per minute, which is calculated by dividing 60 seconds by the number of RRI seconds.
  • Heart rate fluctuation is, for example, CvRR (Coefficient of Variation of R-R intervals).
  • the heartbeat fluctuation may be HF (High Frequency) or LF (Low Frequency).
  • HF and LF are calculated from a power spectrum obtained by frequency analysis of RRI equidistant time-series data using Fast Fourier Transform (FFT).
  • FFT Fast Fourier Transform
  • HF is an integrated value of the power spectrum in the high frequency range of 0.14 Hz to 0.4 Hz, and is considered to reflect the amount of activity of the parasympathetic nerves.
  • LF is an integrated value of the power spectrum in the low frequency range of 0.04 Hz to 0.14 Hz, and is considered to reflect the amount of activity of the sympathetic and parasympathetic nerves.
  • the FFT frequency conversion may be performed at intervals of 5 seconds.
  • the sensor 201 is not limited to a camera, and may be equipped with a wearable device that measures an electrocardiogram or a pulse wave.
  • the wearable device includes a phototransistor and a photodiode, and may measure pulse waves by measuring changes in blood volume in blood vessels using reflected light or transmitted light. Then, the wearable device outputs the measurement result of the pulse wave to the biological analysis unit 202 as sensing information. From such sensing information, the biological analysis unit 202 acquires heartbeat information indicating the person's RRI, heart rate, or CvRR.
  • the empathy processing unit 12 derives the degree of empathy between a plurality of persons based on the correlation of changes in the heartbeat information of each of the persons acquired by the biological analysis unit 202 .
  • the output unit 13 outputs empathy level information indicating the empathy level derived by the empathy processing unit 12 .
  • FIG. 13 is a diagram for explaining an example of the heartbeat information of two people acquired by the biological analysis unit 202 and the correlation of the heartbeat information. Specifically, (a) of FIG. 13 is a graph showing the heart rate of person A and person B in a predetermined period, and (b) of FIG. Figure 3 shows the relationship between number and strength of correlation.
  • the biological analysis unit 202 acquires the heart rate of person A and the heart rate of person B as heartbeat information.
  • the horizontal axis of the graph shown in (a) of FIG. 13 indicates the heart rate of person A, and the vertical axis indicates the heart rate of person B.
  • one dot included in the graph of (a) of FIG. 13 indicates the heart rate of person A and person B at approximately the same timing.
  • the sympathy processing unit 12 analyzes the correlation of the heartbeat information between person A and person B during each period of 30 seconds to 2 minutes, for example.
  • the empathy processing unit 12 periodically performs a process of calculating a correlation coefficient from the time-series data of the heart rates of the person A and the person B. FIG. Thereby, the temporal change of the correlation coefficient is grasped.
  • the empathy processing unit 12 derives the degree of empathy between person A and person B from the correlation coefficient calculated in this way. For example, when the sign of the correlation coefficient between person A and person B is positive and the correlation coefficient is greater than the threshold, the empathy processing unit 12 indicates that person A and person B empathize. Derive empathy.
  • the relationship between the correlation coefficient r and the strength of correlation may be used. For example, when the correlation coefficient r is 0.2 or less, the correlation coefficient r indicates that there is little correlation. Also, when the correlation coefficient r is greater than 0.2 and less than or equal to 0.4, the correlation coefficient r indicates that there is a weak correlation. When the correlation coefficient r is greater than 0.4 and 0.7 or less, the correlation coefficient indicates that there is a correlation.
  • the empathy processing unit 12 may derive a degree of empathy indicating that person A and person B empathize with each other when the correlation coefficient is greater than 0.4.
  • the threshold is 0.4.
  • the empathy processing unit 12 may derive one of five levels according to the value of the correlation coefficient as the degree of empathy, as shown in FIG. 13(b).
  • the correlation coefficient r of each of the five levels is set as level 1 ⁇ level 2 ⁇ level 3 ⁇ level 4 ⁇ level 5.
  • FIG. 13(b) the empathy processing unit 12 derives level 3 as the degree of empathy if the correlation coefficient r is greater than 0.4 and equal to or less than 0.7, for example.
  • the empathy processing unit 12 derives a value obtained by multiplying the correlation coefficient by 100, or a numerical value from 0 to 100 obtained by inputting the correlation coefficient into the conversion function, as the degree of empathy. good too.
  • FIG. 14A is a diagram showing changes over time in the heart rate of each participant in online communication and changes over time in the correlation coefficient between the two participants.
  • (a) to (c) of FIG. 14A are graphs showing changes in heart rate over time indicated by the heart rate information of participants X, Y and Z, respectively. The horizontal axis of these graphs indicates time, and the vertical axis indicates heart rate.
  • (d) of FIG. 14A is a graph showing temporal changes in the correlation coefficient between participant X and participant Y, and (e) of FIG. It is a graph which shows the time change of a correlation coefficient. The horizontal axis of these graphs indicates time, and the vertical axis indicates the correlation coefficient.
  • the biological analysis unit 202 periodically transmits heartbeat information indicating the heartbeats of the participants X, Y, and Z, as shown in (a) to (c) of FIG. 14A. get.
  • the empathy processing unit 12 periodically calculates the correlation coefficient between the participant X and the participant Y shown in (d) of FIG. 14A based on the heartbeat information of the participant X and the participant Y. .
  • the empathy processing unit 12 periodically calculates the correlation coefficient between the participants X and Z shown in (e) of FIG. 14A based on the heartbeat information of the participants X and Z. Calculate to
  • the empathy processing unit 12 derives an empathy level indicating that the participants X and Y do not empathize during the period when the participant X is speaking. That is, the sympathy processing unit 12 presumes that the participants X and Y do not sympathize.
  • participant Y speaks at times t5 to t7
  • participant X and participant Y heart rate rises, and participant Z's heart rate changes little over the period.
  • the correlation coefficient between participant X and participant Y is greater than the threshold at times t6 to t8 corresponding to that period. Therefore, the empathy processing unit 12 derives the degree of empathy indicating that the participants X and Y empathize with each other during the times t6 to t8.
  • the sympathy processing unit 12 presumes that the participants X and Y empathize with each other from time t6 to t8.
  • the correlation coefficient between participant X and participant Z is below the threshold even if participant Y speaks. Therefore, the empathy processing unit 12 derives an empathy level indicating that the participants X and Z do not empathize during the period when the participant Y is speaking. That is, the sympathy processing unit 12 presumes that the participants X and Z do not sympathize.
  • the empathy processing unit 12 may identify the speaker by performing speaker recognition based on the output signal (that is, voice data) from the microphone of the terminal device 200, for example.
  • the empathy processing unit 12 may identify the speaker based on the user ID.
  • the sympathy processing unit 12 may identify the speaker by performing image recognition processing on a face image, which is sensing information obtained from each sensor 201 .
  • the face image is transmitted from the terminal device 200 to the server 100 .
  • participant X is specified as a speaker. Therefore, as shown in (e) of FIG.
  • the sympathy processing unit 12 allows the participants X and Z to empathize at times t2 to t4, which at least partially overlap with the period during which the participant X speaks. If it is estimated that the two people are sympathizing with each other, it is determined that the utterance of the participant X is the object. In this case, the direction of empathy from participant Z to participant X is identified. Similarly, from time t5 to t7, participant Y is identified as the speaker. Therefore, as shown in (d) of FIG. 14A, the sympathy processing unit 12 allows the participants X and Y to empathize at times t6 to t8 that at least partially overlap with the period in which the participant Y speaks.
  • the output unit 13 may output information indicating such a direction of empathy (hereinafter also referred to as empathy direction information).
  • the biological analysis unit 202 acquires heartbeat information of each of a plurality of persons during the same period. For example, the biological analysis unit 202 acquires the heartbeat information of the participants X, Y, and Z during the period from time t1 to t3 as described above, and obtains the heartbeat information of the participants X, Y, and Z during the period from time t5 to t7. to get This makes it possible to appropriately estimate the degree of empathy of a plurality of persons during the same period.
  • the empathy level analysis unit 101 in this embodiment derives the empathy level based on the correlation of changes in the heartbeat information, but instead of the correlation of the changes in the heartbeat information, the empathy analysis unit 101 derives the empathy level based on the facial expressions of each of the plurality of persons. degree may be derived.
  • FIG. 14B is a diagram for explaining an example of deriving empathy based on facial expressions. Note that FIG. 14B (a) is a graph showing changes over time in the probability that person A smiles, and FIG. 14B (b) is a graph showing changes over time in the probability that person B smiles. (c) is a graph showing temporal changes in the smile probability of person C. FIG. 14B (a) is a graph showing changes over time in the probability that person A smiles, and FIG. 14B (b) is a graph showing changes over time in the probability that person B smiles. (c) is a graph showing temporal changes in the smile probability of person C. FIG.
  • the empathy analysis unit 101 acquires, for each of person A, person B, and person C, a face image, which is sensing information showing the person's face.
  • the empathy processing unit 12 identifies the facial expression of the person shown in the face image by performing image recognition on the face image.
  • the sympathy processing unit 12 inputs the face image to a machine-learned learning model to identify the facial expression of the person shown in the face image.
  • the sympathy processing unit 12 identifies the probability of smiling as the facial expression of a person in chronological order.
  • the probability that the identified person A smiles will reach or exceed the threshold during the period from time t1 to t2, as shown in (a) of FIG. 14B, for example.
  • the probability that the specified person B smiles is greater than or equal to the threshold during the period from time t1 to t3 and from time t5 to t6, as shown in (b) of FIG. 14B, for example.
  • the probability that the identified person C smiles is greater than or equal to the threshold during the period from time t4 to t7, as shown in (c) of FIG. 14B, for example.
  • the empathy level analysis unit 101 determines that person A and person B share empathy during the period from time t1 to t2 when both the probability of smiling of person A and the probability of smiling of person B are equal to or greater than the threshold. do. Similarly, the empathy level analysis unit 101 determines that person B and person C empathize with each other during the period from time t5 to time t6 when both the probability that person B smiles and the probability that person C smiles are equal to or greater than the threshold. judge. As a result, the empathy level analysis unit 101 derives 1 (or 100) as the empathy level between person A and person B in the period from time t1 to t2, and derives the level of empathy between person B and person B in the period from time t5 to t6. 1 (or 100) may be derived as the degree of empathy between C and C.
  • the empathy level analysis unit 101 in this aspect may derive empathy levels based not only on the correlation of changes in heartbeat information, but also on the facial expressions of a plurality of persons. That is, the sympathy processing unit 12 first identifies the facial expressions of each of the plurality of persons by image recognition of the face images as described above. Then, the empathy processing unit 12 derives the degree of empathy between the plurality of persons based on the correlation of changes in the heartbeat information of each of the plurality of persons and the specified facial expressions of each of the plurality of persons. do.
  • the empathy processing unit 12 identifies any one of a happy facial expression, an angry facial expression, a sad facial expression, and a happy facial expression.
  • the empathy processing unit 12 may specify each of these four facial expressions as a numerical value.
  • a person's facial expression is expressed as a vector consisting of four numerical values.
  • facial expressions of a plurality of persons are specified.
  • the empathy processing unit 12 derives the degree of similarity of facial expressions of a plurality of persons.
  • the similarity may be derived as a number between 0 and 1.
  • the empathy processing unit 12 may derive the degree of empathy between a plurality of persons by, for example, multiplying the average value of the degree of similarity and the correlation coefficient by 100.
  • the degree of empathy is derived based not only on the correlation of changes in heartbeat information, but also on facial expressions, so it is possible to improve the accuracy of estimating the degree of empathy.
  • the facial expressions of a plurality of persons are identified from the sensing information of the sensor 201 used to acquire the heartbeat information.
  • their facial expressions are identified from the moving image data of the camera (that is, the face images described above). Therefore, a dedicated device for identifying those facial expressions can be omitted. Therefore, the overall system configuration can be simplified.
  • the facial expression was specified from the face image, but the facial expression may be specified from the voice data.
  • the sympathy processing unit 12 acquires voice data output from the microphone of each terminal device 200, and identifies the facial expressions of each of the plurality of persons by analyzing the voice data. Machine learning may be used for the analysis.
  • the identification of the facial expression may be performed by the empathy processing unit 12 as described above, or may be performed by the biological analysis unit 202 .
  • a person's mental state such as emotions such as emotions, relaxation, or excitement may be estimated.
  • the empathy processing unit 12 derives a large empathy level as the empathy level between the two participants.
  • biometric information may be data indicating the acceleration of a person's movement, the temperature of the face, or the amount of perspiration on the hands.
  • the temperature of the face may be measured by thermocouples or by infrared thermography.
  • the amount of perspiration may be measured by electrodes attached to the hand.
  • FIG. 15 is a flow chart showing the processing operations of the biological analysis unit 202 and the empathy analysis unit 101 in this aspect.
  • the biological analysis unit 202 acquires sensing information of each of a plurality of persons from a plurality of sensors 201 (step S1). Then, the biological analysis unit 202 acquires heart rate, RRI, or heartbeat information indicating heartbeat fluctuation from the sensing information (step S2). Thereby, the heartbeat information of each of the plurality of persons is obtained.
  • the empathy processing unit 12 calculates a correlation coefficient based on changes in the heartbeat information of each of the plurality of persons (step S3), and derives the degree of empathy from the correlation coefficient (step S4).
  • the output unit 13 outputs empathy level information indicating the derived empathy level (step S5).
  • the empathy level analysis unit 101 in this aspect derives the empathy level between a plurality of persons based on the correlation of changes in heartbeat information regarding heartbeats of the plurality of persons. Then, empathy level analysis section 101 outputs empathy level information indicating the derived empathy level. This makes it possible to appropriately estimate the degree of empathy, which is an emotional interaction that occurs between a plurality of persons.
  • the biological analysis unit 202 in this aspect acquires heartbeat information indicating heartbeat rate, RRI, or heartbeat fluctuation.
  • the heart rate information may indicate at least one of heart rate and heart rate variability.
  • the biological analysis unit 202 may acquire heartbeat information indicating at least two of the heartbeat rate, RRI, and heartbeat fluctuation.
  • the empathy processing unit 12 calculates, for example, an average value of at least two of the heart rate correlation coefficient, the RRI correlation coefficient, and the heartbeat fluctuation correlation coefficient, and based on the average value, empathy degree may be derived. As a result, it is possible to improve the estimation accuracy of the degree of empathy.
  • the empathy processing unit 12 of the empathy analysis unit 101 in this aspect derives empathy based on the correlation coefficient of heartbeat information of each of a plurality of persons.
  • the degree of empathy may be derived based on the correlation of information changes.
  • the empathy processing unit 12 may derive the degree of empathy of a plurality of persons based on the degree of coincidence of timings of changes in heartbeat information of the plurality of persons.
  • the timing is, for example, timing of increase or decrease of heart rate or the like.
  • the empathy processing unit 12 may derive the empathy level of the plurality of persons based on the degree of coincidence during the period in which the heart rate of each of the plurality of persons is higher than the reference value.
  • the reference value is a heart rate value set for each person, and is, for example, an average value of the person's heart rate during a period in which the person is at rest.
  • the empathy level analysis unit 101 in this aspect determines the stress factors of each of the plurality of persons, and derives the empathy level between the plurality of persons based on these factors.
  • the heart rate information in this aspect is denoted as RRI and CvRR.
  • RRI change amount that indicates a change in RRI
  • CvRR change amount that indicates a change in CvRR are used.
  • the empathy level analysis unit 101 determines the stress factor of each of a plurality of persons based on the person's RRI change amount and CvRR change amount. Then, if the stress factors of the plurality of persons are common, the empathy level analysis unit 101 estimates that the plurality of persons empathize because the stress factors are correlated. On the other hand, if the stress factors of the plurality of persons are not common, the empathy level analysis unit 101 estimates that the persons do not empathize because there is no correlation between the stress factors.
  • FIG. 16 is a graph obtained by experiment, showing the relationship between the amount of RRI change, the amount of CvRR change, and stress factors.
  • the horizontal axis of the graph in FIG. 16 indicates the RRI variation (%), and the vertical axis indicates the CvRR variation (%).
  • the RRI at rest is the RRI measured for 5 minutes before the subject performs the task in the same posture as that in which the task is performed.
  • the average value of RRI at rest is the average value of RRI for 240 seconds from 60 seconds after the start of measurement.
  • the average RRI during task execution is the average RRI for 240 seconds from 60 seconds after the start of measurement among the RRIs measured while the subject was performing the task.
  • the resting CvRR is the CvRR measured for 5 minutes before the subject performs the task in the same posture as the task.
  • the average value of CvRR at rest is the average value of CvRR for 240 seconds from 60 seconds after the start of measurement.
  • the average CvRR during task execution is the average CvRR for 240 seconds from 60 seconds after the start of measurement among the CvRRs measured while the subject was executing the task.
  • the graph in FIG. 16 shows the average RRI variation and the average CvRR variation for each of the 20 subjects for each task type, that is, each stress factor.
  • ⁇ marks in the graph indicate the average values of RRI change and CvRR change of 20 subjects when the stress factor is “interpersonal”.
  • the triangle mark in the graph indicates the average value of changes in RRI and average values of changes in CvRR for 20 subjects when the stress factor is "pain”.
  • the X mark in the graph indicates the average value of the RRI change amount and the average value of the CvRR change amount for 20 subjects when the stress factor is "thought fatigue”.
  • the empathy analysis unit 101 in this embodiment uses the relationship between the RRI change amount and the CvRR change amount and the stress factors shown in FIG.
  • the empathy analysis unit 101 in this aspect has the configuration shown in FIG. 12, as in the first aspect.
  • the sensor 201 may also include a camera or a wearable device as in the first aspect.
  • the biological analysis unit 202 in this aspect acquires sensing information from each of the plurality of sensors 201, and acquires heartbeat information indicating RRI and CvRR of each of a plurality of persons from the sensing information.
  • FIG. 17 is a diagram for explaining how the empathy processing unit 12 determines stress factors.
  • the empathy processing unit 12 of the empathy analysis unit 101 calculates the RRI change amount and the CvRR change amount of each of the plurality of persons using the above-described (formula 1) and (formula 2). Note that the tasks in (Formula 1) and (Formula 2) may be any task. Then, empathy processing unit 12 determines the stress factor based on the amount of change, as shown in FIG. 17 .
  • the empathy processing unit 12 determines that the person's stress factor is "interpersonal". In addition, when the RRI of a person rises slightly from the resting state and the CvRR of the person hardly changes from the resting state, the empathy processing unit 12 determines that the stress factor of the person is “pain”. do. In addition, when the person's RRI hardly changes from the resting state and the person's CvRR greatly decreases from the resting state, the empathy processing unit 12 determines that the person's stress factor is "thought fatigue”. do.
  • a positive first threshold and a negative second threshold are set for the RRI change amount
  • a positive third threshold and a negative fourth threshold are set for the CvRR change amount.
  • the sympathy processing unit 12 determines that the person's stress factor is " interpersonal”.
  • the empathy processing unit 12 determines whether the person's RRI change amount is equal to or greater than the positive first threshold, and the person's CvRR change amount is lower than the positive third threshold and equal to or greater than the negative fourth threshold.
  • the empathy processing unit 12 determines that the person's RRI change amount is lower than the positive first threshold and is equal to or greater than the negative second threshold, and the person's CvRR change amount is lower than the negative fourth threshold. In this case, it is determined that the person's stress factor is "thought fatigue".
  • FIG. 18 is a diagram showing an example in which the empathy level is derived from the stress factors of each of a plurality of persons.
  • the empathy analysis unit 101 determines the stress factors of persons A, B, and C based on their respective heartbeat information. Specifically, the empathy level analysis unit 101 determines that the stress factor for the person A at times t11 to t14 is "interpersonal", and the stress factor at times t15 to t17 is "thinking fatigue”. Determine that there is. In addition, the empathy level analysis unit 101 determines that the stress factor for the person B from time t16 to t18 is "thought fatigue”. Furthermore, the empathy analysis unit 101 determines that the stress factor for the person C at times t12 to t13 is "interpersonal".
  • the empathy processing unit 12 of the empathy level analysis unit 101 determines that during the period from time t12 to t13, the stress factors of person A and person C are the same. It is presumed that he sympathizes with C. In other words, the empathy processing unit 12 derives, for example, "1" as the degree of empathy between the person A and the person C at times t12 to t13. Similarly, during the period from time t16 to t17, the empathy processing unit 12 assumes that the stress factors of person A and person B are the same, and that person A and person B empathize with each other during that period. presume.
  • the empathy processing unit 12 derives, for example, "1" as the degree of empathy between the person A and the person B at times t16 to t17.
  • the empathy processing unit 12 may derive the degree of empathy of three people, person A, person B, and person C.
  • FIG. For example, for each period, the empathy processing unit 12 determines the degree of empathy between person A and person B in that period, the degree of empathy between person A and person C in that period, and the degree of empathy between person B in that period.
  • the average value of the sympathy levels with the person C is derived as the sympathy levels of the three people.
  • the output unit 13 outputs empathy level information indicating the empathy level derived in this way.
  • the empathy analysis unit 101 in this aspect calculates the RRI change amount and the CvRR change amount of each of a plurality of persons, and based on the correlation of the stress factors determined from these change amounts, a plurality of to derive the degree of empathy between people. That is, even in this aspect, the degree of empathy between a plurality of persons is derived based on the correlation of changes in the heartbeat information of the plurality of persons. Therefore, also in this aspect, it is possible to appropriately estimate the degree of empathy, which is an emotional interaction that occurs between a plurality of persons.
  • aspects 1 and 2 empathy level analysis section 101 derives empathy level using heartbeat information.
  • the degree of empathy is derived using not only heartbeat information but also SC information, which is biometric information other than heartbeats of each of a plurality of persons.
  • the SC information is information indicating skin conductance of a person's fingertip.
  • the skin conductance is hereinafter also referred to as SC.
  • FIG. 19 is a block diagram showing the configurations of the biological analysis unit 202 and the empathy analysis unit 101 in this embodiment.
  • the empathy level analysis unit 101 in this aspect estimates the empathy level between a plurality of persons based on heartbeat information and SC information.
  • the biological analysis unit 202 includes a heart rate acquisition unit 11 a and an SC acquisition unit 11 b
  • the empathy analysis unit 101 includes an empathy processing unit 12 a and an output unit 13 .
  • the heartbeat acquisition unit 11a acquires information about the heartbeat of a person as heartbeat information, similar to the biological analysis unit 202 of aspects 1 and 2. Specifically, the heart rate acquiring unit 11a acquires first sensing information of each of the plurality of persons from the plurality of first sensors 201a, and analyzes the first sensing information to obtain Get the person's heartbeat information.
  • the first sensor 201a is a camera that captures a person and generates a face image of the person as the first sensing information, like the sensor 201 of the first and second aspects. Note that the first sensor 201a is not limited to a camera, and may be a wearable device that measures an electrocardiogram or a pulse wave.
  • the heartbeat acquisition unit 11a in this aspect acquires heartbeat information indicating the RRI and CvRR of the person from the first sensing information of each of the plurality of persons.
  • the SC acquisition unit 11b acquires SC information of a person. Specifically, the SC acquisition unit 11b acquires the second sensing information of each of the plurality of persons from the plurality of second sensors 201b, analyzes the second sensing information, and obtains from the second sensing information Acquire the person's SC information.
  • the second sensor 201b is, for example, a sensor that includes a pair of detection electrodes, is wrapped around a person's fingertip, and outputs information indicating the skin potential of the fingertip as second sensing information.
  • the SC acquisition unit 11b in this aspect acquires SC information indicating the skin conductance of the person by analyzing the second sensing information of each of the plurality of persons. Note that the first sensor 201a and the second sensor 201b may be included in the sensor 201 of the above embodiment.
  • the sympathy processing unit 12a calculates the person's RRI change amount and CvRR change amount based on the heartbeat information acquired by the heartbeat acquisition unit 11a, in the same manner as in aspect 2 above. Further, the empathy processing unit 12a in this aspect calculates the skin conductance change amount of the person based on the SC information acquired by the SC acquisition unit 11b.
  • the amount of change in skin conductance is hereinafter also referred to as the amount of change in SC.
  • SC at rest is SC measured for five minutes, for example, in the same posture as the person performing the task before the person performs the task.
  • the average value of SC at rest is, for example, the average value of SC for 240 seconds from 60 seconds after the start of measurement.
  • the average value of SC during task execution is, for example, the average value of SC for 240 seconds 60 seconds after the start of measurement among SCs measured while a person is executing the task.
  • the task in (Formula 3) may be any task.
  • the empathy processing unit 12a determines the stress factor based on the RRI change amount, the CvRR change amount, and the SC change amount. Further, the empathy processing unit 12a derives the degree of empathy between the plurality of persons based on the stress factors of the plurality of persons.
  • the output unit 13 outputs empathy level information indicating the empathy level derived by the empathy processing unit 12a, in the same manner as in aspects 1 and 2 above.
  • FIG. 20 is a diagram for explaining the method of determining stress factors by the empathy processing unit 12a.
  • the sympathy processing unit 12a determines that the person's stress factor is It is judged to be "interpersonal”.
  • the sympathy processing unit 12a when the person's RRI rises from the resting state, the person's CvRR hardly changes from the resting state, and the person's SC rises from the resting state, the empathy processing unit 12a The factor is determined to be "pain”.
  • the sympathy processing unit 12a is determined to be "thought fatigue”.
  • a positive first threshold and a negative second threshold are set for the RRI change amount
  • a positive third threshold and a negative fourth threshold are set for the CvRR change amount
  • the SC change amount A positive fifth threshold and a negative sixth threshold are set for .
  • the empathy processing unit 12a determines that (a) the person's RRI change amount is lower than the negative second threshold, (b) the person's CvRR change amount is greater than or equal to the positive third threshold, and (c) that If the person's SC change amount is equal to or greater than the fifth positive threshold, it is determined that the person's stress factor is "interpersonal.”
  • the sympathy processing unit 12a determines that (a) the person's RRI change amount is equal to or greater than the positive first threshold, (b) the person's CvRR change amount is lower than the positive third threshold, and the negative fourth threshold (c) If the person's SC change amount is equal to or greater than the positive fifth threshold, it is determined that the person's stress factor is "pain.”
  • the empathy processing unit 12a determines that (a) the RRI change amount of the person is lower than the positive first threshold and is equal to or greater than the negative second threshold, and (b) the person's CvRR change amount is the negative fourth (c) If the person's SC change amount is lower than the positive fifth threshold and equal to or greater than the negative sixth threshold, the person's stress factor is determined to be "thought fatigue”. .
  • FIG. 21 is a flow chart showing the processing operations of the biological analysis unit 202 and the empathy analysis unit 101 in this aspect.
  • the heartbeat acquisition unit 11a of the biological analysis unit 202 acquires the first sensing information of each of the plurality of persons from the plurality of first sensors 201a (step S1). Then, the heartbeat acquisition unit 11a acquires heartbeat information indicating RRI and CvRR from the first sensing information (step S2). Thereby, the heartbeat information of each of the plurality of persons is acquired.
  • the SC acquisition unit 11b acquires the second sensing information of each of the plurality of persons from the plurality of second sensors 201b (step S1a). Then, the SC acquisition unit 11b acquires SC information indicating skin conductance from the second sensing information (step S2a). Thereby, the SC information of each of the plurality of persons is acquired.
  • the empathy processing unit 12a calculates the RRI change amount, the CvRR change amount, and the SC change amount of each of the plurality of persons, and based on these change amounts, stress factors of each of the plurality of persons are calculated. is determined (step S3a). Furthermore, the empathy processing unit 12a derives the degree of empathy between the plurality of persons based on the correlation of the stress factors of the plurality of persons, that is, whether or not the same factor co-occurs (step S4a).
  • the output unit 13 outputs empathy level information indicating the derived empathy level (step S5).
  • the empathy analysis unit 101 in this aspect calculates the RRI change amount, the CvRR change amount, and the SC change amount of each of a plurality of persons, and the correlation of stress factors determined from these change amounts. Based on this, the degree of empathy between a plurality of persons is derived. That is, even in this aspect, the degree of empathy between a plurality of persons is derived based on the correlation of changes in the heartbeat information of the plurality of persons. Therefore, also in this aspect, it is possible to appropriately estimate the degree of empathy, which is an emotional interaction that occurs between a plurality of persons. Moreover, in this aspect, compared with the second aspect, the SC change amount is also used to determine the stress factor, so the accuracy of determining the stress factor can be improved. As a result, it is possible to improve the estimation accuracy of the degree of empathy.
  • the biological analysis unit 202 in this aspect includes the SC acquisition unit 11b that acquires the skin conductance of the person, but may include a component that acquires the skin temperature of the person instead of the SC acquisition unit 11b.
  • the second sensor 201b is, for example, a thermocouple.
  • the resting skin temperature is the skin temperature measured for, for example, 5 minutes before the person performs the task, in the same posture as the task execution posture.
  • the average resting skin temperature is, for example, the average skin temperature for 240 seconds from 60 seconds after the start of measurement.
  • the average skin temperature during task execution is, for example, the average skin temperature for 240 seconds after 60 seconds from the start of measurement among the skin temperatures measured while the person is executing the task.
  • the task in (Expression 4) may be any task.
  • the sympathy processing unit 12a uses such a skin temperature change amount instead of the SC change amount to determine the stress factor.
  • Modification 1 In the above embodiment, the empathy level of the target person is presented using the person identification image P. In this modification, empathy levels of a plurality of target persons having the same attribute are presented as one substitute empathy level.
  • the server storage unit 110 of the server 100 stores attribute information indicating attributes of all participants participating in online communication in association with user IDs.
  • the presentation processing unit 105 identifies attributes of each target person by reading attribute information from the server storage unit 110 .
  • Types of attributes include, for example, sex, occupation, and age. Note that the age is a number obtained by truncating the first digit of the age of the target person.
  • attributes related to gender include male and female.
  • Attributes related to occupation include manager, technical, staff, and the like.
  • Age-related attributes include 20's, 30's, 40's, and 50's.
  • the presentation processing unit 105 specifies the empathy level of a plurality of target persons belonging to the attribute for each attribute, and calculates the empathy level.
  • a representative empathy degree is derived as a representative empathy degree.
  • the presentation processing unit 105 generates and outputs empathy presentation information indicating the representative empathy level derived for each attribute in this way.
  • FIG. 22 is a diagram showing an example of the empathy level presentation method in this modified example.
  • the presentation section 205 of the terminal device 200 displays, for example, the display image Ib shown in FIG.
  • This display image Ib includes a moving image area W3 in which a moving image of each participant in the online communication is displayed, and an empathy display area W4 in which the representative empathy level for each attribute indicated in the empathy presentation information is displayed.
  • the moving image of the participant captured by the camera included in the sensor 201 of the terminal device 200 is transmitted from the terminal device 200 to the server 100 .
  • the representative empathy level for each attribute is displayed for each gender, age, and occupation. For example, for gender, 45% is displayed as the representative empathy level for the attribute "male”, and 74% is displayed as the representative empathy level for the attribute "female". Also, in terms of age, 20% is displayed as the representative empathy level for the attribute "twenties”, and 32% is displayed as the representative empathy level for the attribute "thirties”. In addition, for occupations, 70% is displayed as the representative empathy level for the attribute "manager”, and 34% is displayed as the representative empathy level for the attribute "technician”.
  • this modification is applied, for example, one reference person is selected from all participants participating in online communication, and all remaining participants are selected as target persons. Then, the one reference person gives lectures, lectures, etc. to the other participants through online communication.
  • this modified example can be applied to situations where many people are listening to one speaker at a lecture, company policy announcement, or the like. This makes it possible to visualize how much the participants (audience) empathize with the contents of the lecture at lectures, company policy announcements, and the like.
  • FIG. 23 is a flowchart showing an example of a partial processing operation of the server 100 in this modified example. Specifically, FIG. 23 is a flowchart showing detailed processing of step S40 of FIG.
  • the presentation processing unit 105 identifies the attributes of each of the plurality of target persons by reading the attribute information from the server storage unit 110 (step S43). If the attribute type is gender, the presentation processing unit 105 identifies male or female as the attribute of each of the plurality of target persons. If the attribute type is age, the presentation processing unit 105 identifies 20's, 30's, 40's, or the like as the attribute of each of the plurality of target persons. Further, if the type of attribute is occupation, the presentation processing unit 105 specifies managerial, technical, or staff as attributes of each of the plurality of target persons.
  • the presentation processing unit 105 classifies the degree of empathy for each of the plurality of target persons according to those attributes (step S44). For example, the presentation processing unit 105 groups the empathy levels of target persons having the attribute “male” among the empathy levels of a plurality of target persons, and groups the empathy levels of target persons having the attribute “female”. Classify the degree of empathy for each attribute. In addition, the presentation processing unit 105 may sort the levels of empathy included in the group of the attribute "male” in order of magnitude, and sort the levels of empathy included in the group of the attribute "female” in order of magnitude.
  • the presentation processing unit 105 derives the representative empathy level of the attribute by calculating the average value of one or more empathy levels included in the attribute group (step S45).
  • the presentation processing unit 105 may derive a value other than the average value as the representative empathy level.
  • the presentation processing unit 105 may derive the median value of one or more empathy degrees as the representative empathy degree.
  • gender is described as the type of attribute, but the presentation processing unit 105 performs the same processing as described above even if the type is age or occupation.
  • the presentation processing unit 105 generates and outputs empathy presentation information indicating the representative empathy level for each attribute (step S46).
  • the empathy level display method in this modified example is an effective method.
  • the presentation processing unit 105 acquires attribute information indicating attributes of at least one target person, and based on the attribute information, for each attribute, one or more attributes belonging to the attribute are acquired. Using the empathy level of each target person, a representative empathy level, which is the empathy level represented by the attribute, is derived. Then, the presentation processing unit 105 generates empathy presentation information indicating the representative empathy level for each attribute. As a result, for example, if there are male and female attributes, a representative empathy level for men and a representative empathy level for women can be presented. This makes it possible to present the degree of empathy for each attribute and the difference between the degrees of empathy in an easy-to-understand manner.
  • Modification 2 In the above embodiment and Modification 1, basically one reference person is selected. In this modified example, basically a plurality of reference persons are selected, and a plurality of target persons are selected. All participants in an online communication may be selected as reference persons, and all participants may be selected as target persons.
  • the server control unit 106 in this modification identifies, for each reference person, a pair of the reference person and each of the plurality of target persons. If all participants in the online communication are selected as reference persons and all participants are selected as target persons, the server control unit 106 selects a combination of pairs of two persons from all the participants. Identify all. Then, for each pair, the empathy level analysis unit 101 derives the empathy level between the two persons included in the pair. One of the two persons included in the pair is the reference person and the other is the target person. The empathy level analysis unit 101 may sort all the pairs in order of empathy level.
  • the presentation processing unit 105 For each pair, the presentation processing unit 105 reads the person identification images P of the two persons included in the pair from the server storage unit 110, and generates a pair image composed of the two person identification images P. Further, the presentation processing unit 105 adjusts the size of the paired images for each pair according to the degree of empathy derived for that pair. Specifically, the presentation processing unit 105 enlarges or reduces the paired images. The presentation processing unit 105 generates and outputs sympathy presentation information including paired images of all pairs whose sizes are adjusted.
  • FIG. 24 is a diagram showing an example of the empathy level presentation method in this modified example.
  • the presentation unit 205 of the terminal device 200 displays, for example, the display image Ib shown in FIG.
  • This display image Ib includes resized paired images Pa of each of the plurality of pairs.
  • the plurality of paired images Pa may be arranged in order of size of the paired images Pa.
  • the paired image Pa is formed larger as the degree of empathy of the pair corresponding to the paired image Pa increases, and is formed smaller as the degree of empathy of the pair corresponding to the paired image Pa decreases.
  • the paired images Pa of all pairs may be displayed on the presentation unit 205, or only the paired images Pa of some pairs may be displayed on the presentation unit 205.
  • the presentation processing unit 105 may generate and output empathy presentation information including only paired images Pa corresponding to a degree of empathy equal to or greater than a threshold among all paired images Pa. Note that the sizes of these paired images Pa are adjusted according to the degree of empathy, as described above.
  • the empathy level analysis unit 101 derives the empathy level between two persons included in each pair of two persons included in a plurality of persons for each pair.
  • One of the two persons is the reference person and the other is the target person.
  • the server 100 causes the presentation unit 205 of the terminal device 200 to display only the paired person identification images P (that is, the paired images Pa) corresponding to the degree of empathy higher than the threshold according to the presentation mode of the paired images Pa. Thereby, the user can easily grasp the pair having a high degree of empathy.
  • FIG. 25 is a diagram showing another example of the empathy level presentation method in this modified example.
  • the display image Ib displayed by the presentation unit 205 may include frames F1 and F2 for grouping the plurality of paired images Pa, as shown in FIG.
  • a frame F1 surrounds a pair of images Pa having a degree of empathy greater than or equal to a threshold
  • a frame F2 surrounds a pair of images Pa having a degree of empathy less than the threshold.
  • the number of paired images Pa surrounded by each of the surrounding frames F1 and F2 may be one or more.
  • the presentation processing unit 105 compares the degree of empathy of the pair corresponding to the paired images Pa with a threshold for each of the plurality of paired images Pa, and if the degree of empathy is equal to or greater than the threshold, The paired image Pa is included in F1, and if the degree of empathy is less than the threshold, the paired image Pa is included in the frame F2. Sympathetic presentation information is thereby generated. As a result, display image Ib shown in FIG. 25 is displayed on presentation unit 205 .
  • FIG. 26 is a flowchart showing an example of person selection processing of the server 100 in this modified example. That is, FIG. 26 is a flow chart showing in detail the process of step S10 of FIG.
  • the server control unit 106 first selects a reference person from all participants in online communication (step S13). Next, the server control unit 106 selects a target person from all the participants, and determines a pair including the reference person selected in the previous step S13 and the selected target person (step S14).
  • the server control unit 106 determines whether or not there is a participant who has not been selected as a target person among all the participants (step S15).
  • the server control unit 106 determines that there is an unselected participant (Yes in step S15)
  • it repeats the process from step S14.
  • the server control unit 106 determines that there is no unselected participant (No in step S15)
  • it further determines whether or not there is a participant who has not been selected as a reference person among all the participants. (step S16).
  • step S16 when the server control unit 106 determines that there is an unselected participant (Yes in step S16), it repeats the processing from step S13. On the other hand, when the server control unit 106 determines that there is no unselected participant (No in step S16), the person selection process ends.
  • FIG. 27 is a flowchart showing an example of a partial processing operation of the server 100 in this modified example. Specifically, FIG. 27 is a flowchart showing detailed processing of step S30 of FIG.
  • the empathy analysis unit 101 selects one pair from among all pairs determined by the server control unit 106 (step S31). Then, empathy analysis unit 101 derives empathy in the selected pair, generates empathy level information indicating the empathy level, and outputs the generated empathy level information (step S32).
  • the empathy analysis unit 101 determines whether there are pairs that have not been selected among all the pairs determined by the server control unit 106 (step S33).
  • the process from step S31 is executed.
  • the empathy level analysis unit 101 determines that there is no unselected pair (No in step S33)
  • FIG. 28 is a flow chart showing an example of a partial processing operation of the server 100 in this modified example. Specifically, FIG. 28 is a flowchart showing detailed processing of step S40 of FIG.
  • the presentation processing unit 105 sorts the empathy levels of all pairs derived by the empathy level analysis unit 101 in order of magnitude of the empathy level (step S47).
  • the presentation processing unit 105 generates a paired image Pa having a size corresponding to the degree of empathy of each pair for each pair. That is, the presentation processing unit 105 adjusts the size of the person identification image P of each of the two persons included in the pair to a size according to the degree of empathy. Then, the presentation processing unit 105 generates and outputs empathy presentation information including the size-adjusted pair images Pa (step S48).
  • a plurality of reference persons are selected.
  • two reference persons may be selected. That is, in the person selection process, the server control unit 106 selects the first reference person and the second reference person, which are different from each other, as reference persons from the plurality of candidate persons who are all the participants. Then, for each of at least one target person, the empathy analysis unit 101 derives the empathy between the first reference person and the target person, and calculates the empathy between the second reference person and the target person. Derive the degree of empathy between As a result, two reference persons are selected, so that the target range for deriving the degree of empathy can be expanded. As a result, it is possible to present various degrees of empathy among multiple persons. Note that the number of selected reference persons may be three or more.
  • FIG. 29 is a diagram showing another example of the empathy level presentation method in this modified example.
  • the presentation unit 205 displays the paired images Pa of each pair, but may display a correlation diagram C1 as shown in FIG. 29(a).
  • the correlation diagram C1 individual identification images P of a plurality of participants are connected to each other by connecting lines L.
  • a connecting line L is a line connecting two person identification images P corresponding to a pair.
  • the person identification image P is shown in a simplified manner.
  • the length and thickness of the connecting line L are set according to the degree of empathy of the pair corresponding to the two person identification images P connected by the connecting line L. That is, the greater the degree of empathy, the shorter and thicker the connecting line L, and the smaller the degree of empathy, the longer and thinner the connecting line L. For example, since the degree of sympathy for the pair of person C and person D is small, the connecting line L connecting person identification image P of person C and person identification image P of person D is long and thin. On the other hand, since the degree of sympathy for the pair of person A and person B is high, the connecting line L connecting person identification image P of person A and person identification image P of person B is short and thick.
  • the presentation processing unit 105 generates sympathy presentation information indicating a correlation diagram C1 configured by the person identification image P of each participant and a plurality of connecting lines L.
  • the presentation unit 205 displays the correlation diagram C1 shown in (a) of FIG. 29 according to the sympathy presentation information.
  • the presentation unit 205 may display a table T shown in FIG. 29(b) instead of the correlation diagram C1 shown in FIG. 29(a). That is, in Table T, the degree of empathy for each of the multiple pairs is displayed as high, medium, or low. For example, in the table T, the degree of sympathy between person A and person B, who form a pair, is high, and the degree of empathy between person B and person C, who form a pair, is medium. This indicates that the degree of sympathy between C and person D is small.
  • Modification 3 In the above-described embodiment and modified examples 1 and 2, the reference person is selected by dragging and dropping the person identification image P. FIG. However, the user of the terminal device 200 may select the reference person by clicking or touching the person identification image P via the operation unit 203 .
  • FIG. 30 is a diagram showing an example of a method of presenting empathy levels in this modified example.
  • the presentation unit 205 of the terminal device 200 displays the person identification images P of all participants in the online communication.
  • the operation unit 203 of the terminal device 200 is configured as a touch panel together with the display of the presentation unit 205, the user can select one person identification image P out of all the person identification images P displayed. Touch with your finger. Accordingly, the terminal control unit 206 selects the participant corresponding to the touched person identification image P as the reference person based on the signal output from the operation unit 203 in response to the touch.
  • the operation unit 203 of the terminal device 200 is configured as a mouse, the user can select one person identification image P from all the displayed person identification images P by operating the operation unit 203. Point to and click. Accordingly, the terminal control unit 206 selects the participant corresponding to the person identification image P pointed by the pointer as the reference person based on the signal output from the operation unit 203 in response to the click.
  • the terminal control unit 206 may select all participants other than the reference person for online communication as target persons.
  • the presentation unit 205 of the terminal device 200 displays a correlation diagram C2 showing the degree of empathy between the reference person and each target person, as shown in FIG. is displayed.
  • This correlation diagram C2 includes, for example, a reference identification image P1 that is a person identification image P of a reference person, target identification images P2 to P5 that are person identification images P of four target persons, and connecting lines L2 to L5. It is composed of
  • a connecting line L2 is a line connecting the reference identification image P1 and the target identification image P2
  • a connecting line L3 is a line connecting the reference identification image P1 and the target identification image P3.
  • a connecting line L4 is a line connecting the reference identification image P1 and the target identification image P4
  • a connecting line L5 is a line connecting the reference identification image P1 and the target identification image P5.
  • the connecting lines L2 to L5 are shorter and thicker as the degree of empathy is greater, and the distances between the reference identification image P1 and the target identification images P2 to P5 are shorter as the degree of empathy is greater.
  • the degree of empathy between the reference person in the reference identification image P1 and the target person in the target identification image P2 is small, for example. Therefore, the coupling line L2 is long and thin. Furthermore, the distance between the reference identification image P1 and the target identification image P2 is long. Further, the degree of sympathy between the reference person of the reference identification image P1 and the target persons of the target identification images P3 and P4 is, for example, intermediate. Therefore, each of the coupling line L3 and the coupling line L4 has an intermediate length and thickness. Furthermore, the distances between the reference identification image P1 and each of the target identification images P3 and P4 are moderate. Also, the degree of sympathy between the reference person of the reference identification image P1 and the target person of the target identification image P5 is large, for example. Therefore, the coupling line L5 is short and thick. Furthermore, the distance between the reference identification image P1 and the target identification image P5 is short.
  • the size of each of the target identification images P2 to P5 may be a size corresponding to the degree of empathy of the target person of the target identification image with respect to the reference person. That is, if the degree of sympathy of the target person is high, the target identification image of the target person is displayed large. Conversely, if the degree of sympathy of the target person is low, the target identification image of the target person is displayed small. Further, the correlation diagram C2 may display only the target identification images of the target person having the degree of empathy equal to or higher than the threshold without displaying the target identification images P2 to P5 of all the target persons.
  • each person identification image P in the correlation diagram C2 and the length and thickness of each of the connecting lines L2 to L5 are determined according to the degree of empathy derived by the degree of empathy analysis unit 101. determined by unit 105 . Then, the presentation processing unit 105 generates and outputs sympathy presentation information indicating the correlation diagram C2 configured by the determined contents. The correlation diagram C2 is displayed on the presentation unit 205 of the terminal device 200 according to the sympathy presentation information thus generated.
  • the empathy level analysis unit 101 periodically derives the empathy level based on, for example, biological information that changes over time. Therefore, the empathy level is updated periodically.
  • the configuration of the correlation diagram C2 displayed on the presentation unit 205 is also periodically updated. If the update cycle is short, the configuration of the displayed correlation diagram C2, that is, the arrangement and size of each person identification image P and the length and thickness of each of the connecting lines L2 to L5 will change continuously. displayed. On the other hand, if the update cycle is long, the configuration of the displayed correlation diagram C2 will be changed at regular time intervals.
  • the presentation unit 205 may cause the reference identification image P1 and each of the target identification images P2 to P5 to blink. In blinking, display and non-display of the person identification image P are performed periodically. Then, the presentation unit 205 may bring the blink period of the target identification image of the target person closer to the blink period of the reference identification image P1 as the degree of empathy of the target person increases. Such a blink can also appropriately present the degree of empathy. Such blinking and its cycle are determined by the presentation processing unit 105 and shown in the empathy presentation information as the mode of empathy presentation.
  • Modification 4 In the above embodiment and modified examples 1 and 2, the reference person and the target person are selected using the reference person frame W1 and the target person frame W2 shown in FIG. 3, for example. In this modified example, the reference person and the target person are selected without using those frames.
  • FIG. 31 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • FIG. 31 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • the presentation unit 205 displays a setting display image If including a non-display area W11 and a sympathetic display area W12, as shown in FIG. 31, for example.
  • a person identification image P of a participant who is not subject to empathy derivation is arranged in the non-display area W11.
  • the empathy display area W12 the person identification image P of the participant whose empathy degree is to be derived is arranged in the empathy display area W12.
  • the person identification images P of all the participants are arranged in the non-display area W11.
  • the user of the terminal device 200 determines the person identification image P of the desired participant from all the person identification images P arranged in the non-display area W11.
  • the user operates the operation unit 203 of the terminal device 200 to move the determined person identification image P from the non-display area W11 to the empathy display area W12.
  • Such movement of the person identification image P may be performed by drag and drop.
  • the terminal control unit 206 of the terminal device 200 selects the participant corresponding to the person identification image P as the reference person and the target person. Such person selection is repeatedly executed by moving the person identification image P by the user.
  • the terminal control unit 206 causes the terminal communication unit 204 to transmit the selected person information indicating the selected person to the server 100 .
  • Server 100 treats the person indicated by the selected person information as a reference person and a target person, derives the degree of empathy, generates empathy presentation information, and sends it to terminal device 200 in the same manner as in the above embodiment and modification 2. Send.
  • the terminal control unit 206 of the terminal device 200 displays a correlation diagram C3 similar to the correlation diagram C1 shown in FIG. 29(a) in the empathy display area W12 according to the empathy presentation information.
  • the participant whose empathy level the user wishes to present is selected without distinguishing between the reference person and the target person. Therefore, it is possible to save the trouble of making the distinction. Furthermore, in this modification, the empathy level of the participant corresponding to the person identification image P arranged in the non-display area W11 is not displayed, and the participation level corresponding to the person identification image P arranged in the empathy display area W12 is not displayed. Only the empathy level of the person is displayed. Therefore, it is possible to display only the degree of empathy between participants desired by the user in a simple and easy-to-understand manner.
  • the degree of empathy is not derived for the participant corresponding to the person identification image P placed in the non-display area W11. , the processing load on the server 100 can be reduced.
  • the non-display area W11 is arranged with the person identification image P for identifying the participant, but is arranged with the group image for identifying the organization or group to which a plurality of participants belong.
  • the user finds the group image corresponding to the organization or group for which the user wants to know the degree of empathy from the non-display area W11.
  • the user moves the group image from the non-display area W11 to the sympathetic display area W12 by performing an input operation to the operation unit 203 of the terminal device 200.
  • the terminal control unit 206 of the terminal device 200 converts the group image arranged in the sympathy display area W12 into person identification images P of the plurality of participants belonging to the organization or group corresponding to the group image. do.
  • a correlation diagram C3 including those person identification images P is displayed in the empathy display area W12.
  • Modification 5 In the above embodiment and modified examples 1 to 4, empathy levels are presented. In this modification, not only the degree of empathy but also the direction of empathy is presented.
  • empathy level analysis section 101 outputs not only empathy level information but also empathy direction information indicating the direction of empathy.
  • the presentation processing unit 105 generates and outputs empathy presentation information indicating the degree of empathy indicated by the empathy degree information and the direction of empathy indicated by the empathy direction information according to the set presentation mode.
  • the set presentation mode is, for example, a correlation diagram.
  • the empathy presentation information generated in this way is transmitted to the terminal device 200 , and the content of the empathy presentation information is displayed on the presentation unit 205 .
  • FIG. 32 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • FIG. 32 is a diagram showing an example of an image displayed on the presentation unit 205 of the terminal device 200.
  • the presentation unit 205 displays the correlation diagram C4 shown in FIG. 32, for example.
  • each of the plurality of person identification images P is connected by an arrow La.
  • the length and thickness of the arrow La are set based on the degree of empathy between the participants of the two person identification images P connected by the arrow La.
  • the direction of arrow La indicates the direction of empathy. That is, the direction of the arrow La indicates that the participant of the person identification image P connected to the base of the arrow La sympathizes with the participant of the person identification image P connected to the tip of the arrow La. It is shown that.
  • the empathy analysis unit 101 determines that the target person has sympathized with the reference person. Then, the direction from the target person to the reference person is identified as the direction of empathy.
  • the presentation processing unit 105 generates a correlation diagram C4 in which an arrow La extends from the person identification image P of the target person toward the person identification image P of the reference person, and generates empathy presentation information indicating the correlation diagram C4.
  • the empathy analysis unit 101 may identify the direction of empathy based on the difference between the timing at which the reference person's biological information (for example, heart rate) changes and the timing at which the target person's biological information changes.
  • the timing at which the reference person's biological information for example, heart rate
  • the biometric information of the target person can be considered to have changed in a way that follows the internal state of the reference person. . Therefore, based on the timing difference, the empathy analysis unit 101 can determine that the direction of empathy is from the target person to the reference person.
  • the empathy analysis unit 101 may identify the direction of empathy based on the voice data, as in the example of FIG. 14A. For example, when the biometric information of the target person changes after the reference person speaks, it is considered that the biometric information of the target person has changed due to the reference person's speech. Therefore, based on the voice data, empathy analysis section 101 can determine that the direction of empathy is from the target person to the reference person.
  • the empathy level analysis unit 101 determines whether the derived empathy level indicates the degree of empathy of the reference person to the target person, or the degree of empathy of the target person to the reference person. is shown as the direction of sympathy. Then, the presentation processing unit 105 causes the display of the presentation unit 205 of the terminal device 200 to display the determined direction of empathy. As a result, since the direction of empathy is displayed, the user can grasp who is empathizing with whom, and can communicate more smoothly.
  • the biometric information of the plurality of persons is acquired.
  • the plurality of persons may be selected from all the participants after the biometric information of all the participants is acquired.
  • the presentation processing unit 105 is provided in the server 100, but may be provided in the terminal device 200.
  • each terminal device 200 may include not only the presentation processing unit 105 but also all or part of the components provided in the server 100 .
  • the server 100 may include all or part of the components included in the terminal device 200 .
  • non-online face-to-face communication may be performed.
  • each attendee who has gathered in the conference room operates the terminal device 200 while communicating face-to-face, thereby grasping the degree of empathy among the attendees. good too.
  • the empathy level is derived from the correlation coefficient
  • the empathy analysis unit 101 calculates the average value of the empathy degree derived from the correlation coefficient and the empathy degree derived from the stress factor, and converts the empathy degree information indicating the average value into the final You may output as empathy degree information.
  • the degree of empathy may be derived using biometric information other than heartbeat information. Other biometric information may be, as described above, data indicating facial expression, acceleration of human movement, facial temperature, or the amount of hand perspiration.
  • the heartbeat information in aspect 1 indicates heartbeat fluctuation
  • the heartbeat fluctuation may be LF/HF, which is considered to indicate the amount of sympathetic nerve activity.
  • the RRI change amount, CvRR change amount, SC change amount, and skin temperature change amount are expressed as ratios as shown in (Equation 1) to (Equation 4), but as differences may be represented.
  • each component may be configured by dedicated hardware or realized by executing a software program suitable for each component.
  • Each component may be implemented by a program execution unit such as a CPU (Central Processing Unit) or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • a program execution unit such as a CPU (Central Processing Unit) or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • the software that realizes the above-described embodiment and modifications 1 to 5, etc., executes each step of the flow charts shown in FIGS. This is the program to run.
  • the online communication in the above embodiment may be communication performed in a virtual space by a user operating an avatar. That is, the mode of presenting empathy levels in the above embodiment can also be applied to the mode of virtual space displayed by the presenting unit.
  • processing may be performed to change the direction of the avatar in the virtual space according to the degree of empathy. For example, when avatar A corresponding to person A, avatar B corresponding to person B, and avatar C corresponding to person C are displayed on the presentation unit as if they exist in a virtual space, the sympathy between person A and person B is determined to be greater than the degree of empathy between persons A and C and the degree of empathy between persons B and C, respectively, the presentation mode may be changed so that avatar A and avatar B face each other in the virtual space. .
  • the relationship between avatar A and person B in the virtual space Avatar A and Avatar B may be moved closer together so that the distance between
  • At least one of the above devices is a computer system specifically composed of a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), hard disk unit, display unit, keyboard, mouse, etc. be.
  • a computer program is stored in the RAM or hard disk unit.
  • At least one of the above devices achieves its functions by a microprocessor operating according to a computer program.
  • the computer program is constructed by combining a plurality of instruction codes indicating instructions to the computer in order to achieve a predetermined function.
  • a part or all of the components that constitute the at least one device may be composed of one system LSI (Large Scale Integration).
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • a part or all of the components constituting at least one of the above devices may be composed of an IC card or a single module that can be attached to and detached from the device.
  • An IC card or module is a computer system that consists of a microprocessor, ROM, RAM, and so on.
  • the IC card or module may include the super multifunctional LSI described above.
  • the IC card or module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may be tamper resistant.
  • the present disclosure may be the method shown above. Moreover, it may be a computer program for realizing these methods by a computer, or it may be a digital signal composed of a computer program.
  • the present disclosure includes computer-readable recording media for computer programs or digital signals, such as flexible discs, hard disks, CD (Compact Disc)-ROM, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray ( (registered trademark) Disc), semiconductor memory, etc. Alternatively, it may be a digital signal recorded on these recording media.
  • the present disclosure may transmit computer programs or digital signals via electric communication lines, wireless or wired communication lines, networks typified by the Internet, data broadcasting, and the like.
  • it may be implemented by another independent computer system by recording the program or digital signal on a recording medium and transferring it, or by transferring the program or digital signal via a network or the like.
  • the information processing method in the present disclosure is a method of the following aspects.
  • An information processing method of a first aspect is an information processing method executed by one or more computers, wherein biometric information of each of a plurality of persons is acquired, and based on the acquired biometric information, among the plurality of persons, For each of at least one target person of, deriving the degree of empathy between the reference person of the plurality of people and the target person, and receiving an input operation from the user who uses the one or more computers executing person selection processing for selecting the reference person and the at least one target person from a plurality of candidate persons, and empathizing with each of the at least one target person selected by the person selection processing; Output empathy level information indicating the degree of empathy.
  • An information processing method is the information processing method according to the first aspect, wherein in the person selection process, a first reference person and a second reference person, which are different from each other, are selected from the plurality of candidate persons as the reference person. and in deriving the empathy level, for each of the at least one target person, the empathy level between the first reference person and the target person is derived; Derive the degree of empathy with the target person.
  • An information processing method of a third aspect is the information processing method of the first aspect or the second aspect, wherein in the person selection process, an image for receiving an input operation by the user is displayed, and the image corresponding to the image is displayed. The reference person and the at least one target person are selected by receiving an input operation.
  • An information processing method of a fourth aspect is the information processing method of the second aspect or the third aspect, wherein in the person selection process, voice data representing the user's utterance is acquired, and the voice data is used as the input operation.
  • the receiving selects the reference person and the at least one target person.
  • An information processing method of a fifth aspect is the information processing method of the first aspect, wherein in generating the level of empathy information, attribute information indicating attributes of each of the at least one target person is acquired, and the attribute information is obtained. Based on, for each attribute, using the empathy level of each of one or more target persons belonging to the attribute, a representative empathy level that is the empathy level represented by the attribute is derived, and the representative empathy level for each attribute to generate the empathy level information indicating
  • An information processing method is the information processing method according to the first aspect, wherein the information processing method further includes the step of: controlling devices in the vicinity of the user who uses the one or more computers. is adjusted to the environment according to the empathy level of each of the at least one target person.
  • An information processing method is the information processing method according to the first aspect, wherein the derived empathy level is a degree of empathy of the reference person to the target person. or whether the target person indicates the degree of empathy with the reference person is determined as the direction of empathy, and the determined direction of empathy is displayed on the display.
  • An information processing method of an eighth aspect is an information processing method executed by one or more computers, wherein biometric information of each of a plurality of persons is acquired, and based on the acquired biometric information, among the plurality of persons for each of the at least one target person, deriving the degree of empathy between the reference person of the plurality of persons and the target person, and identifying the target person for each of the at least one target person A person identification image is displayed on the display, and the display mode of the person identification image is changed in accordance with the derived degree of empathy.
  • An information processing method is the information processing method according to the eighth aspect, wherein in displaying the person identification images, an arrangement of the person identification images of each of the at least one target person is displayed, and the arrangement of the person identification images is displayed. Then, the person identification images of the at least one target person are arranged in order of the degree of empathy of the at least one target person.
  • the information processing method of the tenth aspect is the information processing method of the ninth aspect, wherein in the array, the person identification image of the target person is arranged at the head side of the array as the degree of empathy of the target person increases. be.
  • the information processing method of the eleventh aspect is the information processing method of the eighth aspect, wherein in displaying the person identification image, the person identification image of each of the at least one target person is displayed as an empathy degree of the target person. display in the appropriate size.
  • the information processing method of the twelfth aspect is the information processing method of the eleventh aspect, wherein the person identification image is displayed larger as the degree of empathy of the target person identified by the person identification image increases.
  • the information processing method of the thirteenth aspect is the information processing method of the eighth aspect, wherein in displaying the person identification images, the person identification images of the at least one target person are displayed with the degree of empathy of the target person.
  • the display accuracy of the person identification image is the degree of similarity of the person identification image to the photographic image of the target person identified by the person identification image.
  • the information processing method of the fourteenth aspect is the information processing method of the thirteenth aspect, wherein the person identification image is displayed with the higher display accuracy as the degree of empathy of the target person identified by the person identification image increases. be.
  • the information processing method of the fifteenth aspect is the information processing method of the eighth aspect, wherein in displaying the person identification image, the person identification image of each of the at least one target person is displayed as an empathy degree of the target person. Display as if expressing the action according to.
  • the information processing method of the sixteenth aspect is the information processing method of the eighth aspect, wherein in deriving the empathy level, for each pair of two persons included in the plurality of persons, two persons included in the pair wherein one of the two persons is the reference person and the other is the target person, and in displaying the person identification image, the empathy is derived Only the person identification images of the pairs corresponding to the degree of empathy greater than the threshold are displayed.
  • the present disclosure can be used, for example, in a communication system used for communication between multiple people.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

本開示の情報処理方法は、1以上のコンピュータによって実行される情報処理方法であって、複数人物のそれぞれの生体情報を取得し、取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、生成された前記共感提示情報を出力する。

Description

情報処理方法、情報処理システムおよびプログラム
 本開示は、生体情報を用いた情報処理方法などに関する。
 従来、コミュニケーションのための情報処理方法として、ユーザをセンシングした結果に基づいて、例えば2人のユーザのうちの一方のユーザに提示される提示内容を異ならせる方法が提案されている(例えば、特許文献1参照)。この情報処理方法では、オンラインコミュニケーションを行う2人のユーザのうちの一方のユーザによる指差しジェスチャを認識した場合に、当該指差しジェスチャによって指示される個所を示す画像を他方のユーザ側で表示させる。
国際公開第2020/162154号
 しかしながら、上記特許文献1の情報処理方法では、コミュニケーションの観点において、改善の余地がある。
 そこで、本開示は、コミュニケーションをより円滑に行うことができる情報処理方法を提供する。
 本開示の一態様に係る情報処理方法は、1以上のコンピュータによって実行される情報処理方法であって、複数人物のそれぞれの生体情報を取得し、取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、生成された前記共感提示情報を出力する。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
 本開示の情報処理方法は、コミュニケーションをより円滑に行うことができる。
 本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
図1は、実施の形態における情報処理システムの構成を示す図である。 図2は、実施の形態におけるサーバおよび端末装置のそれぞれの構成の一例を示すブロック図である。 図3は、実施の形態における端末装置の提示部に表示される画像の一例を示す図である。 図4は、実施の形態における共感度の表示方法の一例を示す図である。 図5は、実施の形態における共感度の表示方法の他の例を示す図である。 図6は、実施の形態における共感度の表示方法の他の例を示す図である。 図7は、実施の形態における共感度の表示以外の提示方法の一例を説明するための図である。 図8は、実施の形態におけるサーバの処理動作の一例を示すフローチャートである。 図9は、実施の形態におけるサーバの人物選択処理の一例を示すフローチャートである。 図10は、実施の形態におけるサーバの一部の処理動作の一例を示すフローチャートである。 図11は、実施の形態におけるサーバの一部の処理動作の一例を示すフローチャートである。 図12は、実施の形態の態様1における共感度解析部の構成を示すブロック図である。 図13は、実施の形態の態様1における生体解析部で取得される2人の心拍情報の一例と、それらの心拍情報の相関を説明するための図である。 図14Aは、実施の形態の態様1における、オンラインコミュニケーションの参加者のそれぞれの心拍数の時間変化と、2人の参加者間の相関係数の時間変化とを示す図である。 図14Bは、実施の形態の態様1における、表情に基づく共感度の導出の一例を説明するための図である。 図15は、実施の形態の態様1における生体解析部および共感度解析部の処理動作を示すフローチャートである。 図16は、実施の形態の態様2における、実験によって得られたグラフであって、RRI変化量およびCvRR変化量とストレスの要因との関係を示す図である。 図17は、実施の形態の態様2における共感処理部によるストレスの要因の判定方法を説明するための図である。 図18は、実施の形態の態様2における、複数の人物のそれぞれのストレスの要因から共感度が導出される一例を示す図である。 図19は、実施の形態の態様3における生体解析部および共感度解析部の構成を示すブロック図である。 図20は、実施の形態の態様3における共感処理部によるストレスの要因の判定方法を説明するための図である。 図21は、実施の形態の態様3における生体解析部および共感度解析部の処理動作を示すフローチャートである。 図22は、実施の形態の変形例1における共感度の提示方法の一例を示す図である。 図23は、実施の形態の変形例1におけるサーバの一部の処理動作の一例を示すフローチャートである。 図24は、実施の形態の変形例2における共感度の提示方法の一例を示す図である。 図25は、実施の形態の変形例2における共感度の提示方法の他の例を示す図である。 図26は、実施の形態の変形例2におけるサーバの人物選択処理の一例を示すフローチャートである。 図27は、実施の形態の変形例2におけるサーバの一部の処理動作の一例を示すフローチャートである。 図28は、実施の形態の変形例2におけるサーバの一部の処理動作の一例を示すフローチャートである。 図29は、実施の形態の変形例2における共感度の提示方法の他の例を示す図である。 図30は、実施の形態の変形例3における共感度の提示方法の一例を示す図である。 図31は、実施の形態の変形例4における端末装置の提示部に表示される画像の一例を示す図である。 図32は、実施の形態の変形例5における端末装置の提示部に表示される画像の一例を示す図である。
 (本開示の基礎となった知見)
 新型コロナなどのウィルスまたは感染症のリスクを低減するために、全世界でオンラインコミュニケーションが急速に拡大している。在宅勤務が普及し、対面の会議はオンラインでの会議に変わり、これまで行っていた対面でのコミュニケーションが行われ難くなっている。そして、Zoom(登録商標)、Teams(登録商標)などを利用したオンラインコミュニケーションを行う機会が増大している。
 複数の人物が対面でのコミュニケーションを行うときには、各人物は、自らの五感でその場の様々な情報を得て、微妙なニュアンスを含めて相手の状態を把握することでコミュニケーションを行う。一方、複数の人物がオンラインコミュニケーションを行うときには、対面でのコミュニケーションに比べて、各人物が得ることができる相手の状態に関する情報量がかなり少なくなる。その結果、コミュニケーションを適切に行うことが難しく、各人物が発言の機会を逃したり、相手の発言の真意を理解することができないなど、様々なコミュニケーション上での不具合が生じる。また、各人物は、自分が発言しているときの相手の状態を適切に把握できないため、自分の発言に対して相手が共感しているかどうか分からない。その結果、各人物は互いに十分な議論ができないというコミュニケーションにおいて大きな課題がある。また、例えば大勢の聴講者に対して話者がメッセージを発信する場合などにおいても、聴講者が発信内容を理解しているかを話者が把握できないなどの不具合が生じ得る。
 そこで、本開示の一態様に係る情報処理方法は、1以上のコンピュータによって実行される情報処理方法であって、複数人物のそれぞれの生体情報を取得し、取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、生成された前記共感提示情報を出力する。
 これにより、例えば1以上のコンピュータを用いたオンラインコミュニケーションが行われているときに、そのオンラインコミュニケーションの複数の参加者のうち、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度が導出される。そして、例えば参加者によって設定された提示態様にしたがって、あるいは、予め定められた提示態様にしたがって、それらの共感度を示す共感提示情報が生成されて出力される。その結果、その共感提示情報に示される共感度を、その提示態様にしたがって、参加者などに提示することができる。したがって、参加者は、その共感度を容易に把握することができ、その共感度を参考にしてコミュニケーションを行うことができる。つまり、参加者は、他の参加者が別の参加者とどれだけ共感しているか、あるいは、他の参加者が自分自身とどれだけ共感しているかなどを把握することができる。その結果、参加者は、コミュニケーションをより円滑に行うことができる。また、大勢の聴講者に対して話者がメッセージを発信するような場合であっても、話者と各聴講者との間の共感度を提示することができる。その結果、話者は、聴講者が話者の発信内容を理解しているかを容易に把握することができ、その結果に基づいて発信内容を調整することができ、コミュニケーションをより円滑に行うことができる。
 また、前記情報処理方法では、さらに、前記1以上のコンピュータを利用するユーザから入力操作を受け付けることによって、複数の候補人物から、前記基準人物と、前記少なくとも1人の対象人物とを選択する人物選択処理を実行してもよい。なお、複数の候補人物は、例えばオンラインコミュニケーションに参加している全ての参加者である。また、基準人物と、少なくとも1人の対象人物とを選択することによって、上述の複数人物が選択される。
 これにより、ユーザは、基準人物と少なくとも1人の対象人物とを任意に選択することができる。つまり、ユーザが共感度の提示を希望する人物を、ユーザの状況に応じて任意に選択することができる。したがって、ユーザの利便性を向上することができる。
 また、前記人物選択処理では、前記複数の候補人物から互いに異なる第1基準人物および第2基準人物をそれぞれ前記基準人物として選択し、前記共感度の導出では、前記少なくとも1人の対象人物のそれぞれについて、前記第1基準人物と、当該対象人物との間の共感度を導出し、かつ、前記第2基準人物と、当該対象人物との間の共感度を導出してもよい。
 これにより、2人の基準人物が選択されるため、共感度の導出の対象範囲を広げることができる。その結果、複数人物間のさまざまな共感度を提示することができる。
 また、前記人物選択処理では、前記ユーザによる入力操作を受けるための画像を表示し、前記画像に応じた前記入力操作を受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択してもよい。
 これにより、基準人物および対象人物の選択のための視覚的な操作性を向上することができる。
 また、前記人物選択処理では、前記ユーザの発話を示す音声データを取得し、前記音声データを前記入力操作として受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択してもよい。
 これにより、ユーザは手を用いることなく基準人物および対象人物を簡単に選択することができる。
 また、前記共感提示情報の生成では、前記少なくとも1人の対象人物のそれぞれの属性を示す属性情報を取得し、前記属性情報に基づいて、属性ごとに、当該属性に属する1以上の対象人物のそれぞれの共感度を用いて、当該属性において代表される共感度である代表共感度を導出し、属性ごとの前記代表共感度を示す前記共感提示情報を生成してもよい。
 これにより、例えば、属性に男性と女性とがあれば、男性についての代表共感度と、女性についての代表共感度とを提示することができる。これにより、属性ごとの共感度と、それらの共感度の違いを分かり易く提示することができる。
 また、前記情報処理方法では、さらに、前記少なくとも1人の対象人物のそれぞれについて、当該対象人物を識別するための人物識別画像をディスプレイに表示させてもよい。
 これにより、対象人物が誰であるかを視覚的に分かり易くすることができる。
 また、前記人物識別画像の表示では、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像の配列が表示され、前記配列では、前記提示態様にしたがって、前記少なくとも1人の対象人物の共感度の順に、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像が並べられていてもよい。例えば、前記配列では、前記対象人物の共感度が大きいほど前記配列の先頭側に当該対象人物の前記人物識別画像が配置されていてもよい。
 これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像の並びから、それらの対象人物の共感度を容易に把握することができる。
 また、前記人物識別画像の表示では、前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じたサイズで表示させてもよい。例えば、前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど大きく表示されてもよい。
 これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像のそれぞれの大きさから、それらの対象人物の共感度を容易に把握することができる。
 また、前記人物識別画像の表示では、前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた表示精度で表示させ、前記人物識別画像の表示精度は、前記人物識別画像によって識別される前記対象人物の写真画像に前記人物識別画像が類似している度合いであってもよい。また、前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど高い前記表示精度で表示されてもよい。
 これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像のそれぞれの表示精度から、それらの対象人物の共感度を容易に把握することができる。
 また、前記人物識別画像の表示では、前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた動作を表現しているように表示させてもよい。
 これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像のそれぞれが表現している動作から、それらの対象人物の共感度を容易に把握することができる。
 また、前記共感度の導出では、前記複数人物に含まれる2人の人物からなるペアごとに、当該ペアに含まれる2人の人物の間の共感度を導出し、前記2人の人物のうちの一方は、前記基準人物であり、他方は前記対象人物であって、前記人物識別画像の表示では、前記提示態様にしたがって、前記共感度が導出された複数のペアのうち、閾値よりも大きい共感度に対応するペアの前記人物識別画像のみを表示させてもよい。
 これにより、ユーザは大きい共感度を有するペアを容易に把握することができる。
 また、前記情報処理方法では、さらに、前記提示態様にしたがって、前記1以上のコンピュータを利用するユーザの周辺にある機器に対して、前記ユーザの環境を、前記少なくとも1人の対象人物のそれぞれの共感度に応じた環境に調整させてもよい。
 これにより、ユーザのリアルな環境を共感度に応じて調整することができ、その共感度をより分かり易くユーザに提示することができる。
 また、前記情報処理方法では、さらに、導出される前記共感度が、前記基準人物が前記対象人物に共感している度合いを示しているか、前記対象人物が前記基準人物に共感している度合いを示しているかを、共感の方向として判定し、判定された前記共感の方向をディスプレイに表示させてもよい。
 これにより、共感の方向が表示されるため、ユーザは、誰が誰に対して共感しているかを把握することができ、コミュニケーションをさらに円滑に行うことができる。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
 (実施の形態)
 図1は、本実施の形態における情報処理システムの構成を示す図である。
 本実施の形態における情報処理システム1000は、例えばオンラインコミュニケーションを行うためのシステムであって、サーバ100と、複数の端末装置200とを備える。
 複数の端末装置200のそれぞれは、オンラインコミュニケーションを行うときにユーザに使用されるコンピュータである。このような端末装置200は、パーソナルコンピュータ、スマートフォン、タブレット端末などとして構成されている。つまり、ユーザは、端末装置200を用いてオンラインコミュニケーションに参加する。なお、そのユーザは、オンラインコミュニケーションに参加する参加者とも呼ばれる。
 サーバ100は、インターネットなどの通信ネットワークNtを介して複数の端末装置200に接続されているコンピュータである。
 このような情報処理システム1000では、オンラインコミュニケーションが行われるときには、各端末装置200は、ユーザの音声データを、通信ネットワークNtを介してサーバ100に送信する。サーバ100は、その音声データを端末装置200から受信すると、その受信された音声データを、通信ネットワークNtを介して他のユーザの端末装置200に送信する。
 なお、情報処理システム1000では、上述のように、音声データが送受信されるが、音声データと共にユーザの動画像データ(または、動画像とも呼ばれる)が送受信されてもよい。また、サーバ100と端末装置200との間の通信には、有線を介した通信が用いられてもよく、無線通信が用いられてもよい。
 図2は、本実施の形態におけるサーバ100および端末装置200のそれぞれの構成の一例を示すブロック図である。
 端末装置200は、センサ201、生体解析部202、操作部203、端末通信部204、提示部205、端末制御部206、および端末記憶部210を備える。
 センサ201は、例えば、端末装置200のユーザの顔を撮影するカメラを備え、撮影によって得られる撮像画像をセンシング情報として出力する。なお、この撮像画像は動画像である。さらに、センサ201は、例えば、そのユーザの音声を取得し、その音声を電気信号である音声データに変換して出力するマイクを備える。センシング情報には、撮像画像と音声データとが含まれていてもよい。
 生体解析部202は、センサ201からそのセンシング情報を取得し、そのセンシング情報を解析することによって、ユーザの生体に関する情報である生体情報を生成する。そして、生体解析部202は、その生体情報を出力する。生体情報は、例えば撮像画像から得られるユーザの心拍に関する情報(すなわち心拍情報)であってもよい。具体的には、生体情報は、心拍数、心拍揺らぎなどのパラメータを時系列に沿って示す情報であってもよい。また、生体情報は、そのユーザの表情を時系列に沿って示す情報であってもよい。例えば、表情は、喜怒哀楽などによってラベリングあるいは表現される。
 なお、本実施の形態では、生体解析部202は、端末装置200に備えられているが、サーバ100に備えられていてもよい。この場合、センサ201から出力されるセンシング情報は、端末装置200からサーバ100に送信される。
 提示部205は、例えば、画像を表示するディスプレイと、音声を出力するスピーカとを備える。なお、ディスプレイは、例えば、液晶ディスプレイ、プラズマディスプレイ、有機EL(Electro-Luminescence)ディスプレイなどであるが、これらに限定されない。また、本実施の形態では、提示部205は、端末装置200に備えられているが、端末装置200に接続されるデバイスであってもよい。
 操作部203は、ユーザによる入力操作を受け付け、その入力操作に応じた信号を端末制御部206に出力する。このような操作部203は、例えばキーボード、タッチセンサ、タッチパッド、マウス、マイクなどとして構成されている。また、操作部203は、提示部205と共にタッチパネルとして構成されていてもよい。つまり、操作部203は、ディスプレイに配設され、そのディスプレイに表示されるアイコンなどの画像にユーザが触れることによって、その画像に対応する入力操作を受け付ける。
 端末通信部204は、サーバ100と通信ネットワークNtを介して通信する。この通信は、有線を介した通信であっても、無線通信であってもよい。
 端末記憶部210は、記録媒体であって、例えば、ユーザの識別情報であるユーザID、および後述の人物識別画像などを格納している。このような記録媒体は、ハードディスクドライブ、RAM(Random Access Memory)、ROM(Read Only Memory)、または半導体メモリなどである。また、記録媒体は、揮発性であっても不揮発性であってもよい。
 端末制御部206は、センサ201、生体解析部202、端末通信部204、提示部205、および端末記憶部210を制御する。
 例えば、端末制御部206は、センサ201から出力される音声データを、端末通信部204からサーバ100に送信させる。また、端末制御部206は、生体解析部202から生体情報が出力されるたびに、その生体情報を端末通信部204から、通信ネットワークNtを介してサーバ100へ送信させる。なお、端末制御部206は、その端末制御部206を備える端末装置200のユーザが後述の基準人物または対象人物として選択された場合に、その生体情報を端末通信部204からサーバ100へ送信させてもよい。このような音声データおよび生体情報の送信では、端末制御部206は、端末記憶部210に格納されているユーザIDをその音声データおよび生体情報に関連付け、ユーザIDに関連付けられた音声データおよび生体情報を端末通信部204から送信させる。
 また、端末制御部206は、サーバ100から通信ネットワークNtを介して送信された共感提示情報を端末通信部204が受信するたびに、その共感提示情報によって示される共感度を、その共感度の提示態様にしたがって提示部205に提示させる。つまり、提示部205は、端末制御部206による制御に応じて、その共感度提示情報によって示される共感度を、その共感度の提示態様にしたがってユーザに提示する。
 サーバ100は、共感度解析部101、サーバ通信部104、提示処理部105、サーバ制御部106、およびサーバ記憶部110を備える。
 サーバ通信部104は、端末装置200と通信ネットワークNtを介して通信する。この通信は、有線を介した通信であっても、無線通信であってもよい。なお、このサーバ通信部104は、複数人物のそれぞれの生体情報を取得する取得部の一例である。つまり、サーバ通信部104は、複数の端末装置200のそれぞれから通信ネットワークNtを介して送信される生体情報を受信する。なお、この生体情報にはユーザIDが関連付けられている。したがって、サーバ100は、生体情報が何れの参加者の情報であるかを特定することができる。また、サーバ通信部104は、提示処理部105によって生成された共感提示情報を、通信ネットワークNtを介して端末装置200に送信する。
 サーバ記憶部110は、記録媒体であって、例えば、複数の端末装置200のそれぞれのユーザのユーザIDと、そのユーザIDに関連付けられた人物識別画像とを格納している。このような記録媒体は、上述と同様、ハードディスクドライブ、RAM、ROM、または半導体メモリなどである。また、記録媒体は、揮発性であっても不揮発性であってもよい。
 共感度解析部101は、複数の端末装置200のそれぞれのユーザの生体情報に基づいて、基準人物と、対象人物との間の共感度を導出する。そして、共感度解析部101は、その共感度を示す共感度情報を生成して出力する。対象人物は2人以上であってもよい。なお、基準人物は、オンラインコミュニケーションの全ての参加者のうちの人物であって、対象人物は、その全ての参加者のうちの基準人物以外の人物である。つまり、共感度解析部101は、サーバ通信部104によって取得されたそれらの生体情報に基づいて、複数人物のうちの少なくとも1人の対象人物のそれぞれについて、その複数人物のうちの基準人物と、その対象人物との間における共感度を導出する。なお、複数人物は、全ての参加者のうちの一部または全てであって、その基準人物と、少なくとも1人の対象人物とからなる。共感度は、人物と人物との間の共感の度合いである。その共感の度合いが強いほど、共感度は例えば大きい数値を示し、その共感の度合いが弱いほど、共感度は例えば小さい数値を示す。また、共感とは、例えば、人物と人物とがそれぞれの感情状態、精神状態、心身状態などを共有している状態であってもよい。または、共感とは、人物と人物とが、他者の発言、行動などに対して賛同している状態であってもよい。
 具体的には、共感度解析部101は、例えば2人の参加者の生体情報が同じタイミングに同じ表情(例えば、喜)を示している場合、その2人の参加者間の共感度として大きい共感度を導出する。なお、心拍数または心拍揺らぎなどの心拍に関する情報は、人物の内面の状態を反映しており、共感度の導出に適している。表情は、人物の内面を反映していることもあるが、作り笑顔のように外面的な情報も含む。そのため、共感度解析部101は、心拍に関する情報と表情の両方を用いて、共感度を導出してもよい。この場合、生体情報は、例えば心拍数または心拍揺らぎと、表情とを時系列に沿って示す。例えば、共感度解析部101は、心拍に関する情報に基づいて導出される第1共感度と、表情に基づいて導出される第2共感度との線形結合を行うことによって、最終的な共感度を導出してもよい。このとき、第1共感度と第2共感度とが重み付け加算される。そして、心拍に関する情報が精度よく取得される場合には、共感度解析部101は、第1共感度の重みを大きくし、心拍に関する情報が精度よく取得されない場合には、共感度解析部101は、第2共感度の重みを大きくしてもよい。
 なお、端末装置200から送信される生体情報には、ユーザIDが関連付けられている。したがって、共感度解析部101は、基準人物のユーザIDおよび対象人物のユーザIDを用いることによって、基準人物の生体情報と、対象人物の生体情報とを特定することができる。また、基準人物と対象人物との間の共感度は、その対象人物の共感度であるとも言える。このような本実施の形態における共感度解析部101の詳細な処理内容については、本実施の形態の最後で説明する。
 提示処理部105は、共感度解析部101から出力される共感度情報を取得し、その共感度情報に基づいて共感提示情報を生成する。つまり、提示処理部105は、導出された少なくとも1人の対象人物のそれぞれの共感度を、それらの共感度の提示態様にしたがって示す共感提示情報を生成する。そして、提示処理部105は、生成されたその共感提示情報を出力する。なお、本実施の形態では、提示処理部105は、サーバ100に備えられているが、端末装置200に備えられていてもよい。この場合、共感度解析部101によって生成された共感度情報は、サーバ100から端末装置200に送信される。
 サーバ制御部106は、共感度解析部101、サーバ通信部104、提示処理部105、およびサーバ記憶部110を制御する。例えば、サーバ制御部106は、サーバ通信部104によって生体情報が受信されるたびに、その生体情報に基づく処理を共感度解析部101に実行させる。また、サーバ制御部106は、提示処理部105によって共感提示情報が生成されて出力されるたびに、その共感提示情報の端末装置200への送信をサーバ通信部104に実行させる。さらに、サーバ制御部106は、サーバ通信部104が端末装置200から音声データを受信すると、その音声データをサーバ通信部104から他の端末装置200に送信させる。端末装置200の提示部205が有するスピーカは、その音声データによって示される音声を出力する。このような音声データの送受信によって、参加者間のコミュニケーションが行われる。
 図3は、端末装置200の提示部205に表示される画像の一例を示す図である。
 サーバ100のサーバ制御部106は、オンラインコミュニケーションが行われるときには、まず、各端末装置200に対してユーザIDと人物識別画像Pとをサーバ通信部104を介して要求し、それらを関連付けてサーバ記憶部110に格納する。そして、サーバ制御部106は、それらの人物識別画像Pを含む設定画像Iaを生成して、その設定画像Iaをサーバ通信部104から端末装置200に送信させる。
 端末装置200の端末制御部206は、端末通信部204がその設定画像Iaを受信すると、例えば図3に示す設定画像Iaを提示部205に表示させる。設定画像Iaは、例えば、複数の人物識別画像P、基準人物枠W1、対象人物枠W2、および表示方法選択ボタンB1を含む。
 複数の人物識別画像Pのそれぞれは、オンラインコミュニケーションに参加している端末装置200のユーザ(すなわち参加者)を識別するための画像である。この人物識別画像Pは、具体的には、そのユーザである参加者のアバターである。アバターは、そのユーザの分身として表示されるキャラクターであって、例えばユーザに似ている図形的または絵画的な人物画像であってもよい。また、アバターは、動物を表す画像であってもよく、そのユーザによって設定される物体、風景などの画像であってもよい。また、人物識別画像Pは、ユーザを識別するための画像であればよく、そのユーザの名前、ニックネーム、ユーザIDなどが表記された画像であってもよく、ユーザの静止画像(例えば写真画像)、動画像などであってもよい。
 基準人物枠W1、対象人物枠W2、および表示方法選択ボタンB1は、オンラインコミュニケーションの参加者間の共感度を表示するためのGUI(Graphical User Interface)に用いられるグラフィック画像である。
 基準人物枠W1は、ユーザが複数の参加者から基準人物を選択するための領域である。例えば、ユーザは、操作部203を操作することによって、設定画像Iaに含まれている複数の人物識別画像Pから、ユーザが望む基準人物に対応する人物識別画像Pを選択し、その人物識別画像Pを基準人物枠W1に配置する。このような人物識別画像Pの選択および配置は、例えばドラッグ・アンド・ドロップによって行われる。また、このような人物識別画像Pの選択および配置によって、端末装置200において基準人物が選択される。端末制御部206は、その人物識別画像Pの選択および配置が行われると、その選択された人物識別画像Pに対応する参加者が基準人物であることを示す基準人物情報を、端末通信部204からサーバ100に送信させる。この基準人物情報は、基準人物のユーザIDであってもよい。サーバ100のサーバ制御部106は、サーバ通信部104がその基準人物情報を受信すると、その基準人物情報によって示される参加者を基準人物として選択する。
 対象人物枠W2は、ユーザが複数の参加者から対象人物を選択するための領域である。例えば、ユーザは、操作部203を操作することによって、設定画像Iaに含まれている複数の人物識別画像Pから、ユーザが望む対象人物に対応する人物識別画像Pを選択し、その人物識別画像Pを対象人物枠W2に配置する。このような人物識別画像Pの選択および配置は、例えばドラッグ・アンド・ドロップによって行われる。また、このような人物識別画像Pの選択および配置によって、端末装置200において対象人物が選択される。また、ユーザが複数の対象人物の選択を望む場合には、ユーザは、上述のドラッグ・アンド・ドロップを繰り返し実行する。これにより、端末装置200において複数の対象人物が選択される。端末制御部206は、その人物識別画像Pの選択および配置が行われると、その選択された人物識別画像Pに対応する参加者が対象人物であることを示す対象人物情報を、端末通信部204からサーバ100に送信させる。この対象人物情報は、対象人物のユーザIDであってもよい。サーバ100のサーバ制御部106は、サーバ通信部104がその対象人物情報を受信すると、その対象人物情報によって示される参加者を対象人物として選択する。なお、本実施の形態では、複数の対象人物が選択されるが、選択される対象人物の数は1人であってもよい。
 このように、本実施の形態では、端末装置200は、その端末装置200を利用するユーザから入力操作を受け付けることによって、全ての参加者である複数の候補人物から、基準人物と、少なくとも1人の対象人物とを選択する人物選択処理を実行する。サーバ100についても、端末装置200と同様のことが言える。つまり、サーバ100は、上述の基準人物情報および対象人物情報を受信することによって、端末装置200を介してサーバ100を利用するユーザから入力操作を受け付ける。その入力操作の受け付けによって、サーバ100は、複数の候補人物から、基準人物と、少なくとも1人の対象人物とを選択する人物選択処理を実行する。これにより、ユーザは、基準人物と少なくとも1人の対象人物とを任意に選択することができる。つまり、ユーザが共感度の提示を希望する人物を、ユーザの状況に応じて任意に選択することができる。したがって、ユーザの利便性を向上することができる。
 また、その人物選択処理では、端末装置200は、サーバ100から送信された設定画像Iaを表示することによって、ユーザによる入力操作を受けるための例えば基準人物枠W1および対象人物枠W2などのグラフィック画像を表示し、それらのグラフィック画像に応じた入力操作を受け付けることによって、基準人物と少なくとも1人の対象人物とを選択する。これにより、基準人物および対象人物の選択のための視覚的な操作性を向上することができる。
 なお、本実施の形態では、GUIを用いた人物選択処理が実行されるが、音声を用いた人物選択処理が実行されてもよい。例えば、端末装置200のセンサ201に備えられているマイクは、ユーザの音声を取得し、その音声を電気信号である音声データに変換し、ユーザの入力操作を示す信号としてその音声データを出力する。具体的には、表示されている各人物識別画像Pに対して、その人物識別画像Pによって識別される人物の名前、ニックネーム、番号、ユーザIDなどが付加されて表示されている。この場合、ユーザは、音声を発して、その名前などを読み上げる。この読み上げによって、上述の音声データがマイクから出力される。端末装置200の端末制御部206は、そのユーザによる読み上げによって生成されて出力された音声データを取得し、その音声データを入力操作として受け付けることによって、基準人物と少なくとも1人の対象人物とを選択する。
 そして、端末制御部206は、その選択された基準人物を示す基準人物情報と、選択された少なくとも1人の対象人物を示す対象人物情報とを端末通信部204からサーバ100に送信させる。あるいは、端末制御部206は、その入力操作を示す音声データを端末通信部204からサーバ100に送信させる。この場合、サーバ100のサーバ制御部106は、上述の端末装置200と同様、端末装置200を介してサーバ100を利用するユーザによる発話(すなわち上述の読み上げ)によって生成される音声データを取得し、その音声データを入力操作として受け付けることによって、基準人物と少なくとも1人の対象人物とを選択する。これにより、ユーザは手を用いることなく基準人物および対象人物を簡単に選択することができる。
 表示方法選択ボタンB1は、基準人物と複数の対象人物のそれぞれとの間の共感度を表示する表示方法を選択するためのボタンである。例えば、ユーザが操作部203を操作することによって表示方法選択ボタンB1を選択すると、端末制御部206は、プルダウンメニューMを提示部205に表示させる。プルダウンメニューMには、「並び」、「大きさ」、「リアル」、「動作」などの表示方法の名称が含まれている。「並び」は、複数の対象人物の共感度の順に、それらの対象人物の人物識別画像Pを並べて表示する表示方法である。「大きさ」は、複数の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じたサイズに調整して表示する表示方法である。「リアル」は、複数の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じた表示精度に加工して表示する表示方法である。その表示精度は、人物識別画像Pが対象人物の写真画像に類似する度合いを示す。つまり、この表示方法では、対象人物の共感度が大きいほど、写真画像によく類似している人物識別画像Pが表示される。「動作」は、複数の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じた動作を示す画像に加工、変形または差替えて表示する表示方法である。
 ユーザが操作部203を操作することによってプルダウンメニューMから1つの表示方法を選択すると、端末制御部206は、その選択された表示方法を示す表示方法情報を、端末通信部204からサーバ100に送信させる。
 サーバ100のサーバ通信部104は、基準人物情報、対象人物情報、および表示方法情報を端末装置200から受信する。また、サーバ制御部106は、サーバ通信部104がそれらの情報を受信すると、基準人物情報および対象人物情報によって示される基準人物およびの対象人物のそれぞれの端末装置200に対して生体情報を要求する。この生体情報の要求は、サーバ通信部104を介して行われる。そして、サーバ通信部104は、それらの端末装置200からの生体情報の周期的な受信を開始する。次に、共感度解析部101は、基準人物情報によって示される基準人物と、対象人物情報によって示される対象人物との間の共感度を、それらの人物の端末装置200から送信されてサーバ通信部104によって直近に受信された生体情報を用いて導出する。対象人物情報に複数の対象人物が示されていれば、共感度解析部101は、複数の対象人物のそれぞれと基準人物との間の共感度を導出する。そして、提示処理部105は、それらの対象人物の共感度を、それらの共感度の提示態様にしたがって示す共感提示情報を生成する。提示態様は、本実施の形態では、表示方法情報によって示される表示方法である。
 図4は、共感度の表示方法の一例を示す図である。
 端末装置200の端末制御部206は、端末通信部204がサーバ100から共感提示情報を受信すると、その共感提示情報に基づいて例えば図4に示す表示画像Ibを提示部205に表示させる。図4に示す例では、共感提示情報は、設定画像Iaで選択された表示方法「並び」にしたがって生成されている。
 この場合、表示画像Ibの基準人物枠W1には、設定画像Iaで選択された基準人物の人物識別画像Pが表示される。また、対象人物枠W2には、設定画像Iaで選択された複数の対象人物のそれぞれの人物識別画像Pが、それらの対象人物の共感度の順に配列された状態で表示される。また、対象人物枠W2に配置される人物識別画像Pの周辺には、その人物識別画像Pに対応する対象人物の共感度が数値として表示されてもよい。例えば、人物識別画像Pの左上に共感度が数値として表示されてもよい。具体的な一例では、共感度は、0~100までの数値として表示される。
 サーバ100は、端末装置200から生体情報が周期的に送信されるため、直近の生体情報に基づいて共感提示情報を生成して端末装置200に送信する処理を繰り返し実行する。その結果、端末制御部206は、最新の共感提示情報が端末通信部204に受信されるたびに、対象人物枠W2に表示される複数の人物識別画像Pの配列を更新してもよい。つまり、その配列がリアルタイムに更新される。これにより、ユーザは、任意のタイミングで基準人物に共感している対象人物の共感度を一目で把握することができる。
 近年では、様々な状況下において、人々がそれぞれの端末装置を用いてオンラインコミュニケーションを行う機会が増加しつつある。このとき、オンラインコミュニケーションの参加者である端末装置のユーザは、それらの人々のうちの一部の人物間の共感度を知りたいという要望がある。また、ユーザが知りたい共感度の対象とされる一部の人物は、そのユーザの状況に応じて異なり得る。例えば、ユーザは、自身と他者との間の共感度を知りたいという場合がある。あるいは、ユーザは、他者と別の他者との間の共感度を知りたいという場合もある。そのため、図3および図4に示すように、共感度の表示の対象とされる基準人物および対象人物をユーザによって設定可能にするという思想に、本発明者らは想到した。このような設定は、図3に示すGUIを用いることによって円滑に行うことが可能である。
 また、本実施の形態では、複数の対象人物を選択することができる。これにより、ユーザは、知りたい共感度の対象とされる基準人物と複数の対象人物とを、自身の状況に応じて選択することができ、その共感度を認識することができる。例えば、ユーザは、基準人物として人物Aを選択し、それぞれ対象人物として人物Bおよび人物Cを選択することができる。この場合、そのユーザの端末装置200の提示部205には、人物Aと人物Bとの間の共感度と、人物Aと人物Cとの間の共感度とが表示される。なお、人物Aと人物Bとの間の共感度は、人物Aを基準とする人物Bの共感度であると言える。同様に、人物Aと人物Cとの間の共感度は、人物Aを基準とする人物Cの共感度であると言える。つまり、それぞれ対象人物である人物Bおよび人物Cの共感度が提示部205に表示される。図4の例では、複数の対象人物の共感度が、それらの対象人物の人物識別画像Pの並びによって表示されている。
 なお、ユーザは、上述のドラッグ・アンド・ドロップなどの操作を行うことによって、オンラインコミュニケーションに参加している全ての人物の人物識別画像Pを選択して対象人物枠W2に配置してもよい。また、その全ての人物の人物識別画像Pを一括して選択して対象人物枠W2に配置するためのボタンなどが、GUIに用いられるグラフィック画像として設定画像Iaに表示されていてもよい。
 このように、本実施の形態におけるサーバ100では、サーバ通信部104が、複数人物のそれぞれの生体情報を取得する。そして、共感度解析部101が、取得された生体情報に基づいて、その複数人物のうちの少なくとも1人の対象人物のそれぞれについて、その複数人物のうちの基準人物と、当該対象人物との間における共感度を導出する。そして、提示処理部105が、導出された少なくとも1人の対象人物のそれぞれの共感度を、その共感度の提示態様にしたがって示す共感提示情報を生成して出力する。このように出力された共感提示情報は、サーバ通信部104によって端末装置200に送信される。
 これにより、オンラインコミュニケーションにおいて、それぞれ対象人物として選択された少なくとも1人の参加者の共感度を、例えばユーザによって選択される表示方法(すなわち提示態様)にしたがって表示することができる。したがって、ユーザは、その共感度を容易に把握することができ、1人の参加者としてその共感度を参考にしてコミュニケーションを行うことができる。つまり、参加者は、他の参加者が別の参加者とどれだけ共感しているか、あるいは、他の参加者が自分自身とどれだけ共感しているかなどを把握することができる。その結果、参加者は、コミュニケーションをより円滑に行うことができる。また、大勢の聴講者に対して話者がメッセージを発信するような場合であっても、話者と各聴講者との間の共感度を提示することができる。その結果、話者は、聴講者が話者の発信内容を理解しているかを容易に把握することができ、その結果に基づいて発信内容を調整することができ、コミュニケーションをより円滑に行うことができる。
 なお、本実施の形態では、提示処理部105がサーバ100に備えられているが、提示処理部105が端末装置200に備えられている場合には、端末装置200が上述の処理を行っていると言える。つまり、本実施の形態における端末装置200では、生体解析部202が、複数人物のそれぞれの生体情報を取得する。そして、端末通信部204が、その生体情報をサーバ100に送信して、サーバ100の共感度解析部101に共感度を導出させ、その導出された共感度をサーバ100から送信させる。このように、端末装置200は、取得された生体情報に基づいて、その複数人物のうちの少なくとも1人の対象人物のそれぞれについて、複数人物のうちの基準人物と、当該対象人物との間における共感度を導出する処理を、サーバ100を用いることによって実行する。そして、提示処理部105が、導出された少なくとも1人の対象人物のそれぞれの共感度を、その共感度の提示態様にしたがって示す共感提示情報を生成し、生成されたその共感提示情報を出力する。
 また、本実施の形態では、サーバ100は、少なくとも1人の対象人物のそれぞれについて、当該対象人物を識別するための人物識別画像Pを提示部205のディスプレイに表示させる。これにより、対象人物が誰であるかを視覚的に分かり易くすることができる。
 また、その人物識別画像Pの表示では、少なくとも1人の対象人物のそれぞれの人物識別画像Pの配列が表示される。そして、その配列では、表示方法「並び」などの提示態様にしたがって、少なくとも1人の対象人物の共感度の順に、少なくとも1人の対象人物のそれぞれの人物識別画像Pが並べられている。具体的には、その配列では、対象人物の共感度が大きいほど配列の先頭側に当該対象人物の人物識別画像Pが配置される。これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像Pの並びから、それらの対象人物の共感度を容易に把握することができる。
 図5は、共感度の表示方法の他の例を示す図である。
 図5に示す例では、共感提示情報は、設定画像Iaで選択された表示方法「大きさ」にしたがって生成されている。端末装置200の端末制御部206は、端末通信部204がサーバ100からその共感提示情報を受信すると、その共感提示情報に基づいて例えば図5に示す表示画像Ibを提示部205に表示させる。
 図5に示す表示画像Ibでは、設定画像Iaで選択された複数の対象人物のそれぞれの人物識別画像Pが表示される。また、その人物識別画像Pは、その人物識別画像Pに対応する対象人物の共感度に応じた大きさで表示される。
 このように、本実施の形態における人物識別画像Pの表示では、サーバ100は、表示方法「大きさ」などの提示態様にしたがって、少なくとも1人の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じたサイズで端末装置200の提示部205に表示させる。具体的には、人物識別画像Pは、その人物識別画像Pによって識別される対象人物の共感度が大きいほど大きく表示される。このような場合であっても、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像のそれぞれの大きさから、それらの対象人物の共感度を容易に把握することができる。
 ここで、設定画像Iaで選択された表示方法が「リアル」である場合、サーバ100の提示処理部105は、複数の対象人物のそれぞれの人物識別画像Pの表示精度を、その対象人物の共感度に応じた表示精度に変換する。具体的には、提示処理部105は、対象人物の共感度が大きいほど、人物識別画像Pの表示精度を高い表示精度に変換する。つまり、提示処理部105は、サーバ記憶部110から対象人物の写真画像を取得し、その対象人物の人物識別画像Pの表示精度が、共感度に応じた表示精度に一致するように、その人物識別画像Pを写真画像により類似させる処理、または、より非類似にさせる処理を行う。
 なお、人物識別画像Pを写真画像により類似させる処理は、人物識別画像Pを写真画像に近いづける処理とも呼ばれる。また、上述の表示精度は、リアル度合いとも呼ばれる。対象人物の人物識別画像Pの表示精度が高いほど、すなわちリアル度合いが大きいほど、その人物識別画像Pは、その対象人物の写真画像によく類似している。また、複数の対象人物のそれぞれの写真画像は、その対象人物のユーザIDに関連付けられてサーバ記憶部110に格納されている。
 そして、サーバ制御部106は、複数の対象人物のそれぞれの変換された表示精度の人物識別画像Pを示す共感提示情報を、サーバ通信部104から端末装置200に送信させる。端末装置200の端末制御部206は、端末通信部204がその共感提示情報を受信すると、その共感提示情報にしたがって、複数の対象人物のそれぞれの人物識別画像Pを含む表示画像Ibを提示部205に表示させる。
 ユーザは、提示部205に表示される人物識別画像Pの表示精度(すなわちリアル度合い)から、その人物識別画像Pの対象人物の共感度を容易に把握することができる。つまり、ユーザは、人物識別画像Pが対象人物の写真画像に類似していれば、つまり、人物識別画像Pが対象人物の写真画像に近ければ、その対象人物の共感度が大きいことを容易に把握することができる。
 なお、上述の表示精度は、対象人物の写真画像を加工することによって人物識別画像Pが生成される場合には、写真画像に対する加工処理の度合いが小さいほど高く、その加工処理の度合いが大きいほど低い。このような場合には、対象人物の人物識別画像Pの表示精度が高いほど、すなわち加工処理の度合いが小さいほど、その人物識別画像Pは、その対象人物の写真画像によく類似している。例えば、提示処理部105は、サーバ記憶部110に格納されている対象人物の顔の写真画像をアプリケーションプログラムによって加工することによって、その対象人物の人物識別画像Pを生成する。そして、提示処理部105は、共感度解析部101によってその対象人物の共感度が導出されるたびに、その共感度に応じた加工処理の度合いだけ写真画像を加工し直す。例えば、提示処理部105は、共感度が大きいほど、小さい加工処理の度合いだけ写真画像を加工する。これにより人物識別画像Pの表示精度が変換される。また、サーバ記憶部110には、複数の対象人物のそれぞれについて、表示精度が互いに異なる複数枚の人物識別画像Pがその対象人物のユーザIDに関連付けて格納されていてもよい。この場合には、提示処理部105は、対象人物の人物識別画像Pを、共感度に応じた表示精度の人物識別画像Pに差し替えることによって、その表示精度を変換する。
 このように、本実施の形態における人物識別画像Pの表示では、サーバ100は、表示方法「リアル」などの提示態様にしたがって、少なくとも1人の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じた表示精度で端末装置200の提示部205に表示させる。その人物識別画像Pの表示精度は、その人物識別画像Pによって識別される対象人物の写真画像にその人物識別画像Pが類似している度合いである。具体的には、人物識別画像Pは、その人物識別画像Pによって識別される対象人物の共感度が大きいほど高い表示精度で表示される。これにより、基準人物と、少なくとも1人の対象人物のそれぞれとの間の共感度を、その対象人物の共感度として、分かり易く表示することができる。つまり、ユーザは、表示されている1以上の人物識別画像Pのそれぞれの表示精度から、それらの対象人物の共感度を容易に把握することができる。
 図6は、共感度の表示方法の他の例を示す図である。
 図6に示す例では、共感提示情報は、設定画像Iaで選択された表示方法「動作」にしたがって生成されている。端末装置200の端末制御部206は、端末通信部204がサーバ100からその共感提示情報を受信すると、その共感提示情報に基づいて例えば図6に示す人物識別画像Pを提示部205に表示させる。具体的には、図6の(a)に示すように、対象人物の共感度が大きいほど、大きく笑っている動作を表現している人物識別画像Pが表示される。または、対象人物の共感度が大きいほど、大きく頷く動作を表現している人物識別画像Pが表示されてもよい。あるいは、図6の(b)に示すように、対象人物の共感度が小さいほど、激しく泣いている動作を表現している人物識別画像Pが表示される。また、対象人物の共感度に応じた種類の動作を表現している人物識別画像Pが表示されてもよい。
 この動作を表現している人物識別画像Pは、サーバ100の提示処理部105によって生成される。例えば、サーバ100のサーバ記憶部110には、複数の対象人物のそれぞれについて、動作が互いに異なる複数枚の人物識別画像Pがその対象人物のユーザIDに関連付けて格納されていてもよい。この場合には、提示処理部105は、対象人物の人物識別画像Pを、共感度に応じた動作を表現している人物識別画像Pに差し替える。また、動作を表現している人物識別画像Pは、静止画像であっても、アニメーションであってもよい。
 このように、本実施の形態における人物識別画像Pの表示では、サーバ100は、表示方法「動作」などの提示態様にしたがって、少なくとも1人の対象人物のそれぞれの人物識別画像Pを、その対象人物の共感度に応じた動作を表現しているように端末装置200の提示部205に表示させる。
 ここで、上述の例では、提示部205は、端末装置200に備えられているディスプレイおよびスピーカからなるが、端末装置200と通信可能に接続された機器を備えていてもよい。
 図7は、共感度の表示以外の提示方法の一例を説明するための図である。
 提示部205は、例えば照明機器205aおよびスマートスピーカ205bの少なくとも一方を備えていてもよい。照明機器205aは、ユーザによって操作される端末装置200が設置されている部屋の天井に取り付けられ、その部屋を照らす。スマートスピーカ205bは、その部屋に配設されている。端末装置200の端末通信部204は、照明機器205aおよびスマートスピーカ205bのそれぞれと無線通信する。この無線通信は、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、または特定小電力無線で行われてもよく、他の方式の通信であってもよい。また、無線通信の代わりに、有線を介した通信が行われてもよい。
 端末装置200の端末制御部206は、端末通信部204がサーバ100から共感提示情報を受信すると、その共感提示情報によって示される共感度に応じた明るさを指示する調光信号を、端末通信部204から照明機器205aに送信させる。なお、共感提示情報によって示される共感度は、複数の対象人物が選択されている場合には、その複数の対象人物の共感度の平均値であってもよい。照明機器205aは、その調光信号を受信すると、その調光信号によって示される明るさで発光する。あるいは、端末装置200の端末制御部206は、端末通信部204がサーバ100から共感提示情報を受信すると、その共感提示情報によって示される共感度に応じた音響を指示する音響信号を、端末通信部204からスマートスピーカ205bに送信させる。スマートスピーカ205bは、その音響信号を受信すると、その音響信号によって示される音響を出力する。音響信号は、音量を指示する信号であってもよい。この場合、スマートスピーカ205bは、その音響信号を受信すると、その音響信号によって示される音量で音を出力する。
 したがって、図7の例では、基準人物に対する対象人物の共感度を、例えば基準人物である端末装置200のユーザのリアルな環境に介入させることによって、その共感度をユーザに効果的に知らせることができる。つまり、共感度に応じてリアルな環境が制御される。その結果、基準人物に対して共感度をより簡便にフィードバックすることができる。
 このように、本実施の形態では、サーバ100は、共感度のリアルな環境への介入といった提示態様にしたがって、ユーザの周辺にある照明機器205a、スマートスピーカ205bなどの機器に対して、そのユーザの環境を、少なくとも1人の対象人物のそれぞれの共感度に応じた環境に調整させる。これにより、ユーザのリアルな環境を共感度に応じて調整することができ、その共感度をより分かり易くユーザに提示することができる。
 なお、環境を調整する機器は、照明機器205a、スマートスピーカ205bなどの音響機器に限らず、スマートフォン、マウスなどであってもよく、その他の機器であってもよい。例えば、スマートフォンまたはマウスは、共感提示情報によって示される共感度に応じた大きさの振動を行う。また、端末装置200のユーザが対象人物として選択されている場合、その端末装置200は、その対象人物であるユーザの周辺にある機器に対して、その対象人物と基準人物との間の共感度に応じた環境の調整を実行させてもよい。
 図8は、サーバ100の処理動作の一例を示すフローチャートである。
 まず、サーバ100のサーバ制御部106は、ユーザによる端末装置200への入力操作に基づいて、人物選択処理を実行する。この人物選択処理では、サーバ制御部106は、オンラインコミュニケーションの全ての参加者から、基準人物および少なくとも1人の対象人物を含む複数人物を選択する(ステップS10)。次に、サーバ通信部104は、その複数人物の生体情報を取得する(ステップS20)。
 次に、共感度解析部101は、ステップS20で取得された生体情報に基づいて、基準人物と少なくとも1人の対象人物のそれぞれとの間の共感度を導出する(ステップS30)。そして、提示処理部105は、その導出された共感度を提示態様にしたがって示す共感提示情報を生成して出力する(ステップS40)。
 サーバ制御部106は、その出力された共感提示情報をサーバ通信部104から端末装置200に送信させる。なお、この端末装置200は、ステップS10でユーザによる入力操作を受け付けた端末装置200である。サーバ制御部106は、このような共感提示情報の送信によって、その提示態様にしたがった共感度の提示を端末装置200の提示部205に実行させる(ステップS50)。
 ステップS50の後、サーバ制御部106は、オンラインコミュニケーションの処理を終了すべきか否かを判定する(ステップS60)。サーバ制御部106は、終了すべきでないと判定すると(ステップS60のNo)、サーバ100の各構成要素に対してステップS10からの処理を実行させる。なお、ステップS10の処理が繰り返し実行されるときには、新たな人物が基準人物または対象人物として選択されてもよく、基準人物または対象人物の選択が解除されてもよい。また、ステップS10において、そのような新たな選択または選択の解除が行われることなく、既に選択されている基準人物または対象人物に基づいて、ステップS20以降の処理が繰り返し実行されてもよい。一方、サーバ制御部106は、終了すべきと判定すると(ステップS60のYes)、オンラインコミュニケーションの処理を終了する。
 図9は、サーバ100の人物選択処理の一例を示すフローチャートである。つまり、図9は、図8のステップS10の処理を詳細に示すフローチャートである。
 サーバ制御部106は、端末装置200から送信される基準人物情報に基づいて、オンラインコミュニケーションの全ての参加者から基準人物を選択する(ステップS11)。そして、サーバ制御部106は、端末装置200から送信される対象人物情報に基づいて、全ての参加者から対象人物を選択する(ステップS12)。このとき、複数の対象人物情報が端末装置200から送信される場合には、サーバ制御部106は、複数の対象人物を選択する。このようなステップS11およびS12によって、基準人物と、少なくとも1人の対象人物とを含む複数人物が選択される。
 図10は、サーバ100の一部の処理動作の一例を示すフローチャートである。具体的には、図10は、図8のステップS40およびS50の詳細な処理を示すフローチャートである。
 ステップS40では、まず、提示処理部105は、端末装置200から送信されてサーバ通信部104に受信された表示方法情報に基づいて、共感度の複数の表示方法から、1つの表示方法を共感度の提示態様として決定する(ステップS41)。複数の表示方法は、図3に示す例では、「並び」、「大きさ」、「リアル」、および「動作」である。
 次に、提示処理部105は、ステップS41で決定された表示方法にしたがって共感度を示す共感提示情報を生成して出力する(ステップS42)。
 サーバ制御部106は、その出力された共感提示情報をサーバ通信部104から端末装置200に送信させる。サーバ制御部106は、このような共感提示情報の送信によって、決定された表示方法にしたがった共感度の提示を端末装置200の提示部205に実行させる(ステップS50)。
 図11は、サーバ100の一部の処理動作の一例を示すフローチャートである。具体的には、図11は、図8のステップS50の他の詳細な処理を示すフローチャートである。
 サーバ制御部106は、共感提示情報をサーバ通信部104から端末装置200に送信させることによって、その端末装置200の周辺、すなわち、その端末装置200のユーザの周辺にある機器を、その端末装置200を介して制御する。その機器は、図7の例では、照明機器205a、スマートスピーカ205bなどである。つまり、サーバ制御部106は、ユーザの環境(例えば照明の明るさ、音響など)を共感度に応じた環境に調整することによって、その共感度をユーザに提示する処理を、その機器に実行させる。
 [共感度解析部]
 以下、本実施の形態における共感度解析部101の具体的な態様について、各端末装置200のセンサ201および生体解析部202の処理動作も含めて、詳細に説明する。
 [共感度解析部の態様1]
 図12は、本態様における共感度解析部101の構成を示すブロック図である。
 本態様における共感度解析部101は、複数のセンサ201によって得られた、複数の人物のそれぞれのセンシング情報に基づいて、複数の人物の間の共感度を推定する。このような本態様における共感度解析部101は、共感処理部12と、出力部13とを備える。
 端末装置200の生体解析部202は、複数の人物のそれぞれの心拍に関する情報を心拍情報として取得する。この心拍情報は、上述の生体情報の一例である。具体的には、生体解析部202は、複数のセンサ201から、複数の人物のそれぞれのセンシング情報を取得し、そのセンシング情報を解析することによって、そのセンシング情報からその人物の心拍情報を取得する。センサ201は、例えば、人物を撮影することによって、その人物の顔画像をセンシング情報として生成するカメラを有する。その顔画像は、例えば、人物の顔が映し出された動画像である。この場合、生体解析部202は、その顔画像から、映像脈波抽出によって人物のRRI、心拍数、または心拍揺らぎを示す心拍情報を取得する。つまり、生体解析部202は、顔画像に映し出されている人物の顔にある皮膚の色度の変化に基づいて、その心拍情報を取得する。なお、心拍情報によって示されるRRI、心拍数または心拍揺らぎは、1~5分程度の期間における平均値であってもよい。
 RRIは、連続する2つの心拍のR波のピークの間隔である心拍間隔(R-R intervals)である。
 心拍数は、例えば1分間あたりの拍動の数であって、RRIの秒数で60秒を除算することによって算出される数である。
 心拍揺らぎは、例えば、CvRR(Coefficient of Variation of R-R intervals)である。CvRRは、心拍変動の変動係数であって、例えば、「CvRR=(任意時間帯におけるRRIの標準偏差SD)/(任意時間帯におけるRRIの平均)」によって算出される。つまり、CvRRは、任意時間帯におけるRRIの標準偏差SDを、任意時間帯におけるRRIの平均値で規格化することにより算出される。
 なお、心拍揺らぎは、HF(High Frequency)またはLF(Low Frequency)であってもよい。HFおよびLFは、RRIの等間隔時系列データを、高速フーリエ変換(Fast Fourier Transform :FFT)を用いて周波数解析することによって得られるパワースペクトルから算出される。HFは、0.14Hz~0.4Hzの高周波数領域のパワースペクトルの積分値であり、副交感神経の活動量が反映されていると考えられている。また、LFは、0.04Hz~0.14Hzの低周波数領域のパワースペクトルの積分値であり、交感神経および副交感神経の活動量が反映されていると考えられている。なお、FFTの周波数変換は、5秒間隔で行われてもよい。
 なお、センサ201は、カメラに限らず、心電または脈波を計測するウェアラブルデバイスを備えていてもよい。ウェアラブルデバイスは、フォトトランジスタおよびフォトダイオードを備え、血管中の血液量の変化を反射光または透過光により測定することによって、脈波を計測してもよい。そして、ウェアラブルデバイスは、その脈波の計測結果をセンシング情報として生体解析部202に出力する。生体解析部202は、このようなセンシング情報から、人物のRRI、心拍数またはCvRRを示す心拍情報を取得する。
 共感処理部12は、生体解析部202によって取得された、複数の人物のそれぞれの心拍情報の変化の相関に基づいて、複数の人物の間における共感度を導出する。
 出力部13は、共感処理部12によって導出された共感度を示す共感度情報を出力する。
 図13は、生体解析部202で取得される2人の心拍情報の一例と、それらの心拍情報の相関を説明するための図である。具体的には、図13の(a)は、所定の期間における人物Aと人物Bのそれぞれの心拍数を示すグラフであり、図13の(b)は、複数の人物の心拍情報の相関係数と相関の強さとの関係を示す。
 生体解析部202は、図13の(a)に示すように、人物Aの心拍数と、人物Bの心拍数とをそれぞれ心拍情報として取得する。なお、図13の(a)に示すグラフの横軸は、人物Aの心拍数を示し、その縦軸は人物Bの心拍数を示す。また、図13の(a)のグラフに含まれる1つのドットは、略同一タイミングにおける人物Aおよび人物Bのそれぞれの心拍数を示す。
 共感処理部12は、例えば30秒~2分間の期間ごとに、その期間における人物Aと人物Bとの間の心拍情報の相関関係を解析する。つまり、共感処理部12は、人物Aおよび人物Bのそれぞれの心拍数の時系列データから相関係数を算出する処理を周期的に行う。これにより、相関係数の時間変化が把握される。
 共感処理部12は、このように算出される相関係数から、人物Aと人物Bとの間の共感度を導出する。例えば、共感処理部12は、人物Aと人物Bの相関係数の符号が正であり、かつ、相関係数が閾値よりも大きい場合には、人物Aと人物Bとが共感したことを示す共感度を導出する。
 ここで、図13の(b)に示すように、相関係数rと相関の強さとの関係が用いられてもよい。例えば、相関係数rが0.2以下である場合には、その相関係数rは、殆ど相関がないことを示す。また、相関係数rが0.2よりも大きく0.4以下である場合には、その相関係数rは、弱い相関があることを示す。そして、相関係数rが0.4よりも大きく0.7以下である場合には、その相関係数は、相関があることを示す。
 したがって、共感処理部12は、相関係数が0.4よりも大きい場合に、人物Aと人物Bとが共感したことを示す共感度を導出してもよい。この場合、閾値は0.4である。共感処理部12は、その閾値を用いて、0および1の2値で示される共感度を導出してもよい。つまり、共感処理部12は、相関係数が閾値よりも大きい場合に、人物Aと人物Bとが共感していることを示す共感度=1を導出し、相関係数が閾値以下の場合に、人物Aと人物Bとが共感していないことを示す共感度=0を導出する。
 また、共感処理部12は、図13の(b)に示すように、相関係数の値に応じた5つのレベルのうちの何れかの1つのレベルを共感度として導出してもよい。例えば、5つのレベルのそれぞれの相関係数rは、レベル1<レベル2<レベル3<レベル4<レベル5のように設定されている。このような場合、共感処理部12は、例えば相関係数rが0.4よりも大きく0.7以下であれば、レベル3を共感度として導出する。または、共感処理部12は、相関係数に100を乗じることによって得られる値、または、相関係数を変換関数に入力することによって得られる0~100までの数値を、共感度として導出してもよい。
 図14Aは、オンラインコミュニケーションの参加者のそれぞれの心拍数の時間変化と、2人の参加者間の相関係数の時間変化とを示す図である。具体的には、図14Aの(a)~(c)は、それぞれ参加者X、YおよびZの心拍情報によって示される心拍数の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、心拍数を示す。また、図14Aの(d)は、参加者Xと参加者Yの間の相関係数の時間変化を示すグラフであり、図14Aの(e)は、参加者Xと参加者Zの間の相関係数の時間変化を示すグラフである。これらのグラフの横軸は、時刻を示し、その縦軸は、相関係数を示す。
 生体解析部202は、会議が行われているときに、図14Aの(a)~(c)に示すように、参加者X、YおよびZのそれぞれの心拍数を示す心拍情報を周期的に取得する。共感処理部12は、参加者Xおよび参加者Yのそれぞれの心拍情報に基づいて、図14Aの(d)に示す参加者Xと参加者Yとの間の相関係数を周期的に算出する。同様に、共感処理部12は、参加者Xおよび参加者Zのそれぞれの心拍情報に基づいて、図14Aの(e)に示す参加者Xと参加者Zとの間の相関係数を周期的に算出する。
 ここで、例えば、図14Aの(a)~(c)に示すように、時刻t1~t3において参加者Xが発言すると、その発言が行われている期間では、参加者Xと参加者Zのそれぞれの心拍数が上昇し、参加者Yの心拍数は、その期間において殆ど変化しない。このような場合、図14Aの(e)に示すように、参加者Xと参加者Zとの間の相関係数は、その期間に対応する時刻t2~t4において閾値よりも大きくなる。したがって、共感処理部12は、その時刻t2~t4において参加者Xと参加者Zとは共感していることを示す共感度を導出する。すなわち、共感処理部12は、時刻t2~t4において参加者Xと参加者Zとは共感していると推定する。一方、図14Aの(d)に示すように、参加者Xと参加者Yとの間の相関係数は、参加者Xが発言していても、閾値以下である。したがって、共感処理部12は、参加者Xが発言している期間において、参加者Xと参加者Yとは共感していないことを示す共感度を導出する。すなわち、共感処理部12は、参加者Xと参加者Yとは共感していないと推定する。
 また、例えば、図14Aの(a)~(c)に示すように、時刻t5~t7において参加者Yが発言すると、その発言が行われている期間では、参加者Xと参加者Yのそれぞれの心拍数が上昇し、参加者Zの心拍数は、その期間において殆ど変化しない。このような場合、図14Aの(d)に示すように、参加者Xと参加者Yとの間の相関係数は、その期間に対応する時刻t6~t8において閾値よりも大きくなる。したがって、共感処理部12は、その時刻t6~t8において参加者Xと参加者Yとは共感していることを示す共感度を導出する。すなわち、共感処理部12は、時刻t6~t8において参加者Xと参加者Yとは共感していると推定する。一方、図14Aの(e)に示すように、参加者Xと参加者Zとの間の相関係数は、参加者Yが発言していても、閾値以下である。したがって、共感処理部12は、参加者Yが発言している期間において、参加者Xと参加者Zとは共感していないことを示す共感度を導出する。すなわち、共感処理部12は、参加者Xと参加者Zとは共感していないと推定する。
 ここで、共感処理部12は、例えば、端末装置200のマイクからの出力信号(すなわち音声データ)に基づいて、話者認識を行うことにより、発言者を特定してもよい。または、各端末装置200から送信される音声データにユーザIDが関連付けられている場合には、共感処理部12は、そのユーザIDに基づいて発言者を特定してもよい。あるいは、共感処理部12は、各センサ201から得られるセンシング情報である顔画像に対して画像認識処理を行うことにより、発言者を特定してもよい。この場合、その顔画像が、端末装置200からサーバ100に送信される。例えば、時刻t1~t3では、発言者として参加者Xが特定される。したがって、共感処理部12は、図14Aの(e)に示すように、参加者Xが発言している期間に少なくとも一部重なる時刻t2~t4において、参加者Xと参加者Zとが共感していると推定すると、その2人が共感している対象は、参加者Xの発言であると判断する。この場合、参加者Zから参加者Xへの共感の方向が特定される。同様に、時刻t5~t7では、発言者として参加者Yが特定される。したがって、共感処理部12は、図14Aの(d)に示すように、参加者Yが発言している期間に少なくとも一部重なる時刻t6~t8において、参加者Xと参加者Yとが共感していると推定すると、その2人が共感している対象は、参加者Yの発言であると判断する。この場合、参加者Xから参加者Yへの共感の方向が特定される。出力部13は、このような共感の方向を示す情報(以下、共感方向情報とも呼ばれる)を出力してもよい。
 このように、本態様では、生体解析部202は、複数の人物のそれぞれの同一期間における心拍情報を取得する。例えば、生体解析部202は、上述のように時刻t1~t3の期間における参加者X、YおよびZの心拍情報を取得し、時刻t5~t7の期間における参加者X、YおよびZの心拍情報を取得する。これにより、同一期間における複数の人物の共感度を適切に推定することができる。
 また、本態様における共感度解析部101は、心拍情報の変化の相関に基づいて共感度を導出するが、その心拍情報の変化の相関の代わりに、複数の人物のそれぞれの表情に基づいて共感度を導出してもよい。
 図14Bは、表情に基づく共感度の導出の一例を説明するための図である。なお、図14Bの(a)は、人物Aの笑顔の確率の時間変化を示すグラフであり、図14Bの(b)は、人物Bの笑顔の確率の時間変化を示すグラフであり、図14Bの(c)は、人物Cの笑顔の確率の時間変化を示すグラフである。
 例えば、共感度解析部101は、人物A、人物Bおよび人物Cのそれぞれについて、その人物の顔が映し出されたセンシング情報である顔画像を取得する。共感処理部12は、その顔画像に対する画像認識を行うことによって、その顔画像に映し出されている人物の顔の表情を特定する。または、共感処理部12は、機械学習済みの学習モデルにその顔画像を入力することによって、その顔画像に映し出されている人物の顔の表情を特定する。例えば、共感処理部12は、人物の顔の表情として笑顔の確率を時系列に沿って特定する。
 その結果、特定される人物Aの笑顔の確率は、例えば図14Bの(a)に示すように、時刻t1~t2の期間において閾値以上に達する。また、特定される人物Bの笑顔の確率は、例えば図14Bの(b)に示すように、時刻t1~t3の期間と、時刻t5~t6の期間とにおいて閾値以上に達する。また、特定される人物Cの笑顔の確率は、例えば図14Bの(c)に示すように、時刻t4~t7の期間において閾値以上に達する。したがって、共感度解析部101は、人物Aの笑顔の確率と人物Bの笑顔の確率とが共に閾値以上である時刻t1~t2の期間において、人物Aと人物Bとが共感していると判定する。同様に、共感度解析部101は、人物Bの笑顔の確率と人物Cの笑顔の確率とが共に閾値以上である時刻t5~t6の期間において、人物Bと人物Cとが共感していると判定する。その結果、共感度解析部101は、時刻t1~t2の期間において、人物Aと人物Bと間の共感度として1(または100)を導出し、時刻t5~t6の期間において、人物Bと人物Cと間の共感度として1(または100)を導出してもよい。
 あるいは、本態様における共感度解析部101は、心拍情報の変化の相関だけでなく、複数の人物のそれぞれの表情にも基づいて共感度を導出してもよい。つまり、共感処理部12は、まず、上述のように、顔画像に対する画像認識によって、複数の人物のそれぞれの表情を特定する。そして、共感処理部12は、その複数の人物のそれぞれの心拍情報の変化の相関と、その複数の人物のそれぞれの特定された表情とに基づいて、その複数の人物の間における共感度を導出する。
 例えば、共感処理部12は、喜んでいる表情、怒っている表情、悲しんでいる表情、および、楽しんでいる表情のうちの何れかの表情を特定する。または、共感処理部12は、これらの4つの表情のそれぞれを数値として特定してもよい。この場合、人物の表情は、4つの数値からなるベクトルとして表現される。これにより、複数の人物の表情が特定される。そして、共感処理部12は、複数の人物の表情の類似度を導出する。類似度は、0~1の数値として導出されてもよい。共感処理部12は、例えば、その類似度と相関係数との平均値に100を乗ずることによって、複数の人物の間の共感度を導出してもよい。
 このように、心拍情報の変化の相関だけでなく、表情にも基づいて、共感度が導出されるため、その共感度の推定精度を向上することができる。また、複数の人物の表情は、心拍情報の取得に用いられたセンサ201のセンシング情報から特定される。つまり、それらの表情は、カメラの動画像データ(すなわち上述の顔画像)から特定される。したがって、それらの表情の特定のための専用の装置を省くことができる。したがって、全体のシステム構成を簡単にすることができる。
 また、上述の例では、顔画像から表情が特定されたが、音声データから表情が特定されてもよい。この場合には、共感処理部12は、各端末装置200のマイクから出力される音声データを取得し、その音声データを解析することによって複数の人物のそれぞれの表情を特定する。その解析には、機械学習が用いられてもよい。なお、表情の特定は、上述のように共感処理部12によって行われてもよく、生体解析部202によって行われてもよい。
 また、音声データから、喜怒哀楽、リラックス、または興奮といった人物の感情等の精神状態が推定されてもよい。例えば、共感処理部12は、同じタイミングに2人の参加者が同じ精神状態であると推定された場合に、その2人の参加者間の共感度として大きい共感度を導出する。
 また、共感度の導出には、表情の代わりに、あるいは、表情と共に、心理状態が反映された他の生体情報が用いられてもよい。他の生体情報は、人物の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。顔の温度は、熱電対によって計測されてもよく、赤外線サーモグラフィによって計測されてもよい。また、発汗量は、手に付けられた電極によって計測されてもよい。これにより、共感度の推定精度をより向上することができる。
 図15は、本態様における生体解析部202および共感度解析部101の処理動作を示すフローチャートである。
 まず、生体解析部202は、複数のセンサ201から、複数の人物のそれぞれのセンシング情報を取得する(ステップS1)。そして、生体解析部202は、そのセンシング情報から、心拍数、RRI、または心拍揺らぎを示す心拍情報を取得する(ステップS2)。これにより、複数の人物のそれぞれの心拍情報が取得される。
 次に、共感処理部12は、その複数の人物のそれぞれの心拍情報の変化に基づく相関係数を算出し(ステップS3)、その相関係数から共感度を導出する(ステップS4)。
 そして、出力部13は、その導出された共感度を示す共感度情報を出力する(ステップS5)。
 以上のように、本態様における共感度解析部101は、複数の人物のそれぞれの心拍に関する心拍情報の変化の相関に基づいて、複数の人物の間における共感度を導出する。そして、共感度解析部101は、その導出された共感度を示す共感度情報を出力する。これにより、複数の人物の間に生じる感情的な相互作用である共感度を適切に推定することができる。
 また、本態様における生体解析部202は、心拍数、RRIまたは心拍揺らぎを示す心拍情報を取得する。しかし、その心拍情報は、心拍数および心拍揺らぎのうちの少なくとも1つを示してもよい。または、生体解析部202は、心拍数、RRIおよび心拍揺らぎのうちの少なくとも2つを示す心拍情報を取得してもよい。この場合、共感処理部12は、例えば、心拍数の相関係数と、RRIの相関係数と、心拍揺らぎの相関係数とのうちの少なくとも2つの平均値を算出し、その平均値から共感度を導出してもよい。これにより、共感度の推定精度を向上することができる。
 また、本態様における共感度解析部101の共感処理部12は、複数の人物のそれぞれの心拍情報の相関係数に基づいて共感度を導出するが、その相関係数を算出することなく、心拍情報の変化の相関に基づいて共感度を導出してもよい。例えば、共感処理部12は、複数の人物のそれぞれの心拍情報の変化のタイミングの一致度に基づいて、その複数の人物の共感度を導出してもよい。そのタイミングは、例えば、心拍数などの上昇または下降のタイミングである。また、共感処理部12は、複数の人物のそれぞれの心拍数が基準値よりも高い期間の一致度に基づいて、その複数の人物の共感度を導出してもよい。その基準値は、人物それぞれに設定された心拍数の値であって、例えば人物が安静状態にある期間におけるその人物の心拍数の平均値である。
 [共感度解析部の態様2]
 本態様における共感度解析部101は、複数の人物のそれぞれのストレスの要因を判定し、それらの要因に基づいて、複数の人物の間における共感度を導出する。例えば、本態様における心拍情報は、RRIとCvRRと示す。そして、RRIの変化を示すRRI変化量と、CvRRの変化を示すCvRR変化量とが用いられる。共感度解析部101は、複数の人物のそれぞれについて、その人物のRRI変化量およびCvRR変化量に基づいて、その人物のストレスの要因を判定する。そして、共感度解析部101は、複数の人物のそれぞれのストレスの要因が共通していれば、そのストレスの要因に相関があるため、その複数の人物が共感していると推定する。一方、共感度解析部101は、複数の人物のそれぞれのストレスの要因が共通していなければ、そのストレスの要因に相関がないため、その複数の人物は共感していないと推定する。
 図16は、実験によって得られたグラフであって、RRI変化量およびCvRR変化量とストレスの要因との関係を示す図である。なお、図16のグラフの横軸は、RRI変化量(%)を示し、その縦軸は、CvRR変化量(%)を示す。
 人物のRRI変化量とCvRR変化量とは、その人物のストレスの要因によって異なることが、実験によって確かめられている。実験では、20名の被験者のそれぞれに対してストレスの要因が異なる3種類のタスクが与えられ、タスクを実行している被験者のRRIおよびCvRRが測定された。3種類のタスクは、対人に関するストレスを受けるタスクと、痛みに関するストレスを受けるタスクと、思考疲労に関するストレスを受けるタスクである。
 RRI変化量(%)は、「RRI変化量={(タスク実行中のRRIの平均値)-(安静時のRRIの平均値)}/(安静時のRRIの平均値)×100・・・(式1)」によって算出された。なお、安静時のRRIは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、5分間測定されたRRIである。そして、安静時のRRIの平均値は、その測定開始60秒後から240秒間のRRIの平均値である。タスク実行中のRRIの平均値は、被験者がタスクを実行している間に測定されたRRIのうち、測定開始60秒後から240秒間のRRIの平均値である。
 CvRR変化量(%)は、「CvRR変化量={(タスク実行中のCvRRの平均値)-(安静時のCvRRの平均値)}/(安静時のCvRRの平均値)×100・・・(式2)」によって算出された。なお、安静時のCvRRは、被験者がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、5分間測定されたCvRRである。そして、安静時のCvRRの平均値は、その測定開始60秒後から240秒間のCvRRの平均値である。タスク実行中のCvRRの平均値は、被験者がタスクを実行している間に測定されたCvRRのうち、測定開始60秒後から240秒間のCvRRの平均値である。
 図16のグラフは、タスクの種類ごと、すなわちストレスの要因ごとの、その20名の被験者のそれぞれのRRI変化量の平均値およびCvRR変化量の平均値を示す。グラフ中の〇印は、ストレスの要因が「対人」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。また、グラフ中の△印は、ストレスの要因が「痛み」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。また、グラフ中の×印は、ストレスの要因が「思考疲労」である場合における、20名のRRI変化量の平均値およびCvRR変化量の平均値を示す。
 したがって、本態様における共感度解析部101は、図16に示すRRI変化量およびCvRR変化量とストレスの要因との関係を用いて、複数の人物のそれぞれのストレスの要因を判定する。なお、本態様における共感度解析部101は、態様1と同様、図12に示す構成を有する。また、センサ201も、態様1と同様、カメラを備えていてもよく、ウェアラブルデバイスを備えていてもよい。本態様における生体解析部202は、複数のセンサ201のそれぞれからセンシング情報を取得し、それらのセンシング情報から、複数の人物のそれぞれについて、その人物のRRIおよびCvRRを示す心拍情報を取得する。
 図17は、共感処理部12によるストレスの要因の判定方法を説明するための図である。
 共感度解析部101の共感処理部12は、上述の(式1)および(式2)を用いて、複数の人物のそれぞれのRRI変化量およびCvRR変化量を算出する。なお、(式1)および(式2)におけるタスクは、どのようなタスクであってもよい。そして、共感処理部12は、図17に示すように、それらの変化量に基づいて、ストレスの要因を判定する。
 例えば、共感処理部12は、人物のRRIが安静時から大きく低下し、かつ、その人物のCvRRが安静時から大きく上昇した場合、その人物のストレスの要因は「対人」であると判定する。また、共感処理部12は、人物のRRIが安静時から少し上昇し、かつ、その人物のCvRRが安静時から殆ど変化しなかった場合、その人物のストレスの要因は「痛み」であると判定する。また、共感処理部12は、人物のRRIが安静時から殆ど変化せず、かつ、その人物のCvRRが安静時から大きく低下した場合、その人物のストレスの要因は「思考疲労」であると判定する。
 具体的には、RRI変化量に対して正の第1閾値および負の第2閾値が設定され、CvRR変化量に対して正の第3閾値および負の第4閾値が設定される。この場合、共感処理部12は、人物のRRI変化量が負の第2閾値よりも低く、かつ、その人物のCvRR変化量が正の第3閾値以上の場合、その人物のストレスの要因は「対人」であると判定する。
 また、共感処理部12は、人物のRRI変化量が正の第1閾値以上であり、かつ、その人物のCvRR変化量が正の第3閾値よりも低く、負の第4閾値以上である場合、その人物のストレスの要因は「痛み」であると判定する。
 また、共感処理部12は、人物のRRI変化量が正の第1閾値よりも低く、負の第2閾値以上であって、かつ、その人物のCvRR変化量が負の第4閾値よりも低い場合、その人物のストレスの要因は「思考疲労」であると判定する。
 図18は、複数の人物のそれぞれのストレスの要因から共感度が導出される一例を示す図である。
 共感度解析部101は、例えば、人物A、BおよびCのそれぞれの心拍情報に基づいて、それらの人物のストレスの要因を判定する。具体的には、共感度解析部101は、人物Aに対して、時刻t11~t14におけるストレスの要因が「対人」であると判定し、時刻t15~t17におけるストレスの要因が「思考疲労」であると判定する。また、共感度解析部101は、人物Bに対して、時刻t16~t18におけるストレスの要因が「思考疲労」であると判定する。さらに、共感度解析部101は、人物Cに対して、時刻t12~t13におけるストレスの要因が「対人」であると判定する。
 このような場合、共感度解析部101の共感処理部12は、時刻t12~t13の期間では、人物Aと人物Cのそれぞれのストレスの要因が一致しているため、その期間において人物Aと人物Cとは共感していると推定する。つまり、共感処理部12は、時刻t12~t13における人物Aと人物Cとの間の共感度として例えば「1」を導出する。同様に、共感処理部12は、時刻t16~t17の期間では、人物Aと人物Bのそれぞれのストレスの要因が一致しているため、その期間において人物Aと人物Bとは共感していると推定する。つまり、共感処理部12は、時刻t16~t17における人物Aと人物Bとの間の共感度として例えば「1」を導出する。なお、共感処理部12は、人物A、人物Bおよび人物Cの3人の共感度を導出してもよい。例えば、共感処理部12は、期間ごとに、その期間における人物Aと人物Bとの間の共感度と、その期間における人物Aと人物Cとの間の共感度と、その期間における人物Bと人物Cとの間の共感度との平均値を、3人の共感度として導出する。
 出力部13は、このように導出された共感度を示す共感度情報を出力する。
 以上のように、本態様における共感度解析部101は、複数の人物のそれぞれのRRI変化量およびCvRR変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人物の間における共感度を導出する。つまり、本態様であっても、複数の人物のそれぞれの心拍情報の変化の相関に基づいて、その複数の人物の間における共感度が導出される。したがって、本態様でも、複数の人物の間に生じる感情的な相互作用である共感度を適切に推定することができる。
 [共感度解析部の態様3]
 態様1および2では、共感度解析部101は、心拍情報を用いて共感度を導出する。本態様では、心拍情報だけでなく、複数の人物のそれぞれの心拍以外の生体情報であるSC情報も用いて共感度が導出される。SC情報は、人物の指先の皮膚コンダクタンス(Skin Conductance)を示す情報である。なお、皮膚コンダクタンスは、以下、SCとも呼ばれる。
 図19は、本態様における生体解析部202および共感度解析部101の構成を示すブロック図である。
 本態様における共感度解析部101は、心拍情報とSC情報とに基づいて、複数の人物の間の共感度を推定する。本態様では、生体解析部202は、心拍取得部11aと、SC取得部11bとを備え、共感度解析部101は、共感処理部12aと、出力部13とを備える。
 心拍取得部11aは、態様1および2の生体解析部202と同様、人物の心拍に関する情報を心拍情報として取得する。具体的には、心拍取得部11aは、複数の第1センサ201aから、複数の人物のそれぞれの第1センシング情報を取得し、その第1センシング情報を解析することによって、その第1センシング情報からその人物の心拍情報を取得する。第1センサ201aは、上記態様1および2のセンサ201と同様、人物を撮影することによって、その人物の顔画像を第1センシング情報として生成するカメラである。なお、第1センサ201aは、カメラに限らず、心電または脈波を計測するウェアラブルデバイスであってもよい。本態様における心拍取得部11aは、その複数の人物のそれぞれの第1センシング情報から、その人物のRRIおよびCvRRを示す心拍情報を取得する。
 SC取得部11bは、人物のSC情報を取得する。具体的には、SC取得部11bは、複数の第2センサ201bから、複数の人物のそれぞれの第2センシング情報を取得し、その第2センシング情報を解析することによって、その第2センシング情報からその人物のSC情報を取得する。第2センサ201bは、例えば、一対の検出電極を備えるセンサであって、人物の指先に巻き付けられ、その指先の皮膚の電位を示す情報を第2センシング情報として出力する。本態様におけるSC取得部11bは、その複数の人物のそれぞれの第2センシング情報を解析することによって、その人物の皮膚コンダクタンスを示すSC情報を取得する。なお、第1センサ201aおよび第2センサ201bは、上記実施の形態のセンサ201に含まれていてもよい。
 共感処理部12aは、上記態様2と同様、心拍取得部11aによって取得された心拍情報に基づいて、人物のRRI変化量およびCvRR変化量を算出する。さらに、本態様における共感処理部12aは、SC取得部11bによって取得されたSC情報に基づいて、人物の皮膚コンダクタンス変化量を算出する。なお、皮膚コンダクタンス変化量は、以下、SC変化量とも呼ばれる。
 具体的には、共感処理部12aは、「SC変化量={(タスク実行中のSCの平均値)-(安静時のSCの平均値)}/(安静時のSCの平均値)×100・・・(式3)」によって、SC変化量を算出する。なお、安静時のSCは、人物がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば5分間測定されたSCである。そして、安静時のSCの平均値は、例えば、その測定開始60秒後から240秒間のSCの平均値である。タスク実行中のSCの平均値は、人物がタスクを実行している間に測定されたSCのうち、例えば、測定開始60秒後における240秒間のSCの平均値である。また、(式3)におけるタスクは、どのようなタスクであってもよい。
 そして、共感処理部12aは、RRI変化量、CvRR変化量およびSC変化量に基づいて、ストレスの要因を判定する。さらに、共感処理部12aは、複数の人物のそれぞれのストレスの要因に基づいて、その複数の人物の間の共感度を導出する。
 出力部13は、上記態様1および2と同様、共感処理部12aによって導出された共感度を示す共感度情報を出力する。
 図20は、共感処理部12aによるストレスの要因の判定方法を説明するための図である。
 例えば、共感処理部12aは、人物のRRIが安静時から低下し、その人物のCvRRが安静時から上昇し、さらに、その人物のSCが安静時から上昇した場合、その人物のストレスの要因は「対人」であると判定する。また、共感処理部12aは、人物のRRIが安静時から上昇し、その人物のCvRRが安静時から殆ど変化せず、さらに、その人物のSCが安静時から上昇した場合、その人物のストレスの要因は「痛み」であると判定する。また、共感処理部12aは、人物のRRIが安静時から殆ど変化せず、その人物のCvRRが安静時から低下し、さらに、その人物のSCが安静時から殆ど変化しなかった場合、その人物のストレスの要因は「思考疲労」であると判定する。
 具体的には、RRI変化量に対して正の第1閾値および負の第2閾値が設定され、CvRR変化量に対して正の第3閾値および負の第4閾値が設定され、SC変化量に対して正の第5閾値および負の第6閾値が設定される。この場合、共感処理部12aは、(a)人物のRRI変化量が負の第2閾値よりも低く、(b)その人物のCvRR変化量が正の第3閾値以上であり、(c)その人物のSC変化量が正の第5閾値以上である場合、その人物のストレスの要因は「対人」であると判定する。
 また、共感処理部12aは、(a)人物のRRI変化量が正の第1閾値以上であり、(b)その人物のCvRR変化量が正の第3閾値よりも低く、負の第4閾値以上であり、(c)その人物のSC変化量が正の第5閾値以上である場合、その人物のストレスの要因は「痛み」であると判定する。
 また、共感処理部12aは、(a)人物のRRI変化量が正の第1閾値よりも低く、負の第2閾値以上であって、(b)その人物のCvRR変化量が負の第4閾値よりも低く、(c)その人物のSC変化量が正の第5閾値よりも低く、負の第6閾値以上である場合、その人物のストレスの要因は「思考疲労」であると判定する。
 図21は、本態様における生体解析部202および共感度解析部101の処理動作を示すフローチャートである。
 まず、生体解析部202の心拍取得部11aは、複数の第1センサ201aから、複数の人物のそれぞれの第1センシング情報を取得する(ステップS1)。そして、心拍取得部11aは、第1センシング情報から、RRIおよびCvRRを示す心拍情報を取得する(ステップS2)。これにより、複数の人物のそれぞれの心拍情報が取得される。
 次に、SC取得部11bは、複数の第2センサ201bから、複数の人物のそれぞれの第2センシング情報を取得する(ステップS1a)。そして、SC取得部11bは、第2センシング情報から、皮膚コンダクタンスを示すSC情報を取得する(ステップS2a)。これにより、複数の人物のそれぞれのSC情報が取得される。
 次に、共感処理部12aは、その複数の人物のそれぞれのRRI変化量、CvRR変化量、およびSC変化量を算出し、それらの変化量に基づいて、その複数の人物のそれぞれのストレスの要因を判定する(ステップS3a)。さらに、共感処理部12aは、その複数の人物のそれぞれのストレスの要因の相関、すなわち同一の要因が共起しているか否かに基づいて、複数の人物の間における共感度を導出する(ステップS4a)。
 そして、出力部13は、その導出された共感度を示す共感度情報を出力する(ステップS5)。
 以上のように、本態様における共感度解析部101は、複数の人物のそれぞれのRRI変化量、CvRR変化量およびSC変化量を算出し、それらの変化量から判定されるストレスの要因の相関に基づいて、複数の人物の間における共感度を導出する。つまり、本態様であっても、複数の人物のそれぞれの心拍情報の変化の相関に基づいて、その複数の人物の間における共感度が導出される。したがって、本態様でも、複数の人物の間に生じる感情的な相互作用である共感度を適切に推定することができる。また、本態様では、態様2と比べて、SC変化量もストレスの要因の判定に用いられるため、そのストレスの要因の判定精度を向上することができる。その結果、共感度の推定精度を向上することができる。
 なお、本態様における生体解析部202は、人物の皮膚コンダクタンスを取得するSC取得部11bを備えるが、SC取得部11bの代わりに、人物の皮膚温度を取得する構成要素を備えてもよい。この場合、第2センサ201bは、例えば熱電対である。また、共感処理部12aは、SC変化量の代わりに、皮膚温度変化量を算出する。具体的には、共感処理部12aは、「皮膚温度変化量={(タスク実行中の皮膚温度の平均値)-(安静時の皮膚温度の平均値)}/(安静時の皮膚温度の平均値)×100・・・(式4)」によって、皮膚温度変化量を算出する。なお、安静時の皮膚温度は、人物がタスクを実施する前に、そのタスクを実行する姿勢と同じ姿勢で、例えば5分間測定された皮膚温度である。そして、安静時の皮膚温度の平均値は、例えば、その測定開始60秒後から240秒間の皮膚温度の平均値である。タスク実行中の皮膚温度の平均値は、人物がタスクを実行している間に測定された皮膚温度のうち、例えば、測定開始60秒後における240秒間の皮膚温度の平均値である。また、(式4)におけるタスクは、どのようなタスクであってもよい。共感処理部12aは、このような皮膚温度変化量をSC変化量の代わりに用いて、ストレスの要因を判定する。
 (変形例1)
 上記実施の形態では、対象人物の共感度が人物識別画像Pを用いて提示される。本変形例では、同じ属性を有する複数の対象人物の共感度が1つの代用的な共感度として提示される。
 例えば、サーバ100のサーバ記憶部110には、オンラインコミュニケーションに参加している全ての参加者のそれぞれについて、その参加者の属性をユーザIDに関連付けて示す属性情報が格納されている。提示処理部105は、サーバ記憶部110から属性情報を読み出すことによって、各対象人物の属性を特定する。属性の種類には、例えば、性別、職種、年代などがある。なお、年代は、対象人物の年齢の1の位を切り捨てた数字である。具体的には、性別に関する属性には、男性と、女性とがある。職種に関する属性には、管理職、技術職、スタッフなどがある。年代に関する属性には、20代、30代、40代、50代などがある。そして、共感度解析部101によって各対象人物の共感度が導出されると、提示処理部105は、属性ごとに、その属性に属する複数の対象人物の共感度を特定し、それらの共感度の代表とされる共感度を代表共感度として導出する。提示処理部105は、このように属性ごとに導出された代表共感度を示す共感提示情報を生成して出力する。
 図22は、本変形例における共感度の提示方法の一例を示す図である。
 端末装置200の提示部205は、端末通信部204がサーバ100から共感提示情報を受信すると、端末制御部206による制御にしたがって、例えば図22に示す表示画像Ibを表示する。この表示画像Ibは、オンラインコミュニケーションの各参加者の動画像が表示される動画像領域W3と、共感提示情報に示されている属性ごとの代表共感度が表示される共感表示領域W4とを含む。なお、この場合には、端末装置200のセンサ201に含まれるカメラによる撮像によって得られた参加者の動画像が、その端末装置200からサーバ100に送信される。
 共感表示領域W4には、性別、年代、および職種のそれぞれについて、属性ごとの代表共感度が表示されている。例えば、性別では、属性「男性」の代表共感度として45%が表示され、属性「女性」の代表共感度として74%が表示されている。また、年代では、属性「20代」の代表共感度として20%が表示され、属性「30代」の代表共感度として32%が表示されている。また、職種では、属性「管理職」の代表共感度として70%が表示され、属性「技術職」の代表共感度として34%が表示されている。
 本変形例が適用されるシチュエーションでは、例えば、オンラインコミュニケーションに参加している全ての参加者から、1人の基準人物が選択され、残りの全ての参加者が対象人物として選択される。そして、その1人の基準人物は、オンラインコミュニケーションによって、他の参加者に対して講和、講演などを行う。つまり、講演会、会社の方針発表などで、1人の話を沢山の人々が聞いているようなシチュエーションに対して、本変形例を適用することができる。これにより、講演会、会社の方針発表などで、参加者(聴衆)が講演内容にどれだけ共感しているかを可視化することができる。また、講演会、会社の方針発表など、参加者が大勢の場合は、上記実施の形態のように、対象人物の共感度を個別に人物識別画像Pを用いて表示するよりも、属性ごとに代表共感度を表示した方が、基準人物である話者は、全体的な参加者の共感度の傾向を容易に把握することができる。
 図23は、本変形例におけるサーバ100の一部の処理動作の一例を示すフローチャートである。具体的には、図23は、図8のステップS40の詳細な処理を示すフローチャートである。
 提示処理部105は、サーバ記憶部110から属性情報を読み出すことによって、複数の対象人物のそれぞれの属性を特定する(ステップS43)。属性の種類が性別であれば、提示処理部105は、複数の対象人物のそれぞれの属性として男性または女性を特定する。また、属性の種類が年代であれば、提示処理部105は、複数の対象人物のそれぞれの属性として20代、30代、または40代などを特定する。また、属性の種類が職種であれば、提示処理部105は、複数の対象人物のそれぞれの属性として管理職、技術職、またはスタッフなどを特定する。
 次に、提示処理部105は、それらの属性にしたがって、複数の対象人物のそれぞれの共感度を分類する(ステップS44)。例えば、提示処理部105は、複数の対象人物の共感度のうち、属性「男性」を有する対象人物の共感度をグルーピングし、属性「女性」を有する対象人物の共感度をグルーピングすることによって、各属性に共感度を分類する。また、提示処理部105は、その属性「男性」のグループに含まれる各共感度を大きさ順にソートし、属性「女性」のグループに含まれる各共感度を大きさ順にソートしてもよい。
 そして、提示処理部105は、例えば、属性ごとに、その属性のグループに含まれる1以上の共感度の平均値を算出することによって、その属性の代表共感度を導出する(ステップS45)。なお、提示処理部105は、平均値以外の値を代表共感度として導出してもよい。例えば、提示処理部105は、1以上の共感度の中央値を代表共感度として導出してもよい。なお、上述の例では、属性の種類として性別を挙げて説明したが、その種類が年代、職種であっても、提示処理部105は、上述と同様の処理を行う。
 次に、提示処理部105は、属性ごとの代表共感度を示す共感提示情報を生成して出力する(ステップS46)。
 このような本変形例では、例えば、男女別の共感度を表示することによって、講演内容または会社の方針に関して、共感度に男女による差があるのか、ないのかを容易に把握することができる。特に、基準人物の話の内容が性差に関するような場合には、本変形例における共感度の表示方法は、有効な方法である。
 また、年代別に共感度を表示することも効果的である。講演内容または会社の方針内容が若い世代に響いているのか、年配世代に響いているのかを可視化することができる。
 さらに、職種別に共感度を表示することも効果的である。管理職、技術職、スタッフなど、職種による共感度の違いを分かりやすく可視化することができる。
 このように属性ごとに共感度を表示することによって、性別、年代、職種など、様々な切り口で共感度を可視化することができ、参加者である聴衆の人たちに、講演内容または会社の方針がどれだけ響いているかといった分析を容易に行うことができる。
 このように、本変形例では、提示処理部105は、少なくとも1人の対象人物のそれぞれの属性を示す属性情報を取得し、その属性情報に基づいて、属性ごとに、その属性に属する1以上の対象人物のそれぞれの共感度を用いて、その属性において代表される共感度である代表共感度を導出する。そして、提示処理部105は、属性ごとの代表共感度を示す共感提示情報を生成する。これにより、例えば、属性に男性と女性とがあれば、男性についての代表共感度と、女性についての代表共感度とを提示することができる。これにより、属性ごとの共感度と、それらの共感度の違いを分かり易く提示することができる。
 (変形例2)
 上記実施の形態および変形例1では、基本的に1人の基準人物が選択される。本変形例では、基本的に複数の基準人物が選択され、複数の対象人物が選択される。オンラインコミュニケーションの全ての参加者が基準人物として選択されてもよく、全ての参加者が対象人物として選択されてもよい。
 本変形例におけるサーバ制御部106は、基準人物ごとに、その基準人物と、複数の対象人物のそれぞれとのペアを特定する。オンラインコミュニケーションの全ての参加者が基準人物として選択され、全ての参加者が対象人物として選択される場合、サーバ制御部106は、その全ての参加者から、2人の人物からなるペアの組み合わせを全て特定する。そして、共感度解析部101は、そのペアごとに、そのペアに含まれる2人の人物の間の共感度を導出する。なお、ペアに含まれる2人の人物のうちの一方は、基準人物であり、他方は対象人物である。共感度解析部101は、その全てのペアを共感度の順にソートしてもよい。
 提示処理部105は、ペアごとに、そのペアに含まれる2人の人物のそれぞれの人物識別画像Pをサーバ記憶部110から読み出して、その2つの人物識別画像Pからなるペア画像を生成する。さらに、提示処理部105は、ペアごとに、そのペアに対して導出された共感度に応じて、そのペア画像のサイズを調整する。具体的には、提示処理部105は、ペア画像を拡大または縮小する。提示処理部105は、全てのペアのそれぞれのサイズ調整されたペア画像を含む共感提示情報を生成して出力する。
 図24は、本変形例における共感度の提示方法の一例を示す図である。
 端末装置200の提示部205は、端末通信部204がサーバ100から共感提示情報を受信すると、端末制御部206による制御にしたがって、例えば図24に示す表示画像Ibを表示する。この表示画像Ibは、複数のペアのそれぞれのサイズ調整されたペア画像Paを含む。また、複数のペア画像Paは、そのペア画像Paの大きさ順に並べられていてもよい。ペア画像Paは、そのペア画像Paに対応するペアの共感度が大きいほど大きく形成され、逆に、そのペア画像Paに対応するペアの共感度が小さいほど小さく形成されている。
 このような表示画像Ibが表示されることによって、オンラインコミュニケーションに参加して、コミュニケーションを行っている参加者のうち、大きい共感度のペアを容易に把握することができ、そのペアの共感度を可視化することができる。
 ここで、全てのペアのペア画像Paが提示部205に表示されてもよく、一部のペアのペア画像Paのみが提示部205に表示されてもよい。例えば、提示処理部105は、全てのペアのペア画像Paのうち、閾値以上の共感度に対応するペアのペア画像Paのみを含む共感提示情報を生成して出力してもよい。なお、これらのペア画像Paのサイズは、上述と同様、共感度に応じて調整されている。
 つまり、本変形例では、共感度解析部101は、複数人物に含まれる2人の人物からなるペアごとに、当該ペアに含まれる2人の人物の間の共感度を導出する。なお、その2人の人物のうちの一方は、基準人物であり、他方は対象人物である。そして、サーバ100は、ペア画像Paの提示態様にしたがって、閾値よりも高い共感度に対応するペアの人物識別画像P(すなわちペア画像Pa)のみを端末装置200の提示部205に表示させる。これにより、ユーザは大きい共感度を有するペアを容易に把握することができる。
 図25は、本変形例における共感度の提示方法の他の例を示す図である。
 提示部205によって表示される表示画像Ibは、図25に示すように、複数のペア画像Paをグループ分けするための囲枠F1、F2を含んでいてもよい。例えば、囲枠F1は、閾値以上の共感度を有するペアのペア画像Paを囲い、囲枠F2は、閾値未満の共感度を有するペアのペア画像Paを囲う。囲枠F1およびF2のそれぞれによって囲われるペア画像Paの数は1つであっても複数であってもよい。また、この場合には、提示処理部105は、複数のペア画像Paのそれぞれについて、ペア画像Paに対応するペアの共感度と閾値とを比較し、共感度が閾値以上であれば、囲枠F1にそのペア画像Paを含め、共感度が閾値未満であれば、囲枠F2にそのペア画像Paを含める。これによって、共感提示情報が生成される。その結果、図25に示す表示画像Ibが提示部205に表示される。
 図26は、本変形例におけるサーバ100の人物選択処理の一例を示すフローチャートである。つまり、図26は、図8のステップS10の処理を詳細に示すフローチャートである。
 サーバ制御部106は、まず、オンラインコミュニケーションの全ての参加者から、基準人物を選択する(ステップS13)。次に、サーバ制御部106は、その全ての参加者から対象人物を選択し、直前のステップS13で選択された基準人物と、選択された対象人物とを含むペアを決定する(ステップS14)。
 そして、サーバ制御部106は、全ての参加者のうち、対象人物として選択されていない参加者がいるか否かを判定する(ステップS15)。ここで、サーバ制御部106は、選択されていない参加者がいると判定すると(ステップS15のYes)、ステップS14からの処理を繰り返し実行する。一方、サーバ制御部106は、選択されていない参加者がいないと判定すると(ステップS15のNo)、さらに、全ての参加者のうち、基準人物として選択されていない参加者がいるか否かを判定する(ステップS16)。
 ここで、サーバ制御部106は、選択されていない参加者がいると判定すると(ステップS16のYes)、ステップS13からの処理を繰り返し実行する。一方、サーバ制御部106は、選択されていない参加者がいないと判定すると(ステップS16のNo)、人物選択処理を終了する。
 図27は、本変形例におけるサーバ100の一部の処理動作の一例を示すフローチャートである。具体的には、図27は、図8のステップS30の詳細な処理を示すフローチャートである。
 共感度解析部101は、サーバ制御部106によって決定された全てのペアのうち、1つのペアを選択する(ステップS31)。そして、共感度解析部101は、その選択されたペアにおける共感度を導出し、その共感度を示す共感度情報を生成して出力する(ステップS32)。
 次に、共感度解析部101は、サーバ制御部106によって決定された全てのペアのうち、選択されていないペアがあるか否かを判定する(ステップS33)。ここで、共感度解析部101は、選択されていないペアがあると判定すると(ステップS33のYes)、ステップS31からの処理を実行する。一方、共感度解析部101は、選択されていないペアがないと判定すると(ステップS33のNo)、共感度の導出に関する処理を終了する。
 図28は、本変形例におけるサーバ100の一部の処理動作の一例を示すフローチャートである。具体的には、図28は、図8のステップS40の詳細な処理を示すフローチャートである。
 提示処理部105は、共感度解析部101によって導出された全てのペアのそれぞれの共感度を、その共感度の大きさの順にソートする(ステップS47)。
 次に、提示処理部105は、全てのペアのそれぞれについて、そのペアの共感度に応じたサイズのペア画像Paを生成する。つまり、提示処理部105は、ペアに含まれる2人の人物のそれぞれの人物識別画像Pのサイズを、共感度に応じたサイズに調整する。そして、提示処理部105は、それらのサイズ調整されたペア画像Paを含む共感提示情報を生成して出力する(ステップS48)。
 このように、本変形例では、複数の基準人物が選択される。例えば、2人の基準人物が選択されてもよい。つまり、人物選択処理では、サーバ制御部106は、全ての参加者である複数の候補人物から、互いに異なる第1基準人物および第2基準人物をそれぞれ基準人物として選択する。そして、共感度解析部101は、少なくとも1人の対象人物のそれぞれについて、第1基準人物と、その対象人物との間の共感度を導出し、かつ、第2基準人物と、その対象人物との間の共感度を導出する。これにより、2人の基準人物が選択されるため、共感度の導出の対象範囲を広げることができる。その結果、複数人物間のさまざまな共感度を提示することができる。なお、選択される基準人物の数は3人以上であってもよい。
 図29は、本変形例における共感度の提示方法の他の例を示す図である。
 提示部205は、上述の例では、各ペアのペア画像Paを表示するが、図29の(a)に示すように、相関図C1を表示してもよい。相関図C1では、複数の参加者の人物識別画像Pのそれぞれが結合線Lによって互いに結ばれている。結合線Lは、ペアに対応する2つの人物識別画像Pの間を結ぶ線である。なお、図29の例では、人物識別画像Pが簡略化されて示されている。
 ここで、結合線Lの長さおよび太さは、その結合線Lで結ばれている2つの人物識別画像Pに対応するペアの共感度に応じて設定されている。つまり、共感度が大きいほど、結合線Lは短くて太く、共感度が小さいほど、結合線Lは長くて細い。例えば、人物Cと人物Dとのペアにおける共感度は小さいため、人物Cの人物識別画像Pと人物Dの人物識別画像Pとを結ぶ結合線Lは長くて細い。一方、人物Aと人物Bとのペアにおける共感度は大きいため、人物Aの人物識別画像Pと人物Bの人物識別画像Pとを結ぶ結合線Lは短くて太い。この場合、提示処理部105は、各参加者の人物識別画像Pと、複数の結合線Lとによって構成される相関図C1を示す共感提示情報を生成する。そして、提示部205は、その共感提示情報にしたがって図29の(a)に示す相関図C1を表示する。
 あるいは、提示部205は、図29の(a)に示す相関図C1の代わりに、図29の(b)に示す表Tを表示してもよい。つまり、表Tでは、複数のペアのそれぞれの共感度が、大、中、または小として表示されている。例えば、その表Tでは、ペアを構成する人物Aと人物Bとの共感度が大であって、ペアを構成する人物Bと人物Cとの共感度が中であって、ペアを構成する人物Cと人物Dとの共感度が小であることを示す。
 このような、相関図C1または表Tが表示されることによって、複数の参加者の間の共感度を視認し易くすることができる。
 (変形例3)
 上記実施の形態と変形例1および2では、人物識別画像Pのドラッグ・アンド・ドロップによって基準人物が選択される。しかし、端末装置200のユーザが、操作部203を介して、人物識別画像Pに対するクリックまたはタッチなどを行うことによって、その基準人物が選択されてもよい。
 図30は、本変形例における共感度の提示方法の一例を示す図である。
 端末装置200の提示部205は、オンラインコミュニケーションの全ての参加者の人物識別画像Pを表示する。そして、端末装置200の操作部203が提示部205のディスプレイと共にタッチパネルとして構成されている場合には、ユーザは、その表示されている全ての人物識別画像Pのうちの1つの人物識別画像Pを指でタッチする。これにより、端末制御部206は、そのタッチに応じて操作部203から出力される信号に基づいて、そのタッチされた人物識別画像Pに対応する参加者を基準人物として選択する。あるいは、端末装置200の操作部203がマウスとして構成されている場合には、ユーザは、操作部203を操作することによって、その表示されている全ての人物識別画像Pから1つの人物識別画像Pにポインタを当ててクリックする。これにより、端末制御部206は、そのクリックに応じて操作部203から出力される信号に基づいて、そのポインタが当てられた人物識別画像Pに対応する参加者を基準人物として選択する。
 そして、端末制御部206は、オンラインコミュニケーションの基準人物以外の全ての参加者を対象人物として選択してもよい。このように基準人物および対象人物が選択されると、端末装置200の提示部205には、図30に示すように、その基準人物と、各対象人物との間の共感度を示す相関図C2が表示される。この相関図C2は、例えば、基準人物の人物識別画像Pである基準識別画像P1と、4人の対象人物のそれぞれの人物識別画像Pである対象識別画像P2~P5と、結合線L2~L5とによって構成されている。
 結合線L2は、基準識別画像P1と対象識別画像P2とを結ぶ線であり、結合線L3は、基準識別画像P1と対象識別画像P3とを結ぶ線である。同様に、結合線L4は、基準識別画像P1と対象識別画像P4とを結ぶ線であり、結合線L5は、基準識別画像P1と対象識別画像P5とを結ぶ線である。
 ここで、結合線L2~L5は、共感度が大きいほど短くて太く、基準識別画像P1と対象識別画像P2~P5のそれぞれとの間の距離は、共感度が大きいほど短い。
 具体的には、基準識別画像P1の基準人物と、対象識別画像P2の対象人物との間の共感度は、例えば小さい。したがって、結合線L2は、長くて細い。さらに、基準識別画像P1と対象識別画像P2と間の距離は長い。また、基準識別画像P1の基準人物と、対象識別画像P3および対象識別画像P4のそれぞれの対象人物との間の共感度は、例えば中程度である。したがって、結合線L3および結合線L4のそれぞれは、中程度の長さと太さを有する。さらに、基準識別画像P1と対象識別画像P3および対象識別画像P4のそれぞれと間の距離は、中程度である。また、基準識別画像P1の基準人物と、対象識別画像P5の対象人物との間の共感度は、例えば大きい。したがって、結合線L5は、短くて太い。さらに、基準識別画像P1と対象識別画像P5と間の距離は短い。
 また、この相関図C2において、対象識別画像P2~P5のそれぞれのサイズは、その対象識別画像の対象人物の基準人物に対する共感度に応じたサイズであってもよい。つまり、対象人物の共感度が大きければ、その対象人物の対象識別画像は大きく表示され、逆に、対象人物の共感度が小さければ、その対象人物の対象識別画像は小さく表示される。また、この相関図C2には、全ての対象人物の対象識別画像P2~P5が表示されることなく、閾値以上の共感度を有する対象人物の対象識別画像のみが表示されてもよい。
 このような相関図C2における各人物識別画像Pの配置および大きさと、結合線L2~L5のそれぞれの長さおよび太さとは、共感度解析部101によって導出された共感度に応じて、提示処理部105によって決定される。そして、提示処理部105は、その決定された内容によって構成される相関図C2を示す共感提示情報を生成して出力する。端末装置200の提示部205には、このように生成された共感提示情報にしたがってその相関図C2が表示される。
 ここで、共感度解析部101は、例えば、経時的に変化する生体情報に基づいて、共感度の導出を周期的に行う。したがって、共感度は周期的に更新される。その結果、提示部205に表示される相関図C2の構成も周期的に更新される。その更新の周期が短ければ、表示される相関図C2の構成、すなわち、各人物識別画像Pの配置および大きさと、結合線L2~L5のそれぞれの長さおよび太さとは、連続的に変化して表示される。一方、その更新の周期が長ければ、表示される相関図C2の構成は、一定時間ごとに変化して表示される。
 また、提示部205は、基準識別画像P1と、対象識別画像P2~P5のそれぞれとを、ブリンクさせてもよい。ブリンクでは、人物識別画像Pの表示と非表示とが周期的に行われる。そして、提示部205は、対象人物の共感度が大きいほど、その対象人物の対象識別画像のブリンクの周期を、基準識別画像P1のブリンクの周期に近づけてもよい。このようなブリンクによっても、共感度を適切に提示することができる。なお、このようなブリンクおよびその周期は、提示処理部105によって決定され、共感度の提示態様として共感提示情報に示される。
 (変形例4)
 上記実施の形態およびその変形例1~2では、基準人物および対象人物は、例えば図3に示す基準人物枠W1および対象人物枠W2を用いて選択される。本変形例では、それらの枠を用いることなく、基準人物および対象人物が選択される。
 図31は、端末装置200の提示部205に表示される画像の一例を示す図である。
 提示部205は、例えば図31に示すように、非表示領域W11および共感表示領域W12を含む設定表示画像Ifを表示する。非表示領域W11には、共感度の導出の対象とされない参加者の人物識別画像Pが配置される。一方、共感表示領域W12には、共感度の導出の対象とされる参加者の人物識別画像Pが配置される。
 まず、設定表示画像Ifが表示されるときには、非表示領域W11には、全ての参加者の人物識別画像Pが配置されている。端末装置200のユーザは、非表示領域W11に配置されている全ての人物識別画像Pから、所望の参加者の人物識別画像Pを決定する。そして、ユーザは、端末装置200の操作部203を操作することによって、その決定された人物識別画像Pを非表示領域W11から共感表示領域W12に移す。このような人物識別画像Pの移動は、ドラッグ・アンド・ドロップによって行われてもよい。これにより、端末装置200の端末制御部206は、その人物識別画像Pに対応する参加者を基準人物および対象人物として選択する。このような人物の選択は、ユーザによる人物識別画像Pの移動によって繰り返し実行される。端末制御部206は、その選択された人物を示す選択人物情報を、端末通信部204からサーバ100に送信させる。サーバ100は、その選択人物情報によって示される人物を基準人物および対象人物として扱い、上記実施の形態および変形例2と同様に、共感度を導出し、共感提示情報を生成して端末装置200に送信する。
 端末装置200の端末制御部206は、その共感提示情報にしたがって、共感表示領域W12に、図29の(a)に示す相関図C1と同様の相関図C3を表示する。
 このように、本変形例では、ユーザが共感度の提示を望む参加者が基準人物と対象人物とに区別されることなく選択される。したがって、その区別にかかる手間を省くことができる。さらに、本変形例では、非表示領域W11に配置されている人物識別画像Pに対応する参加者の共感度は表示されず、共感表示領域W12に配置されている人物識別画像Pに対応する参加者の共感度のみが表示される。したがって、ユーザが望む参加者間の共感度のみを簡単に分かり易く表示することができる。
 さらに、本変形例では、非表示領域W11に配置されている人物識別画像Pに対応する参加者に対しては、共感度は導出されないため、全ての参加者間の共感度が導出される場合と比べて、サーバ100の処理負担を軽減することができる。
 なお、上述の例では、非表示領域W11には、参加者を識別するための人物識別画像Pが配置されているが、複数の参加者が属する組織またはグループを識別するためのグループ画像が配置されていてもよい。この場合、ユーザは、共感度を知りたい組織またはグループに対応するグループ画像をその非表示領域W11から見つける。そして、ユーザは、端末装置200の操作部203への入力操作を行うことによって、そのグループ画像を非表示領域W11から共感表示領域W12に移す。その結果、端末装置200の端末制御部206は、その共感表示領域W12に配置されたグループ画像を、そのグループ画像に対応する組織またはグループに属する複数の参加者のそれぞれの人物識別画像Pに変換する。その結果、図31に示す例と同様、共感表示領域W12には、それらの人物識別画像Pを含む相関図C3が表示される。
 (変形例5)
 上記実施の形態および変形例1~4では、共感度が提示される。本変形例では、共感度だけでなく共感の方向も提示される。例えば、上記実施の形態の図14Aに示す例のとおり、共感度解析部101は、共感度情報だけでなく、共感の方向を示す共感方向情報を出力する。提示処理部105は、その共感度情報によって示される共感度と、共感方向情報によって示される共感の方向とを、設定された提示態様にしたがって示す共感提示情報を生成して出力する。その設定された提示態様は、例えば相関図である。このように生成された共感提示情報は、端末装置200に送信されて、その共感提示情報の内容が提示部205に表示される。
 図32は、端末装置200の提示部205に表示される画像の一例を示す図である。
 提示部205は、例えば図32に示す相関図C4を表示する。この相関図C4では、複数の人物識別画像Pのそれぞれが矢印Laによって結ばれている。矢印Laの長さおよび太さは、その矢印Laによって結ばれている2つの人物識別画像Pのそれぞれの参加者間の共感度の大きさに基づいて設定されている。さらに、矢印Laの向きは、共感度の方向を示す。つまり、その矢印Laの向きは、矢印Laの基部に接続されている人物識別画像Pの参加者が、矢印Laの先端に接続されている人物識別画像Pの参加者に対して共感していることを示している。
 例えば、図14Aに示す例のとおり、基準人物による発言が原因となって、対象人物が基準人物に共感した場合、共感度解析部101は、対象人物が基準人物に対して共感を抱いたと判定し、対象人物から基準人物への方向を共感の方向として特定する。提示処理部105は、対象人物の人物識別画像Pから基準人物の人物識別画像Pに向かって矢印Laが延びる相関図C4を生成して、その相関図C4を示す共感提示情報を生成する。
 これにより、誰が誰に対して共感を示しているか、という情報をユーザに認知させ易くすることができる。
 なお、共感度解析部101は、基準人物の生体情報(例えば心拍数)が変化するタイミングと、対象人物の生体情報が変化するタイミングの違いに基づいて、共感の方向を特定してもよい。具体的な一例で、先に基準人物の生体情報が変化し、その後、対象人物の生体情報が変化した場合、対象人物の生体情報は、基準人物の内面に追随する形で変化したと考えられる。したがって、共感度解析部101は、上記タイミングの差異に基づいて、共感の方向が対象人物から基準人物への方向であると判定することができる。
 また、共感度解析部101は、図14Aの例のとおり、音声データに基づいて、共感の方向を特定してもよい。例えば、基準人物が発言をした後に、対象人物の生体情報が変化した場合は、基準人物の発言が原因となって、対象人物の生体情報が変化したと考えられる。したがって、共感度解析部101は、その音声データに基づいて、共感の方向が対象人物から基準人物への方向であると判定することができる。
 このように、本変形例では、共感度解析部101は、導出される共感度が、基準人物が対象人物に共感している度合いを示しているか、対象人物が基準人物に共感している度合いを示しているかを、共感の方向として判定する。そして、提示処理部105は、判定された共感の方向を、端末装置200の提示部205が有するディスプレイに表示させる。これにより、共感の方向が表示されるため、ユーザは、誰が誰に対して共感しているかを把握することができ、コミュニケーションをさらに円滑に行うことができる。
 (その他の変形例)
 以上、本開示の1つまたは複数の態様に係る情報処理システムおよび情報処理方法について、上記実施の形態およびその変形例1~5に基づいて説明したが、本開示は、それらの実施の形態および変形例1~5に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例1~5に施したものも本開示に含まれてもよい。また、上記実施の形態および変形例1~5のそれぞれの構成要素を組み合わせて構築される形態も本開示に含まれてもよい。
 例えば、上記実施の形態では、図8に示すように、全ての参加者から、基準人物と対象人物とを含む複数人物が選択された後に、それらの複数人物の生体情報が取得される。しかし、逆に、全ての参加者の生体情報が取得された後に、全ての参加者からその複数人物が選択されてもよい。
 また、上記実施の形態およびその変形例1~5では、提示処理部105がサーバ100に備えられているが、端末装置200に備えられていてもよい。また、各端末装置200は、提示処理部105だけでなく、サーバ100に備えらえている全てまたは一部の構成要素を備えていてもよい。逆に、サーバ100が、端末装置200に備えられている全てまたは一部の構成要素を備えていてもよい。
 また、上記実施の形態およびその変形例1~5では、オンラインコミュニケーションが行われているが、オンラインでない対面のコミュニケーションが行われてもよい。例えば、会議室で会議が行われるときに、会議室に集まった各出席者が、対面でコミュニケーションをとりあいながら、端末装置200を操作することによって、複数の出席者間の共感度を把握してもよい。
 また、共感度解析部101の態様1では、相関係数から共感度が導出され、態様2および3では、ストレスの要因から共感度が導出される。しかし、共感度解析部101は、相関係数から導出される共感度と、ストレスの要因から導出される共感度との平均値を算出し、その平均値を示す共感度情報を、最終的な共感度情報として出力してもよい。さらに、心拍情報以外の他の生体情報も用いて共感度を導出してもよい。他の生体情報は、上述のように、表情、人の動きの加速度、顔の温度、または、手の発汗量などを示すデータであってもよい。態様1における心拍情報が心拍揺らぎを示す場合、その心拍揺らぎは、交感神経活動量を示すと考えられるLF/HFであってもよい。また、態様2および3における、RRI変化量、CvRR変化量、SC変化量、および皮膚温度変化量は、(式1)~(式4)に示すように、比として表されるが、差として表されてもよい。
 なお、上記実施の形態およびその変形例1~5において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU(Central Processing Unit)またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態およびその変形例1~5などを実現するソフトウェアは、図8~図11、図15、図21、図23、図26~図28に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。
 上記実施の形態におけるオンラインコミュニケーションは、ユーザがアバターを操作し、仮想空間において行われるコミュニケーションであってもよい。すなわち、上記の実施形態における共感度の提示態様は、提示部によって表示される仮想空間の態様にも適用することが可能である。
 また、共感度に応じて仮想空間内におけるアバターの向きを変更させる処理を行ってもよい。例えば、人物Aに対応するアバターA、人物Bに対応するアバターB、および人物Cに対応するアバターCが仮想空間に存在するように提示部に表示される場合において、人物Aと人物Bの共感度が、人物AとCの共感度および人物Bと人物Cの共感度のそれぞれよりも大きいと決定された場合、アバターAとアバターBが仮想空間において向き合うように提示態様を変化させてもよい。
 また、人物Aと人物Bの共感度が、人物AとCの共感度および人物Bと人物Cの共感度のそれぞれよりも大きいと決定された場合、仮想空間におけるアバターAとアバターBとの間の距離が短くなるように、アバターAとアバターBを近づけてもよい。
 なお、以下のような場合も本開示に含まれる。
 (1)上記の少なくとも1つの装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも1つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 (2)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 (3)上記の少なくとも1つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 (4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
 また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD(Compact Disc)-ROM、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
 また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 また、本開示における情報処理方法は、以下の態様の方法であるとも言える。
 (第1態様)
 第1態様の情報処理方法は、1以上のコンピュータによって実行される情報処理方法であって、複数人物のそれぞれの生体情報を取得し、取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、前記1以上のコンピュータを利用するユーザから入力操作を受け付けることによって、複数の候補人物から、前記基準人物と、前記少なくとも1人の対象人物とを選択する人物選択処理を実行し、前記人物選択処理によって選択された前記少なくとも1人の対象人物のそれぞれの前記共感度を示す共感度情報を出力する。
 (第2態様)
 第2態様の情報処理方法は、第1態様の情報処理方法であって、前記人物選択処理では、前記複数の候補人物から互いに異なる第1基準人物および第2基準人物をそれぞれ前記基準人物として選択し、前記共感度の導出では、前記少なくとも1人の対象人物のそれぞれについて、前記第1基準人物と、当該対象人物との間の共感度を導出し、かつ、前記第2基準人物と、当該対象人物との間の共感度を導出する。
 (第3態様)
 第3態様の情報処理方法は、第1態様または第2態様の情報処理方法であって、前記人物選択処理では、前記ユーザによる入力操作を受けるための画像を表示し、前記画像に応じた前記入力操作を受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択する。
 (第4態様)
 第4態様の情報処理方法は、第2態様または第3態様の情報処理方法であって、前記人物選択処理では、前記ユーザの発話を示す音声データを取得し、前記音声データを前記入力操作として受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択する。
 (第5態様)
 第5態様の情報処理方法は、第1態様の情報処理方法であって、前記共感度情報の生成では、前記少なくとも1人の対象人物のそれぞれの属性を示す属性情報を取得し、前記属性情報に基づいて、属性ごとに、当該属性に属する1以上の対象人物のそれぞれの共感度を用いて、当該属性において代表される共感度である代表共感度を導出し、属性ごとの前記代表共感度を示す前記共感度情報を生成する。
 (第6態様)
 第6態様の情報処理方法は、第1態様の情報処理方法であって、前記情報処理方法では、さらに、前記1以上のコンピュータを利用するユーザの周辺にある機器に対して、前記ユーザの環境を、前記少なくとも1人の対象人物のそれぞれの共感度に応じた環境に調整させる。
 (第7態様)
 第7態様の情報処理方法は、第1態様の情報処理方法であって、前記情報処理方法では、さらに、導出される前記共感度が、前記基準人物が前記対象人物に共感している度合いを示しているか、前記対象人物が前記基準人物に共感している度合いを示しているかを、共感の方向として判定し、判定された前記共感の方向をディスプレイに表示させる。
 (第8態様)
 第8態様の情報処理方法は、1以上のコンピュータによって実行される情報処理方法であって、複数人物のそれぞれの生体情報を取得し、取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、前記少なくとも1人の対象人物のそれぞれについて、当該対象人物を識別するための人物識別画像をディスプレイに表示させ、導出された前記共感度の大きさに応じて、前記人物識別画像の表示態様を変化させる。
 (第9態様)
 第9態様の情報処理方法は、第8態様の情報処理方法であって、前記人物識別画像の表示では、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像の配列が表示され、前記配列では、前記少なくとも1人の対象人物の共感度の順に、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像が並べられている。
 (第10態様)
 第10態様の情報処理方法は、第9態様の情報処理方法であって、前記配列では、前記対象人物の共感度が大きいほど前記配列の先頭側に当該対象人物の前記人物識別画像が配置される。
 (第11態様)
 第11態様の情報処理方法は、第8態様の情報処理方法であって、前記人物識別画像の表示では、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じたサイズで表示させる。
 (第12態様)
 第12態様の情報処理方法は、第11態様の情報処理方法であって、前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど大きく表示される。
 (第13態様)
 第13態様の情報処理方法は、第8態様の情報処理方法であって、前記人物識別画像の表示では、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた表示精度で表示させ、前記人物識別画像の表示精度は、前記人物識別画像によって識別される前記対象人物の写真画像に前記人物識別画像が類似している度合いである。
 (第14態様)
 第14態様の情報処理方法は、第13態様の情報処理方法であって、前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど高い前記表示精度で表示される。
 (第15態様)
 第15態様の情報処理方法は、第8態様の情報処理方法であって、前記人物識別画像の表示では、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた動作を表現しているように表示させる。
 (第16態様)
 第16態様の情報処理方法は、第8態様の情報処理方法であって、前記共感度の導出では、前記複数人物に含まれる2人の人物からなるペアごとに、当該ペアに含まれる2人の人物の間の共感度を導出し、前記2人の人物のうちの一方は、前記基準人物であり、他方は前記対象人物であって、前記人物識別画像の表示では、前記共感度が導出された複数のペアのうち、閾値よりも大きい共感度に対応するペアの前記人物識別画像のみを表示させる。
 本開示は、例えば複数人のコミュニケーションに用いられるコミュニケーションシステムなどに利用可能である。
11a  心拍取得部
11b  SC取得部
12、12a  共感処理部
13  出力部
100  サーバ
101  共感度解析部
104  サーバ通信部
105  提示処理部
106  サーバ制御部
110  サーバ記憶部
200  端末装置
201  センサ
201a  第1センサ
201b  第2センサ
202  生体解析部
203  操作部
204  端末通信部
205  提示部
205a  照明機器
205b  スマートスピーカ
206  端末制御部
210  端末記憶部
1000  情報処理システム
B1  表示方法選択ボタン
C1、C2、C3、C4  相関図
F1、F2  囲枠
Ia  設定画像
Ib  表示画像
If  設定表示画像
L、L2、L3、L4、L5  結合線
La  矢印
Nt  通信ネットワーク
P  人物識別画像
P1  基準識別画像
P2、P3、P4、P5  対象識別画像
Pa  ペア画像
T  表
W1  基準人物枠
W2  対象人物枠
W3  動画像領域
W4、W12  共感表示領域
W11  非表示領域

Claims (19)

  1.  1以上のコンピュータによって実行される情報処理方法であって、
     複数人物のそれぞれの生体情報を取得し、
     取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、
     導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、
     生成された前記共感提示情報を出力する、
     情報処理方法。
  2.  前記情報処理方法では、さらに、
     前記1以上のコンピュータを利用するユーザから入力操作を受け付けることによって、複数の候補人物から、前記基準人物と、前記少なくとも1人の対象人物とを選択する人物選択処理を実行する、
     請求項1に記載の情報処理方法。
  3.  前記人物選択処理では、
     前記複数の候補人物から互いに異なる第1基準人物および第2基準人物をそれぞれ前記基準人物として選択し、
     前記共感度の導出では、
     前記少なくとも1人の対象人物のそれぞれについて、前記第1基準人物と、当該対象人物との間の共感度を導出し、かつ、前記第2基準人物と、当該対象人物との間の共感度を導出する、
     請求項2に記載の情報処理方法。
  4.  前記人物選択処理では、
     前記ユーザによる入力操作を受けるための画像を表示し、
     前記画像に応じた前記入力操作を受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択する、
     請求項2または3に記載の情報処理方法。
  5.  前記人物選択処理では、
     前記ユーザの発話を示す音声データを取得し、
     前記音声データを前記入力操作として受け付けることによって、前記基準人物と前記少なくとも1人の対象人物とを選択する、
     請求項2または3に記載の情報処理方法。
  6.  前記共感提示情報の生成では、
     前記少なくとも1人の対象人物のそれぞれの属性を示す属性情報を取得し、
     前記属性情報に基づいて、属性ごとに、当該属性に属する1以上の対象人物のそれぞれの共感度を用いて、当該属性において代表される共感度である代表共感度を導出し、
     属性ごとの前記代表共感度を示す前記共感提示情報を生成する、
     請求項1に記載の情報処理方法。
  7.  前記情報処理方法では、さらに、
     前記少なくとも1人の対象人物のそれぞれについて、当該対象人物を識別するための人物識別画像をディスプレイに表示させる、
     請求項1に記載の情報処理方法。
  8.  前記人物識別画像の表示では、
     前記少なくとも1人の対象人物のそれぞれの前記人物識別画像の配列が表示され、
     前記配列では、前記提示態様にしたがって、前記少なくとも1人の対象人物の共感度の順に、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像が並べられている、
     請求項7に記載の情報処理方法。
  9.  前記配列では、前記対象人物の共感度が大きいほど前記配列の先頭側に当該対象人物の前記人物識別画像が配置される、
     請求項8に記載の情報処理方法。
  10.  前記人物識別画像の表示では、
     前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じたサイズで表示させる、
     請求項7に記載の情報処理方法。
  11.  前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど大きく表示される、
     請求項10に記載の情報処理方法。
  12.  前記人物識別画像の表示では、
     前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた表示精度で表示させ、
     前記人物識別画像の表示精度は、前記人物識別画像によって識別される前記対象人物の写真画像に前記人物識別画像が類似している度合いである、
     請求項7に記載の情報処理方法。
  13.  前記人物識別画像は、前記人物識別画像によって識別される前記対象人物の共感度が大きいほど高い前記表示精度で表示される、
     請求項12に記載の情報処理方法。
  14.  前記人物識別画像の表示では、
     前記提示態様にしたがって、前記少なくとも1人の対象人物のそれぞれの前記人物識別画像を、当該対象人物の共感度に応じた動作を表現しているように表示させる、
     請求項7に記載の情報処理方法。
  15.  前記共感度の導出では、
     前記複数人物に含まれる2人の人物からなるペアごとに、当該ペアに含まれる2人の人物の間の共感度を導出し、
     前記2人の人物のうちの一方は、前記基準人物であり、他方は前記対象人物であって、
     前記人物識別画像の表示では、
     前記提示態様にしたがって、前記共感度が導出された複数のペアのうち、閾値よりも大きい共感度に対応するペアの前記人物識別画像のみを表示させる、
     請求項7に記載の情報処理方法。
  16.  前記情報処理方法では、さらに、
     前記提示態様にしたがって、前記1以上のコンピュータを利用するユーザの周辺にある機器に対して、前記ユーザの環境を、前記少なくとも1人の対象人物のそれぞれの共感度に応じた環境に調整させる、
     請求項1に記載の情報処理方法。
  17.  前記情報処理方法では、さらに、
     導出される前記共感度が、前記基準人物が前記対象人物に共感している度合いを示しているか、前記対象人物が前記基準人物に共感している度合いを示しているかを、共感の方向として判定し、
     判定された前記共感の方向をディスプレイに表示させる、
     請求項1に記載の情報処理方法。
  18.  複数人物のそれぞれの生体情報を取得する取得部と、
     取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出する共感度解析部と、
     導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、生成された前記共感提示情報を出力する提示処理部と
     を備える情報処理システム。
  19.  複数人物のそれぞれの生体情報を取得し、
     取得された前記生体情報に基づいて、前記複数人物のうちの少なくとも1人の対象人物のそれぞれについて、前記複数人物のうちの基準人物と、当該対象人物との間における共感度を導出し、
     導出された前記少なくとも1人の対象人物のそれぞれの共感度を、前記共感度の提示態様にしたがって示す共感提示情報を生成し、
     生成された前記共感提示情報を出力する、
     ことを1以上のコンピュータに実行させるプログラム。
PCT/JP2022/047742 2022-01-25 2022-12-23 情報処理方法、情報処理システムおよびプログラム WO2023145350A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022009505 2022-01-25
JP2022-009505 2022-01-25

Publications (1)

Publication Number Publication Date
WO2023145350A1 true WO2023145350A1 (ja) 2023-08-03

Family

ID=87471701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/047742 WO2023145350A1 (ja) 2022-01-25 2022-12-23 情報処理方法、情報処理システムおよびプログラム

Country Status (1)

Country Link
WO (1) WO2023145350A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160719A (ja) * 2009-01-09 2010-07-22 Kansai Electric Power Co Inc:The 評価度合いデータの表示方法
WO2013061497A1 (ja) * 2011-10-27 2013-05-02 株式会社シナジードライブ コンテンツの評価再生システム
JP2015075908A (ja) * 2013-10-09 2015-04-20 日本電信電話株式会社 感情情報表示制御装置、その方法及びプログラム
JP2019028732A (ja) * 2017-07-31 2019-02-21 スマートメディカル株式会社 音声等から気分を解析して動作を制御する装置
JP2019101929A (ja) * 2017-12-06 2019-06-24 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020042709A (ja) * 2018-09-13 2020-03-19 トヨタ自動車株式会社 聴衆間の心理状態の類似度合を評定するシステム
JP2020120908A (ja) * 2019-01-30 2020-08-13 パナソニックIpマネジメント株式会社 精神状態推定システム、精神状態推定方法、及び、プログラム
JP2021194476A (ja) * 2020-06-18 2021-12-27 パナソニックIpマネジメント株式会社 情報処理方法、情報処理システムおよびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160719A (ja) * 2009-01-09 2010-07-22 Kansai Electric Power Co Inc:The 評価度合いデータの表示方法
WO2013061497A1 (ja) * 2011-10-27 2013-05-02 株式会社シナジードライブ コンテンツの評価再生システム
JP2015075908A (ja) * 2013-10-09 2015-04-20 日本電信電話株式会社 感情情報表示制御装置、その方法及びプログラム
JP2019028732A (ja) * 2017-07-31 2019-02-21 スマートメディカル株式会社 音声等から気分を解析して動作を制御する装置
JP2019101929A (ja) * 2017-12-06 2019-06-24 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020042709A (ja) * 2018-09-13 2020-03-19 トヨタ自動車株式会社 聴衆間の心理状態の類似度合を評定するシステム
JP2020120908A (ja) * 2019-01-30 2020-08-13 パナソニックIpマネジメント株式会社 精神状態推定システム、精神状態推定方法、及び、プログラム
JP2021194476A (ja) * 2020-06-18 2021-12-27 パナソニックIpマネジメント株式会社 情報処理方法、情報処理システムおよびプログラム

Similar Documents

Publication Publication Date Title
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
Gürkök et al. Brain–computer interfaces for multimodal interaction: a survey and principles
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
US20190313966A1 (en) Pain level determination method, apparatus, and system
US20170344713A1 (en) Device, system and method for assessing information needs of a person
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
US10108784B2 (en) System and method of objectively determining a user's personal food preferences for an individualized diet plan
JPWO2017064891A1 (ja) 情報処理システム、情報処理方法、および記憶媒体
JP2019030557A (ja) 提示装置、提示方法、感情推定サーバ、感情推定方法及び感情推定システム
US20200402641A1 (en) Systems and methods for capturing and presenting life moment information for subjects with cognitive impairment
JPWO2019146405A1 (ja) 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム
JP7209200B2 (ja) 空間提案システム、及び、空間提案方法
Murali et al. Towards automated pain assessment using embodied conversational agents
WO2023145350A1 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2020058942A1 (en) System and method to integrate emotion data into social network platform and share the emotion data over social network platform
Zhang et al. A survey on mobile affective computing
WO2020111962A1 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
Ferrari et al. Using voice and biofeedback to predict user engagement during product feedback interviews
KR20220117632A (ko) 원격 상담 서비스 제공 방법 및 시스템
WO2023145351A1 (ja) 情報処理方法、情報処理システムおよびプログラム
Kim et al. Mediating individual affective experience through the emotional photo frame
US20190167158A1 (en) Information processing apparatus
Migovich et al. Stress Detection of Autistic Adults during Simulated Job Interviews Using a Novel Physiological Dataset and Machine Learning
Keary et al. How affective computing could complement and advance the quantified self

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924197

Country of ref document: EP

Kind code of ref document: A1