WO2020148920A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2020148920A1
WO2020148920A1 PCT/JP2019/009523 JP2019009523W WO2020148920A1 WO 2020148920 A1 WO2020148920 A1 WO 2020148920A1 JP 2019009523 W JP2019009523 W JP 2019009523W WO 2020148920 A1 WO2020148920 A1 WO 2020148920A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
participant
utterance
facial expression
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/009523
Other languages
English (en)
French (fr)
Inventor
慎 江上
一希 笠井
和田　純一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2020148920A1 publication Critical patent/WO2020148920A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Patent Literature 1 describes a telephone voice monitoring evaluation system that evaluates the performance of an operator by recognizing emotions based on voices in conversation between a call center operator and a customer and performing voice analysis by combining voices and emotions. Has been done.
  • Patent Literature 2 describes an emotion matching device that recognizes emotions indicated by a chat sentence input by a user and obtains the similarity of emotions between users.
  • An aspect of the present invention is to provide a communication support technology that multilaterally recognizes emotions of each user during a conversation and notifies the evaluation of the conversation based on the recognized emotions.
  • an information processing apparatus provides first facial expression information regarding a facial expression of a first participant among a plurality of participants, and first facial expression information among the plurality of participants.
  • Facial expression information acquisition unit for acquiring second facial expression information regarding facial expressions of the second participant, first utterance information regarding utterances of the first participant, and second participant of the plurality of participants. The first participant and the second participant with reference to the voice information acquisition unit that acquires the second utterance information related to the utterance of the user and the first facial expression information and the second facial expression information.
  • the facial expression relationship information generating unit that generates facial expression relationship information indicating a relationship related to facial expressions, and the first participant and the first utterance information with reference to the first utterance information and the second utterance information.
  • the first participant with reference to the utterance relationship information generating unit that generates utterance relationship information indicating a relationship regarding utterance with the second participant, and the facial expression relationship information and the utterance relationship information.
  • a relationship information generating unit that generates relationship information that is information indicating the relationship between the second participant and the second participant.
  • FIG. 2 is a diagram showing an outline of an information processing system 100 including the information processing apparatus 10 according to the embodiment of the present invention.
  • the information processing system 100 as shown in FIG. 2, between the first participant 200 who uses the first terminal device 20 and the second participant 201 who uses the second terminal device 30. Evaluate the relationship.
  • information processing system 100 information is obtained based on facial expression information and speech information of the first participant 200 and the second participant 201 during the meeting, which are obtained from the first terminal device 20 and the second terminal device 30.
  • the processing device 10 evaluates the relationship between the first participant 200 and the second participant 201 during the conference.
  • the information processing system 100 displays the result of evaluation of the relationship on at least one of the first terminal device 20 and the second terminal device 30 so that the first participant 200 and the second participant 201 can receive the result.
  • the evaluation results are fed back to at least one side in real time to encourage improvement of the communication status during the meeting.
  • the “meeting” is not limited to a meeting in a narrow sense, but includes an interview, an interview, a counseling, an inquiry, a customer service, an interview, a consultation, and the like.
  • ⁇ Interview with superiors and subordinates ⁇ Interviews with patients by doctors ⁇ Counseling of the target by counselors ⁇ Counseling of customers with customers and consultation with customers ⁇ Remote communication such as Web Meeting ⁇ For video images such as e-learning Communication etc. are included.
  • FIG. 3 is a diagram showing an outline of a data flow in the information processing system 100.
  • the first terminal device 20 includes a camera 21, a microphone 22, a display unit 23, a control unit 24, a speaker 25, and a communication unit 26.
  • the camera 21 images the first participant and supplies the captured image to the control unit 24.
  • the image captured by the camera 21 is preferably a moving image, and in the case of this configuration, as shown in FIG. 3, the camera 21 is included in the moving image file and the moving image file for the control unit 24.
  • the camera 21 supplies the control unit 24 with a time stamp indicating the imaging time of each image included in the moving image file.
  • the first terminal device 20 may have a configuration including a plurality of cameras, and in this configuration, the control unit 24 can identify the camera 21 by referring to the camera device identification information.
  • the control unit 24 refers to the moving image file, the moving image file list, and the time stamp supplied from the camera 21, and performs the image recognition process.
  • the control unit 24 performs the image recognition process with reference to the moving image file, the moving image file list, and the time stamp, thereby performing the time-series facial expression value, the time-series face part coordinate, and the time-series gaze. Calculate the coordinates.
  • the time-series facial expression value, the time-series facial part coordinate, and the time-series gaze coordinate are examples of first facial expression information regarding the facial expression of the first participant.
  • the microphone 22 mainly collects the voices uttered by the first participant, provides the control unit 24 with a voice file indicating the collected voices, and a time stamp for specifying the point of utterance in the voice file. Supply.
  • the first terminal device 20 may be configured to include a plurality of microphones, and in this configuration, the control unit 24 can identify the microphone 22 by referring to the audio device identification information.
  • the control unit 24 refers to the audio file and the time stamp supplied from the microphone 22 and performs the speech recognition process.
  • the control unit 24 generates section time-series text data by performing speech recognition processing that refers to a voice file and a time stamp.
  • the section time-series text data is information that mainly shows the contents uttered by the first participant in time series as text data.
  • the section time-series text data is an example of first utterance information indicating the utterance of the first participant.
  • the second terminal device 30 also includes a camera 31, a microphone 32, a display unit 33, a control unit 34, a speaker 35, and a communication unit 36.
  • the camera 31 images the second participant and supplies the captured image to the control unit 34.
  • the image captured by the camera 31 is preferably a moving image, and in the case of this configuration, the camera 31 is included in the moving image file and the moving image file for the control unit 34, as shown in FIG.
  • the camera 31 supplies the control unit 34 with a time stamp indicating the image capturing time of each image included in the moving image file.
  • the second terminal device 30 may have a configuration including a plurality of cameras, and in this configuration, the control unit 34 can identify the camera 31 by referring to the camera device identification information.
  • the control unit 34 refers to the moving image file, the moving image file list, and the time stamp supplied from the camera 31, and performs image recognition processing.
  • the control unit 34 performs the image recognition process with reference to the moving image file, the moving image file list, and the time stamp, thereby performing the time-series facial expression values, the time-series face part coordinates, and the time-series gaze. Calculate the coordinates.
  • the time-series facial expression value, the time-series facial part coordinate, and the time-series gaze coordinate are examples of second facial expression information regarding the facial expression of the second participant.
  • the microphone 32 mainly collects the voices uttered by the second participant, provides the control unit 34 with a voice file indicating the collected voices, and a time stamp for specifying the point of utterance in the voice file. Supply.
  • the second terminal device 30 may be configured to include a plurality of microphones, and in this configuration, the control unit 34 can identify the microphone 32 by referring to the audio device identification information.
  • the control unit 34 refers to the audio file and the time stamp supplied from the microphone 32 and performs the speech recognition process.
  • the control unit 34 generates section time-series text data by performing speech recognition processing with reference to a voice file and a time stamp.
  • the section time-series text data is information that mainly shows the content uttered by the second participant in time series as text data.
  • the section time-series text data is an example of second utterance information indicating the utterance of the second participant.
  • the information processing device 10 includes a facial expression information acquisition unit 13, a voice information acquisition unit 14, a facial expression relationship information generation unit 15, an utterance relationship information generation unit 16, and a relationship information generation unit 17.
  • the information processing device 10 further includes a communication unit 11.
  • the facial expression information acquisition unit 13, the voice information acquisition unit 14, the facial expression relationship information generation unit 15, the utterance relationship information generation unit 16, and the relationship information generation unit 17 are included in the calculation unit 12.
  • the facial expression information acquisition unit 13 relates to first facial expression information regarding the facial expression of the first participant among the plurality of conference participants and the facial expression of the second participant among the plurality of conference participants via the communication unit 11. And the second facial expression information.
  • the facial expression information acquisition unit 13 may, for example, via the communication unit 11, time-series facial expression values, which are time-series numerical data included in the facial expression information regarding the first participant, time-series face part coordinates, and time-series gaze coordinates.
  • the numerical data cleaning process is performed on the time-series numerical data by performing the following process as an example. ⁇ Delete the invalid data section ⁇ Average the data in the valid data section ⁇ Convert to variance and number of terms
  • the facial expression information acquisition unit 13 performs the above-mentioned numerical data washing processing to determine the time of the section regarding the first participant. Generate series numerical data.
  • the section time-series numerical data includes time-series facial expression values, time-series face part coordinates, and time-series gaze coordinates in the effective section.
  • the facial expression information acquisition unit 13 also performs similar processing on facial expression information regarding the second participant, and generates section time series numerical data regarding the second participant.
  • the facial expression information acquisition unit 13 refers to the section time-series numerical data regarding the first participant to calculate a plurality of first indexes expressing the facial expression of the first participant.
  • the facial expression information acquisition unit 13 refers to the section time-series numerical data regarding the second participant, and calculates a plurality of second indexes expressing the facial expression of the second participant.
  • examples of the index expressing the facial expression include the following indices. ⁇ Anger ⁇ Insult (contempt) ⁇ Disgust ⁇ Fear ⁇ Happiness ⁇ Neutral ⁇ Sadness ⁇ Surprise Therefore, the index expressing the facial expression can also be referred to as an index expressing the emotion indicated by the facial expression.
  • the facial expression information acquisition unit 13 may use the time-series facial expression values included in the section time-series numerical data regarding the first participant, as they are, as a plurality of first indexes expressing the facial expression of the first participant. Good. Similarly, the facial expression information acquisition unit 13 uses the time-series facial expression values included in the section time-series numerical data regarding the second participant, as they are, as a plurality of second indexes expressing the facial expression of the second participant. Good.
  • the facial expression of the first participant and the facial expression of the second participant can be expressed as a vector having the above-mentioned index as each component. These vectors are sometimes called facial expression vectors.
  • the technology for detecting the facial expressions of each participant and the technology for indexing and expressing the emotions indicated by the detected facial expressions do not limit the present embodiment, and, for example, a known technology can be used.
  • the facial expression information acquisition unit 13 acquires information regarding the line-of-sight directions of the first participant and the second participant from the first terminal device 20 and the second terminal device 30 via the communication unit 11. .. Specifically, as an example, the facial expression information acquisition unit 13 acquires the time-series line-of-sight coordinates included in the section time-series numerical data regarding the first participant described above as the information regarding the line-of-sight direction of the first participant. .. Similarly, the facial expression information acquisition unit 13 acquires the time-series line-of-sight coordinates included in the above-described section time-series numerical data regarding the second participant, as information regarding the line-of-sight direction of the second participant.
  • the method of acquiring the line-of-sight coordinates is not particularly limited, but a point light source (not shown) is provided in the first terminal device 20 and the second terminal device 30, and a corneal reflection image of light from the point light source is captured by the camera.
  • a method of acquiring the line-of-sight coordinates of the user by photographing with the camera 21 and the camera 31 for a predetermined time.
  • the type of point light source is not particularly limited, and examples thereof include visible light and infrared light. By using an infrared LED, for example, the line-of-sight coordinates can be acquired without causing discomfort to the user.
  • the voice information acquisition unit 14 acquires the first utterance information regarding the utterance of the first participant and the second utterance information regarding the utterance of the second participant among the plurality of conference participants. That is, the voice information acquisition unit 14 acquires information about the utterances of the first participant and the second participant from the first terminal device 20 and the second terminal device 30 via the communication unit 11.
  • the voice information acquisition unit 14 acquires, for example, the time-series utterance text included in the section time-series text data regarding the above-mentioned first participant. Similarly, the voice information acquisition unit 14 acquires, as an example, the time-series utterance text included in the section time-series text data regarding the second participant described above.
  • the voice information acquisition unit 14 acquires the time-series utterance text regarding the first participant and the time-series face part coordinates at the time of utterance of the time-series utterance text.
  • the voice information acquisition unit 14 refers to the time-series face part coordinates and, if the first participant's mouth is open at the time of utterance of the time-series utterance text, sets the time-series utterance text to the first participant. Included in the first utterance information related to the utterance.
  • the voice information acquisition unit 14 acquires the time-series utterance text regarding the second participant and the time-series face part coordinates at the time of utterance of the time-series utterance text.
  • the voice information acquisition unit 14 refers to the time-series face part coordinates and, if the mouth of the second participant is open at the time of utterance of the time-series utterance text, sets the time-series utterance text to the second participant. Included in the second utterance information regarding the utterance of. Accordingly, even if a simple microphone having no directivity is used as the microphone 22 or the microphone 32, the person who speaks can be specified.
  • the satisfaction level of a conference participant depends not only on the content and conclusion of the conference but also on the presence or absence of good communication between the participants.
  • the communication state between the participants is represented by the relationship between the participants during the conference, and the relationship between the participants can be evaluated by the degree of agreement of emotions.
  • the facial expression relationship information generation unit 15 acquires the first facial expression information and the second facial expression information from the facial expression information acquisition unit 13 and, based on these facial expression information, determines the degree of coincidence of emotions among the participants in the conference. By evaluating the facial expressions of both participants, the communication status between the participants is evaluated in real time.
  • the facial expression information acquired by the facial expression relationship information generation unit 15 from the facial expression information acquisition unit 13 is calculated based on the section time-series numerical data, that is, the facial expression of each participant in real time or over time. It is calculated based on information.
  • the facial expression relationship information generation unit 15 generates facial expression relationship information based on the facial expression information of each participant in real time or over time. It expresses the relationship regarding various facial expressions.
  • the first facial expression information includes a plurality of first indexes expressing the facial expression of the first participant
  • the second facial expression information includes the facial expression of the second participant.
  • a plurality of second indexes expressing the above are included.
  • the facial expression relationship information generating unit 15 may generate facial expression difference information regarding the difference between the first index and the second index, and may include the generated facial expression difference information in the facial expression relationship information.
  • the facial expression relationship information generating unit 15 displays a first facial expression vector having a plurality of indices expressing the facial expression of the first participant and a plurality of indices expressing the facial expression of the second participant.
  • the expression disagreement amount is calculated using the absolute value of the difference from the second expression vector as an element. It can be said that the calculated facial expression dissimilarity amount is also an index representing the harmony state of emotions during the conference between the participants.
  • the facial expression relationship information generating unit 15 may calculate the facial expression matching rate as an index indicating the rate of matching facial expressions from the start of the conference to the present time.
  • the facial expression matching rate is obtained, for example, by subtracting the time when the facial expressions do not match from the time from the start of the conference to the present time and dividing by the time from the start of the conference to the present time.
  • the first facial expression information is configured to include first line-of-sight information regarding the first participant's line-of-sight direction
  • the second facial expression information includes second line-of-sight information regarding the second participant's line-of-sight direction. It may be configured to include.
  • the facial expression relationship information generating unit 15 may generate the visual line relationship information by referring to the first visual line information and the second visual line information, and may include the generated visual line relationship information in the facial expression relationship information. ..
  • the facial expression relationship information generating unit 15 calculates the line-of-sight matching rate between the first participant and the second participant as the line-of-sight relationship information. It can be said that the calculated line-of-sight match rate is an index indicating a state of being aware of the states of other participants during the conference. More specifically, first, the control unit 24 or the facial expression relationship information generation unit 15 identifies the eye position of the first participant in the conference room by analyzing the image captured by the camera 21, and the control unit 34 or the facial expression relationship information generation unit 15 specifies the eye position of the second participant in the conference room by analyzing the image captured by the camera 31.
  • the facial expression relationship information generation unit 15 determines at each time point whether or not the line-of-sight direction of the first participant indicated by the first line-of-sight information is toward the eye of the second participant, By determining whether or not the line-of-sight direction of the second participant indicated by the line-of-sight information of No. 2 is toward the first participant's eyes, the line-of-sight of the first participant and the second line-of-sight Determine whether the line of sight of the participant matches.
  • the facial expression relationship information generation unit 15 sets the line-of-sight flag of the first participant to 1 when it is determined that the line-of-sight of the first participant is facing the eyes of the second participant. .. In addition, the facial expression relationship information generation unit 15 sets the line-of-sight flag of the second participant to 1 when it is determined that the line-of-sight of the second participant is facing the eyes of the first participant. Then, the facial expression relationship information generating unit 15 determines that the line of sight matches when both line of sight flags are 1.
  • the facial expression relationship information generation unit 15 calculates the line-of-sight matching rate as an index indicating the rate of line-of-sight matching from the start of the conference to the present time.
  • the line-of-sight matching rate is obtained, for example, by dividing the time at which the line of sight matches the time from the start of the conference to the current time.
  • the determination as to whether or not the lines of sight are toward each other's eyes may be configured to further refer to position information indicating a relative positional relationship between the first terminal device 20 and the second terminal device 30. ..
  • the lines of sight of each other are not necessarily the eyes of the other person but the faces of the other person or the body of the other person, it may be determined that the lines of sight match.
  • the line-of-sight matching rate between the participants on the screen of the terminal device is calculated. More specifically, as an example, the position of the face of the second participant displayed on the display screen of the first terminal device 20 is specified as the coordinates on the display screen, and the position of the second participant is compared with the specified coordinates. When the line of sight of one participant is directed, the line-of-sight flag of the first participant is set to 1. Similarly, the position of the face of the first participant displayed on the display screen of the second terminal device 30 is specified as the coordinates on the display screen, and the line of sight of the second participant with respect to the specified coordinates. If is directed, the line-of-sight flag of the second participant is set to 1.
  • the facial expression relationship information generation unit 15 may calculate the previous turnover rate of the first participant and the second participant, and may include the calculated previous turnover rate in the facial expression relationship information. It can be said that the calculated turn-over rate is an index representing a state in which the participant is interested in the speech of another participant during the conference. As an example, when the distance between the first participant and the second participant from the respective image capturing means is less than a threshold value within a preset predetermined time, the facial expression relationship information generating unit 15 First, it is determined that the first participant and the second participant are in the forward leaning state.
  • the facial expression relationship information generating unit 15 identifies the ratio of the time when the first participant is leaning forward in the time from the start of the conference to the present time, as the previous leaning rate regarding the first participant, and the second The percentage of time that the participants in the previous turn are in the previous turn is identified as the previous turn rate for the second participant.
  • the facial expression relationship information generation unit 15 determines the face image size obtained based on the distances from the image capturing means of the first participant and the second participant from the change within a preset fixed time to the conference.
  • the posture of the inside participant may be calculated and included in the facial expression relationship information. It can be said that the calculated attitude of the participant is an index representing an attitude suitable for listening to the utterances of other participants during the conference.
  • the facial expression relationship information generating unit 15 calculates a correlation between the change in the posture of the first participant and the change in the second facial expression vector of the second participant, and includes the correlation in the facial expression relationship information. May be.
  • the correlation between the change in posture and the change in facial expression vector can be said to be an index representing the influence of the posture of one participant on the facial expressions of other participants.
  • the facial expression relationship information generating unit 15 calculates the correlation between the change in the posture of the second participant and the change in the first facial expression vector of the first participant, and uses the correlation as the facial expression relationship information. May be included.
  • the facial expression relationship information generation unit 15 refers to the postures of the first participant and the postures of the second participant, and the degree of similarity between the postures of the first participant and the second participant. May be calculated and the calculated similarity may be included in the facial expression relationship information.
  • the similarity of the posture states represents the mirroring state, and can be said to be an index indicating a state in which the participant is interested in the speech of another participant during the conference.
  • the facial expression relationship information generating unit 15 may generate facial expression relationship information by further referring to the participant information indicating the attributes of the first and second participants.
  • Participant information indicating the attributes of the participant includes at least one of age, sex, blood type, personality, place of origin, family relationship, job title, years of service, number of job changes, job history, etc. of the participant.
  • the participant information also includes the usage history of the system.
  • the facial expression relationship information generation unit 15 refers to the participant information, and when the participant determines that the particular facial expression is likely to appear, the weighting coefficient smaller than 1 is set to the index corresponding to the specific facial expression.
  • the facial expression vector of the participant may be corrected by performing a correction by multiplying by, and the facial expression relationship information may be generated using the corrected facial expression vector. For example, when the participant information indicating the attributes of the first participant indicates that the first participant is shy, the facial expression relationship information generating unit 15 determines that the index is “neutral”. Is multiplied by a weight of 0.8, and the remaining 0.2 weight is proportionally distributed to another index, so that the facial expression vector of the first participant is corrected and the corrected facial expression is corrected.
  • the facial expression relationship information may be generated using a vector.
  • the information processing device 10 is configured to further acquire biometric information such as a participant's pulse wave and brain wave, and environmental information such as temperature, humidity, carbon dioxide concentration, and illuminance around the participant, and a facial expression relationship information generation unit.
  • the reference numeral 15 may generate facial expression relationship information by further referring to biometric information and environment information.
  • the facial expression relationship information generating unit 15 expresses the stress state of the participant determined from the pulse wave or respiration of the first participant, and the facial expression of the second participant immediately before or at that time.
  • the facial expression of the second participant that stresses the first participant is estimated with reference to the index of.
  • the facial expression relationship information generating unit 15 may recognize the estimated facial expression of the second participant as an NG facial expression for the first participant and include the information in the facial expression relationship information.
  • the NG facial expression of one participant with respect to another participant can be said to be an index representing the effect of the facial expression of one participant on the stress state of another participant.
  • the facial expression relationship information generation unit 15 may estimate the facial expression of the first participant that gives stress to the second participant, and recognize the NG facial expression for the second participant.
  • the facial expression relationship information generating unit 15 changes the environmental information around the participant, the first facial expression vector of the first participant, and the second participant's first facial expression vector within a predetermined period.
  • the correlation with the change in the average value of the facial expression vector 2 may be calculated and the correlation may be included in the facial expression relationship information.
  • the correlation between the change in environmental information and the change in the average value of facial expression vectors can be said to be an index representing the influence of the surrounding environment of the participants on the communication state between the participants.
  • the facial expression relationship information generation unit 15 uses, via the communication unit 11, the user IDs of the first participant and the second participant, the time at which the participant represented by the user ID starts and the end of the meeting.
  • the dialogue management processing is performed by referring to the time stamp indicating the time when the dialogue was performed.
  • the facial expression relationship information generation unit 15 extracts the user IDs of the other participants who are interacting at that time point with respect to the data at a certain time point of the section time-series numerical data regarding one participant, and in which participant It is also possible to determine whether or not the data is obtained from the above and include the result in the facial expression relationship information.
  • the utterance relationship information generation unit 16 refers to the first utterance information and the second utterance information to generate utterance relationship information indicating a relationship regarding utterance between the first participant and the second participant. To generate.
  • the utterance relationship information generation unit 16 acquires the first utterance information and the second utterance information from the voice information acquisition unit 14, and based on these utterance information, determines the degree of coincidence of emotions among the participants in the conference. The communication state between participants is evaluated by evaluating the utterances of both participants.
  • Each utterance information acquired by the utterance relationship information generating unit 16 from the voice information acquiring unit 14 is calculated based on the section time-series text data, that is, relating to the utterance of each participant in real time or over time. It is calculated based on information.
  • the utterance relationship information generation unit 16 generates the utterance relationship information based on the utterance information of each participant in real time or over time. It represents a relationship related to different utterances.
  • the utterance relationship information generating unit 16 is an utterance time relationship indicating a relationship between the utterance time of the first participant indicated by the first utterance information and the utterance time of the second participant indicated by the second utterance information. Information may be generated, and the generated utterance time relationship information may be included in the utterance relationship information.
  • the utterance relationship information generating unit 16 calculates the utterance ratio between the utterance time of the first participant and the utterance time of the second participant within a predetermined fixed time, and calculates the utterance relationship information. include. It can be said that the calculated utterance ratio is also an index showing the equality of the relationship between the participants.
  • the utterance relationship information generating unit 16 determines whether or not at least one of the first utterance information and the second utterance information includes utterance content included in a specific category, and the determination result May be included in the utterance relationship information.
  • Examples of specific categories included in utterances include open questions, action words (so?, I see, sure), parrot return, utterance interruption, utterance omission, negative word (but but). ..
  • the utterance relationship information generating unit 16 calculates the frequency of utterance of the utterance content included in such a specific category within a predetermined fixed time period, and outputs information regarding the calculated frequency as the utterance relationship. Include in information.
  • the specific category included in the utterance content is set as an open question
  • the utterance relationship information generation unit 16 includes the categorized time category text data of the first participant within a certain period of time. Extract text data that represents an open question. Then, the utterance relationship information generating unit 16 calculates the frequency of utterances of the open question as an open question rate by dividing the number of words of the extracted text data by the number of words of all the text data within the fixed time. To do. Similarly, the utterance relationship information generating unit 16 calculates the open question rate from the section time series text data of the second participant.
  • the utterance relationship information generating unit 16 compares the open question rate of the first participant with the open question rate of the second participant, calculates the open question rate, and includes it in the utterance relationship information. It can be said that the calculated open question ratio is an index showing the equality of the relationship between the participants. Further, the utterance relationship information generation unit 16 may include the open question rate of the first participant and the open question rate of the second participant in the utterance relationship information.
  • the specific category included in the utterance content is set as the action prompting word
  • the utterance relationship information generating unit 16 sets the action prompting word included within the fixed time from the section time series text data of the first participant. Extract the text data to represent. Then, the utterance relationship information generating unit 16 divides the number of words of the extracted text data by the number of words of all the text data within the above-mentioned fixed time to prompt the action and the frequency of the utterance of the words to obtain the question rate. calculate.
  • the utterance relationship information generating unit 16 prompts the second participant to calculate the question rate from the section time-series text data. Then, the utterance relationship information generation unit 16 compares the prompted question rate of the first participant with the prompted question rate of the second participant, calculates the prompted question rate, and includes it in the spoken relationship information. It can be said that the calculated prompting question ratio is an index showing the equality of the relationship between the participants. Further, the utterance relationship information generation unit 16 may include the urging question rate of the first participant and the urging question rate of the second participant in the utterance relationship information.
  • the utterance relation information generating unit 16 extracts a word having a relatively high appearance frequency within a predetermined time from at least one of the first utterance information and the second utterance information, and the extracted word is the utterance relation. May be included in sex information.
  • the utterance relationship information generating unit 16 participates in the number of appearances of each word included within a predetermined fixed time from the section time series text data of each of the first participant and the second participant.
  • the words are calculated and ranked for each person, and a plurality of words having a relatively high appearance frequency are extracted from the top.
  • the utterance relationship information generation unit 16 includes the extracted words with the highest appearance frequency in the utterance relationship information as frequent words.
  • the utterance relationship information generating unit 16 determines whether or not the frequent words of the first participant and the second participant and their ranks match, and includes the determination result in the utterance relationship information. Good.
  • the utterance relationship information generating unit 16 extracts, for each participant, a word included within a predetermined fixed time from the section time series text data of each of the first participant and the second participant.
  • the matching rate of the extracted words may be calculated and included in the utterance relationship information.
  • the word matching rate can be calculated as a ratio of words matched by the first participant and the second participant in all the words included in the section time-series text data within a predetermined fixed time. it can.
  • the calculated word concordance rate can be said to be an index of whether parrots have been successfully returned.
  • the utterance relationship information generating unit 16 extracts the utterance timing from the section time series text data of each of the first participant and the second participant, and calculates the temporal overlap of the utterance timing. Good. Then, the utterance relationship information generating unit 16 may calculate the number of overlaps within a predetermined fixed time as the overlap frequency and include it in the utterance relationship information.
  • the calculated overlap frequency can be said to be an index indicating the frequency of interrupting the utterances of other participants.
  • the utterance relationship information generation unit 16 may generate the utterance relationship information by further referring to the participant information indicating the attributes of the first and second participants.
  • Participant information indicating the attributes of the participant includes at least one of age, sex, blood type, personality, place of origin, family relationship, job title, years of service, number of job changes, job history, etc. of the participant.
  • the participant information also includes the usage history of the system.
  • the information processing apparatus 10 is configured to further acquire biological information such as the participant's pulse wave and brain wave, and environmental information such as the temperature, humidity, carbon dioxide concentration, and illuminance around the participant, and the utterance relationship information generating unit. 16 may further generate the utterance relationship information by further referring to the biometric information and the environment information.
  • the utterance relationship information generating unit 16 determines the stress state of the participant determined from the pulse wave or respiration of the first participant, and the section time series text of the second participant immediately before or at that time. And the text data of the second participant that stresses the first participant is estimated. Then, the utterance relationship information generating unit 16 may recognize the estimated text data of the second participant as an NG word for the first participant and include the information in the utterance relationship information.
  • the NG word of one participant with respect to another participant can also be said to be an index representing the influence of the speech of one participant on the stress state of another participant.
  • the utterance relationship information generating unit 16 may estimate the text data of the first participant who gives stress to the second participant, and may recognize the NG word for the second participant.
  • the utterance relationship information generating unit 16 determines the activity level of the participant's thought determined from the electroencephalogram of the first participant and the section time series text data of the second participant immediately before or at that time. With reference to, the text data of the second participant that activates the thought of the first participant is estimated. Then, the utterance relationship information generating unit 16 may recognize the estimated text data of the second participant as an important word for the first participant and include the information in the utterance relationship information. It can be said that the important word of one participant with respect to another participant is an index showing the influence of the speech of one participant on the activation of thinking of other participants. Similarly, the utterance relationship information generating unit 16 may estimate the text data of the first participant that activates the thinking of the second participant, and may recognize the important word for the second participant.
  • the utterance relationship information generating unit 16 may also calculate the degree of coincidence of voice tones between participants, the degree of coincidence of speech speed, the degree of coincidence of sound volume, and the like.
  • the utterance relationship information generating unit 16 extracts logs representing utterances of the first participant and the second participant from the accumulated section time-series text data, acquires the morphological analysis data thereof. , Frequent words in the past utterance may be listed and included in the utterance relationship information. The frequently-used words in the past utterances can be used to assist the decision of the theme of the conference by presenting them to both participants in the conference.
  • the utterance relationship information generating unit 16 uses, via the communication unit 11, the user IDs of the first participant and the second participant, the time when the participant represented by the user ID starts, and the end time of the meeting.
  • the dialogue management processing is performed by referring to the time stamp indicating the time when the dialogue was performed.
  • the utterance relationship information generating unit 16 extracts the user IDs of other participants who are interacting at that time with respect to the data at a certain time of the section time-series text data regarding one participant, and which participant is talking It is also possible to determine whether or not the data is obtained from the above and include the result in the utterance relationship information.
  • the relationship information generation unit 17 refers to the facial expression relationship information and the utterance relationship information, and is real-time or time-dependent information indicating a relationship between the first participant and the second participant. Generate sex information. By evaluating both facial expressions and utterances of both participants during the conference, the communication state between the participants can be evaluated in more detail. Further, since the relationship information generation unit 17 generates the relationship information based on the facial expression information and the utterance information between the participants in real time or over time, it is necessary to evaluate the communication state between the participants in real time or over time. You can
  • the relationship information generator 17 may generate presentation information to be presented to at least one of the first participant and the second participant.
  • the presentation information may include the degree of coincidence between the emotions of both participants, which is comprehensively evaluated based on the facial expression relationship information and the utterance relationship information (for example, the line-of-sight matching rate is high, and the utterance ratio is high). If they are equal, increase the degree of agreement of emotions).
  • the relationships between the participants can be fed back to the participants.
  • presenting the presentation information to the participants in real time it is possible to confirm the relationship in real time during the conversation, and thus it is possible to prompt the improvement of communication in real time.
  • the presentation information may be presented to both the first participant and the second participant, or may be presented to either one. Further, the relationship information may present the same content to the first participant and the second participant, or may present different content. By generating the relationship information that presents the same content to the first participant and the second participant, it can be expected to build a flat relationship between the participants.
  • the participants may be allowed to select the presentation information, or the presentation information presented may be changed according to a rule or agreement between the participants.
  • the relationship information includes information indicating the ratio of the utterance time of the first participant and the utterance time of the second participant, the line-of-sight direction of the first participant, and the line-of-sight of the second participant. Information about the change over time in the matching rate with the direction may be included.
  • the relationship information may include information regarding changes in the facial expression matching rate or the facial expression mismatch rate over time, the previous turnover rate, the text of the utterance content, the frequent words, and the like.
  • the relationship information includes the participant's ID, the participant's own facial image, the avatar image showing the facial expressions of other participants, and the display of the recommended agenda or recommended words extracted from the accumulated data based on the utterance content. It may be.
  • the presentation information may include an evaluation result for improving the communication skills of the conference participants.
  • an evaluation result for improving the communication skills of the conference participants may include an evaluation result for improving the communication skills of the conference participants.
  • the facial expression matching rate information that encourages improvement of reflexive listening skills by increasing the facial expression matching rate is presented, and a posture and attitude suitable for communication by increasing the gaze matching rate together with the gaze matching rate. You may provide the information that encourages you to take it.
  • recommended words and question contents may be presented to encourage deduction of the dialogue level and question level.
  • a method of presenting the presentation information for example, a method of displaying the information on the display unit (each of the display unit 23 and the display unit 33) of the conference participants and a common display unit that can be visually recognized by all the conference participants.
  • Display method method, method of presenting other than conference participants by network distribution, method of presenting by physical action (vibration, electrical stimulation, etc.) from a wearable device such as a wristwatch type device, environmental equipment (certification, air conditioning) , Music, etc.) to present by a physical action (illuminating the room red when the discussion is heated, etc.), and a method of presenting by an image image corresponding to an index expressing emotion (volcanic eruption indicating anger, etc.) , A method of presenting with an avatar's facial expression corresponding to an index indicating emotions, and the like.
  • FIG. 4 is a diagram showing an example of information presented by an information processing system including an information processing apparatus according to an embodiment of the present invention
  • FIG. 5 is information including an information processing apparatus according to an embodiment of the present invention. It is a figure which shows the other example of the information which a processing system presents.
  • the user ID of the conference participant is displayed in the area 401
  • the face image of the conference participant is displayed in the area 402
  • the target to present the presentation information is specified.
  • the utterance ratio is displayed as a talk ratio in the area 403, for example, a pie chart is displayed
  • the facial expression of the avatar corresponding to the index indicating the emotion of the participant in the dialogue is displayed in the area 404
  • the facial expression matching rate over time is displayed in the area 405.
  • the facial expression matching rate displayed in the area 405 is an example of presentation information generated based on temporal information from the past to the present regarding facial expression relationship information.
  • the facial expression of the avatar displayed in the area 404 is an example of presentation information generated based on real-time information regarding facial expression relationship information.
  • the user ID is displayed in the region 501
  • the face image is displayed in the region 502
  • the talk ratio is displayed in the region 503
  • the avatar is displayed in the region 504.
  • the facial expression may be displayed, the utterance content, the recommended theme, etc. may be displayed in the area 505, and the line-of-sight matching rate may be displayed in the area 505 instead of the facial expression matching rate.
  • a part or all of the processing in the control unit of the terminal device may be configured to be performed in the calculation unit 12 included in the information processing device 10.
  • the calculation unit 12 acquires the captured image of the camera 21 via the communication unit 11
  • the facial expression information acquisition unit 13 acquires the first facial expression information regarding the facial expression of the first participant and the second participation.
  • the second facial expression information regarding the facial expression of the person may be generated.
  • the invention described in the present embodiment uses the data representing the state of N persons, the history data of the state of N persons, and the environmental information of N persons to participate in a part or all of the N persons. It can also be said to generate "relationship information" indicating a relationship between persons.
  • Relationship information indicating a relationship between persons.
  • the second participant may not be a human but a pseudo human represented by a computer such as a preset avatar or BOT.
  • the second terminal device is not essential, and the facial expression information acquisition unit 13 and the voice information acquisition unit 14 provide the facial expression and utterance content represented by the BOT created in advance to the second participant.
  • the facial expression information and the voice information may be acquired.
  • the facial expression and utterance content represented by the BOT may be data created in advance before the conference, or may be adaptively changed according to the facial expression and utterance of the first participant in the conference. Good.
  • control block (particularly the arithmetic unit 12) of the information processing device 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
  • the information processing device 1 includes a computer that executes the instructions of a program that is software that realizes each function.
  • the computer includes, for example, one or more processors and a computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the recording medium a "non-transitory tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (Random Access Memory) for expanding the above program may be further provided.
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • An information processing apparatus includes first facial expression information regarding a facial expression of a first participant among a plurality of participants, and second facial expression information regarding a facial expression of a second participant among the plurality of participants.
  • Facial expression information acquiring unit that acquires the facial expression information of the first participant, first utterance information about the utterance of the first participant, and second utterance information about the utterance of the second participant of the plurality of participants.
  • the utterance relationship information generating unit that generates utterance relationship information indicating a relationship, and the first participant and the second participant with reference to the facial expression relationship information and the utterance relationship information.
  • a relationship information generation unit that generates relationship information that is information indicating a relationship.
  • the relationship information is real-time or time-dependent information indicating a relationship between the first participant and the second participant.
  • the relationship between the participants in the conference can be evaluated in real time.
  • the first facial expression information includes a plurality of first indexes expressing the facial expression of the first participant
  • the second facial expression information includes , A plurality of second indexes expressing the facial expressions of the second participant
  • the facial expression relationship information generating unit is configured to detect a facial expression difference regarding a difference between the first index and the second index. Information is generated, and the generated facial expression difference information is included in the facial expression relationship information.
  • the plurality of indexes are used to express the facial expressions of the participants referred to for generating the facial expression relationship information, the facial expressions of the participants can be expressed more accurately.
  • the first facial expression information includes first visual line information regarding a visual line direction of the first participant
  • the second facial expression information includes the first visual line information.
  • the second line-of-sight information regarding the line-of-sight of the second participant is included, and the facial expression relationship information generation unit refers to the first line-of-sight information and the second line-of-sight information to determine the line-of-sight relationship.
  • Information is generated, and the generated line-of-sight relationship information is included in the facial expression relationship information.
  • the participant's facial expression information referred to in order to generate facial expression relationship information also includes the participant's gaze information, the participant's facial expression can be expressed more accurately.
  • the utterance relationship information generating unit may include the utterance time of the first participant indicated by the first utterance information and the second utterance time indicated by the second utterance information.
  • the utterance time relationship information indicating the relationship with the utterance time of the participant is generated, and the generated utterance time relationship information is included in the utterance relationship information.
  • the utterance time relationship information is also included in the utterance information of the participant referred to in order to generate the utterance relationship information, it is possible to more accurately generate the utterance relationship information of the participant.
  • the utterance relationship information generating unit may include utterance content included in a specific category in at least one of the first utterance information and the second utterance information. It is determined whether or not there is information, and information according to the determination result is included in the utterance relationship information.
  • the utterance relationship information also includes information according to the determination result of whether or not the utterance content included in a specific category is included, it is possible to more accurately generate the relationship information between the participants. You can
  • the utterance relationship information generating unit is a word having a relatively high appearance frequency within a predetermined time from at least one of the first utterance information and the second utterance information. And the extracted word is included in the utterance relationship information.
  • the utterance relationship information includes the upper part of the frequently-used word, it is possible to more accurately generate the relationship information between the participants.
  • the relationship information generation unit refers to the relationship information and presents presentation information to be presented to at least one of the first participant and the second participant. To generate.
  • the presentation information includes information indicating a ratio between the utterance time of the first participant and the utterance time of the second participant, the line-of-sight direction of the first participant, and the second It contains information about changes over time in the match rate with the gaze direction of the participants.
  • the participants can be made aware of the ratio of the utterance time of each participant and the temporal change in the matching rate of the gaze direction of each participant.
  • the facial expression relationship information generating unit and the utterance relationship information generating unit further refer to participant information indicating attributes of the first and second participants, The facial expression relationship information and the utterance relationship information are generated.
  • facial expression relationship information and the utterance relationship information since the participants' attributes are also referred to in generating the facial expression relationship information and the utterance relationship information, more accurate facial expression relationship information and utterance relationship information can be generated.
  • an information processing method provides first facial expression information regarding a facial expression of a first participant among a plurality of participants, and among the plurality of participants.
  • an information processing program for causing a computer to function as the information processing device according to any one of the above, and the facial expression information acquisition unit.
  • a computer is caused to function as the voice information acquisition unit, the facial expression relationship information generation unit, the utterance relationship information generation unit, and the relationship information generation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

参加者間の関係性を評価する。情報処理装置（１０）は、複数の参加者の表情情報を取得する表情情報取得部（１３）と、参加者の発話情報を取得する音声情報取得部（１４）と、表情情報から表情関係性情報を生成する表情関係性情報生成部（１５）と、発話情報から発話関係性情報を生成する発話関係性情報生成部（１６）と、表情関係性情報と発話関係性情報とから関係性情報を生成する関係性情報生成部（１７）とを備えている。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
　本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
　ユーザ間の円滑なコミュニケーションを支援するサービスが従来技術として知られている。特許文献１には、コールセンターのオペレータと顧客との会話における音声に基づいて感情を認識し、音声と感情とを組み合わせて音声分析することで、オペレータのパフォーマンスを評価する電話音声モニタリング評価システムが記載されている。特許文献２には、ユーザが入力したチャット文が示す感情を認識し、ユーザ間の感情の類似度を求める感情マッチング装置が記載されている。
日本国公開特許公報「特開２０１７－１３５６４２号公報（２０１７年８月３日公開）」 日本国公開特許公報「特開２００５－２８４８２２号公報（２００５年１０月１３日公開）」
　しかしながら、上述のような従来技術は、会話における音声のみに基づいて、又は、入力されたチャット文のみに基づいて、話者の感情を認識するため、多面的な感情認識ができないという問題がある。
　本発明の一態様は、会話中の各ユーザの感情を多面的に認識し、認識された感情に基づく会話の評価を通知するコミュニケーション支援技術を提供することを目的とする。
　前記の課題を解決するために、本発明の一態様に係る情報処理装置は、複数の参加者のうち第１の参加者の表情に関する第１の表情情報と、前記複数の参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する表情情報取得部と、当該第１の参加者の発話に関する第１の発話情報と、前記複数の参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する音声情報取得部と、前記第１の表情情報と前記第２の表情情報とを参照して、前記第１の参加者と前記第２の参加者との表情に関する関係性を示す表情関係性情報を生成する表情関係性情報生成部と、前記第１の発話情報と前記第２の発話情報とを参照して、前記第１の参加者と前記第２の参加者との発話に関する関係性を示す発話関係性情報を生成する発話関係性情報生成部と、前記表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示す情報である関係性情報を生成する関係性情報生成部と、を備えていることを特徴としている。
　本発明の一態様によれば、各参加者の音声情報及び表情情報に基づいて、会議中の参加者間の関係性を評価することができる。
本発明の一実施形態に係る情報処理装置を含む情報処理システムの構成要素の一例を示すブロック図である。 本発明の一実施形態に係る情報処理装置を含む情報処理システムの概要を示す図である。 本発明の一実施形態に係る情報処理装置を含む情報処理システムにおけるデータの流れの概要を示す図である。 本発明の一実施形態に係る情報処理装置を含む情報処理システムが提示する情報の一例を示す図である。 本発明の一実施形態に係る情報処理装置を含む情報処理システムが提示する情報の他の例を示す図である。
　［実施形態１］
　以下、本発明の一実施形態について、詳細に説明する。図１は、本実施形態の情報処理装置１０を含む情報処理システム１００の概要を示す図である。図１に示すように、情報処理システム１００は、情報処理装置１０、第１の端末装置２０、及び第２の端末装置３０を備えている。なお端末装置の数は、本実施形態を限定するものではなく、３以上であってもよい。
　図２は、本発明の一実施形態に係る情報処理装置１０を含む情報処理システム１００の概要を示す図である。情報処理システム１００においては、図２に示すように、第１の端末装置２０を使用する第１の参加者２００と、第２の端末装置３０を使用する第２の参加者２０１との間の関係性を評価する。
　情報処理システム１００においては、第１の端末装置２０及び第２の端末装置３０から得られる第１の参加者２００及び第２の参加者２０１の会議中の表情情報及び発話情報を元に、情報処理装置１０が第１の参加者２００と第２の参加者２０１との会議中の関係性を評価する。情報処理システム１００は、関係性を評価した結果を、第１の端末装置２０及び第２の端末装置３０の少なくとも一方に表示させることで、第１の参加者２００及び第２の参加者２０１の少なくとも一方に評価結果をリアルタイムでフィードバックし、会議中のコミュニケーション状態の改善を促す。
　なお、本実実施形態において、「会議」とは、狭義の意味の会議に限定されるものではなく、面談、面接、カウンセリング、問診、接客、接見、相談等が含まれる。一例として、
・上司と部下との面談
・医師による患者への問診
・カウンセラーによる対象者へのカウンセリング
・客に対する店員の接客や窓口相談
・Ｗｅｂ　Ｍｅｅｔｉｎｇ等の遠隔でのコミュニケーション
・ｅ－Ｌｅａｒｎｉｎｇ等の対ビデオ画像に対するコミュニケーション
等が含まれる。
　また、図３は、情報処理システム１００におけるデータの流れの概要を示す図である。
　〔第１の端末装置２０〕
　図１に示すように、第１の端末装置２０は、カメラ２１、マイク２２、表示部２３、制御部２４、スピーカ２５、及び通信部２６を備えている。
　＜動画取得処理＞
　カメラ２１は、第１の参加者を撮像し、撮像画像を制御部２４に供給する。ここで、カメラ２１による撮像画像は、動画像であることが好ましく、当該構成の場合、図３に示すように、カメラ２１は、制御部２４に対して、動画ファイル、及び動画ファイルに含まれる各画像のリストである動画ファイルリストの少なくとも何れかを供給する。カメラ２１は、当該動画ファイルに含まれる各画像の撮像時刻を示すタイムスタンプを制御部２４に供給する。
　なお、第１の端末装置２０は、複数のカメラを備える構成としてもよく、当該構成の場合、制御部２４は、カメラデバイス識別情報を参照することによって、カメラ２１を特定することができる。
　＜画像認識処理＞
　制御部２４は、カメラ２１から供給される動画ファイル、動画ファイルリスト、及びタイムスタンプを参照して、画像認識処理を行う。
　一例として、図３に示すように、制御部２４は、動画ファイル、動画ファイルリスト、及びタイムスタンプを参照した画像認識処理を行うことによって、時系列表情値、時系列顔パーツ座標、時系列視線座標を算出する。時系列表情値、時系列顔パーツ座標、時系列視線座標は、第１の参加者の表情に関する第１の表情情報の一例である。
　＜音声取得処理＞
　マイク２２は、主として、第１の参加者の発話する音声を集音し、集音した音声を示す音声ファイル、及び、当該音声ファイルにおける発話の時点を特定するためのタイムスタンプを制御部２４に供給する。
　なお、第１の端末装置２０は、複数のマイクを備える構成としてもよく、当該構成の場合、制御部２４は、音声デバイス識別情報を参照することによって、マイク２２を特定することができる。
　＜発話認識処理＞
　制御部２４は、マイク２２から供給される音声ファイル及びタイムスタンプを参照して、発話認識処理を行う。
　一例として、図３に示すように、制御部２４は、音声ファイル、及びタイムスタンプを参照した発話認識処理を行うことによって、区間時系列テキストデータを生成する。ここで区間時系列テキストデータは、主として第１の参加者が発話した内容を時系列的にテキストデータとして示す情報である。当該区間時系列テキストデータは、第１の参加者の発話を示す第１の発話情報の一例である。
　〔第２の端末装置３０〕
　また、第２の端末装置３０は、カメラ３１、マイク３２、表示部３３、制御部３４、スピーカ３５、及び通信部３６を備えている。
　＜動画取得処理＞
　カメラ３１は、第２の参加者を撮像し、撮像画像を制御部３４に供給する。ここで、カメラ３１による撮像画像は、動画像であることが好ましく、当該構成の場合、図３に示すように、カメラ３１は、制御部３４に対して、動画ファイル、及び動画ファイルに含まれる各画像のリストである動画ファイルリストの少なくとも何れかを供給する。カメラ３１は、当該動画ファイルに含まれる各画像の撮像時刻を示すタイムスタンプを制御部３４に供給する。
　なお、第２の端末装置３０は、複数のカメラを備える構成としてもよく、当該構成の場合、制御部３４は、カメラデバイス識別情報を参照することによって、カメラ３１を特定することができる。
　＜画像認識処理＞
　制御部３４は、カメラ３１から供給される動画ファイル、動画ファイルリスト、及びタイムスタンプを参照して、画像認識処理を行う。
　一例として、図３に示すように、制御部３４は、動画ファイル、動画ファイルリスト、及びタイムスタンプを参照した画像認識処理を行うことによって、時系列表情値、時系列顔パーツ座標、時系列視線座標を算出する。時系列表情値、時系列顔パーツ座標、時系列視線座標は、第２の参加者の表情に関する第２の表情情報の一例である。
　＜音声取得処理＞
　マイク３２は、主として、第２の参加者の発話する音声を集音し、集音した音声を示す音声ファイル、及び、当該音声ファイルにおける発話の時点を特定するためのタイムスタンプを制御部３４に供給する。
　なお、第２の端末装置３０は、複数のマイクを備える構成としてもよく、当該構成の場合、制御部３４は、音声デバイス識別情報を参照することによって、マイク３２を特定することができる。
　＜発話認識処理＞
　制御部３４は、マイク３２から供給される音声ファイル及びタイムスタンプを参照して、発話認識処理を行う。
　一例として、図３に示すように、制御部３４は、音声ファイル、及びタイムスタンプを参照した発話認識処理を行うことによって、区間時系列テキストデータを生成する。ここで区間時系列テキストデータは、主として第２の参加者が発話した内容を時系列的にテキストデータとして示す情報である。当該区間時系列テキストデータは、第２の参加者の発話を示す第２の発話情報の一例である。
　〔情報処理装置１０〕
　情報処理装置１０は、表情情報取得部１３、音声情報取得部１４、表情関係性情報生成部１５、発話関係性情報生成部１６、及び関係性情報生成部１７を備えている。情報処理装置１０は、さらに、通信部１１を備えている。表情情報取得部１３、音声情報取得部１４、表情関係性情報生成部１５、発話関係性情報生成部１６、関係性情報生成部１７は、演算部１２が備えている。
　（表情情報取得部１３）
　表情情報取得部１３は、通信部１１を介して複数の会議参加者のうち第１の参加者の表情に関する第１の表情情報と、複数の会議参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する。
　＜数値データ洗浄処理＞
　表情情報取得部１３は、一例として、通信部１１を介して、第１の参加者に関する表情情報に含まれる時系列数値データである時系列表情値、時系列顔パーツ座標、及び時系列視線座標を参照し、当該時系列数値データに対して、一例として以下の処理を行うことによって、数値データ洗浄処理を行う。
・無効データ区間を削除する
・有効データ区間におけるデータを平均する
・分散及び項数に変換する
　表情情報取得部１３は、上述の数値データ洗浄処理を行うことによって、第１の参加者に関する区間時系列数値データを生成する。当該区間時系列数値データは、有効区間における時系列表情値、時系列顔パーツ座標、及び時系列視線座標を含んでいる。
　表情情報取得部１３は、第２の参加者に関する表情情報についても同様の処理を行い、第２の参加者に関する区間時系列数値データを生成する。
　＜表情の検出＞
　表情情報取得部１３は、第１の参加者に関する区間時系列数値データを参照して、第１の参加者の表情を表現する複数の第１の指標を算出する。また、表情情報取得部１３は、第２の参加者に関する区間時系列数値データを参照して、第２の参加者の表情を表現する複数の第２の指標を算出する。
　ここで、表情を表現する指標の例には、以下の指標が挙げられる。
・怒り（anger）
・侮辱（contempt）
・嫌悪（disgust）
・恐怖（fear）
・喜び（happiness）
・中立（neutral）
・悲しみ（sadness）
・驚き（surprise）
　したがって、表情を表現する指標とは、当該表情が示す感情を表現する指標ということもできる。
　なお、表情情報取得部１３は、第１の参加者に関する区間時系列数値データに含まれる時系列表情値を、そのまま第１の参加者の表情を表現する複数の第１の指標として用いてもよい。同様に、表情情報取得部１３は、第２の参加者に関する区間時系列数値データに含まれる時系列表情値を、そのまま第２の参加者の表情を表現する複数の第２の指標として用いてもよい。
　また、第１の参加者の表情及び第２の参加者の表情は、上記の指標を各成分とするベクトルとして表現することもできる。こられのベクトルを、表情ベクトルと呼ぶこともある。
　なお、各参加者の表情を検出する技術及び検出した表情が示す感情を指標化して表現する技術は、本実施形態を限定するものではなく、例えば、公知の技術を用いることができる。
　＜視線の検出＞
　また、表情情報取得部１３は、通信部１１を介して、第１の端末装置２０及び第２の端末装置３０から、第１の参加者及び第２の参加者の視線方向に関する情報を取得する。具体的には、一例として、表情情報取得部１３は、第１の参加者の視線方向に関する情報として、上述した第１の参加者に関する区間時系列数値データに含まれる時系列視線座標を取得する。同様に、表情情報取得部１３は、第２の参加者の視線方向に関する情報として、上述した第２の参加者に関する区間時系列数値データに含まれる時系列視線座標を取得する。
　なお、視線座標の取得方法としては、特に限定されないが、第１の端末装置２０及び第２の端末装置３０に、点光源（不図示）を設け、点光源からの光の角膜反射像をカメラ２１及びカメラ３１で所定時間撮影することにより、ユーザの視線座標を取得する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、ユーザに不快感を与えることなく、視線座標を取得することができる。
　＜距離の検出＞
　また、表情情報取得部１３は、当該区間時系列数値データに含まれる第１の参加者の時系列顔パーツ座標を取得し、第１の参加者と撮像手段（カメラ２１）との間の距離を算出してもよい。また、表情情報取得部１３は、当該区間時系列数値データに含まれる第２の参加者の時系列顔パーツ座標を取得し、第２の参加者と撮像手段（カメラ３１）との間の距離を算出してもよい。参加者と撮像手段との間の距離は、例えば、顔パーツ座標から得られる撮像画像中の顔の目尻距離を顔角度補正したものを目尻距離とし、この目尻距離の逆数として算出することができる。
　（音声情報取得部１４）
　音声情報取得部１４は、第１の参加者の発話に関する第１の発話情報と、複数の会議参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する。すなわち、音声情報取得部１４は、通信部１１を介して、第１の端末装置２０及び第２の端末装置３０から第１の参加者及び第２の参加者の発話に関する情報を取得する。
　音声情報取得部１４は、一例として、上述した第１の参加者に関する区間時系列テキストデータに含まれる時系列発話テキストを取得する。同様に、音声情報取得部１４は、一例として、上述した第２の参加者に関する区間時系列テキストデータに含まれる時系列発話テキストを取得する。
　また、一例として、音声情報取得部１４は、第１の参加者に関する時系列発話テキストと、当該時系列発話テキストの発話の時点における時系列顔パーツ座標を取得する。音声情報取得部１４は、時系列顔パーツ座標を参照して、時系列発話テキストの発話の時点において第１の参加者の口が開いていれば、当該時系列発話テキストを第１の参加者の発話に関する第１の発話情報に含める。同様に、音声情報取得部１４は、第２の参加者に関する時系列発話テキストと、当該時系列発話テキストの発話の時点における時系列顔パーツ座標を取得する。音声情報取得部１４は、時系列顔パーツ座標を参照して、時系列発話テキストの発話の時点において第２の参加者の口が開いていれば、当該時系列発話テキストを第２の参加者の発話に関する第２の発話情報に含める。これにより、マイク２２又はマイク３２として、指向性の無い簡易なマイクを用いた場合でも、発話した人物を特定できる。
　（表情関係性情報生成部１５）
　表情関係性情報生成部１５は、第１の表情情報と第２の表情情報とを参照して、第１の参加者と第２の参加者との表情に関する関係性を示す表情関係性情報を生成する。
　会議参加者の会議に対する満足度は、会議の内容及び結論のみならず、参加者間の良好なコミュニケーションの有無にも依存する。参加者間のコミュニケーション状態は、会議中の参加者間の関係性により表され、参加者間の関係性は感情の一致度により評価することができる。表情関係性情報生成部１５は、表情情報取得部１３から第１の表情情報及び第２の表情情報を取得し、これらの表情情報を元に、会議中の参加者間の感情の一致度を参加者双方の表情から評価することで、参加者間のコミュニケーション状態をリアルタイムで評価する。
　表情関係性情報生成部１５が表情情報取得部１３から取得するそれぞれの表情情報は、区間時系列数値データを元に算出されたものであり、つまり、各参加者のリアルタイム又は経時的な表情に関する情報に基づいて算出されたものである。表情関係性情報生成部１５は、各参加者のリアルタイム又は経時的な表情情報を元に、表情関係性情報を生成するので、生成された表情関係性情報は、参加者間のリアルタイム又は経時的な表情に関する関係性を表している。
　＜表情一致率判定＞
　上述のように、第１の表情情報には、第１の参加者の表情を表現する複数の第１の指標が含まれており、第２の表情情報には、第２の参加者の表情を表現する複数の第２の指標が含まれている。
　表情関係性情報生成部１５は、第１の指標と第２の指標との差に関する表情差分情報を生成し、生成した表情差分情報を、表情関係性情報に含めてもよい。
　一例として、表情関係性情報生成部１５は、第１の参加者の表情を表現する複数の指標を要素とする第１の表情ベクトルと、第２の参加者の表情を表現する複数の指標を要素とする第２の表情ベクトルとの差の絶対値を用いて、表情不一致量を算出する。算出された表情不一致量は、参加者間の会議中の感情の融和状態を表す指標とも言える。また、表情関係性情報生成部１５は、会議開始から現時点までに、表情が一致した割合を示す指標として表情一致率を算出してもよい。表情一致率は、例えば、会議開始から現時点までの時間から表情が不一致であった時間を引いて、会議開始から現時点までの時間で除算することによって得られる。
　＜視線合致率判定＞
　また、第１の表情情報が、第１の参加者の視線方向に関する第１の視線情報を含む構成とし、第２の表情情報が、第２の参加者の視線方向に関する第２の視線情報を含む構成としてもよい。表情関係性情報生成部１５は、第１の視線情報と第２の視線情報とを参照して視線関係性情報を生成し、生成した視線関係性情報を、表情関係性情報に含めてもよい。
　一例として、表情関係性情報生成部１５は、視線関係性情報として、第１の参加者と第２の参加者との視線合致率を算出する。算出された視線合致率は、会議中に他の参加者の様子を気にかけている状態を表す指標とも言える。より具体的には、まず、制御部２４又は表情関係性情報生成部１５が、カメラ２１の撮像画像を解析することにより、会議室における第１の参加者の目の位置を特定し、制御部３４又は表情関係性情報生成部１５が、カメラ３１の撮像画像を解析することにより、会議室における第２の参加者の目の位置を特定する。
　そして、表情関係性情報生成部１５は、各時点において、第１の視線情報が示す第１の参加者の視線方向が、第２の参加者の目に向かっているか否かを判定し、第２の視線情報が示す第２の参加者の視線方向が、第１の参加者の目に向かっているか否かを判定することにより、各時点において、第１の参加者の視線と第２の参加者の視線とが合致しているかを判定する。
　一例として、表情関係性情報生成部１５は、第１の参加者の視線が第２の参加者の目に向かっていると判定した場合に、第１の参加者の視線フラグを１に設定する。また、表情関係性情報生成部１５は、第２の参加者の視線が第１の参加者の目に向かっていると判定した場合に、第２の参加者の視線フラグを１に設定する。そして、表情関係性情報生成部１５は、双方の視線フラグが共に１である場合に、視線が合致していると判定する。
　そして、表情関係性情報生成部１５は、会議開始から現時点までに、視線が合致した割合を示す指標として視線合致率を算出する。視線合致率は、例えば、視線が合致した時間を、会議開始から現時点までの時間で除算することによって得られる。
　なお、視線が互いの目に向かっているか否かの判定には、第１の端末装置２０と第２の端末装置３０との相対的な位置関係を示す位置情報を更に参照する構成としてもよい。
　また、互いの視線が必ずしも相手の目ではなく、相手の顔又は相手の身体の方向を向いている場合に、視線が合致していると判定する構成としてもよい。
　また、参加者がインターネット等を介して会議する場合には、端末装置の画面を通した参加者間の視線合致率を算出する。より具体的には、一例として、第１の端末装置２０の表示画面に表示される第２の参加者の顔の位置を、当該表示画面上の座標として特定し、特定した座標に対して第１の参加者の視線が向けられている場合に、第１の参加者の視線フラグを１に設定する。同様に、第２の端末装置３０の表示画面に表示される第１の参加者の顔の位置を、当該表示画面上の座標として特定し、特定した座標に対して第２の参加者の視線が向けられている場合に、第２の参加者の視線フラグを１に設定する。
　＜前のめり率判定＞
　また、表情関係性情報生成部１５は、第１の参加者と第２の参加者との前のめり率を算出し、算出した前のめり率を表情関係性情報に含めてもよい。算出された前のめり率は、会議中に他の参加者の発話に興味を示している状態を表す指標とも言える。一例として、表情関係性情報生成部１５は、第１の参加者及び第２の参加者の、それぞれの撮像手段からの距離が、予め設定された一定時間内においてしきい値よりも下回った場合に、第１の参加者及び第２の参加者が前のめり状態であると判定する。
　そして、表情関係性情報生成部１５は、会議開始から現時点までの時間において、第１の参加者が前のめりになっている時間の割合を、第１の参加者に関する前のめり率として特定し、第２の参加者が前のめりになっている時間の割合を、第２の参加者に関する前のめり率として特定する。
　また、表情関係性情報生成部１５は、第１の参加者及び第２の参加者それぞれの撮像手段からの距離を元に得られる顔画像サイズについて、予め設定された一定時間内の変化から会議中の参加者の姿勢を算出し、表情関係性情報に含めてもよい。算出された参加者の姿勢は、会議中に他の参加者の発話を聞くにふさわしい態度を表す指標とも言える。
　さらに、表情関係性情報生成部１５は、第１の参加者の姿勢の変化と第２の参加者の第２の表情ベクトルの変化との相関を算出し、その相関を表情関係性情報に含めてもよい。姿勢の変化と表情ベクトルの変化との相関は、一の参加者の姿勢が他の参加者の表情に及ぼす影響を表す指標とも言える。同様に、表情関係性情報生成部１５は、第２の参加者の姿勢の変化と第１の参加者の第１の表情ベクトルの変化との相関を算出し、その相関を表情関係性情報に含めてもよい。
　また、表情関係性情報生成部１５は、第１の参加者の姿勢と第２の参加者の姿勢とを参照して、第１の参加者と第２の参加者との姿勢状態の類似度を算出し、算出した類似度を表情関係性情報に含めてもよい。姿勢状態の類似度は、ミラーリング状態を表しており、会議中に他の参加者の発話に興味を示している状態を表す指標とも言える。
　なお、表情関係性情報生成部１５は、第１及び第２の参加者の属性を示す参加者情報を更に参照して、表情関係性情報を生成してもよい。参加者の属性を示す参加者情報は、当該参加者の年齢、性別、血液型、性格、出身地、家族関係、役職、勤続年数、転職回数、職務履歴等の少なくとも何れかを含む。また、参加者情報には、当該システムの利用履歴も含まれる。
　一例として、表情関係性情報生成部１５は、参加者情報を参照し、当該参加者が特定の表情が出やすいと判断した場合には、当該特定の表情に対応する指標に１より小さい重み係数を乗算する補正を行うことによって当該参加者の表情ベクトルを補正し、補正後の表情ベクトルを用いて表情関係性情報を生成してもよい。
　例えば、第１の参加者の属性を示す参加者情報が、当該第１の参加者が内気であることを示している場合、表情関係性情報生成部１５は、「中立（neutral）」の指標に対して重み０．８を乗算し、残り０．２の重みを他の指標に比例配分する等の処理を行うことによって、当該第１の参加者の表情ベクトルを補正し、補正後の表情ベクトルを用いて表情関係性情報を生成する構成としてもよい。
　情報処理装置１０は、参加者の脈波、脳波等の生体情報と、参加者周囲の温度、湿度、二酸化炭素濃度、照度等の環境情報とをさらに取得する構成とし、表情関係性情報生成部１５は、生体情報及び環境情報を更に参照して、表情関係性情報を生成してもよい。
　一例として、表情関係性情報生成部１５は、第１の参加者の脈波又は呼吸から判定した参加者のストレス状態と、その直前又はその時点における第２の参加者の表情を表現する第２の指標を参照し、第１の参加者にストレスを与える第２の参加者の表情を推定する。そして、表情関係性情報生成部１５は、推定された第２の参加者の表情を、第１の参加者に対するＮＧ表情と認定し、その情報を表情関係性情報に含めてもよい。一の参加者の他の参加者に対するＮＧ表情は、一の参加者の表情が他の参加者のストレス状態に及ぼす影響を表す指標とも言える。同様に、表情関係性情報生成部１５は、第２の参加者にストレスを与える第１の参加者の表情を推定し、第２の参加者に対するＮＧ表情を認定してもよい。
　また、表情関係性情報生成部１５は、予め定められた一定期間内の、参加者の周囲の環境情報の変化と、第１の参加者の第１の表情ベクトル及び第２の参加者の第２の表情ベクトルの平均値の変化との相関を算出し、その相関を表情関係性情報に含めてもよい。環境情報の変化と表情ベクトルの平均値の変化との相関は、参加者の周囲の環境が参加者間のコミュニケーション状態に及ぼす影響を表す指標とも言える。
　＜対話管理処理＞
　表情関係性情報生成部１５は、一例として、通信部１１を介して、第１の参加者及び第２の参加者それぞれのユーザＩＤと、当該ユーザＩＤが表す参加者が会議開始した時刻及び終了した時刻を表すタイムスタンプとを参照し、対話管理処理を行う。表情関係性情報生成部１５は、一の参加者に関する区間時系列数値データのある時点のデータについて、その時点に対話している他の参加者のユーザＩＤを抽出し、どの参加者と対話中に得られたデータであるかを判定して、結果を表情関係性情報に含めてもよい。
　（発話関係性情報生成部１６）
　発話関係性情報生成部１６は、第１の発話情報と第２の発話情報とを参照して、第１の参加者と第２の参加者との発話に関する関係性を示す発話関係性情報を生成する。発話関係性情報生成部１６は、音声情報取得部１４から第１の発話情報及び第２の発話情報を取得し、これらの発話情報を元に、会議中の参加者間の感情の一致度を参加者双方の発話から評価することで、参加者間のコミュニケーション状態を評価する。
　発話関係性情報生成部１６が音声情報取得部１４から取得するそれぞれの発話情報は、区間時系列テキストデータを元に算出されたものであり、つまり、各参加者のリアルタイム又は経時的な発話に関する情報に基づいて算出されたものである。発話関係性情報生成部１６は、各参加者のリアルタイム又は経時的な発話情報を元に、発話関係性情報を生成するので、生成された発話関係性情報は、参加者間のリアルタイム又は経時的な発話に関する関係性を表している。
　＜発話比率判定＞
　発話関係性情報生成部１６は、第１の発話情報が示す第１の参加者の発話時間と、第２の発話情報が示す第２の参加者の発話時間との関係を示す発話時間関係性情報を生成し、生成した発話時間関係性情報を、発話関係性情報に含めてもよい。
　一例として、発話関係性情報生成部１６は予め定められた一定時間内の、第１の参加者の発話時間と第２の参加者の発話時間との発話比率を算出し、発話関係性情報に含める。算出された発話比率は、参加者間の関係の対等性を表す指標とも言える。
　＜発話頻度判定＞
　また、発話関係性情報生成部１６は、第１の発話情報及び第２の発話情報の少なくとも何れかに、特定のカテゴリーに含まれる発話内容が含まれているか否かを判定し、判定した結果に応じた情報を前記発話関係性情報に含めてもよい。
　発話内容に含まれる特定のカテゴリーの例には、オープンクエスチョン、行動促しワード（それで？、なるほど、確かに）、オウム返し、発話の遮り、発話の被り、否定ワード（でも、だけど）が含まれる。一例として、発話関係性情報生成部１６は、予め定められた一定時間内における、このような特定のカテゴリーに含まれる発話内容が発話された頻度を算出し、算出した頻度に関する情報を発話関係性情報に含める。
　具体的には、一例として、発話内容に含まれる特定カテゴリーをオープンクエスチョンと設定し、発話関係性情報生成部１６は、第１の参加者の区間時系列テキストデータから、一定時間内に含まれるオープンクエスチョンを表すテキストデータを抽出する。そして、発話関係性情報生成部１６は、抽出されたテキストデータの単語数を上記一定時間内の全テキストデータの単語数で除算することによって、オープンクエスチョンが発話された頻度をオープン質問率として算出する。同様に、発話関係性情報生成部１６は、第２の参加者の区間時系列テキストデータから、オープン質問率を算出する。そして、発話関係性情報生成部１６は、第１の参加者のオープン質問率と第２の参加者のオープン質問率とを比較して、オープン質問比率を算出し、発話関係性情報に含める。算出されたオープン質問比率は、参加者間の関係の対等性を表す指標とも言える。また、発話関係性情報生成部１６は、第１の参加者のオープン質問率及び第２の参加者のオープン質問率を、発話関係性情報に含めてもよい。
　同様に、発話内容に含まれる特定カテゴリーを行動促しワードと設定し、発話関係性情報生成部１６は、第１の参加者の区間時系列テキストデータから、一定時間内に含まれる行動促しワードを表すテキストデータを抽出する。そして、発話関係性情報生成部１６は、抽出されたテキストデータの単語数を上記一定時間内の全テキストデータの単語数で除算することによって、行動促しワードが発話された頻度を促し質問率として算出する。
　同様に、発話関係性情報生成部１６は、第２の参加者の区間時系列テキストデータから、促し質問率を算出する。そして、発話関係性情報生成部１６は、第１の参加者の促し質問率と第２の参加者の促し質問率とを比較して、促し質問比率を算出し、発話関係性情報に含める。算出された促し質問比率は、参加者間の関係の対等性を表す指標とも言える。また、発話関係性情報生成部１６は、第１の参加者の促し質問率及び第２の参加者の促し質問率を、発話関係性情報に含めてもよい。
　＜単語に基づく評価＞
　また、発話関係性情報生成部１６は、第１の発話情報及び第２の発話情報の少なくとも何れかから、所定時間内において相対的に出現頻度の高い単語を抽出し、抽出した単語を発話関係性情報に含めてもよい。
　一例として、発話関係性情報生成部１６は、第１の参加者及び第２の参加者のそれぞれの区間時系列テキストデータから、予め定められた一定時間内に含まれる各単語の出現数を参加者毎に算出して順位付けし、相対的に出現頻度の高い単語を上位から複数抽出する。そして、発話関係性情報生成部１６は、抽出した出現頻度の上位の単語を頻出単語として発話関係性情報に含める。また、発話関係性情報生成部１６は、第１の参加者及び第２の参加者のそれぞれの頻出単語及びその順位が一致しているかを判定し、その判定結果を発話関係性情報に含めてもよい。
　また、発話関係性情報生成部１６は、第１の参加者及び第２の参加者のそれぞれの区間時系列テキストデータから、予め定められた一定時間内に含まれる単語を参加者毎に抽出し、抽出された単語の一致率を算出して、発話関係性情報に含めてもよい。単語の一致率は、予め定められた一定時間内の区間時系列テキストデータに含まれる全単語中における、第１の参加者と第２の参加者とで一致した単語の比率として算出することができる。算出された単語の一致率は、オウム返しができているかの指標とも言える。
　また、発話関係性情報生成部１６は、第１の参加者及び第２の参加者のそれぞれの区間時系列テキストデータから発話タイミングを抽出し、発話タイミングの時間的なオーバーラップを算出してもよい。そして、発話関係性情報生成部１６は、予め定められた一定時間内のオーバーラップの回数をオーバーラップ頻度として算出し、発話関係性情報に含めてもよい。算出したオーバーラップ頻度は、他の参加者の発話をさえぎる頻度を表す指標とも言える。
　さらに、発話関係性情報生成部１６は、第１及び第２の参加者の属性を示す参加者情報を更に参照して、発話関係性情報を生成してもよい。参加者の属性を示す参加者情報は、当該参加者の年齢、性別、血液型、性格、出身地、家族関係、役職、勤続年数、転職回数、職務履歴等の少なくとも何れかを含む。また、参加者情報には、当該システムの利用履歴も含まれる。
　情報処理装置１０は、参加者の脈波、脳波等の生体情報と、参加者周囲の温度、湿度、二酸化炭素濃度、照度等の環境情報とをさらに取得する構成とし、発話関係性情報生成部１６は、生体情報及び環境情報を更に参照して、発話関係性情報を生成してもよい。
　また、一例として、発話関係性情報生成部１６は、第１の参加者の脈波又は呼吸から判定した参加者のストレス状態と、その直前又はその時点における第２の参加者の区間時系列テキストデータとを参照し、第１の参加者にストレスを与える第２の参加者のテキストデータを推定する。そして、発話関係性情報生成部１６は、推定された第２の参加者のテキストデータを、第１の参加者に対するＮＧワードと認定し、その情報を発話関係性情報に含めてもよい。一の参加者の他の参加者に対するＮＧワードは、一の参加者の発言が他の参加者のストレス状態に及ぼす影響を表す指標とも言える。同様に、発話関係性情報生成部１６は、第２の参加者にストレスを与える第１の参加者のテキストデータを推定し、第２の参加者に対するＮＧワードを認定してもよい。
　また、一例として、発話関係性情報生成部１６は、第１の参加者の脳波から判定した参加者の思考の活性度と、その直前又はその時点における第２の参加者の区間時系列テキストデータとを参照し、第１の参加者の思考を活性化させる第２の参加者のテキストデータを推定する。そして、発話関係性情報生成部１６は、推定された第２の参加者のテキストデータを、第１の参加者に対する重要ワードと認定し、その情報を発話関係性情報に含めてもよい。一の参加者の他の参加者に対する重要ワードは、一の参加者の発言が他の参加者の思考の活性化に及ぼす影響を表す指標とも言える。同様に、発話関係性情報生成部１６は、第２の参加者の思考を活性化する第１の参加者のテキストデータを推定し、第２の参加者に対する重要ワードを認定してもよい。
　また、発話関係性情報生成部１６は、参加者間の声のトーンの一致度、発話スピードの一致度、音量の一致度等を算出してもよい。
　さらに、発話関係性情報生成部１６は、蓄積された区間時系列テキストデータから、第１の参加者及び第２の参加者それぞれの発話を表すログを抽出し、その形態素解析データを取得して、過去の発話中の頻出単語をリストアップし、発話関係性情報に含めてもよい。過去の発話中の頻出単語は、会議中の参加者双方に提示することで、会議のテーマ決定を支援するために利用され得る。
　＜対話管理処理＞
　発話関係性情報生成部１６は、一例として、通信部１１を介して、第１の参加者及び第２の参加者それぞれのユーザＩＤと、当該ユーザＩＤが表す参加者が会議開始した時刻及び終了した時刻を表すタイムスタンプとを参照し、対話管理処理を行う。発話関係性情報生成部１６は、一の参加者に関する区間時系列テキストデータのある時点のデータについて、その時点に対話している他の参加者のユーザＩＤを抽出し、どの参加者と対話中に得られたデータであるかを判定して、結果を発話関係性情報に含めてもよい。
　（関係性情報生成部１７）
　関係性情報生成部１７は、表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示すリアルタイム又は経時的な情報である関係性情報を生成する。会議中の参加者双方の表情及び発話の両方を評価することで、参加者間のコミュニケーション状態をより詳細に評価することができる。また、関係性情報生成部１７は、参加者間のリアルタイム又は経時的な表情情報及び発話情報を元に関係性情報を生成するので、参加者間のリアルタイム又は経時的なコミュニケーション状態を評価することができる。
　関係性情報生成部１７は、第１の参加者及び第２の参加者の少なくとも何れかに提示する提示情報を生成してもよい。提示情報には、表情関係性情報と発話関係性情報とに基づき総合的に評価した参加者双方の感情の一致度等が含まれていてもよい（例えば、視線合致率が高く、発話比率が対等であれば感情の一致度を高くする等）。
　関係性情報生成部１７が生成した提示情報を参加者に提示することで、参加者間の関係性を参加者にフィードバックすることができる。提示情報をリアルタイムで参加者に提示すれば、会話中にリアルタイムで関係性を確認することができるので、リアルタイムでコミュニケーションの改善を促すことも可能である。
　提示情報は、第１の参加者及び第２の参加者の双方に提示するものであってもよいし、いずれか一方に提示するものであってもよい。また、関係性情報は、第１の参加者及び第２の参加者に同じ内容を提示するものであってもよいし、異なる内容を提示するものであってもよい。第１の参加者及び第２の参加者に同じ内容を提示する関係性情報を生成することで、参加者間のフラットな関係性の構築が期待できる。また、提示情報を参加者自身が選択できるようになっていてもよいし、ルール又は参加者間の合意により提示される提示情報が変更されてもよい。
　関係性情報には、第１の参加者の発話時間と、第２の参加者の発話時間との割合を示す情報、及び、第１の参加者の視線方向と、第２の参加者の視線方向との合致率の経時変化に関する情報が含まれていてもよい。また、関係性情報には、表情一致率又は表情不一致率の経時変化、前のめり率、発話内容のテキスト、頻出単語等に関する情報が含まれていてもよい。さらに、関係性情報には、参加者のＩＤ、参加者自身の顔画像、他の参加者の表情を表すアバター画像、発話内容に基づき蓄積データから抽出した推奨議題又は推奨ワードの表示等が含まれていてもよい。
　また、提示情報に、会議参加者のコミュニケーションスキルを向上させるための評価結果を含めてもよい。一例として、表情一致率と共に、表情一致率を高めることで反射的傾聴スキルが向上させることを促す情報を提示したり、視線合致率と共に、視線合致率を高めることでコミュニケーションに適した姿勢、態度を取るように促す情報を提示したりしてもよい。また、推奨するワードや質問内容を提示して、対話レベル及び質問レベルの控除を促してもよい。
　提示情報を提示する方法は、具体的には、一例として、会議参加者の表示部（表示部２３及び表示部３３のそれぞれ）に表示する方法、会議参加者全員が視認できる共通の表示部に表示する方法、ネットワーク配信等により会議参加者以外にも提示する方法、腕時計型デバイスのようなウェアラブルデバイスからの物理的な作用（振動、電気刺激等）により提示する方法、環境設備（証明、空調、音楽等）からの物理的な作用（議論が白熱した場合に部屋を赤く照らす等）により提示する方法、感情を表す指標に対応した画像イメージ（怒りを表す火山の噴火等）により提示する方法、感情を表す指標に対応したアバターの表情により提示する方法等が挙げられる。
　図４及び５を参照して、表示部２３及び表示部３３の少なくとも一方に提示情報を提示される画面例を説明する。図４は、本発明の一実施形態に係る情報処理装置を含む情報処理システムが提示する情報の一例を示す図であり、図５は、本発明の一実施形態に係る情報処理装置を含む情報処理システムが提示する情報の他の例を示す図である。
　図４に示すように、画面４００において、領域４０１に会議参加者のユーザＩＤを表示し、領域４０２に会議参加者の顔画像を表示して、提示情報を提示する対象を特定する。領域４０３に発話比率をトーク比率として、例えば円グラフで表示し、領域４０４に対話中の参加者の感情を表す指標に対応したアバターの表情を表示し、また、領域４０５に表情一致率の経時変化をグラフで表示することで、会議中にコミュニケーションの状態の現状を瞬時に確認できるようにする。また、領域４０６に、発話内容を表すテキストをＴａｌｋ　Ｓｔｒｅａｍとして表示し、また、会議中に推奨される会話テーマや単語を表示する。領域４０５に表示する表情一致率は、表情関係性情報について、過去から現在までの経時的な情報に基づき生成された提示情報の例である。領域４０４に表示するアバターの表情は、表情関係性情報について、リアルタイムの情報に基づき生成された提示情報の例である。
　また、図５に示すように、画面５００において、画面４００と同様に、領域５０１にユーザＩＤを表示し、領域５０２に顔画像を表示し、領域５０３にトーク比率を表示し、領域５０４にアバター表情を表示し、領域５０５に発話内容及び推奨テーマ等を表示すると共に、領域５０５に、表情一致率ではなく視線合致率を表示してもよい。
　＜付記事項１＞
　端末装置の制御部における処理の一部又は全部を、情報処理装置１０の備える演算部１２において行う構成としてもよい。例えば、演算部１２が、通信部１１を介して、カメラ２１の撮像画像を取得し、表情情報取得部１３において、第１の参加者の表情に関する第１の表情情報、及び、第２の参加者の表情に関する第２の表情情報を生成する構成としてもよい。
　＜付記事項２＞
　また、上記の例では、第１の参加者及び第２の参加者の２名による会議を例にしたが、本実施形態はこれに限定されるものではない。当然、Ｎ名（Ｎは３以上）による会議に対しても本明細書に記載の発明を適用することができる。その場合、Ｎ名中の任意の２人のペアに対して、本明細書に記載の構成を個別に適用することができる。例えば、３名（Ａ、Ｂ、Ｃ）による会議に対しては、（Ａ、Ｂ）（Ａ、Ｃ）（Ｂ、Ｃ）の３組に対して本明細書に記載の発明を個別に適用することができる。
　このように、本実施形態に記載の発明は、Ｎ人の状態を表すデータ，Ｎ人の状態の履歴データおよびＮ人の環境情報を用いて、当該Ｎ人の内の一部又は全部の参加者間の関係を示す「関係性情報」を生成するものであると表現することもできる。
　＜付記事項３＞
　また、上記の例では、第１の参加者及び第２の参加者が共に人間である場合を例に挙げたが、これは本実施形態を限定するものではない。
　例えば、第２の参加者は、人間ではなく、予め設定されたアバターやＢＯＴのようにコンピュータによって表現される疑似的な人間であってもよい。このような構成の場合、第２の端末装置は、必須ではなく、表情情報取得部１３及び音声情報取得部１４は、予め作成された当該ＢＯＴが表す表情及び発話内容を、第２の参加者の表情情報及び音声情報として取得する構成とすればよい。
　なお、ＢＯＴが表す表情及び発話内容は、会議前に事前に作成されたデータを用いてもよいし、会議中の第１の参加者の表情や発話に応じて適応的に変更される構成としてもよい。
　〔ソフトウェアによる実現例〕
　情報処理装置１の制御ブロック（特に演算部１２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の一態様に係る情報処理装置は、複数の参加者のうち第１の参加者の表情に関する第１の表情情報と、前記複数の参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する表情情報取得部と、当該第１の参加者の発話に関する第１の発話情報と、前記複数の参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する音声情報取得部と、前記第１の表情情報と前記第２の表情情報とを参照して、前記第１の参加者と前記第２の参加者との表情に関する関係性を示す表情関係性情報を生成する表情関係性情報生成部と、前記第１の発話情報と前記第２の発話情報とを参照して、前記第１の参加者と前記第２の参加者との発話に関する関係性を示す発話関係性情報を生成する発話関係性情報生成部と、前記表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示す情報である関係性情報を生成する関係性情報生成部と、を備えていることを特徴としている。
　これによれば、各参加者の音声情報及び表情情報の両方に基づいて、会議中の参加者間の関係性を評価することができる。
　前記一態様に係る情報処理装置において、前記関係性情報は、前記第１の参加者と前記第２の参加者との関係を示すリアルタイム又は経時的な情報である。
　これによれば、各参加者の音声情報及び表情情報の両方に基づいて、会議中の参加者間の関係性をリアルタイムで評価することができる。
　前記一態様に係る情報処理装置において、前記第１の表情情報には、前記第１の参加者の表情を表現する複数の第１の指標が含まれており、前記第２の表情情報には、前記第２の参加者の表情を表現する複数の第２の指標が含まれており、前記表情関係性情報生成部は、前記第１の指標と前記第２の指標との差に関する表情差分情報を生成し、生成した表情差分情報を、前記表情関係性情報に含める。
　これによれば、表情関係性情報を生成するために参照する参加者の表情を表現するために複数の指標を用いるため、より正確に参加者の表情を表現することができる。
　前記一態様に係る情報処理装置において、前記第１の表情情報には、前記第１の参加者の視線方向に関する第１の視線情報が含まれており、前記第２の表情情報には、前記第２の参加者の視線方向に関する第２の視線情報が含まれており、前記表情関係性情報生成部は、前記第１の視線情報と前記第２の視線情報とを参照して視線関係性情報を生成し、生成した視線関係性情報を、前記表情関係性情報に含める。
　これによれば、表情関係性情報を生成するために参照する参加者の表情情報に参加者の視線情報も含むため、より正確に参加者の表情を表現することができる。
　前記一態様に係る情報処理装置において、前記発話関係性情報生成部は、前記第１の発話情報が示す前記第１の参加者の発話時間と、前記第２の発話情報が示す前記第２の参加者の発話時間との関係を示す発話時間関係性情報を生成し、生成した発話時間関係性情報を、前記発話関係性情報に含める。
　これによれば、発話関係性情報を生成するために参照する参加者の発話情報に発話時間関係性情報も含むため、より正確に参加者の発話関係性情報を生成することができる。
　前記一態様に係る情報処理装置において、前記発話関係性情報生成部は、前記第１の発話情報及び前記第２の発話情報の少なくとも何れかに、特定のカテゴリーに含まれる発話内容が含まれているか否かを判定し、判定した結果に応じた情報を前記発話関係性情報に含める。
　これによれば、発話関係性情報に特定のカテゴリーに含まれる発話内容が含まれているか否かの判定結果に応じた情報も含むため、より正確に参加者間の関係性情報を生成することができる。
　前記一態様に係る情報処理装置において、前記発話関係性情報生成部は、前記第１の発話情報及び前記第２の発話情報の少なくとも何れかから、所定時間内において相対的に出現頻度の高い単語を抽出し、抽出した単語を前記発話関係性情報に含める。
　これによれば、発話関係性情報に頻度の高い単語の上方も含むため、より正確に参加者間の関係性情報を生成することができる。
　前記一態様に係る情報処理装置において、前記関係性情報生成部は、前記関係性情報を参照して、前記第１の参加者及び前記第２の参加者の少なくとも何れかに提示する提示情報を生成する。
　これによれば、提示情報を参加者に提示することで、関係性情報を参加者に認識させることができる。
　前記提示情報には、前記第１の参加者の発話時間と、前記第２の参加者の発話時間との割合を示す情報、及び、前記第１の参加者の視線方向と、前記第２の参加者の視線方向との合致率の経時変化に関する情報が含まれている。
　これによれば、提示情報を参加者に提示することで、各参加者の発話時間の割合、及び、各参加者の視線方向の合致率の経時変化を参加者に認識させることができる。
　前記一態様に係る情報処理装置において、前記表情関係性情報生成部、及び前記発話関係性情報生成部は、前記第１及び第２の参加者の属性を示す参加者情報を更に参照して、前記表情関係性情報及び前記発話関係性情報を生成する。
　これによれば、表情関係性情報及び発話関係性情報の生成に参加者の属性も参照するので、より正確な表情関係性情報及び発話関係性情報を生成することができる。
　また、前記課題を解決するために、本発明の一態様に係る情報処理方法は、複数の参加者のうち第１の参加者の表情に関する第１の表情情報と、前記複数の参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する表情情報取得ステップと、当該第１の参加者の発話に関する第１の発話情報と、前記複数の参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する音声情報取得ステップと、前記第１の表情情報と前記第２の表情情報とを参照して、前記第１の参加者と前記第２の参加者との表情に関する関係性を示す表情関係性情報を生成する表情関係性情報生成ステップと、前記第１の発話情報と前記第２の発話情報とを参照して、前記第１の参加者と前記第２の参加者との発話に関する関係性を示す発話関係性情報を生成する発話関係性情報生成ステップと、前記表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示すリアルタイム又は経時的な情報である関係性情報を生成する関係性情報生成ステップと、を含む、ことを特徴としている。
　これによれば、各参加者の音声情報及び表情情報に基づいて、会議中の参加者間の関係性を評価することができる。
　また、前記課題を解決するために、本発明の一態様に係る情報処理プログラムは、前記何れかに記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記表情情報取得部、前記音声情報取得部、前記表情関係性情報生成部、前記発話関係性情報生成部、及び前記関係性情報生成部としてコンピュータを機能させる。
　これによれば、各参加者の音声情報及び表情情報に基づいて、会議中の参加者間の関係性を評価することができる。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　１００　情報処理システム
　１０　　情報処理装置
　２０　　第１の端末装置
　３０　　第２の端末装置
　１３　　表情情報取得部
　１４　　音声情報取得部
　１５　　表情関係性情報生成部
　１６　　発話関係性情報生成部
　１７　　関係性情報生成部

Claims (12)

  1. 　複数の参加者のうち第１の参加者の表情に関する第１の表情情報と、前記複数の参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する表情情報取得部と、
    　当該第１の参加者の発話に関する第１の発話情報と、前記複数の参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する音声情報取得部と、
    　前記第１の表情情報と前記第２の表情情報とを参照して、前記第１の参加者と前記第２の参加者との表情に関する関係性を示す表情関係性情報を生成する表情関係性情報生成部と、
    　前記第１の発話情報と前記第２の発話情報とを参照して、前記第１の参加者と前記第２の参加者との発話に関する関係性を示す発話関係性情報を生成する発話関係性情報生成部と、
    　前記表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示す情報である関係性情報を生成する関係性情報生成部と、
    　を備えていることを特徴とする情報処理装置。
  2. 　前記関係性情報は、前記第１の参加者と前記第２の参加者との関係を示すリアルタイム又は経時的な情報である
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記第１の表情情報には、前記第１の参加者の表情を表現する複数の第１の指標が含まれており、
    　前記第２の表情情報には、前記第２の参加者の表情を表現する複数の第２の指標が含まれており、
    　前記表情関係性情報生成部は、前記第１の指標と前記第２の指標との差に関する表情差分情報を生成し、生成した表情差分情報を、前記表情関係性情報に含める
    ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記第１の表情情報には、前記第１の参加者の視線方向に関する第１の視線情報が含まれており、
    　前記第２の表情情報には、前記第２の参加者の視線方向に関する第２の視線情報が含まれており、
    　前記表情関係性情報生成部は、前記第１の視線情報と前記第２の視線情報とを参照して視線関係性情報を生成し、生成した視線関係性情報を、前記表情関係性情報に含める
    ことを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
  5. 　前記発話関係性情報生成部は、
    　前記第１の発話情報が示す前記第１の参加者の発話時間と、前記第２の発話情報が示す前記第２の参加者の発話時間との関係を示す発話時間関係性情報を生成し、生成した発話時間関係性情報を、前記発話関係性情報に含める
    ことを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
  6. 　前記発話関係性情報生成部は、
    　前記第１の発話情報及び前記第２の発話情報の少なくとも何れかに、特定のカテゴリーに含まれる発話内容が含まれているか否かを判定し、判定した結果に応じた情報を前記発話関係性情報に含める
    ことを特徴とする請求項１から５の何れか１項に記載の情報処理装置。
  7. 　前記発話関係性情報生成部は、
    　前記第１の発話情報及び前記第２の発話情報の少なくとも何れかから、所定時間内において相対的に出現頻度の高い単語を抽出し、抽出した単語を前記発話関係性情報に含めることを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
  8. 　前記関係性情報生成部は、前記関係性情報を参照して、前記第１の参加者及び前記第２の参加者の少なくとも何れかに提示する提示情報を生成する
    ことを特徴とする請求項１から７の何れか１項に記載の情報処理装置。
  9. 　前記提示情報には、
    　　前記第１の参加者の発話時間と、前記第２の参加者の発話時間との割合を示す情報、及び、
    　　前記第１の参加者の視線方向と、前記第２の参加者の視線方向との合致率の経時変化に関する情報
    が含まれている
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 　前記表情関係性情報生成部、及び前記発話関係性情報生成部は、前記第１及び第２の参加者の属性を示す参加者情報を更に参照して、前記表情関係性情報及び前記発話関係性情報を生成する
    ことを特徴とする請求項１から９の何れか１項に記載の情報処理装置。
  11. 　複数の参加者のうち第１の参加者の表情に関する第１の表情情報と、前記複数の参加者のうち第２の参加者の表情に関する第２の表情情報とを取得する表情情報取得ステップと、
    　当該第１の参加者の発話に関する第１の発話情報と、前記複数の参加者のうち第２の参加者の発話に関する第２の発話情報とを取得する音声情報取得ステップと、
    　前記第１の表情情報と前記第２の表情情報とを参照して、前記第１の参加者と前記第２の参加者との表情に関する関係性を示す表情関係性情報を生成する表情関係性情報生成ステップと、
    　前記第１の発話情報と前記第２の発話情報とを参照して、前記第１の参加者と前記第２の参加者との発話に関する関係性を示す発話関係性情報を生成する発話関係性情報生成ステップと、
    　前記表情関係性情報と前記発話関係性情報とを参照して前記第１の参加者と前記第２の参加者との関係を示すリアルタイム又は経時的な情報である関係性情報を生成する関係性情報生成ステップと、
    　を含むことを特徴とする情報処理方法。
  12. 　請求項１～１０の何れか１項に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記表情情報取得部、前記音声情報取得部、前記表情関係性情報生成部、前記発話関係性情報生成部、及び前記関係性情報生成部としてコンピュータを機能させるための情報処理プログラム。
PCT/JP2019/009523 2019-01-16 2019-03-08 情報処理装置、情報処理方法、及び情報処理プログラム Ceased WO2020148920A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019005363A JP7036046B2 (ja) 2019-01-16 2019-01-16 情報処理装置、情報処理方法、及び情報処理プログラム
JP2019-005363 2019-01-16

Publications (1)

Publication Number Publication Date
WO2020148920A1 true WO2020148920A1 (ja) 2020-07-23

Family

ID=71614064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009523 Ceased WO2020148920A1 (ja) 2019-01-16 2019-03-08 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (2)

Country Link
JP (1) JP7036046B2 (ja)
WO (1) WO2020148920A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4242943A1 (en) * 2022-03-11 2023-09-13 Ricoh Company, Ltd. Information processing system, information processing method, and carrier means

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7677696B2 (ja) * 2021-02-16 2025-05-15 Ｎｅｃソリューションイノベータ株式会社 影響度分析装置、影響度可視化システム装置、影響度分析方法、影響度可視化方法、プログラム及び記録媒体
JP7705176B2 (ja) * 2021-06-14 2025-07-09 株式会社I’mbesideyou 動画像分析システム
JP2023015022A (ja) * 2021-07-19 2023-01-31 株式会社Zenkigen 評価装置及びプログラム
JP7440844B2 (ja) * 2021-09-30 2024-02-29 株式会社調和技研 情報処理装置及びプログラム
CN118140198A (zh) * 2021-11-01 2024-06-04 索尼集团公司 信息处理设备、沟通支持设备和沟通支持系统
WO2023084715A1 (ja) * 2021-11-11 2023-05-19 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム
JP7645830B2 (ja) * 2022-01-25 2025-03-14 エヌ・ティ・ティ・コミュニケーションズ株式会社 面談支援装置、面談支援方法及びコンピュータプログラム
JP7806571B2 (ja) 2022-03-22 2026-01-27 株式会社リコー 情報処理装置、情報処理システム、コミュニケーション支援システム、情報処理方法及びプログラム
US12052113B2 (en) 2022-05-27 2024-07-30 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium
WO2023243009A1 (ja) * 2022-06-15 2023-12-21 日本電信電話株式会社 情報提示装置、情報提示方法、およびプログラム
JP2024006627A (ja) * 2022-07-04 2024-01-17 パナソニックＩｐマネジメント株式会社 評価システム、評価装置および評価方法
JP7659354B1 (ja) 2023-09-22 2025-04-09 俊朗 飯島 プロフィール情報収集システム、プロフィール情報収集方法、及びプログラム
WO2026150556A1 (ja) * 2025-01-10 2026-07-16 日本電気株式会社 コミュニケーション支援装置、コミュニケーション支援方法、及び、記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284822A (ja) * 2004-03-30 2005-10-13 Seiko Epson Corp 感情マッチング装置、感情マッチング方法、及びプログラム
JP2016103081A (ja) * 2014-11-27 2016-06-02 Kddi株式会社 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
JP2016177483A (ja) * 2015-03-19 2016-10-06 キヤノン株式会社 コミュニケーション支援装置、コミュニケーション支援方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284822A (ja) * 2004-03-30 2005-10-13 Seiko Epson Corp 感情マッチング装置、感情マッチング方法、及びプログラム
JP2016103081A (ja) * 2014-11-27 2016-06-02 Kddi株式会社 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
JP2016177483A (ja) * 2015-03-19 2016-10-06 キヤノン株式会社 コミュニケーション支援装置、コミュニケーション支援方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4242943A1 (en) * 2022-03-11 2023-09-13 Ricoh Company, Ltd. Information processing system, information processing method, and carrier means

Also Published As

Publication number Publication date
JP2020113197A (ja) 2020-07-27
JP7036046B2 (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
JP7036046B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Müller et al. Detecting low rapport during natural interactions in small groups from non-verbal behaviour
Scherer et al. Automatic audiovisual behavior descriptors for psychological disorder analysis
CA3157835A1 (en) Method and system for an interface to provide activity recommendations
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
US12620261B2 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
Ehret et al. Who's next? Integrating Non-verbal turn-taking cues for embodied conversational agents
US20220383896A1 (en) System and method for collecting behavioural data to assist interpersonal interaction
JPWO2018174088A1 (ja) コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置
JP2013101680A (ja) 電子的に会話を評価するための方法およびシステム
Lucas et al. Towards an affective interface for assessment of psychological distress
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
Terven et al. Head-gestures mirroring detection in dyadic social interactions with computer vision-based wearable devices
JP2016177483A (ja) コミュニケーション支援装置、コミュニケーション支援方法及びプログラム
Dickerson et al. Autistic children’s co-ordination of gaze and talk: Re-examining the ‘asocial’autist
US20220101873A1 (en) Techniques for providing feedback on the veracity of spoken statements
US20220198293A1 (en) Systems and methods for evaluation of interpersonal interactions to predict real world performance
Sun et al. Towards visual and vocal mimicry recognition in human-human interactions
Torre et al. Exploring the effects of virtual agents’ smiles on human-agent interaction: A mixed-methods study
Wei Development and evaluation of an emotional lexicon system for young children
US20250228495A1 (en) Real time evaluating a mechanical movement associated with a pronunciation of a phenome by a patient
RU2293518C1 (ru) Способ оценки искренности-неискренности говорящего
Javed et al. Group dynamics: Survey of existing multimodal models and considerations for social mediation
Ochs et al. From emotions to interpersonal stances: Multi-level analysis of smiling virtual characters
Daeglau et al. Interactive Communication-cross-disciplinary perspectives from psychology, acoustics, and media technology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910110

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910110

Country of ref document: EP

Kind code of ref document: A1