WO2023181827A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023181827A1
WO2023181827A1 PCT/JP2023/007742 JP2023007742W WO2023181827A1 WO 2023181827 A1 WO2023181827 A1 WO 2023181827A1 JP 2023007742 W JP2023007742 W JP 2023007742W WO 2023181827 A1 WO2023181827 A1 WO 2023181827A1
Authority
WO
WIPO (PCT)
Prior art keywords
topic
user
degree
participating
topics
Prior art date
Application number
PCT/JP2023/007742
Other languages
English (en)
French (fr)
Inventor
宏一郎 高島
弘就 星野
康孝 柏木
浩一 加藤
正明 長谷川
俊幸 志手
健二 和久
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023181827A1 publication Critical patent/WO2023181827A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and specifically relates to an information processing device and the like for supporting a user to conduct a conversation smoothly and effectively in a remote multiplex conversation.
  • Patent Document 1 discloses that a topic explicitly specified by a user is extracted from a plurality of topics.
  • the purpose of this technology is to assist users in conducting remote multiplex conversations smoothly and effectively.
  • An information processing device includes a display processing unit that performs.
  • the display processing unit performs a process of displaying a topic that is occurring using a title. This process is performed based on the results of a topic analysis process in which topics that occur are identified based on multiple conversation data, and a summarized title is attached to each topic.
  • the topics that are occurring are displayed using titles, and users of remote multiplex conversations can see not only the topic that they are participating in, but also other topics that are occurring at the same time. It becomes easy to recognize the occurrence of an interesting topic, and it becomes easy to newly participate in the topic. As a result, in the present technology, it is possible to support the user so that the conversation can be carried out smoothly and effectively in a remote multiplex conversation.
  • the present technology may further include, for example, an audio processing unit that performs processing so that the audio for each topic to be displayed can be heard at a direction and volume associated with the topic display position.
  • an audio processing unit that performs processing so that the audio for each topic to be displayed can be heard at a direction and volume associated with the topic display position.
  • a process of associating participating users for each topic is further performed, and the display processing unit further performs a process of displaying participating users that are associated with each topic to be displayed. may be done or done. This allows the user of the remote multiplex conversation to easily check the users participating in the conversation for each topic.
  • the display processing unit may display the participating users using facial images.
  • the user of the remote multiplex conversation can confirm the users participating in the conversation for each topic using facial images.
  • the display processing unit may display the topics that are occurring in the metaverse space, and display the participating users using avatars.
  • the user of the remote multiplex conversation can check the topics that are occurring in the metaverse space, and can check the users participating in each topic using their avatars.
  • the display processing unit may classify the occurring topics based on the results of topic classification processing that calculates the interest level of individual users for each topic. may be displayed so that it can be confirmed.
  • topic classification processing that calculates the interest level of individual users for each topic.
  • the display processing unit may display the topics that are occurring, arranging them in the direction of the interest axis in order of the level of interest of the individual users.
  • an individual user in a remote multiplex conversation can judge the magnitude of his or her level of interest in each topic based on the order in which the topics are arranged along the interest axis. becomes possible.
  • the display processing unit displays the participating users associated with each topic to be displayed using a facial image, and the facial image of the participating user associated with a topic with a higher level of interest becomes larger. may be displayed.
  • an individual user in a remote multiplex conversation can determine the magnitude of his or her level of interest in each topic based on the size of the face image of the participating user associated with each topic. It is possible to judge by.
  • the display processing unit may classify the occurring topics based on the results of topic classification processing that calculates the degree of intimacy between linked participating users and individual users for each topic.
  • the degree of intimacy between linked participating users (groups) and individual users may be displayed in a manner that allows confirmation.
  • an individual user in a remote multiplex conversation can easily check his or her level of intimacy with the participating users (groups) associated with each topic.
  • the display processing unit is arranged to display the topics that are occurring in order of degree of intimacy between the linked participating users and the individual users in the direction of the intimacy axis. Good too.
  • an individual user in a remote multiplex conversation can calculate the degree of familiarity of each topic with respect to the participating users (groups) associated with each topic. This can be determined based on the arrangement order in the axial direction.
  • the display processing unit calculates the degree of interest of individual users for each topic and calculates the degree of intimacy between linked participating users and individual users based on the results of topic classification processing.
  • the current topic may be displayed in such a way that the degree of interest of the individual user and the degree of intimacy between the associated participating users and the individual user can be confirmed.
  • the display processing unit may display the current topic based on the interest level of the individual user, the associated participating user, and the individual user in two-dimensional coordinates consisting of the interest level axis and the familiarity level axis. It may be arranged and displayed at coordinate positions corresponding to respective levels of intimacy.
  • an individual user in a remote multiplex conversation can check the level of interest in each topic and his or her own interest level in relation to the participating users (groups) associated with each topic. It becomes possible to judge the magnitude relationship of the degree of intimacy based on the placement position of each topic on two-dimensional coordinates consisting of the axis of interest and the axis of familiarity.
  • the display processing unit may display the result of a proposal process that proposes participation in another topic that is currently being executed to an individual user, depending on the level of satisfaction with the topic in which the individual user is currently participating. Based on this, processing may be performed to further display participation proposals for other topics that are currently being executed.
  • an individual user of a remote multiplex conversation can receive a proposal to participate in another topic that is currently being executed, for example, when the individual user has a low level of satisfaction with the topic in which the user is currently participating.
  • the degree of satisfaction may be determined based on the amount of speech of the individual user and/or the physical information of the individual user. In this case, it becomes possible to appropriately obtain the individual user's satisfaction level with respect to the topic in which he/she is currently participating.
  • the degree of satisfaction with the currently participating topic is lower than the threshold, and the degree of fitting to the other topic currently being executed is greater than the degree of fitting to the currently participating topic.
  • participation in other topics may be suggested.
  • an individual user of a remote multiplex conversation has a low level of satisfaction with the topic he/she is currently participating in, he/she can propose participation in another currently running topic that has a higher degree of fitting than the topic he/she is currently participating in. It becomes possible to receive it.
  • the degree of fitting may be determined based on the individual user's degree of interest in the topic and the degree of intimacy between the participating users linked to the topic and the individual user. In this case, it becomes possible to appropriately obtain the degree of fitting of the individual user to the topic in which the user is currently participating and the other topic that is currently being executed.
  • the display processing unit proposes currently unexecuted topics to individual users according to their level of satisfaction with the currently participating topics. It may also be possible to perform a process of further displaying topic suggestions.
  • an individual user of a remote multiplex conversation can receive a proposal for a currently unused topic, for example, if the individual user has a low level of satisfaction with the topic in which the user is currently participating.
  • the degree of satisfaction with the topic in which the individual user is currently participating is lower than the threshold value, and the degree of satisfaction with the predetermined topic in which the other user has participated in the past, who has attributes similar to the individual user, is greater than the threshold value.
  • a predetermined topic may be proposed as a currently unexecuted topic.
  • the currently unexecuted topic is selected among the participating users who have the greatest intimacy with the individual user among the participating users for each currently executed topic.
  • a process of further proposing what to do is performed, and the display processing unit further performs a process of displaying a proposal of what to do among the participating users with the highest degree of familiarity with the currently unexecuted topic. good. This allows the individual user to receive a proposal from an appropriate participating user (group) with which to have a conversation on the proposed topic that has not yet been implemented.
  • An information processing method includes a procedure for identifying occurring topics based on multiple conversation data and assigning a summary title to each topic.
  • a program for causing a computer to execute an information processing method that includes steps for identifying occurring topics based on multiple conversation data and assigning a summary title to each topic.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to a first embodiment
  • FIG. It is a figure which shows an example of the intimacy information of each user with respect to other users, and an example of the result of grouping based on the intimacy information of each user with respect to other users. It is a figure which shows an example of the process of a topic analysis part.
  • FIG. 3 is a diagram illustrating an example of degree of interest information regarding a subject of interest of user A and an example of degree of intimacy information of user A with respect to other users.
  • FIG. 4 is a diagram showing an example of the degree of interest of user A in each topic determined by the topic classification section, and an example of the degree of intimacy of each topic participating user with respect to user A determined by the topic classification section.
  • FIG. 3 is a diagram illustrating an example of degree of interest information regarding a subject of interest of user A and an example of degree of intimacy information of user A with respect to other users.
  • FIG. 4 is a diagram showing an example of the degree of interest of
  • FIG. 3 is a diagram illustrating an example of a display pattern of occurring topics.
  • FIG. 7 is a diagram illustrating another example of a display pattern of occurring topics.
  • FIG. 7 is a diagram illustrating another example of a display pattern of occurring topics.
  • FIG. 2 is a block diagram illustrating a configuration example of an information processing device according to a second embodiment.
  • FIG. 6 is a diagram for explaining an example of a process of proposing participation in another topic that is currently being executed.
  • FIG. 7 is a diagram illustrating an example of a display on a target user's terminal when proposing participation in another topic that is currently in progress.
  • FIG. 6 is a diagram for explaining an example of a process of proposing a currently unexecuted topic and furthermore, a participating user (group) who will carry out the topic.
  • FIG. 6 is a diagram illustrating a display example of a target user's terminal in the case of proposing a currently unexecuted topic and furthermore, a participating user (group) who will engage in the topic.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • FIG. 1 shows a configuration example of an information processing apparatus 100 as a first embodiment.
  • the information processing device 100 is a device for supporting a user to smoothly and effectively conduct a remote multiple conversation (meeting, drinking party, etc.), and is managed by a remote multiple conversation organizer.
  • This grouping is performed, for example, based on intimacy information of each user with respect to other users. In this case, since a plurality of groups including users with high intimacy are generated, it is expected that topics will be generated smoothly.
  • FIG. 2(a) shows an example of intimacy information for a plurality of users A, B, C, D, . . . with respect to other users.
  • the degree of intimacy with user B is "high”
  • the degree of intimacy with user C is “small”
  • the degree of intimacy with user D is “medium.”
  • FIG. 2(b) shows an example of the result of grouping based on intimacy information of each user with respect to other users as shown in FIG. 2(a), in which N groups from group 1 to group N are generated. It shows the state that has been applied.
  • This information processing device 100 includes a multiple conversation database 101, a topic analysis section 102, a user attribute database 103, a topic classification section 104, a display processing section 105, and an audio processing section 106.
  • the multiple conversation database 101 accumulates voice data of each user (participant) in a remote multiple conversation, that is, multiple conversation data.
  • the multiple conversation data stored in this multiple conversation database 101 is sequentially updated with new data in terms of time.
  • the topic analysis unit 102 identifies the topics that are occurring based on the multiple conversation data stored in the multiple conversation database 101, assigns a summary title to each topic, and further associates participating users with each topic. ,I do.
  • the topic analysis unit 102 performs this processing using, for example, AI (artificial intelligence).
  • FIG. 3 shows an example of processing by the topic analysis unit 102.
  • users A, B, and D
  • the topic analysis unit 102 specifies this topic as “Topic 1,” adds “Omicron” as the summarized title, and further associates "A, B, D” as participating users of this topic.
  • the users C, others, others
  • the topic analysis unit 102 specifies this topic as “Topic 2,” adds “Director XX” as the summarized title, and further associates "C, others, others” as participating users of this topic.
  • the user attribute database 103 holds attribute information of each user.
  • the attribute information includes, for example, intimacy information with respect to other users, interest degree information with respect to various objects of interest, and the like.
  • FIG. 4(a) shows an example of the degree of interest information regarding the object of interest of user A
  • the level of interest in “Corona” is “small”
  • the level of interest in “baseball” is “high”
  • the level of interest in “soccer” is "high”.
  • FIG. 4(b) shows an example of intimacy information of user A with respect to other users, the same applies to other users.
  • the intimacy level for user B is "high”
  • the intimacy level for user C is “small”
  • the intimacy level for user D is “medium.”
  • the topic classification unit 104 performs processing based on the processing results of the topic analysis unit 102 and the attribute information of each user held in the user attribute database 103.
  • the topic classification unit 104 performs processing to obtain the interest level of each user (individual user) for each topic. Furthermore, the topic classification unit 104 performs a process of determining the degree of intimacy between the linked participating users and each user (individual user) for each topic.
  • FIG. 5(a) shows an example of user A's degree of interest in each topic determined by the topic classification unit 104, but the same applies to other users.
  • This example shows a case where user A's interest level information is as shown in FIG. 4(a) above for "Topic 1" and “Topic 2" shown in FIG. 3 above.
  • FIG. 5(b) shows an example of the degree of intimacy of each topic participant user with respect to user A, which is determined by the topic classification unit 104. This example shows a case where user A's intimacy information is as shown in FIG. 4(b) above for "Topic 1" and “Topic 2" shown in FIG. 3 above.
  • users A, B, and D are participating users, and based on the intimacy information that user A has a "high” intimacy with user B and a "medium” intimacy with user D, The degree of intimacy of the participating users (B, D) with respect to user A is required to be “high.” Similarly, regarding topic 2 regarding director XX, the degree of intimacy of the participating users (C, others, others) with respect to user A is required to be “low.” Note that in this example, there are two levels of intimacy, ⁇ large'' and ⁇ small,'' but this is not limiting.
  • the display processing unit 105 performs a process of displaying occurring topics on the terminal of each user (individual user) based on the processing results of the topic analysis unit 102 and the topic classification unit 104. . In this case, the display processing unit 105 displays the topic that is occurring using a summarized title.
  • the display processing unit 105 displays the occurring topics, for example, in one of the following patterns (1), (2), (3), and (4).
  • (1) Pattern of display using only the processing results of the topic analysis unit 102 (2) Pattern of display using the processing results of the topic analysis unit 102 and the processing results (interest level) of the topic classification unit 103 (3) Topic analysis Pattern to be displayed using the processing results of the topic analysis section 102 and the processing results (degree of familiarity) of the topic classification section 103 (4) Using the processing results of the topic analysis section 102 and the processing results (degree of interest, familiarity) of the topic classification section 103 pattern to display
  • FIG. 6 shows a display example of the pattern (1).
  • topics that are occurring are displayed in the metaverse space. This metaverse space is viewed from the perspective of the user (individual user) to whom this display is provided.
  • there are four topics that are occurring and they are displayed using the titles of "XX cooking,” “Movie: ⁇ ,” “ ⁇ player MVP,” and “Rising prices.”
  • participating users of each topic are displayed using avatars.
  • the topic "XX Cuisine” whose avatar on the right front is displayed in a large size is assumed to be a topic in which the user viewing this metaverse space is participating, for example.
  • the display example of the pattern (1) is not limited to the example in which topics that are occurring in this way are displayed in the metaverse space.
  • FIG. 7 shows a display example of the pattern (2).
  • the topics that are occurring are displayed on a plane.
  • there are four topics that are occurring and they are displayed using the titles of "XX cooking,” “Movie: ⁇ ,” “ ⁇ player MVP,” and “Rising prices.”
  • participating users of each topic are displayed using face images.
  • the user (individual user) to whom this display is provided can determine the magnitude of his/her own interest level in each topic based on the size of the face image of the participating user.
  • displaying the pattern (2) is also possible.
  • the user can judge the magnitude relationship of his/her level of interest in each topic based on the order in which each topic is arranged in the direction of the interest level axis. It becomes possible.
  • FIG. 8 shows a display example of the pattern (4).
  • two-dimensional coordinates consisting of an interest axis and a familiarity axis are set on a plane, and the current topic is determined based on the interest level of the user (individual user) and the participating users associated with the topic. and the user (individual user) are arranged and displayed at coordinate positions corresponding to the degree of intimacy between the user and the user (individual user).
  • I indicate the user (individual user) to whom this display is provided.
  • the user (individual user) to whom this display is provided can check the magnitude relationship of his or her own interest in each topic and the magnitude relationship of his or her own degree of intimacy with the participating users (groups) linked to each topic. It becomes possible to judge based on the placement position of each topic in two-dimensional coordinates.
  • the topic “ ⁇ Player MVP” is displayed with both the interest axis and the familiarity axis arranged at large coordinate positions, and the user (individual user) has a high degree of interest, and it is linked to the topic. It can be seen that the degree of intimacy between the participating users and users (individual users) is also high.
  • the topic “ ⁇ cooking” is displayed with a large interest axis and a small coordinate position on the familiarity axis, and the user (individual user) is highly interested in the topic. It can be seen that the degree of intimacy between the linked participating users and users (individual users) is low.
  • the audio processing unit 106 determines the direction and volume of the audio for each topic associated with the topic display position on the terminal of each user (individual user). Furthermore, in this embodiment, processing is performed to improve the sound quality so that it can be heard. In this case, the audio processing unit 106 performs processing based on a well-known object audio (3D audio) rendering technique, etc., although detailed explanation will be omitted.
  • object audio 3D audio
  • the volume is set as “loud,” the sound source position is set as “front right,” and the sound quality is set as “clear.”
  • the volume is set as "medium”
  • the sound source position is set as "front”
  • the sound quality is set as "slightly clear”
  • the volume is set as "medium”. ”
  • the sound source position was set to the “left”
  • the sound quality was set to be “slightly clear”
  • the volume was set to be “low” and the sound source position was set to be “front and back”.
  • the sound quality is said to be "slightly unclear.”
  • the volume is set to "loud,” the sound source position is set to “front,” the sound quality is set to “clear,” and the topic is set to " ⁇ Regarding the topic audio of " ⁇ Cooking”, the volume is set as “medium”, the sound source position is set as “right”, and the sound quality is set as "slightly clear”, and regarding "Movie: ⁇ ”, the volume is set as "medium”.
  • the sound source position was set to be ⁇ left,'' and the sound quality was ⁇ slightly clear.'' When talking about the topic of ⁇ increasing prices,'' the volume was set to ⁇ low,'' and the sound source position was set to ⁇ front and back.'' The sound quality is described as "slightly unclear.”
  • the volume is set to "loud,” the sound source position is set to "front,” the sound quality is set to "clear,” and the topic is set to " ⁇ Regarding the audio topic about ⁇ x cooking,'' the volume is set to ⁇ medium,'' the sound source position is set to ⁇ right,'' and the sound quality is rated as ⁇ slightly clear.
  • the volume is set to ⁇ .
  • the volume is set to "low”
  • the sound source position is set to "left”
  • the sound quality is "slightly unclear”
  • the sound source position is set to "front back”. The sound quality is described as "slightly unclear.”
  • the information processing device 100 shown in FIG. Users of remote multiplex conversations can easily recognize not only the topic they are participating in, but also other topics that are occurring at the same time. It becomes easy to newly participate in the topic, and it becomes possible to support the user so that the conversation can be carried out smoothly and effectively in remote multiplex conversations.
  • processing is performed so that the audio for each displayed topic can be heard in the direction and volume associated with the topic display position, and the user of remote multiplex conversation can: It becomes possible to identify the voices for each topic that are occurring by the direction and volume, and it becomes possible to reduce the state of interference between multiple voices.
  • the multiple conversation database 101 and the user attribute database 103 are placed in, for example, a server device.
  • the user terminal of each user sends the data of the voice uttered by each user and the data of the video taken by the camera of each user to the server device.
  • the server device performs topic analysis processing and topic classification processing, as well as video processing and audio processing as necessary, based on audio data and video data from each user. Then, the server device sends information such as the processing results of the topic analysis process and the topic classification process, as well as video data and audio data for display and audio output, to each user terminal. Then, the user terminal performs display and audio output processing based on the information sent from the server device.
  • FIG. 9 shows a configuration example of an information processing device 200 as a second embodiment.
  • This information processing device 200 is a device for supporting users so that conversations can be conducted smoothly and effectively in remote multiplex conversations (meetings, drinking parties, etc.). Managed by a multiplex conversation organizer.
  • This information processing device 200 includes a multiple conversation database 101, a topic analysis section 102, a user attribute database 103, a topic classification section 104, a display processing section 105, a voice processing section 106, and a user physical information database 201. , a past topic database 202 , and a proposal processing section 203 .
  • the multiple conversation database 101, topic analysis unit 102, user attribute database 103, topic classification unit 104, display processing unit 105, and audio processing unit 106 are the same as those described for the information processing device 100, so they will be explained here. The explanation will be omitted here.
  • the user physical information database 201 accumulates physical information of each user.
  • the physical information stored in this user physical information database 201 is sequentially updated with new information in terms of time.
  • the physical information includes information for obtaining the degree of excitement, such as heartbeat data, and information for obtaining the degree of relaxation, such as brain wave data.
  • the past topic database 202 associates with each user (individual user) and holds, as success example data, data related to topics in which the user has participated in the past and whose satisfaction level was greater than a threshold value.
  • This success example data includes at least data on the topic and the user's satisfaction level, as well as the user's interest level in the topic, the degree of familiarity between the user and other users who participated in the topic, the user's speaking frequency, and the user's level of satisfaction. It includes data such as excitement level, user relaxation level, user topic, and group fitting level.
  • the degree of interest, degree of intimacy, degree of remark, degree of excitement, and degree of relaxation are expressed, for example, on a scale of 10, the degree of fitting is, for example, the sum of the degree of interest and the degree of familiarity, and the degree of satisfaction is, for example, the degree of remark. It is the sum of the degree of excitement, the degree of excitement, and the degree of relaxation.
  • the proposal processing unit 203 performs a process of making proposals to each user (individual user).
  • the proposal processing unit 203 then sends the proposal information to the display processing unit 105.
  • the proposed content is displayed on the terminal of each user (individual user) together with the topic that is occurring.
  • the proposal processing unit 203 uses the processing results of the topic analysis unit 102, the attribute information of each user held in the user attribute database 103, the multiple conversation data stored in the multiple conversation database 101, and the user physical information database 201.
  • the proposing process is performed based on the accumulated physical information of each user and the success example data held in the past topic database 202.
  • the proposal processing unit 203 For each user (individual user), the proposal processing unit 203 performs, for example, (1) a process of proposing participation in another topic that is currently being executed, or (2) a process of proposing participation in a currently unexecuted topic, or even that topic. A process of proposing participating users (groups) to participate is performed.
  • the proposal processing unit 203 proposes participation in another topic that is currently in progress, depending on the degree of satisfaction with the topic in which the user is currently participating. For example, if the degree of satisfaction with the currently participating topic is lower than the threshold, and the degree of fitting to the other topic currently being executed is greater than the degree of fitting to the currently participating topic, the proposal processing unit 203 Suggest participation in the topic.
  • the proposal processing unit 203 calculates the degree of speech of the target user, the degree of excitement of the target user, and the degree of relaxation of the target user regarding the topic in which the target user is currently participating, and adds them to determine the degree of satisfaction.
  • the speaking level of the target user is determined by referring to the multiple conversation data stored in the multiple conversation database 101 and based on the speaking volume in the topic in which the target user is currently participating.
  • the degree of excitement of the target user is determined based on, for example, heart rate data of the target user stored in the user physical information database 201.
  • the degree of relaxation of the target user is determined based on, for example, brain wave data of the target user stored in the user physical information database 201.
  • the proposal processing unit 203 calculates the target user's degree of interest in the topic and the degree of intimacy between the target user and other users participating in the topic, and calculates these. Add them to find the degree of fitting.
  • the degree of interest is determined based on the degree of interest information about the object of interest of the target user (see FIG. 4(a)) held in the user attribute information database 103.
  • the degree of familiarity is determined based on the degree of intimacy information of the target user with respect to other users (see FIG. 4(b)) held in the user attribute information database 103.
  • the proposal processing unit 203 calculates, for each topic, the degree of interest of the target user in that topic and the degree of intimacy between the target user and other users participating in the topic. Find the degree of fitting by adding
  • the proposal processing unit 203 determines whether the degree of satisfaction with the topic in which the user is currently participating is lower than a threshold value. If the satisfaction level is lower than the threshold, next, the proposal processing unit 203 determines whether the degree of fitting to another topic currently being executed is greater than the degree of fitting to the topic in which the user is currently participating. If the degree of fitting to another topic currently being executed is greater than the degree of fitting to the topic in which the user is currently participating, participation in the other topic is proposed to the target user.
  • the proposal processing unit 203 selects the topic that has a higher degree of fit.
  • the proposal processing unit 203 may, for example, Refer to the target user's success example data held in the database 202 and check whether the satisfaction level is higher depending on which of the interest level and the intimacy level is higher, and the satisfaction level is higher depending on the confirmation result. Select topics that have the same level of interest and familiarity.
  • Part P1 in FIG. 10 shows an example of the interest level, familiarity level, utterance level, excitement level, relaxation level, fitting level, and satisfaction level required for the topic in which the target user is currently participating. Note that a group consisting of users participating in the topic in which the target user is currently participating is referred to as "Group 1.”
  • Part P2 in FIG. 10 shows an example of the degree of interest, degree of familiarity, and degree of fitting obtained regarding the other topic currently being executed.
  • This example shows a case where there are three other topics currently being executed: "Part 1", “Part 2", and "Part 3".
  • the groups consisting of users participating in the respective topics of "Part 1", “Part 2", and “Part 3” are referred to as “Group 2,” “Group 3,” and “Group 4.”
  • the target user's satisfaction level calculated for the topic in which the target user is currently participating is "3", which is smaller than the threshold (here, for example, "10"), and the target user are assumed to be dissatisfied with the topic they are currently participating in.
  • the satisfaction levels of the target users regarding the currently running other topics "Part 1", “Part 2", and “Part 3” are "14", "14", and "5", respectively. is greater than "3", which is the satisfaction level of the target user regarding the topic in which the target user is currently participating.
  • Part P3 in FIG. 10 shows an example of success example data of the target user.
  • satisfaction is greater when interest is greater than familiarity than when familiarity is greater than interest; therefore, participation in topic 1, where interest is greater than familiarity, is is proposed to the target user.
  • Figure 11 shows a display example of the target user's terminal. In addition to displaying the topics that are occurring, other topics that are currently being discussed for the target user, Mr. John, are also displayed. A proposal to participate in the current topic ⁇ Rising Prices'' is displayed. Although this display example corresponds to the display example shown in FIG. 7, it may also correspond to the display example shown in FIG. 6 or 8.
  • the proposal processing unit 203 proposes a currently unused topic depending on the level of satisfaction with the currently participating topic. For example, when the proposal processing unit 203 has a satisfaction level with a topic in which the user is currently participating is lower than a threshold value, and another user with attributes similar to the target user's satisfaction level with a predetermined topic in which he or she has participated in the past is greater than the threshold value. , the predetermined topic is proposed as a currently unexecuted topic. In addition, the proposal processing unit 203 proposes a currently unexecuted topic (predetermined topic) to the target user, who has the highest familiarity with the target user among the participating users (groups) for each currently executed topic. Suggest further things to do within the user (group).
  • the proposal processing unit 203 calculates the degree of speech of the target user, the degree of excitement of the target user, and the degree of relaxation of the target user regarding the topic in which the target user is currently participating, and adds them to determine the degree of satisfaction.
  • the speaking level of the target user is determined by referring to the multiple conversation data stored in the multiple conversation database 101 and based on the speaking volume in the topic in which the target user is currently participating.
  • the degree of excitement of the target user is determined based on, for example, heart rate data of the target user stored in the user physical information database 201.
  • the degree of relaxation of the target user is determined based on, for example, brain wave data of the target user stored in the user physical information database 201.
  • the proposal processing unit 203 calculates the target user's degree of interest in the topic and the degree of intimacy between the target user and other users participating in the topic, and calculates these. Add them to find the degree of fitting.
  • the degree of interest is determined based on the degree of interest information about the object of interest of the target user (see FIG. 4(a)) held in the user attribute information database 103.
  • the degree of familiarity is determined based on the degree of intimacy information of the target user with respect to other users (see FIG. 4(b)) held in the user attribute information database 103.
  • the proposal processing unit 203 calculates, for each topic, the degree of interest of the target user in that topic and the degree of intimacy between the target user and other users participating in the topic. Find the degree of fitting by adding
  • the proposal processing unit 203 determines whether the degree of satisfaction with the topic in which the user is currently participating is lower than a threshold value. If the satisfaction level is lower than the threshold, refer to the success example data of the predetermined topic of other users with similar attributes to the target user held in the past topic database 202, and if the satisfaction level is higher than the threshold, the predetermined topic is to the target users.
  • the satisfaction level is lower than the threshold, refer to the success example data of the predetermined topic of other users with similar attributes to the target user held in the past topic database 202, and if the satisfaction level is higher than the threshold, the predetermined topic is to the target users.
  • the proposal processing unit 203 checks which topic has the highest degree of familiarity among other topics that are currently being executed, and transfers the above-mentioned proposed predetermined topic to the participating user whose degree of familiarity is tied to the topic with the highest degree of familiarity. Suggest to the target user what to do in the (group).
  • the part P1 in FIG. 12 shows an example of the interest level, familiarity level, speaking level, excitement level, relaxation level, fitting level, and satisfaction level obtained regarding the topic in which the target user is currently participating. Note that a group consisting of users participating in the topic in which the target user is currently participating is referred to as "Group 1.”
  • Part P2 in FIG. 12 shows an example of the degree of interest, degree of familiarity, and degree of fitting obtained regarding the other topic currently being executed.
  • This example shows a case where there are three other topics currently being executed: "Part 1", “Part 2", and "Part 3".
  • the groups consisting of users participating in the respective topics of "Part 1", “Part 2", and “Part 3” are referred to as “Group 2,” “Group 3,” and “Group 4.”
  • the target user's satisfaction level calculated for the topic in which the target user is currently participating is "3", which is smaller than the threshold (here, for example, "10"), and the target user are assumed to be dissatisfied with the topic they are currently participating in.
  • a portion P4 in FIG. 12 shows an example of success example data of the referenced predetermined topic "Part 1".
  • the satisfaction level is "27", which is greater than the threshold value (here, for example, "20"), and the predetermined topic "Part 1" is proposed to the target user.
  • Figure 13 shows a display example of the target user's terminal, in which the topics that are occurring are displayed, and the topic of virtual currency, which is an unused topic, for the target user, John, is displayed in group 3. Suggestions to talk to members (participating users) are displayed.
  • this display example corresponds to the display example shown in FIG. 7, it may also correspond to the display example shown in FIG. 6 or 8.
  • the information processing apparatus 200 shown in FIG. 9 in addition to being able to obtain the same effects as the information processing apparatus 100 shown in FIG. It can suggest participation in other topics, or it can suggest topics that are not currently being implemented, or even suggest users (groups) to participate in the topic, helping users to have smooth and effective conversations in remote multiplex conversations. becomes possible.
  • the degree of satisfaction is the sum of the degree of talk, the degree of excitement, and the degree of relaxation, but it is not limited to this.
  • the added value of some of them or the added value of other factors may be used.
  • the degree of relaxation is more significant than the degree of excitement, so the degree of relaxation is given greater weight than the degree of excitement.
  • the degree of excitement is more significant than the degree of relaxation, so the degree of excitement is given greater weight than the degree of relaxation.
  • Computer configuration example The processing in the information processing apparatuses 100 and 200 shown in FIGS. 1 and 9 described above can be executed by hardware, but can also be executed by software.
  • the programs that make up the software can execute various functions by using a computer built into dedicated hardware or by installing various programs. It is installed from a recording medium onto a computer that can be used, for example, a general-purpose computer.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of a computer 400 that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 405 is further connected to the bus 404.
  • An input section 406 , an output section 407 , a recording section 408 , a communication section 409 , and a drive 410 are connected to the input/output interface 405 .
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, nonvolatile memory, and the like.
  • the communication unit 409 includes a network interface and the like.
  • the drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 for example, loads the program recorded in the recording unit 408 into the RAM 403 via the input/output interface 405 and the bus 404 and executes it. A series of processing is performed.
  • the program executed by the computer 400 can be provided by being recorded on a removable recording medium 411 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the recording unit 408 via the input/output interface 405 by loading the removable recording medium 411 into the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. Other programs can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, or in parallel or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the present technology can also take the following configuration.
  • (1) Based on the results of topic analysis processing, which identifies the topics that are occurring based on multiple conversation data and assigns a summary title to each topic, the topic that is occurring is identified using the title.
  • An information processing device including a display processing unit that performs display processing.
  • (2) The information processing device according to (1), further comprising an audio processing unit that performs processing so that the audio for each displayed topic can be heard in a direction and at a volume associated with the topic display position.
  • (3) In the topic analysis process, a process of linking participating users for each topic is further performed, The information processing device according to (1) or (2), wherein the display processing unit performs a process of further displaying participating users associated with each of the displayed topics.
  • the display processing unit displays the participating user using a face image, or displays the occurring topic in a metaverse space, and displays the participating user using an avatar. ).
  • the display processing unit is capable of checking the magnitude relationship of the interest level of the individual user for the occurring topic based on the result of topic classification processing to determine the interest level of the individual user for each topic.
  • the display processing unit displays the participating users linked to each of the displayed topics using face images, and displays the larger the face image of the participating user linked to the topic with a higher level of interest.
  • the information processing device displays the occurring topics based on the results of topic classification processing that calculates the degree of intimacy between the linked participating users and individual users for each topic.
  • the information processing device according to (3) above, wherein the degree of intimacy between the participating users and the individual users is displayed in a checkable manner.
  • the display processing unit displays the occurring topics in order of degree of intimacy between the linked participating users and individual users in the direction of the intimacy axis.
  • the information processing device described in . (10)
  • the display processing unit determines the degree of interest of the individual user for each topic and determines the degree of intimacy between the linked participating user and the individual user based on the result of the topic classification process.
  • the information processing according to (3) above wherein the topic related to the individual user is displayed in a manner that allows confirmation of the magnitude relationship of the interest level of the individual user and the magnitude relationship of the degree of intimacy between the linked participating user and the individual user.
  • Device. (11) The display processing unit displays the occurring topic based on the interest level of the individual user, the associated participating user, and the individual user in two-dimensional coordinates consisting of an interest axis and a familiarity axis.
  • the information processing device according to (10) above wherein the information processing device is arranged and displayed at a coordinate position corresponding to each level of intimacy with the user.
  • the display processing unit is configured to present the display processing unit based on the result of a proposal process that proposes participation in another topic currently being executed to the individual user according to the level of satisfaction with the topic in which the individual user is currently participating.
  • the information processing device according to any one of (1) to (11), further performing a process of displaying a proposal to participate in another topic that is being executed.
  • the satisfaction level is determined based on the amount of speech of the individual user and/or physical information of the individual user.
  • the display processing unit is configured to select the currently unused topics based on the result of a proposal process that proposes currently unused topics to individual users according to their level of satisfaction with the topics in which they are currently participating.
  • the information processing device according to any one of (1) to (15) above, further performing a process of displaying a proposal.
  • the degree of satisfaction with the topic in which the individual user currently participates is lower than the threshold value, and the degree of satisfaction with the predetermined topic in which the individual user has participated in the past is greater than the threshold value.
  • the predetermined topic is proposed as the currently unexecuted topic.
  • the currently unexecuted topic is selected among the participating users who have the greatest intimacy with the individual user among the participating users for each currently executed topic. Processing is performed that suggests further things to do.
  • the information processing device according to (16) or (17), wherein the display processing unit performs a process of further displaying a proposal to discuss a currently unexecuted topic among the participating users with the highest degree of familiarity.
  • An information processing method comprising a procedure of identifying occurring topics based on multiple conversation data and assigning a summarized title to each topic.
  • Information processing device 101 Multiple conversation database 102
  • Topic analysis section 103
  • User attribute database 104
  • Topic classification section 105
  • Display processing section 106
  • Audio processing section 200
  • Information processing device 201 ...
  • User physical information database 202 ...
  • Past topic database 203 ... Proposal processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

リモート多重会話において会話が効果的になされるようにユーザを支援する。　表示処理部により、多重会話データに基づいて、発生している話題を特定し、話題毎にタイトルを付ける話題解析処理の結果に基づき、発生している話題をタイトルを用いて表示する処理が行われる。リモート多重会話のユーザは、自分が参加している話題だけでなく、同時に発生している他の話題を容易に認識でき、興味のある話題の発生を知って、その話題へ新たに参加することも容易となる。これにより、本技術においては、リモート多重会話において会話が効果的になされるようにユーザを支援することが可能となる。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置、情報処理方法およびプログラムに関し、詳しくは、リモート多重会話において会話がスムーズかつ効果的に行われるようにユーザを支援するための情報処理装置等に関する。
　多数のユーザによるリモート多重会話（会議、飲み会など）が想定される。その場合、各ユーザは、自身が参加する話題については当然に理解できるが、多くの人が話をしている多重会話音声からその他にいかなる話題が出ているかについて知ることは容易ではなく、他に興味ある話題が出ていたとしてもそれに参加することは困難である。また、多くの人が話をしている多重会話音声から、その他の話題にいかなるユーザが参加しているか知ることも困難である。例えば、特許文献１には、複数の話題から、ユーザが明示的に指定した話題を摘出することが開示されている。
特開２０１５－１２２１００号公報
　本技術の目的は、リモート多重会話において会話がスムーズかつ効果的になされるようにユーザを支援することにある。
　本技術の概念は、
　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う話題解析処理の結果に基づき、前記発生している話題を前記タイトルを用いて表示する処理を行う表示処理部を備える
　情報処理装置にある。
　本技術において、表示処理部により、発生している話題をタイトルを用いて表示する処理が行われる。この処理は、多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う話題解析処理の結果に基づいて、行われる。
　このように本技術においては、発生している話題をタイトルを用いて表示するものであり、リモート多重会話のユーザは、自分が参加している話題だけでなく、同時に発生している他の話題を容易に認識でき、興味のある話題の発生を知って、その話題へ新たに参加することも容易となる。これにより、本技術においては、リモート多重会話において会話がスムーズかつ効果的になされるようにユーザを支援することが可能となる。
　なお、本技術において、例えば、表示される話題毎の音声が話題表示位置に関連づけされた方向および音量で聞こえるように処理を行う音声処理部をさらに備える、ようにされてもよい。これにより、リモート多重会話のユーザは、発生している話題毎の音声を、方向や音量で識別可能となり、複数の音声の混線状態を軽減することが可能となる。
　また、本技術において、例えば、話題解析処理では、話題毎に参加ユーザを紐づける処理がさらに行われ、表示処理部は、表示される話題毎に紐づけられた参加ユーザをさらに表示する処理を行う、ようにされてもよい。これにより、リモート多重会話のユーザは、話題毎にそれに参加しているユーザを容易に確認することが可能となる。
　この場合、例えば、表示処理部は、参加ユーザを顔画像を用いて表示する、ようにされてもよい。この場合、リモート多重会話のユーザは、話題毎にそれに参加しているユーザを顔画像で確認することが可能となる。また、この場合、例えば、表示処理部は、発生している話題をメタバース空間に表示し、参加ユーザをアバターを用いて表示する、ようにされてもよい。この場合、リモート多重会話のユーザは、発生している話題をメタバース空間で確認でき、話題毎にそれに参加しているユーザをアバターで確認することが可能となる。
　また、本技術において、例えば、表示処理部は、話題毎に、個別ユーザの興味度を求める処理を行う話題分類処理の結果に基づき、発生している話題を、個別ユーザの興味度の大小関係を確認可能に表示する、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度を容易に確認することが可能となる。
　この場合、例えば、表示処理部は、発生している話題を、個別ユーザの興味度の大きさの順に、興味度軸の方向に並べて表示する、ようにされてもよい。この場合、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度の大小関係を、それぞれの話題の興味度軸方向への配置順によって判断することが可能となる。
　また、この場合、例えば、表示処理部は、表示される話題毎に紐づけられた参加ユーザを顔画像を用いて表示し、興味度が大きい話題に紐づけられた参加ユーザの顔画像ほど大きく表示する、ようにされてもよい。この場合、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度の大小関係を、それぞれの話題に紐づけられた参加ユーザの顔画像の大きさによって判断することが可能となる。
　また、本技術において、例えば、表示処理部は、話題毎に、紐づけられた参加ユーザと個別ユーザとの親密度を求める処理を行う話題分類処理の結果に基づき、発生している話題を、紐づけられた参加ユーザ（グループ）と個別ユーザとの親密度の大小関係を確認可能に表示する、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に紐づけられた参加ユーザ（グループ）に対する自身の親密度を容易に確認することが可能となる。
　この場合、例えば、表示処理部は、発生している話題を、紐づけられた参加ユーザと個別ユーザとの親密度の大きさの順に、親密度軸の方向に並べて表示する、ようにされてもよい。この場合、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に紐づけられた参加ユーザ（グループ）に対する自身の親密度の大小関係を、それぞれの話題の親密度軸方向への配置順によって判断することが可能となる。
　また、本技術において、例えば、表示処理部は、話題毎に、個別ユーザの興味度を求めると共に紐づけられた参加ユーザと個別ユーザとの親密度を求める処理を行う話題分類処理の結果に基づき、発生している話題を、個別ユーザの興味度の大小関係と、紐づけられた参加ユーザと個別ユーザとの親密度の大小関係とを、確認可能に表示する、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度の大小関係と、それぞれの話題に紐づけられた参加ユーザ（グループ）に対する自身の親密度の大小関係とを、容易に確認することが可能となる。
　この場合、例えば、表示処理部は、発生している話題を、興味度軸と親密度軸とからなる２次元座標の、個別ユーザの興味度と、紐づけられた参加ユーザと個別ユーザとの親密度のそれぞれの大きさに対応した座標位置に配置して表示する、ようにされてもよい。この場合、リモート多重会話の個別ユーザは、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度の大小関係と、それぞれの話題に紐づけられた参加ユーザ（グループ）に対する自身の親密度の大小関係とを、それぞれの話題の興味度軸と親密度軸とからなる２次元座標への配置位置によって判断することが可能となる。
　また、本技術において、例えば、表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在実行されている他の話題への参加を提案する提案処理の結果に基づき、現在実行されている他の話題への参加提案をさらに表示する処理を行う、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、例えば、現在参加している話題に対する満足度が低い場合に、現在実行されている他の話題への参加提案を受けることが可能となる。
　この場合、例えば、提案処理では、満足度は、個別ユーザの発言量および/または個別ユーザの身体情報に基づいて求められる、ようにされてもよい。この場合、現在参加している話題に対する個別ユーザの満足度を、適切に得ることが可能となる。
　また、この場合、例えば、提案処理では、現在参加している話題に対する満足度が閾値より小さく、かつ現在実行されている他の話題に対するフィッティング度が現在参加している話題に対するフィッティング度より大きい場合、他の話題への参加が提案される、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、現在参加している話題に対する満足度が低い場合に、現在参加している話題よりフィッティング度が大きな、現在実行されている他の話題への参加提案を受けることが可能となる。
　ここで、例えば、提案処理では、フィッティング度は、個別ユーザの話題に対する興味度と、話題に紐づけられた参加ユーザと個別ユーザとの親密度に基づいて求められる、ようにされてもよい。この場合、現在参加している話題と現在実行されている他の話題に対する個別ユーザのフィッティング度を、適切に得ることが可能となる。
　また、本技術において、例えば、表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在未実行の話題を提案する提案処理の結果に基づき、現在未実行の話題の提案をさらに表示する処理を行う、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、例えば、現在参加している話題に対する満足度が低い場合に、現在未実行の話題の提案をうけることが可能となる。
　この場合、例えば、提案処理では、現在参加している話題に対する満足度が閾値より小さく、かつ個別ユーザに近い属性を持つ他ユーザの、過去に参加した所定話題への満足度が閾値より大きかった場合、現在未実行の話題として所定話題が提案される、ようにされてもよい。これにより、リモート多重会話の個別ユーザは、現在参加している話題に対する満足度が低い場合に、現在参加している話題より満足度が高くなると想定される未実行の話題の提案を受けることが可能となる。
　また、この場合、例えば、提案処理では、個別ユーザに対して、現在未実行の話題を、現在実行されている話題毎の参加ユーザのうち、個別ユーザに対する親密度が最も大きな参加ユーザの中で行うことをさらに提案する処理が行われ、表示処理部は、現在未実行の話題を前記親密度が最も大きな参加ユーザの中で行うことの提案をさらに表示する処理を行う、ようにされてもよい。これにより、個別ユーザは、提案された未実行の話題で会話を行うための適切な参加ユーザ（グループ）の提案を受けることが可能となる。
　また、本技術の他の概念は、
　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
　情報処理方法にある。
　また、本技術の他の概念は、
　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
　情報処理方法をコンピュータに実行させるためのプログラムにある。
第１の実施の形態としての情報処理装置の構成例を示すブロック図である。 各ユーザの他ユーザに対する親密度情報の一例と、各ユーザの他ユーザに対する親密度情報に基づいたグルーピングの結果の一例を示す図である。 話題解析部の処理の一例を示す図である。 ユーザＡの興味対象に対する興味度情報の一例と、ユーザＡの他ユーザに対する親密度情報の一例を示す図である。 話題分類部で求められるユーザＡの各話題に対する興味度の一例と、話題分類部で求められるユーザＡに対する各話題参加ユーザの親密度の一例を示す図である。 発生している話題の表示パターンの一例を示す図である。 発生している話題の表示パターンの他の一例を示す図である。 発生している話題の表示パターンの他の一例を示す図である。 第２の実施の形態としての情報処理装置の構成例を示すブロック図である。 現在実行中の他話題への参加を提案する処理の一例を説明するための図である。 現在実行中の他話題への参加を提案する場合における対象ユーザの端末の表示例を示す図である。 現在未実行の話題、さらにはその話題を行う参加ユーザ（グループ）を提案する処理の一例を説明するための図である。 現在未実行の話題、さらにはその話題を行う参加ユーザ（グループ）を提案する場合における対象ユーザの端末の表示例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．変形例
　＜１．第１の実施の形態＞
　［情報処理装置の構成］
　図１は、第１の実施の形態としての情報処理装置１００の構成例を示している。この情報処理装置１００は、リモート多重会話（会議、飲み会など）において会話がスムーズかつ効果的に行われるようにユーザを支援するための装置であり、リモート多重会話のオーガナイザによって管理される。
　なお、詳細説明は省略するが、リモート多重会話のオーガナイザは、ユーザのグルーピングを行ったのちに、会話をスタートさせることが考えられる。この場合、スタート当初は、各ユーザはグループ内で会話を行い得る状態となる。このグルーピングは、話題の発生がスムーズに行われるようにするためのものである。
　このグルーピングは、例えば、各ユーザの他ユーザに対する親密度情報に基づいて行われる。この場合、親密度の大きなユーザが含まれる複数のグループが生成されるため、話題の発生がスムーズに行われることが期待される。
　図２（ａ）は、複数のユーザＡ，Ｂ，Ｃ，Ｄ，・・・の他ユーザに対する親密度情報の一例を示している。この例では、ユーザＡの他ユーザに対する親密度情報のみ詳細に示しているが、その他のユーザの他ユーザに対する親密度情報に関しても同様である。ユーザＡに関して、ユーザＢに対する親密度は「大」、ユーザＣに対する親密度「小」、ユーザＤに対する親密度は「中」となっている。なお、この例では、親密度の段階が「大」、「中」、「小」の３段階とされているが、これに限定されるものではない。図２（ｂ）は、図２（ａ）に示すような各ユーザの他ユーザに対する親密度情報に基づいたグルーピングの結果の一例を示しており、グループ１～グループＮのＮ個のグループが生成された状態を示している。
　この情報処理装置１００は、多重会話データベース１０１と、話題解析部１０２と、ユーザ属性データベース１０３と、話題分類部１０４と、表示処理部１０５と、音声処理部１０６を有している。
　多重会話データベース１０１は、リモート多重会話における各ユーザ（参加者）の音声データ、つまり多重会話データを蓄積する。この多重会話データベース１０１に蓄積される多重会話データは順次時間的に新しいものに更新されていく。
　話題解析部１０２は、多重会話データベース１０１に蓄積されている多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付け、さらに話題毎に参加ユーザを紐づける処理、を行う。話題解析部１０２は、この処理を、例えば、ＡＩ（人工知能：artificial intelligence）を活用して行う。
　図３は、話題解析部１０２の処理の一例を示している。この例では、ある時間タイミングで、ユーザ（Ａ、Ｂ、Ｄ）の中でオミクロンに関する会話がなされている。この場合、話題解析部１０２は、この話題を「話題１」と特定し、要約したタイトルとして「オミクロン」を付け、さらにこの話題の参加ユーザとして「Ａ、Ｂ、Ｄ」を紐づける。また、この例では、ある時間タイミングで、ユーザ（Ｃ、他、他）の中で〇〇監督に関する会話がなされている。この場合、話題解析部１０２は、この話題を「話題２」と特定し、要約したタイトルとして「〇〇監督」を付け、さらにこの話題の参加ユーザとして「Ｃ、他、他」を紐づける。
　ユーザ属性データベース１０３は、各ユーザの属性情報を保持している。属性情報としては、例えば、他ユーザに対する親密度情報、種々の興味対象に対する興味度情報などが含まれている。
　図４（ａ）は、ユーザＡの興味対象に対する興味度情報の一例を示しているが、他のユーザに関しても同様である。この例では、「コロナ」に対する興味度は「小」、「野球」に対する興味度は「大」、「サッカー」に対する興味度は「大」となっている。なお、この例では、興味度の段階が「大」、「小」の２段階とされているが、これに限定されるものではない。
　図４（ｂ）は、ユーザＡの他ユーザに対する親密度情報の一例を示しているが、他のユーザに関しても同様である。この例では、ユーザＢに対する親密度は「大」、ユーザＣに対する親密度「小」、ユーザＤに対する親密度は「中」となっている。なお、この例では、親密度の段階が「大」、「中」、「小」の３段階とされているが、これに限定されるものではない。
　図１に戻って、話題分類部１０４は、話題解析部１０２の処理結果およびユーザ属性データベース１０３に保持される各ユーザの属性情報などに基づき、処理を行う。話題分類部１０４は、話題毎に、各ユーザ（個別ユーザ）の興味度を求める処理を行う。また、話題分類部１０４は、話題毎に、紐づけられた参加ユーザと各ユーザ（個別ユーザ）との親密度を求める処理を行う。
　図５（ａ）は、話題分類部１０４で求められるユーザＡの各話題に対する興味度の一例を示しているが、他のユーザに関しても同様である。この例では、上述の図３で示した「話題１」、「話題２」に対し、ユーザＡの興味度情報が上述の図４（ａ）で示したものであった場合について示している。
　ユーザＡは「コロナ」に対しての興味度が「小」であるという興味度情報から、オミクロンに関する話題１については、ユーザＡの興味度は「小」と求められている。また、ユーザＡは「野球」に対しての興味度が「大」であるという興味度情報から、〇〇監督に関する話題２については、ユーザＡの興味度は「大」と求められている。なお、この例では、興味度の段階が「大」、「小」の２段階とされているが、これに限定されるものではない。
　図５（ｂ）は、話題分類部１０４で求められるユーザＡに対する各話題参加ユーザの親密度の一例を示している。この例では、上述の図３で示した「話題１」、「話題２」に対し、ユーザＡの親密度情報が上述の図４（ｂ）で示したものであった場合について示している。
　オミクロンに関する話題１については、ユーザＡ、Ｂ、Ｄが参加ユーザであり、ユーザＡは、ユーザＢに対する親密度が「大」でユーザＤに対する親密度が「中」であるという親密度情報から、ユーザＡに対する参加ユーザ（Ｂ、Ｄ）の親密度は「大」と求められている。また、同様に、〇〇監督に関する話題２については、ユーザＡに対する参加ユーザ（Ｃ　、他、他）の親密度は「小」と求められている。なお、この例では、親密度の段階が「大」、「小」の２段階とされているが、これに限定されるものではない。
　図１に戻って、表示処理部１０５は、話題解析部１０２および話題分類部１０４の処理結果などに基づいて、各ユーザ（個別ユーザ）の端末に、発生している話題を表示する処理を行う。この場合、表示処理部１０５は、発生している話題を、要約したタイトルを用いて表示する。
　表示処理部１０５は、例えば、以下の（１）、（２）、（３）、（４）のいずれかのパターンで、発生している話題を表示する。
　（１）話題解析部１０２の処理結果のみを用いて表示するパターン
　（２）話題解析部１０２の処理結果と話題分類部１０３の処理結果（興味度）を用いて表示するパターン
　（３）話題解析部１０２の処理結果と話題分類部１０３の処理結果（親密度）を用いて表示するパターン
　（４）話題解析部１０２の処理結果と話題分類部１０３の処理結果（興味度、親密度）を用いて表示するパターン
　図６は、（１）のパターンの表示例を示している。この例は、メタバース空間に、発生している話題を表示したものである。このメタバース空間は、この表示が提供されるユーザ（個別ユーザ）の視点で見たものとされる。この例では、発生している話題が４つで、それぞれ、「××料理」、「映画：△△」、「〇〇選手ＭＶＰ」、「物価高騰」のタイトルを用いて表示されている。そして、この場合、各話題の参加ユーザはアバターを用いて表示されている。ここで、例えば、右手前のアバターが大きく表示されている「××料理」の話題は、例えば、このメタバース空間を見ているユーザが参加しているものとされる。なお、（１）のパターンの表示例としては、このように発生している話題をメタバース空間に表示する例に限定されるものではない。
　図７は、（２）のパターンの表示例を示している。この例は、平面上に、発生している話題を表示したものである。この例では、発生している話題が４つで、それぞれ、「××料理」、「映画：△△」、「〇〇選手ＭＶＰ」、「物価高騰」のタイトルを用いて表示されている。そして、この場合、各話題の参加ユーザは顔画像を用いて表示されている。この場合、ユーザ（個別ユーザ）の興味度が高いほど参加ユーザの顔画像が大きく表示される。この表示が提供されるユーザ（個別ユーザ）は、参加ユーザの顔画像の大きさに基づいて、各話題に対する自身の興味度の大小関係を判断することが可能となる。
　なお、（２）のパターンの表示例としては、その他の例も考えられる。例えば、図示は省略するが、発生している話題を、ユーザ（個別ユーザ）の興味度の大きさの順に、興味度軸の方向に並べて表示する例も考えられる。この場合、ユーザ（個別ユーザ）は、複数の話題が発生しているとき、それぞれの話題に対する自身の興味度の大小関係を、それぞれの話題の興味度軸方向への配置順によって判断することが可能となる。
　（３）のパターンの表示に関しては、詳細説明は省略するが、興味度が親密度に置き換わるだけであり、上述の（２）のパターンの表示例と同様である。
　図８は、（４）のパターンの表示例を示している。この例は、平面上に、興味度軸と親密度軸からなる２次元座標を設定し、発生している話題を、ユーザ（個別ユーザ）の興味度と、その話題に紐づけられた参加ユーザとユーザ（個別ユーザ）との親密度のそれぞれの大きさに対応した座標位置に配置して表示したものである。この例で、自分は、この表示が提供されるユーザ（個別ユーザ）を示している。この表示が提供されるユーザ（個別ユーザ）は、それぞれの話題に対する自身の興味度の大小関係と、それぞれの話題に紐づけられた参加ユーザ（グループ）に対する自身の親密度の大小関係とを、それぞれの話題の２次元座標への配置位置によって判断することが可能となる。
　この例では、発生している話題が４つで、それぞれ、「××料理」、「映画：△△」、「〇〇選手ＭＶＰ」、「物価高騰」のタイトルを用いて表示されている。例えば、「〇〇選手ＭＶＰ」の話題は、興味度軸と親密度軸の双方が大きな座標位置に配置されて表示されており、ユーザ（個別ユーザ）の興味度が大きく、その話題に紐づけられた参加ユーザとユーザ（個別ユーザ）との親密度も大きいことが分かる。また、例えば、「××料理」の話題は、興味度軸は大きく、親密度軸は小さな座標位置に配置されて表示されており、ユーザ（個別ユーザ）の興味度が大きいが、その話題に紐づけられた参加ユーザとユーザ（個別ユーザ）との親密度は小さいことが分かる。
　図１に戻って、音声処理部１０６は、表示処理部１０５における処理情報に基づいて、各ユーザ（個別ユーザ）の端末において、話題毎の音声が話題表示位置に関連づけされた、方向および音量、さらにこの実施の形態では音質で、聞こえるように処理を行う。この場合、音声処理部１０６は、詳細説明は省略するが、周知のオブジェクトオーディオ（３Ｄオーディオ）のレンダリング技術などに基づいて処理を行う。
　この場合、例えば、図６の表示例において、「××料理」の話題の音声に関しては、音量は「大」とされ、音源位置は「右手前」とされ、音質は「明瞭」とされ、「〇〇選手ＭＶＰ」の話題に関しては、音量は「中」とされ、音源位置は「正面」とされ、音質は「やや明瞭」とされ、「映画：△△」に関しては、音量は「中」とされ、音源位置は「左」とされ、音質は「やや明瞭」とされ、「物価高騰」の話題の音声に関しては、音量は「小」とされ、音源位置は「正面奥」とされ、音質は「やや不明瞭」とされる。
　また、例えば、図７の表示例において、「〇〇選手ＭＶＰ」の話題に関しては、音量は「大」とされ、音源位置は「正面手前」とされ、音質は「明瞭」とされ、「××料理」の話題の音声に関しては、音量は「中」とされ、音源位置は「右」とされ、音質は「やや明瞭」とされ、「映画：△△」に関しては、音量は「中」とされ、音源位置は「左」とされ、音質は「やや明瞭」とされ、「物価高騰」の話題の音声に関しては、音量は「小」とされ、音源位置は「正面奥」とされ、音質は「やや不明瞭」とされる。
　また、例えば、図８の表示例において、「〇〇選手ＭＶＰ」の話題に関しては、音量は「大」とされ、音源位置は「正面手前」とされ、音質は「明瞭」とされ、「××料理」の話題の音声に関しては、音量は「中」とされ、音源位置は「右」とされ、音質は「やや明瞭」とされ、「物価高騰」の話題の音声に関しては、音量は「中」とされ、音源位置は「左」とされ、音質は「やや不明瞭」とされ「映画：△△」に関しては、音量は「小」とされ、音源位置は「正面奥」とされ、音質は「やや不明瞭」とされる。
　以上説明したように、図１に示す情報処理装置１００においては、多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付け、発生している話題をタイトルを用いて表示するものであり、リモート多重会話のユーザは、自分が参加している話題だけでなく、同時に発生している他の話題を容易に認識でき、興味のある話題の発生を知って、その話題へ新たに参加することも容易となり、リモート多重会話において会話がスムーズかつ効果的になされるようにユーザを支援することが可能となる。
　また、図１に示す情報処理装置１００においては、表示される話題毎の音声が話題表示位置に関連づけされた方向および音量で聞こえるように処理が行われるものであり、リモート多重会話のユーザは、発生している話題毎の音声を、方向や音量で識別可能となり、複数の音声の混線状態を軽減することが可能となる。
　なお、図１に示す情報処理装置１００において、例えば、話題解析部１０２および話題分類部１０４等の処理をネットワーク上のサーバ装置で行い、最終的な表示処理や音声出力処理だけをユーザ端末（パーソナルコンピュータ、スマートフォン、タブレットなど）で行うことも考えられる。その場合、多重会話データベース１０１およびユーザ属性データベース１０３は、例えばサーバ装置におかれる。
　この場合、各ユーザのユーザ端末からサーバ装置に対して各ユーザが発した音声のデータや、各ユーザをカメラで撮影した映像のデータが送られる。サーバ装置では、各ユーザからの音声データや映像データに基づいて、話題解析処理および話題分類処理、さらに必要に応じて映像処理や音声処理などが行われる。そして、サーバ装置から各ユーザ端末に、話題解析処理および話題分類処理の処理結果、さらには表示や音声出力のための映像データや音声データなどの情報が送られる。そして、ユーザ端末では、サーバ装置から送られてくる情報に基づき、表示や音声出力の処理が行われる。
　＜２．第２の実施の形態＞
　［情報処理装置の構成］
　図９は、第２の実施の形態としての情報処理装置２００の構成例を示している。この図９において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この情報処理装置２００は、上述した情報処理装置１００と同様に、リモート多重会話（会議、飲み会など）において会話がスムーズかつ効果的に行われるようにユーザを支援するための装置であり、リモート多重会話のオーガナイザによって管理される。
　この情報処理装置２００は、多重会話データベース１０１と、話題解析部１０２と、ユーザ属性データベース１０３と、話題分類部１０４と、表示処理部１０５と、音声処理部１０６の他に、ユーザ身体情報データベース２０１と、過去話題データベース２０２と、提案処理部２０３を有している。多重会話データベース１０１、話題解析部１０２、ユーザ属性データベース１０３、話題分類部１０４、表示処理部１０５および音声処理部１０６の部分に関しては、上述した情報処理装置１００で説明したと同様であるので、ここではその説明を省略する。
　ユーザ身体情報データベース２０１は、各ユーザの身体情報を蓄積する。このユーザ身体情報データベース２０１に蓄積される身体情報は順次時間的に新しいものに更新されていく。この実施の形態において、身体情報は、興奮度を得るための情報、例え心拍データと、リラックス度を得るための情報、例えば脳波データである。
　過去話題データベース２０２は、各ユーザ（個別ユーザ）に対応付けて、過去に参加した話題のうち、満足度が閾値より大きかった話題に関するデータを成功例データとして保持する。この成功例データには、少なくとも話題およびユーザの満足度のデータが含まれ、さらにその話題に対するユーザの興味度、ユーザとその話題に参加した他ユーザとの親密度、ユーザの発言度、ユーザの興奮度、ユーザのリラックス度、ユーザの話題およびグループのフィッティング度などのデータが含まれる。ここで、興味度、親密度、発言度、興奮度およびリラックス度のそれぞれの度数は例えば１０点満点で表され、フィッティング度は例えば興味度と親密度の加算値とされ、満足度は例えば発言度と興奮度とリラックス度の加算値とされる。
　提案処理部２０３は、各ユーザ（個別ユーザ）に対して、提案する処理を行う。そして、提案処理部２０３は、提案情報を表示処理部１０５に送る。これにより、各ユーザ（個別ユーザ）の端末に、発生している話題と共に、提案内容の表示が行われる。
　この場合、提案処理部２０３は、話題解析部１０２の処理結果、ユーザ属性データベース１０３に保持される各ユーザの属性情報、多重会話データベース１０１に蓄積されている多重会話データ、ユーザ身体情報データベース２０１に蓄積される各ユーザの身体情報および過去話題データベース２０２に保持される成功例データなどに基づいて、提案する処理を行う。
　提案処理部２０３は、各ユーザ（個別ユーザ）に対して、例えば、（１）現在実行中の他話題への参加を提案する処理、または（２）現在未実行の話題、さらにはその話題を行う参加ユーザ（グループ）を提案する処理、を行う。
　最初に、（１）現在実行中の他話題への参加を提案する処理について説明する。ここでは、ある個別ユーザ（以下、適宜、「対象ユーザ」と呼ぶ）へ提案する処理を例として説明する。詳細説明は省略するが、他のユーザへの提案する処理についても同様である。
　この場合、提案処理部２０３は、現在参加している話題に対する満足度に応じて、現在実行中の他話題への参加を提案する。例えば、提案処理部２０３は、現在参加している話題に対する満足度が閾値より低く、かつ現在実行されている他の話題に対するフィッティング度が現在参加している話題に対するフィッティング度より大きい場合、当該他の話題への参加を提案する。
　ここで、提案処理部２０３は、対象ユーザが現在参加している話題に関して、対象ユーザの発言度、対象ユーザの興奮度、および対象ユーザのリラックス度を求め、それらを加算して満足度を求める。この場合、対象ユーザの発言度は、多重会話データベース１０１に蓄積されている多重会話データを参照し、対象ユーザの現在参加している話題における発言量に基づいて、求められる。また、対象ユーザの興奮度は、ユーザ身体情報データベース２０１に蓄積されている対象ユーザの例えば心拍データに基づいて、求められる。また、対象ユーザのリラックス度は、ユーザ身体情報データベース２０１に蓄積されている対象ユーザの例えば脳波データに基づいて、求められる。
　また、提案処理部２０３は、対象ユーザが現在参加している話題に関して、その話題に対する対象ユーザの興味度、および対象ユーザとその話題に参加している他ユーザとの親密度を求め、それらを加算してフィッティング度を求める。この場合、興味度は、ユーザ属性情報データベース１０３に保持されている対象ユーザの興味対象に対する興味度情報（図４（ａ）参照）に基づいて、求められる。また、親密度は、ユーザ属性情報データベース１０３に保持されている対象ユーザの他ユーザに対する親密度情報（図４（ｂ）参照）に基づいて、求められる。
　また、提案処理部２０３は、現在実行中の他話題に関して、話題毎に、その話題に対する対象ユーザの興味度、および対象ユーザとその話題に参加している他ユーザとの親密度を求め、それらを加算してフィッティング度を求める。
　そして、提案処理部２０３は、現在参加している話題に対する満足度が閾値より低いか判断する。満足度が閾値より低い場合、次に、提案処理部２０３は、現在実行されている他の話題に対するフィッティング度が現在参加している話題に対するフィッティング度より大きいか判断する。現在実行されている他の話題に対するフィッティング度が現在参加している話題に対するフィッティング度より大きい場合、当該他の話題への参加を対象ユーザに提案する。
　なお、提案処理部２０３は、現在参加している話題に対するフィッティング度より大きいフィッティング度の現在実行中の他の話題が複数存在した場合には、よりフィッティング度の高い方の話題を選択する。また、提案処理部２０３は、現在参加している話題に対するフィッティング度より大きいフィッティング度の現在実行中の他の話題が複数存在し、それらのフィッティング度が同じであった場合には、例えば過去話題データベース２０２に保持されている対象ユーザの成功例データを参照し、興味度と親密度のいずれが大きい場合により満足度が大きくなっているかを確認し、その確認結果に応じて満足度がより大きくなっている興味度と親密度の大小関係を持つ方の話題を選択する。
　図１０のＰ１の部分は、対象ユーザが現在参加している話題に関して求められた、興味度、親密度、発言度、興奮度、リラックス度、フィッティング度および満足度の一例を示している。なお、対象ユーザが現在参加している話題の参加ユーザからなるグループを「グループ１」としている。
　図１０のＰ２の部分は、現在実行中の他話題に関して求められた、興味度、親密度およびフィッティング度の一例を示している。この例は、現在実行中の他話題として「その１」「その２」、「その３」の３つの話題がある場合を示している。なお、「その１」「その２」、「その３」のそれぞれの話題の参加ユーザからなるグループを「グループ２」、「グループ３」、「グループ４」としている。
　図１０に示す例の場合、対象ユーザが現在参加している話題に関して求められた対象ユーザの満足度は「３」であり、閾値（ここでは、例えば「１０」とする）より小さく、対象ユーザは、現在参加している話題に満足していない、と想定される。そして、この例の場合、現在実行中の他話題「その１」、「その２」、「その３」に関して求められた対象ユーザの満足度は、それぞれ「１４」、「１４」、「５」で、対象ユーザが現在参加している話題に関して求められた対象ユーザの満足度である「３」より大きい。
　この場合、満足度が「１４」の話題への参加が提案されることになるが、「その１」、「その２」の２つの話題が該当するので、対象ユーザの成功例データが参照されて、参加提案する話題がいずれかに決定される。図１０のＰ３の部分は、対象ユーザの成功例データの一例を示している。この例では、親密度が興味度より大きい場合より興味度が親密度より大きい場合の方が、満足度が大きくなっており、従って興味度が親密度より大きい「その１」の話題への参加が、対象ユーザに提案される。
　図１１は、対象ユーザの端末の表示例を示しており、発生している話題が表示されていると共に、対象ユーザであるジョンさんに対する、現在実行中の他話題、ここではグループ３で話されている話題「物価高騰」への参加提案が表示されている。なお、この表示例は図７に示す表示例に対応したものであるが、図６あるいは図８の表示例に対応したものであってもよい。
　次に、（２）現在未実行の話題、さらにはその話題を行う参加ユーザ（グループ）を提案する処理について説明する。ここでは、ある個別ユーザ（以下、適宜、「対象ユーザ」と呼ぶ）へ提案する処理を例として説明する。詳細説明は省略するが、他のユーザへ提案する処理についても同様である。
　この場合、提案処理部２０３は、現在参加している話題に対する満足度に応じて、現在未実行の話題を提案する。例えば、提案処理部２０３は、現在参加している話題に対する満足度が閾値より低く、かつ対象ユーザに近い属性を持つ他ユーザの、過去に参加した所定話題への満足度が閾値より大きかった場合、現在未実行の話題として当該所定話題を提案する。また、提案処理部２０３は、対象ユーザに対して、現在未実行の話題（所定話題）を、現在実行されている話題毎の参加ユーザ（グループ）のうち、対象ユーザに対する親密度が最も大きな参加ユーザ（グループ）の中で行うことをさらに提案する。
　ここで、提案処理部２０３は、対象ユーザが現在参加している話題に関して、対象ユーザの発言度、対象ユーザの興奮度、および対象ユーザのリラックス度を求め、それらを加算して満足度を求める。この場合、対象ユーザの発言度は、多重会話データベース１０１に蓄積されている多重会話データを参照し、対象ユーザの現在参加している話題における発言量に基づいて、求められる。また、対象ユーザの興奮度は、ユーザ身体情報データベース２０１に蓄積されている対象ユーザの例えば心拍データに基づいて、求められる。また、対象ユーザのリラックス度は、ユーザ身体情報データベース２０１に蓄積されている対象ユーザの例えば脳波データに基づいて、求められる。
　また、提案処理部２０３は、対象ユーザが現在参加している話題に関して、その話題に対する対象ユーザの興味度、および対象ユーザとその話題に参加している他ユーザとの親密度を求め、それらを加算してフィッティング度を求める。この場合、興味度は、ユーザ属性情報データベース１０３に保持されている対象ユーザの興味対象に対する興味度情報（図４（ａ）参照）に基づいて、求められる。また、親密度は、ユーザ属性情報データベース１０３に保持されている対象ユーザの他ユーザに対する親密度情報（図４（ｂ）参照）に基づいて、求められる。
　また、提案処理部２０３は、現在実行中の他話題に関して、話題毎に、その話題に対する対象ユーザの興味度、および対象ユーザとその話題に参加している他ユーザとの親密度を求め、それらを加算してフィッティング度を求める。
　そして、提案処理部２０３は、現在参加している話題に対する満足度が閾値より低いか判断する。満足度が閾値より低い場合、過去話題データベース２０２に保持されている、対象ユーザと属性の近い他ユーザの所定話題の成功例データを参照し、その満足度が閾値より大きかった場合、当該所定話題を、対象ユーザに提案する。ここで、対象ユーザと属性が近い他ユーザの所定話題は、その所定話題に対する対象ユーザと他ユーザの興味度が近いことで見分けることが可能である。
　また、提案処理部２０３は、現在実行中の他話題のうち、親密度が最も大きな話題を確認し、上述の提案する所定話題を、その親密度が最も大きな話題に紐付けられている参加ユーザ（グループ）の中で行うことを、対象ユーザに提案する。
　図１２のＰ１の部分は、対象ユーザが現在参加している話題に関して求められた、興味度、親密度、発言度、興奮度、リラックス度、フィッティング度および満足度の一例を示している。なお、対象ユーザが現在参加している話題の参加ユーザからなるグループを「グループ１」としている。
　図１２のＰ２の部分は、現在実行中の他話題に関して求められた、興味度、親密度およびフィッティング度の一例を示している。この例は、現在実行中の他話題として「その１」「その２」、「その３」の３つの話題がある場合を示している。なお、「その１」「その２」、「その３」のそれぞれの話題の参加ユーザからなるグループを「グループ２」、「グループ３」、「グループ４」としている。
　図１２に示す例の場合、対象ユーザが現在参加している話題に関して求められた対象ユーザの満足度は「３」であり、閾値（ここでは、例えば「１０」とする）より小さく、対象ユーザは、現在参加している話題に満足していない、と想定される。
　そのため、過去話題データベース２０２に保持されている、対象ユーザと属性の近い他ユーザの所定話題の成功例データが参照される。図１２のＰ４の部分は、参照される所定話題「その１」の成功例データの一例を示している。この場合、満足度は「２７」であり、閾値（ここでは、例えば「２０」とする）より大きく、その所定話題「その１」が、対象ユーザに提案される。
　また、図１２に示す例の場合、現在実行中の他話題「その１」、「その２」、「その３」に関して求められた親密度は、「その２」の話題に関する親密度が「９」で最も大きい。そのため、この「その２」の話題に紐付けられている参加ユーザ（グループ）の中で行うことが、対象ユーザに提案される。
　図１３は、対象ユーザの端末の表示例を示しており、発生している話題が表示されていると共に、対象ユーザであるジョンさんに対する、未実行の話題である仮想通貨の話題を、グループ３のメンバー（参加ユーザ）と話をすることの提案が表示されている。なお、この表示例は図７に示す表示例に対応したものであるが、図６あるいは図８の表示例に対応したものであってもよい。
　以上説明したように、図９に示す情報処理装置２００においては、図１に示す情報処理装置１００と同様の効果を得ることができる他、各ユーザ（個別ユーザ）に対して、現在実行中の他話題への参加を提案でき、または現在未実行の話題、さらにはその話題を行う参加ユーザ（グループ）を提案でき、リモート多重会話において会話がスムーズかつ効果的になされるようにユーザを支援することが可能となる。
　なお、上述では、満足度を発言度、興奮度およびリラックス度の加算値としているが、これに限定されるものではない。例えば、発言度、興奮度およびリラックス度の全てを加算するのではなく、その一部の加算値、さらのその他の要素を加えた加算値とされてもよい。また、例えば、満足度を算出するに当たって、リモート多重会話の種類、例えば内輪の飲み会、異業種交流会などに応じて、興奮度およびリラックス度のそれぞれに重み付けを行って用いることも考えられる。例えば、内輪の飲み会の場合は、興奮度よりもリラックス度の方が有意であることから、興奮度よりリラックス度の方の重みが大きくされる。また、例えば、異業種交流会の場合は、リラックス度よりも興奮度の方が有意であることから、リラックス度より興奮度の方の重みが大きくされる。
　「コンピュータの構成例」
　上述した図１、図９に示す情報処理装置１００，２００における処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータ４００のハードウェアの構成例を示すブロック図である。
　コンピュータ４００において、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９およびドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
　以上のように構成されるコンピュータ４００では、ＣＰＵ４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５およびバス４０４を介して、ＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ４００（ＣＰＵ４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ４００では、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ＲＯＭ４０２や記録部４０８に、予めインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　＜３．変形例＞
　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う話題解析処理の結果に基づき、前記発生している話題を前記タイトルを用いて表示する処理を行う表示処理部を備える
　情報処理装置。
　（２）　前記表示される話題毎の音声が話題表示位置に関連づけされた方向および音量で聞こえるように処理を行う音声処理部をさらに備える
　前記（１）に記載の情報処理装置。
　（３）前記話題解析処理では、前記話題毎に参加ユーザを紐づける処理がさらに行われ、
　前記表示処理部は、前記表示される話題毎に紐づけられた参加ユーザをさらに表示する処理を行う
　前記（１）または（２）に記載の情報処理装置。
　（４）前記表示処理部は、前記参加ユーザを顔画像を用いて表示するか、または、前記発生している話題をメタバース空間に表示し、前記参加ユーザをアバターを用いて表示する
　前記（３）に記載の情報処理装置。
　（５）前記表示処理部は、前記話題毎に、個別ユーザの興味度を求める話題分類処理の結果に基づき、前記発生している話題を、前記個別ユーザの興味度の大小関係を確認可能に表示する
　前記（３）または（４）に記載の情報処理装置。
　（６）前記表示処理部は、前記発生している話題を、前記個別ユーザの興味度の大きさの順に、興味度軸の方向に並べて表示する
　前記（５）に記載の情報処理装置。
　（７）前記表示処理部は、前記表示される話題毎に紐づけられた参加ユーザを顔画像を用いて表示し、興味度が大きい話題に紐づけられた参加ユーザの顔画像ほど大きく表示する
　前記（５）に記載の情報処理装置。
　（８）前記表示処理部は、前記話題毎に、前記紐づけられた参加ユーザと個別ユーザとの親密度を求める話題分類処理の結果に基づき、前記発生している話題を、前記紐づけられた参加ユーザと個別ユーザとの親密度の大小関係を確認可能に表示する
　前記（３）に記載の情報処理装置。
　（９）前記表示処理部は、前記発生している話題を、前記紐づけられた参加ユーザと個別ユーザとの親密度の大きさの順に、親密度軸の方向に並べて表示する
　前記（８）に記載の情報処理装置。
　（１０）前記表示処理部は、前記話題毎に、個別ユーザの興味度を求めると共に前記紐づけられた参加ユーザと前記個別ユーザとの親密度を求める話題分類処理の結果に基づき、前記発生している話題を、前記個別ユーザの興味度の大小関係と、前記紐づけられた参加ユーザと個別ユーザとの親密度の大小関係とを、確認可能に表示する
　前記（３）に記載の情報処理装置。
　（１１）前記表示処理部は、前記発生している話題を、興味度軸と親密度軸とからなる２次元座標の、前記個別ユーザの興味度と、前記紐づけられた参加ユーザと前記個別ユーザとの親密度のそれぞれの大きさに対応した座標位置に配置して表示する
　前記（１０）に記載の情報処理装置。
　（１２）前記表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在実行されている他の話題への参加を提案する提案処理の結果に基づき、現在実行されている他の話題への参加提案をさらに表示する処理を行う
　前記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）前記提案処理では、前記満足度は、前記個別ユーザの発言量および/または前記個別ユーザの身体情報に基づいて求められる
　前記（１２）に記載の情報処理装置。
　（１４）前記提案処理では、前記現在参加している話題に対する満足度が閾値より小さく、かつ現在実行されている他の話題に対するフィッティング度が前記現在参加している話題に対するフィッティング度より大きい場合、前記他の話題への参加が提案される
　前記（１２）または（１３）に記載の情報処理装置。
　（１５）前記提案処理では、前記フィッティング度は、前記個別ユーザの話題に対する興味度と、前記話題に紐づけられた参加ユーザと前記個別ユーザとの親密度に基づいて求められる
　前記（１４）に記載の情報処理装置。
　（１６）前記表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在未実行の話題を提案する提案処理の結果に基づき、前記現在未実行の話題の提案をさらに表示する処理を行う
　前記（１）から（１５）のいずれかに記載の情報処理装置。
　（１７）前記提案処理では、前記現在参加している話題に対する満足度が閾値より小さく、かつ前記個別ユーザに近い属性を持つ他ユーザの、過去に参加した所定話題への満足度が閾値より大きかった場合、前記現在未実行の話題として前記所定話題が提案される
　前記（１６）に記載の情報処理装置。
　（１８）前記提案処理では、前記個別ユーザに対して、前記現在未実行の話題を、現在実行されている話題毎の参加ユーザのうち、前記個別ユーザに対する親密度が最も大きな参加ユーザの中で行うことをさらに提案する処理が行われ、
　前記表示処理部は、現在未実行の話題を前記親密度が最も大きな参加ユーザの中で行うことの提案をさらに表示する処理を行う
　前記（１６）または（１７）に記載の情報処理装置。
　（１９）多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
　情報処理方法。
　（２０）多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
　情報処理方法をコンピュータに実行させるためのプログラム。
　１００・・・情報処理装置
　１０１・・・多重会話データベース
　１０２・・・話題解析部
　１０３・・・ユーザ属性データベース
　１０４・・・話題分類部
　１０５・・・表示処理部
　１０６・・・音声処理部
　２００・・・情報処理装置
　２０１・・・ユーザ身体情報データベース
　２０２・・・過去話題データベース
　２０３・・・提案処理部

Claims (20)

  1. 　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う話題解析処理の結果に基づき、前記発生している話題を前記タイトルを用いて表示する処理を行う表示処理部を備える
    　情報処理装置。
  2. 　前記表示される話題毎の音声が話題表示位置に関連づけされた方向および音量で聞こえるように処理を行う音声処理部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記話題解析処理では、前記話題毎に参加ユーザを紐づける処理がさらに行われ、
    　前記表示処理部は、前記表示される話題毎に紐づけられた参加ユーザをさらに表示する処理を行う
    　請求項１に記載の情報処理装置。
  4. 　前記表示処理部は、前記参加ユーザを顔画像を用いて表示するか、または、前記発生している話題をメタバース空間に表示し、前記参加ユーザをアバターを用いて表示する
    　請求項３に記載の情報処理装置。
  5. 　前記表示処理部は、前記話題毎に、個別ユーザの興味度を求める話題分類処理の結果に基づき、前記発生している話題を、前記個別ユーザの興味度の大小関係を確認可能に表示する
    　請求項３に記載の情報処理装置。
  6. 　前記表示処理部は、前記発生している話題を、前記個別ユーザの興味度の大きさの順に、興味度軸の方向に並べて表示する
    　請求項５に記載の情報処理装置。
  7. 　前記表示処理部は、前記表示される話題毎に紐づけられた参加ユーザを顔画像を用いて表示し、興味度が大きい話題に紐づけられた参加ユーザの顔画像ほど大きく表示する
    　請求項５に記載の情報処理装置。
  8. 　前記表示処理部は、前記話題毎に、前記紐づけられた参加ユーザと個別ユーザとの親密度を求める話題分類処理の結果に基づき、前記発生している話題を、前記紐づけられた参加ユーザと個別ユーザとの親密度の大小関係を確認可能に表示する
    　請求項３に記載の情報処理装置。
  9. 　前記表示処理部は、前記発生している話題を、前記紐づけられた参加ユーザと個別ユーザとの親密度の大きさの順に、親密度軸の方向に並べて表示する
    　請求項８に記載の情報処理装置。
  10. 　前記表示処理部は、前記話題毎に、個別ユーザの興味度を求めると共に前記紐づけられた参加ユーザと前記個別ユーザとの親密度を求める話題分類処理の結果に基づき、前記発生している話題を、前記個別ユーザの興味度の大小関係と、前記紐づけられた参加ユーザと個別ユーザとの親密度の大小関係とを、確認可能に表示する
    　請求項３に記載の情報処理装置。
  11. 　前記表示処理部は、前記発生している話題を、興味度軸と親密度軸とからなる２次元座標の、前記個別ユーザの興味度と、前記紐づけられた参加ユーザと前記個別ユーザとの親密度のそれぞれの大きさに対応した座標位置に配置して表示する
    　請求項１０に記載の情報処理装置。
  12. 　前記表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在実行されている他の話題への参加を提案する提案処理の結果に基づき、現在実行されている他の話題への参加提案をさらに表示する処理を行う
    　請求項１に記載の情報処理装置。
  13. 　前記提案処理では、前記満足度は、前記個別ユーザの発言量および/または前記個別ユーザの身体情報に基づいて求められる
    　請求項１２に記載の情報処理装置。
  14. 　前記提案処理では、前記現在参加している話題に対する満足度が閾値より小さく、かつ現在実行されている他の話題に対するフィッティング度が前記現在参加している話題に対するフィッティング度より大きい場合、前記他の話題への参加が提案される
    　請求項１２に記載の情報処理装置。
  15. 　前記提案処理では、前記フィッティング度は、前記個別ユーザの話題に対する興味度と、前記話題に紐づけられた参加ユーザと前記個別ユーザとの親密度に基づいて求められる
    　請求項１４に記載の情報処理装置。
  16. 　前記表示処理部は、個別ユーザに対して、現在参加している話題に対する満足度に応じて、現在未実行の話題を提案する提案処理の結果に基づき、前記現在未実行の話題の提案をさらに表示する処理を行う
    　請求項１に記載の情報処理装置。
  17. 　前記提案処理では、前記現在参加している話題に対する満足度が閾値より小さく、かつ前記個別ユーザに近い属性を持つ他ユーザの、過去に参加した所定話題への満足度が閾値より大きかった場合、前記現在未実行の話題として前記所定話題が提案される
    　請求項１６に記載の情報処理装置。
  18. 　前記提案処理では、前記個別ユーザに対して、前記現在未実行の話題を、現在実行されている話題毎の参加ユーザのうち、前記個別ユーザに対する親密度が最も大きな参加ユーザの中で行うことをさらに提案する処理が行われ、
    　前記表示処理部は、現在未実行の話題を前記親密度が最も大きな参加ユーザの中で行うことの提案をさらに表示する処理を行う
    　請求項１６に記載の情報処理装置。
  19. 　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
    　情報処理方法。
  20. 　多重会話データに基づいて、発生している話題を特定し、話題毎に要約したタイトルを付ける処理を行う手順を有する
    　情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2023/007742 2022-03-22 2023-03-02 情報処理装置、情報処理方法およびプログラム WO2023181827A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-045252 2022-03-22
JP2022045252 2022-03-22

Publications (1)

Publication Number Publication Date
WO2023181827A1 true WO2023181827A1 (ja) 2023-09-28

Family

ID=88100689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007742 WO2023181827A1 (ja) 2022-03-22 2023-03-02 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023181827A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122549A (ja) * 2003-10-17 2005-05-12 Aruze Corp 会話制御装置及び会話制御方法
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
JP2010113555A (ja) * 2008-11-06 2010-05-20 Square Enix Co Ltd メッセージ投稿システム
US20130007137A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation Electronic Conversation Topic Detection
US20180239822A1 (en) * 2017-02-20 2018-08-23 Gong I.O Ltd. Unsupervised automated topic detection, segmentation and labeling of conversations
WO2019073669A1 (ja) * 2017-10-13 2019-04-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122549A (ja) * 2003-10-17 2005-05-12 Aruze Corp 会話制御装置及び会話制御方法
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
JP2010113555A (ja) * 2008-11-06 2010-05-20 Square Enix Co Ltd メッセージ投稿システム
US20130007137A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation Electronic Conversation Topic Detection
US20180239822A1 (en) * 2017-02-20 2018-08-23 Gong I.O Ltd. Unsupervised automated topic detection, segmentation and labeling of conversations
WO2019073669A1 (ja) * 2017-10-13 2019-04-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US10163077B2 (en) Proxy for asynchronous meeting participation
JP6101973B2 (ja) ボイスリンクシステム
US20120081506A1 (en) Method and system for presenting metadata during a videoconference
US11803579B2 (en) Apparatus, systems and methods for providing conversational assistance
US20230334743A1 (en) Integrated input/output (i/o) for a three-dimensional (3d) environment
WO2021207156A1 (en) Integration of remote audio into a performance venue
Yakura No More Handshaking: How have COVID-19 pushed the expansion of computer-mediated communication in Japanese idol culture?
JP4077656B2 (ja) 発言者特定映像装置
US8913102B2 (en) Teleconferencing method and device
CN114363711A (zh) 直播互动方法、装置及系统
WO2023181827A1 (ja) 情報処理装置、情報処理方法およびプログラム
TW201141226A (en) Virtual conversing method
JP2003162491A (ja) 電子メッセージ交換方法、電子メッセージ交換システム、サーバ装置、クライアント装置、並びに、電子メッセージ交換プログラム及びその記録媒体
Rimell et al. The influence of cross-modal interaction on audio-visual speech quality perception
CN113301362B (zh) 视频元素展示方法及装置
JP2016045389A (ja) データ構造、データ生成装置、データ生成方法、およびプログラム
CN107832366A (zh) 视频分享方法及装置、终端装置及计算机可读存储介质
US10523897B2 (en) Information processing method, information processing system, and information processing apparatus
Colburn et al. Graphical enhancements for voice only conference calls
Falelakis et al. Connecting Living Rooms: An Experiment In Orchestrated Video Communication
US20230199251A1 (en) Online show rendition system, laughter analysis device, and laughter analysis method
EP4374943A1 (en) Matchingmaking system and method for a virtual event
Bazaa et al. Political stereotyping: Processing Beto O’Rourke and Ted Cruz rallies through fixed frame and 360-degree presentations
WO2008133685A1 (en) Time-shifted telepresence system and method
WO2022008075A1 (en) Methods, system and communication device for handling digitally represented speech from users involved in a teleconference

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23774426

Country of ref document: EP

Kind code of ref document: A1