WO2021235148A1 - オンライン会議システム - Google Patents
オンライン会議システム Download PDFInfo
- Publication number
- WO2021235148A1 WO2021235148A1 PCT/JP2021/015672 JP2021015672W WO2021235148A1 WO 2021235148 A1 WO2021235148 A1 WO 2021235148A1 JP 2021015672 W JP2021015672 W JP 2021015672W WO 2021235148 A1 WO2021235148 A1 WO 2021235148A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- terminal
- online conference
- conference system
- terminals
- online
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Definitions
- the present invention relates to an online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- the online conference system multiple terminals are connected via the Internet, and voice data and image data are mutually distributed between the terminals to realize an online conference. Images of other participants are displayed on the terminals of each participant in the online conference, and the audio can be heard.
- Patent Document 1 discloses a technique for introducing artificial intelligence into an online conference to perform voice recognition, report creation, emotion analysis, and the like.
- Patent Document 2 discloses a technique of adjusting the left and right volume of stereo sound in an online conference to output sound from a direction corresponding to the position of a participant's icon on the screen.
- Patent Document 3 discloses a technique for urging a user to input text when the noise volume is above a certain level in a web conferencing system.
- An object of the present invention is to further improve the convenience of an online conference system.
- the present invention has, as a first configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals. It has a distribution control unit that mutually distributes audio data and image data between the plurality of terminals.
- the delivery control unit When a limited conversation instruction is received from any of the terminals during the online conference, in which a part of the plurality of terminals including the terminal is designated as a specific terminal and a conversation is performed only between the specific terminals. It can be an online conference system that performs limited distribution that prohibits distribution of voice data exchanged with the specific terminal in a reproducible state on other terminals.
- Prohibiting distribution in a state where it can be played on other terminals means that the distribution of audio data itself is prohibited, and audio data with a flag that prohibits playback on the prohibited terminal is distributed. Methods are included. When the image data and the audio data are integrated, the image data with the audio and the image data without the audio may be generated and used properly.
- limited distribution may be established when a certain terminal sends a limited conversation instruction to another terminal. Further, after the limited conversation instruction is transmitted, the limited distribution may be established when consent is obtained from the destination terminal.
- the image data may be limitedly distributed in the same manner as the audio data. By doing so, it is possible to prevent other participants from seeing the conversation due to the limited distribution. Further, as another aspect, the image data may be distributed to all the participants as usual. By doing so, even during the limited distribution, the screen will not disappear from the screen distributed to other participants, so that it is possible to have a conversation by the limited distribution without feeling any discomfort from the other participants.
- the specific terminal can be designated by various methods. For example, it may be a method of individually designating the participants participating in the online conference, that is, the terminals used by these participants.
- the designation of a specific terminal is It has a conference database that stores group data in which a part of the terminal is grouped in advance.
- the distribution control unit may treat the terminal belonging to the group as the specific terminal.
- the limited conversation instruction may be transmitted and at the same time, the limited distribution within the group may be established, or the limited distribution may be established only when consent is obtained from each participant in the group. You may do it.
- the limited distribution may be established when the consent is obtained from all the participants in the group, or the limited distribution may be established only with the participants who have obtained the partial consent. ..
- a plurality of types of groups may be set in advance. By doing so, it becomes possible to select a group for each scene of the online conference and perform limited distribution.
- voice data from a terminal other than the specific terminal may be distributed to at least a part of the specific terminal.
- the voice data in the above embodiment may be the same as the volume between specific terminals, or may be lower in volume. Further, the volume may be adjusted independently of the specific terminal on the receiving terminal side.
- the delivery control unit When a new limited conversation instruction is received by designating a part of the specific terminal from a terminal other than the specific terminal during the limited distribution. Regardless of whether or not it is specified by the limited conversation instruction, the entire specific terminal may be inquired as to whether or not to approve the limited conversation instruction.
- It may have a screen generation unit that generates a screen in which an instruction icon for designating the terminal as the specific terminal is superimposed on the image data from the terminal.
- each person's terminal displays an instruction icon in the image together with an image of another participant sent from the other terminal. Therefore, by operating the instruction icon, it becomes easy to individually select the participants and send the limited conversation instruction.
- the instruction icon may be, for example, a button for selection. Also, by making the entire image clickable, it may be used as an instruction icon.
- a screen displaying a release icon capable of associating the images from the specific terminal with each other and giving an instruction to cancel the limited distribution is generated. It may have a screen generation unit to be used.
- images of other participants sent from other terminals are displayed, and images such as lines linking specific terminals targeted for limited distribution are displayed. Since it is displayed, it is possible to easily recognize which participant is having a conversation by limited distribution.
- images such as lines a release icon for canceling the specific distribution is also displayed, so by that operation, it is possible to easily and without error cancel the limited distribution with a specific participant, and operability. Is improved.
- the image that associates the specific terminals with each other may be, for example, a line connecting them or a mode in which they are surrounded by a frame.
- the present invention has, as a second configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- a distribution control unit that mutually distributes audio data and image data between the plurality of terminals, It is possible to provide an online conference system including a screen generation unit that superimposes on the image data of the terminal and displays a volume icon for individually designating the volume of the terminal.
- the online conference system when a large number of people are holding an online conference, the voices from other participants can only be heard at a uniform volume.
- the online conference system may be used for various purposes, and in recent years, a social gathering using the online conference system may be held. In a real social gathering, several groups of several people may be formed among the participants, and conversations on various topics may be mixed. Also, when he / she is interested in another topic while participating in one of the topics, he / she may participate in that conversation. In a conventional online conference system, conversations of other participants are heard at a uniform volume, so it is difficult to establish a conversation in such a situation. On the other hand, according to the second configuration, it is possible to freely adjust and listen to the remarks of each participant of the online conference.
- the second configuration can be realized in various embodiments.
- the voice data from each terminal when the voice data from each terminal is distributed as independent data without being integrated in the online conference system, the voice data from each terminal may be independently reproduced on each terminal as well. .. By doing so, it becomes possible to easily adjust the volume of each voice data according to the instruction by the volume icon.
- the function to play multiple audio data individually and adjust the volume may be provided by the so-called OS (Operating System).
- OS Operating System
- the volume icon it is sufficient for the volume icon to have a function of giving an instruction of the volume to the OS based on the operation result.
- the audio data from each terminal may be synthesized at a volume according to the instruction by the volume icon and then reproduced. This synthesis may be performed by the online conference system or the receiving terminal.
- the present invention has, as a third configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- a distribution control unit that mutually distributes audio data and image data between the plurality of terminals, It is possible to provide an online conference system including a screen generator that receives a reaction addressed to any other terminal from any of the terminals and displays the reaction on the other terminal.
- a participant making a statement infers the pros and cons of his / her own statement from the facial expressions and appearances of other participants.
- the online conference system there is a limit to what can be grasped from the images of other participants displayed on the terminal.
- the method of effectively grasping the pros and cons of other participants for one's remarks has not been considered so much.
- each participant of the online conference can individually deliver a "reaction" from one terminal to another terminal.
- the terminal of the participant displays the reaction of another participant to the statement during the statement. Therefore, the speaker can easily and objectively grasp the reaction of other participants to his / her own remark.
- the third configuration has an advantage for participants other than the speaker. That is, in a real-life conference or a conventional online conference system, it is not possible to deliver its own "reaction" to a speaker who is speaking, but according to the third configuration, this is possible. For example, if you think that it is a good statement, you can show the reaction of "agree" to the speaker without interrupting the statement. In this respect, it can be said that the third configuration provides the advantages unique to the online conferencing system.
- reaction can take various aspects,
- the reaction may be information represented by a mark or text prepared in advance.
- a mark indicating approval for an opinion for example, a mark indicating disagreement, a mark indicating a reaction of surprise or surprise, and the like can be used.
- Various stamps used in SNS and the like may be utilized. If you use these marks, you can send a reaction with a simple operation just by selecting one of them. Also, if texts can be sent, it will be possible to deliver specific opinions to the speakers.
- various modes can be considered for the interface for sending marks and texts.
- a list of prepared marks may be displayed on the screen of the speaker displayed on the own terminal, and the mark may be sent by selecting one of them.
- a list of marks may be displayed outside the area where the image of each terminal is displayed, one of them may be selected, and the mark may be dragged to the screen of the speaker.
- It has an emotion analysis unit that analyzes the emotions of the user of the terminal based on the image data from the terminal.
- the reaction may be the result of the sentiment analysis.
- the result of the sentiment analysis may be expressed by, for example, a mark, a text, or a score prepared in advance such as for or against. For example, it may be expressed by the brightness or color of the screen.
- the line of sight may be focused on. It is possible to evaluate whether or not the user's line of sight is off the screen, and determine the user's liking for remarks according to the number and frequency of such actions. It is preferable to feed back the favorability to the speech to the speaker in the various modes described above.
- the line of sight can be determined, for example, by the position of the pupil in the captured image of the user's face. When the pupil enters a predetermined range around the eye, it is recognized as off the screen.
- the position of the pupil in the state of looking at the center of the screen may be stored as a reference position at the start of the online conference. From this initial position, it can be determined that the pupil is off the screen when the pupil is separated by a predetermined distance. Further, it may be determined whether or not the user is asleep based on the degree of opening of the eyes of the user and the shaking of the head. In this case, the remark may be treated as an indication that the remark is boring and feedback may be given to the speaker, or the user may be warned to wake up.
- these sentiment analyzes can be performed on all participants in an online meeting, so when the percentage of participants who are judged to be lacking in concentration, such as falling asleep, increases, the organizer. Alternatively, a display urging everyone to take a break may be displayed.
- the screen generation unit may display the image data of the user of the terminal by superimposing the reaction from another terminal on the image data.
- each terminal can know the reaction of other participants to himself / herself.
- your device will display not only your own image, but also the image of each participant, but the images of other participants will also show the reaction to each participant. You may do it. By doing so, it becomes possible to compare the reaction of each participant to other participants with the reaction of each participant to himself / herself.
- the screen generation unit may superimpose and display a reaction from another terminal to the terminal on an image of another terminal that is the originator of the reaction.
- Images of each participant are displayed on their own terminals.
- the reaction is displayed on the image of the participant.
- the present invention has, as a fourth configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- An analysis processing unit that aggregates one or both of the time when the user of the terminal is speaking and the time when the terminal is silent, It can be an online conference system including a screen generation unit that displays the aggregated result on the terminal.
- the aggregated result may be displayed during the online meeting or as a review after the online meeting.
- the content of the aggregation can be, for example, the time for each remark, the average remark time, the total remark time, and the like. The same is true for the time of silence.
- the analysis processing unit may present the speech time per speech of the user of the terminal.
- the presentation of the speaking time may be performed during the online conference. By doing so, it is possible to improve the quality of speech and the quality of online meetings from time to time.
- the speaking time per speech may be presented in a form comparable to that of other participants. Further, it may be presented in the form of a distribution of the speaking time and the number of speakings. By doing so, it becomes possible to grasp the tendency of remarks in more detail, such as the tendency to repeat short remarks many times and the tendency to make long remarks relatively few times.
- the analysis processing unit may obtain the ratio of the speaking time from each terminal in the online conference.
- the percentage of speaking time can be calculated in various forms. For example, the ratio of speaking time to the time of the entire online conference may be obtained. In addition, the ratio of the total speaking time may be calculated. Further, in order to exclude simple replies and the like, when calculating the remark time, only remarks having a predetermined length or longer may be targeted.
- the present invention has, as a fifth configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- a voice data input unit that inputs voice data from the terminal
- a keyword extraction unit that extracts keywords included in the voice data
- the keyword can be extracted based on the voice data of the remark and displayed in association with the voice data. Therefore, it is possible to infer the content of each remark later by the keyword, and it is possible to improve the efficiency of creating the minutes and confirming the voice data.
- the extracted keywords may be stored in association with voice data.
- the keywords can be extracted in various ways.
- artificial intelligence may be used.
- voice data may be recognized by voice, converted into text data, words are extracted by morphological analysis, and the extracted words are ranked according to a predetermined rule to extract keywords. ..
- Keyword extraction can be performed at various timings. For example, extracting keywords during an online meeting and presenting them to all participants will help you understand what you are saying. In addition, when a keyword is extracted after an online meeting, it is possible to perform more accurate extraction because the processing takes time.
- the present invention has, as a sixth configuration, An online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- a conference database that stores the start time and end time of each remark made from each terminal in the online conference as conference data, and Based on the conference data, it is possible to provide an online conference system including a screen generation unit that displays a Gantt chart drawn by dividing the period during which the statement is made according to the time axis for each terminal.
- the start time and the end time of each remark are stored for each remark, and are displayed on the Gantt chart separately for each terminal, that is, for each participant who uses it. be able to. By doing so, it becomes possible to visually grasp which participant made a statement at what frequency and at what time during the meeting. As a result, participants with long remarks can be encouraged to summarize their remarks, and participants who have not spoken at all can be urged to speak, and the quality of the entire meeting can be improved.
- the Gantt chart described above may be displayed during the meeting or after the meeting.
- the screen generation unit temporally overlaps with the speech by the one terminal among the speeches of the other terminals.
- the portion may be highlighted.
- the highlighting can be performed in various modes such as color highlighting, hatching and other patterns, a thick line frame, and blinking.
- the screen generation unit may display the reaction in association with the remark.
- the screen generation unit may display the keyword of each remark specified based on the conference database in association with the remark.
- Keyword extraction may be performed at the time of drawing the Gantt chart, or may be performed before drawing the Gantt chart, and the result may be stored.
- the present invention does not have to have all of the various features described above, and some of them may be omitted or combined as appropriate. Further, the present invention can be configured as an online conference method for realizing an online conference by a computer, in addition to the configuration as the above-mentioned online conference system. The present invention can also be configured as a computer program for realizing a function for realizing an online conference in a computer, and a computer-readable recording medium in which the computer program is recorded.
- FIG. 1 is an explanatory diagram showing a configuration of an online conference system.
- the online conference system 100 of the embodiment is configured by a server connected to the Internet, and by mutually distributing images and sounds between a plurality of terminals 10 also connected to the Internet, the online conference and online are performed.
- a social gathering (hereinafter referred to as an online conference including both) can be realized.
- the number of terminals participating in the online conference may be any number.
- the terminal 10 is a computer having a CPU and a memory inside, and each of the illustrated functions is constructed by software by a computer program. Some or all of each function in the figure may be built in terms of hardware.
- the transmission / reception unit 11 has a function of exchanging information via the Internet. In this embodiment, information such as image data and audio data in an online conference is included.
- the voice input unit 12 inputs the voice of the user, that is, the participant of the online conference, by using the microphone or the like provided in the terminal 10.
- the image capturing unit 13 inputs an image of the user, that is, a participant of the online conference, by using a camera or the like provided in the terminal 10.
- the command input unit 16 inputs various commands from the touch panel, keyboard, or the like of the terminal 10.
- the commands include the display mode of the image of the online conference, the adjustment of the volume, and the functions specific to this embodiment.
- the display control unit 17 controls the screen display on the display of the terminal 10. In this embodiment, an image or the like received from another terminal 10 in the online conference will be displayed.
- the audio output control unit 18 controls the audio output from the terminal 10. In this embodiment, the voice or the like received from another terminal 10 in the online conference is output.
- the terminal 10 is provided with a browser 14, and the browser 14 executes the screen and other data of the online conference generated by the online conference system 100 to provide various functions for the online conference.
- the browser 14 has a built-in volume adjusting unit 15.
- the volume adjusting unit 15 provides a function of individually adjusting the volume received from another terminal 10 by using the interface displayed on the browser 14 in the online conference. That is, when the user operates the volume adjustment interface displayed on the browser 14, the volume adjustment unit 15 functions to output the volume adjustment instruction to the voice output control unit 18 based on the operation result.
- a method of installing a dedicated application for online conference on the terminal 10 may be adopted.
- the online conference system 100 is composed of a server including a CPU, a memory, and the like, and each of the illustrated functions is constructed by software by a computer program. Some or all of each function in the figure may be built in terms of hardware. Further, each function of the online conference system 100 is not limited to being provided by one server, and may be provided by a distributed system by a plurality of servers. Hereinafter, each function will be described.
- the online conference system 100 is provided with three databases. The structure of each database will be described in detail later.
- the user database 170 records information such as a user's name. Also record the history of participation in online meetings.
- the conference database 171 creates a record for each online conference and records participants and other information.
- the image database 172 records image data transmitted from each terminal 10 in an online conference. In this embodiment, since the format in which the image data and the audio data are integrated is used, the audio is also recorded in the image database 172.
- the image data and the audio data may be composed of different files, and in this case, the image data and the audio data are recorded in the image database 172 in association with each other.
- the transmission / reception unit 110 has a function of exchanging information via the Internet.
- information such as image data and audio data in an online conference is included.
- the image input unit 140 inputs image data from the terminal 10. In this embodiment, voice data will also be input.
- the distribution control unit 120 distributes data related to the online conference such as image data and audio data between the terminals 10 participating in the online conference.
- the distribution control unit 120 will perform distribution control in two senses. In the embodiment, a plurality of online conferences may be held in parallel, and a plurality of terminals 10 participating in each conference are connected. As the first control process, the distribution control unit 120 distinguishes between these online conferences and controls distribution only between the terminals 10 participating in the respective online conferences.
- the second control process is distribution control within each online conference. That is, basically, the data is distributed so as to be transmitted and received to each other among the plurality of terminals 10 participating in the online conference, but the function characteristic of the present embodiment to be described later is one. Prohibit distribution between terminals of the department. Such control will be executed as delivery control within the online conference.
- the stamp processing unit 150 functions to send and receive stamps between the terminals 10.
- a stamp is a figure or the like for easily expressing opinions and impressions such as approval and disapproval of the remarks of other participants during an online conference. You may also include a text message.
- the screen generation unit 130 has a function of displaying a screen on the terminal 10. Specifically, data for displaying a screen on each terminal 10 is generated in a format such as HTML. This data is transmitted to the terminal 10 and displayed on the browser 14.
- the analysis processing unit 160 has a function of analyzing the statements and reactions of the participants in the online conference.
- the analysis may be performed in real time during the online meeting or reviewed after the online meeting is over.
- the content of the analysis includes, for example, the speaking time and the speaking ratio of each participant.
- the analysis processing unit 160 includes an emotion analysis unit 161 and a keyword extraction unit 162.
- the sentiment analysis unit 161 analyzes the reaction to the remark based on the facial expressions of the participants of the online conference obtained from the terminal 10.
- Various well-known techniques such as the use of artificial intelligence can be applied to the analysis of emotions by facial expressions. In this sense, the sentiment analysis unit 161 may be realized, for example, by using a service provided in the cloud.
- the keyword extraction unit 162 analyzes the remarks of the online conference and extracts the keywords. Various well-known techniques such as the use of artificial intelligence can be applied to the extraction of keywords. Therefore, the keyword extraction unit 162 may be realized by using, for example, a service provided in the cloud, as in the emotion analysis unit 161.
- the functions of the online conference system 100 and the terminal 10 shown in FIG. 1 are merely examples, and various other configurations can be realized. Some of the illustrated functions may be omitted or integrated. Further, a function other than that shown may be provided.
- FIG. 2 is an explanatory diagram showing a database structure.
- the data structure of the user database 170 is shown in the upper right.
- a record with a user ID as unique identification information is created for each user.
- the record records the user's name, e-mail and other contact information, and the history of online meetings in which the user participated.
- the conference ID which is the identification information assigned to each conference, is recorded in the history in the conference database 171.
- the data structure of the image database 172 is shown in the lower right.
- Image data is recorded in the image database 172 with an image ID which is unique identification information. Further, the user ID, the date and time, and the like may be recorded in association with each other.
- the conference database 171 creates a record with a conference ID, which is unique identification information, for each online conference. Information such as the "title”, date, start time, and end time of the online conference is recorded in each record. This information can be registered by the user who hosted the online conference from the terminal 10.
- the user ID of the user database 170 is recorded as a participant in the online conference. Although it is conceivable that a plurality of people use one terminal 10 in the online conference, in this embodiment, only the users who have signed in to the online conference system 100 from each terminal 10 are recorded. In the following description, in order to avoid complication of expression, it is assumed that one terminal 10 is used by one person.
- Group is information that groups users who participate in online conferences. This information can be voluntarily registered by participants in the online conference. In the illustration of the figure, two groups, group 1 and group 2, are registered, and the user IDs of the participants belonging to each group are recorded. It is permissible to allow one user to be registered in multiple groups more than once. In this embodiment, as will be described later, a direct talk function is provided in which only a part of the participants of the online conference can talk, and the group can be used by designating a conversation partner in such a function. ..
- the "speech log” is a record of the remarks of each participant during the online conference.
- the time when the speech was made, the user ID of the participant who made the speech, and the image data thereof are recorded in association with each other.
- the image ID of the image database 172 is recorded.
- stamp log is a record of stamps exchanged between participants during an online conference.
- the time when the stamp was sent, the sender, the recipient, and the contents of the stamp are recorded in association with each other.
- User IDs are recorded for each of the sender and the receiver.
- an ID representing the stamp or the like may be recorded. If text messages can be sent and received, the content of the text may be recorded.
- the "delivery data log” is a record of the result of delivery control during an online conference.
- image data when image data is transmitted / received between a plurality of terminals 10 participating in an online conference, it is not only distributed between all terminals but also distributed only between some terminals. Is also possible.
- the distribution data is used as the data for controlling which terminal the image data is distributed to. In the distribution data log, this distribution data is recorded in association with the time. By doing so, it becomes possible to reproduce the distribution status of the image data at each time point during the online conference.
- the data structure shown in FIG. 2 is only an example, and various other structures can be adopted. A part of the data shown in FIG. 2 may be omitted, or other data may be recorded in each database.
- Direct talk function The direct talk function realized in the online conference system of the embodiment will be described.
- the direct talk function is a limited distribution function in which only some participants have a conversation during an online conference. For example, when a direct talk is performed between Participant A and Participant B, the conversation between AB is not delivered to other participants. However, other participants are not restricted in conversation, and conversations between other participants can be conducted as usual. For example, consider the case of holding a social gathering using an online conference system. In a real-life social gathering, conversations between some participants are often held in parallel, but in an online conference system, one statement is usually delivered to everyone, so multiple conversations are held in parallel. It is difficult to do it.
- the direct talk function it is possible to have a conversation only among some participants, so that the conversation at the social gathering can be performed more smoothly.
- it is not as exaggerated as a discussion there are occasions when you want to confirm questions with your colleagues while the meeting is in progress to the extent that it does not interfere with the progress.
- the control process for realizing the direct talk function will be described.
- FIG. 3 is a flowchart of the distribution control process. It is a process mainly executed by the distribution control unit 120 (see FIG. 1), and is a process executed by a server constituting the online conference system 100 in terms of hardware. This process is repeated during the online conference.
- the server inputs image data including audio from each terminal 10 (step S10). Then, the delivery destination is specified based on the delivery data (step S11).
- the delivery data is data that defines which terminal the data received from which terminal is to be delivered. In the example of the figure, each row represents a calling terminal and each column represents a receiving terminal. In the line of the transmitting terminal A, only the receiving terminal D is " ⁇ ", so that the image data received from the terminal A is delivered only to the terminal D. On the contrary, the image data received from the terminal D will be delivered only to the terminal A. That is, the direct talk is performed between the terminal ADs. While the direct talk is being performed, the conversation between the other terminals B and C is not restricted.
- the image data received from the terminal B is delivered to the terminal C. Further, the image data received from the terminal C is distributed to the terminals B and D. Since the direct talk is performed between the terminals AD, the conversation between the ADs is not delivered to the terminals B and C, but the terminals A and D can listen to the conversations of other terminals depending on the settings. Since the terminal D is set so that the conversation of the terminal C can also be heard, the image data from the terminal C is delivered to the terminal D even during the direct talk. In this way, depending on the setting of the distribution data, it is possible to control a state in which conversation is normally performed between all terminals, a state in which direct talk is performed between some terminals, and the like.
- the server distributes the image data to each terminal according to the result of step S11 (step S12), stores the distribution data in the conference database, and updates the contents of the database (step SS13).
- step S12 since the distribution of the image data including the voice is controlled, the distribution of the image as well as the voice is restricted during the direct talk. That is, the participants during the direct talk are in a state where the images of other participants are not displayed on the terminal. Instead of this, direct talk may be applied only to voice data. That is, the image data that does not include audio may always be mutually distributed among all terminals regardless of the distribution data, and only the audio data may be controlled for distribution based on the distribution data.
- the image data and the audio data are treated as separate data, it is sufficient to control the distribution by the distribution data.
- the data is integrally configured as image data including audio
- two methods can be considered. One is a method of separating audio data and image data and then individually controlling distribution of each. The other is to distribute both as a unit, but for terminals where audio distribution is prohibited in the distribution data, a method of distributing after attaching a flag prohibiting audio playback to the image data. Is. The terminal will receive the image data including the sound, but since it is flagged, the sound is erased and only the image data is reproduced. By doing so, it is possible to obtain substantially the same effect as when the audio is not delivered.
- FIG. 4 is a flowchart of the distribution data management process. This process is a process of determining the content of the distribution data for controlling the distribution destination according to the operation of the terminal 10 of the participants of the online conference. It is a process mainly executed by the distribution control unit 120 (see FIG. 1), and is a process executed by a server constituting the online conference system 100 in terms of hardware. This process is repeated during the online conference.
- the server detects whether or not the participant has operated the screen displayed on each terminal 10. If no particular operation has been performed (step S20), it is not necessary to change the distribution data, so the server ends the distribution data management process without performing any processing.
- an operation is performed (step S20)
- a process corresponding to each operation content is executed according to the content.
- the operation content is a direct talk request (step S20), that is, when one of the participants specifies another participant and requests the holding of the direct talk, the following processing is performed.
- the server specifies the request source and request destination based on the operation content.
- a nomination request is a request made by individually designating other participants.
- the request destination is the terminal 10 used by the designated participant.
- a group request is a request made by designating a group to which a participant belongs. Participants in the online conference can arbitrarily form a group and register in advance (see "Group" in the conference database 171 in FIG. 2).
- a group request one of these groups is specified to make a direct talk request. For example, in a meeting between companies, if participants of the same company are grouped together, it is possible to easily send a direct talk request to the participants in the group without having to appoint them individually.
- the server adds the other party in direct talk to the request destination (step S22). For example, consider a case where a request for direct talk is sent from participant C to participant A while a direct talk is being performed between participants AB. At this time, in order for Participant C to participate in the direct talk, the approval of Participant B should also be obtained. From this point of view, if the direct talk request destination (participant A in the above example) is already in direct talk, the server also adds the other party (participant B in the above example) to the request destination. To do.
- the server manages the transmission of direct talk and the result of approval as request data. Therefore, the server updates the request data by adding a new request to be transmitted based on the above processing (step S23). Then, the approval request button is displayed on the screen of each terminal to which the request is sent (step S24).
- the operation content is approval of the request or adjustment of the volume (step S20)
- the approval of the request means that the participant of the terminal on which the "approval request button" described above in step S24 is displayed approves the request by clicking on the button.
- the server will need to modify the delivery data to establish a direct talk.
- the volume adjustment means an operation in which a participant individually adjusts the volume from other participants. Once direct talk is set, the audio of other participants will not be delivered once. For example, when the direct talk is started between the participants AB, the voices of other participants are temporarily set not to be delivered to the participants AB. However, in this embodiment, it is permissible to listen to the conversations of other participants even during direct talk.
- the server needs to change the distribution data so as to distribute the voice of the participant C. ..
- the following describes the process for changing the distribution data in this way.
- the server updates the request data according to the operation (step S30). That is, when the direct talk is approved, the record of the corresponding request is searched in the request data, and the state is rewritten to "approval". When adjusting the volume, it is not necessary to update the request data because it has nothing to do with the approval of the request.
- step S31 the direct talk should not be established only among some of the approved participants, so the server does not take any action. End the delivery data management process. This process may be performed in different cases as follows. For example, if a request is sent to multiple participants, such as a group request, when the direct talk has not been established yet, the direct talk will be partially performed when approval is obtained from some of them. It is considered that there is no problem even if it is established. On the other hand, if a request is made by a new participant while the direct talk is already being performed, it can be said that the approval of all the existing direct talk participants is required. Therefore, step S31 may be processed separately for the case where the direct talk has already been performed and the case where the direct talk has not been performed.
- the server updates the distribution data so that the approved direct talk is established (step S32).
- the same process is performed assuming that the approval of all members has been obtained. By doing so, audio distribution according to the operation is realized.
- step S20 If the operation content is approval to cancel or clear the direct talk (step S20), the following processing is performed.
- Canceling means ending individual direct talks, and clearing means ending all direct talks to which one is involved. For example, when Participant A is having a direct talk with Participants B and C, Participant A can individually “cancel” the direct talk with Participant B or Participant C. It is also possible to "clear" the direct talk with B and C and end them all at once.
- the server When the server starts the process, the server first updates the request data in response to the release or clear operation (step S40). In this embodiment, the request data corresponding to the canceled or cleared direct talk is deleted. Next, the server updates the distribution data (step S41). In the case of cancellation, the distribution data will be updated so that the voice of the terminal related to the specified direct talk will be distributed to other terminals. In the case of clearing, the same processing is performed for all related direct talks. However, this is a process for the voice transmitted from the terminal instructed to cancel or clear, and does not mean that the direct talk made between other terminals is also canceled. By doing this, the direct talk is canceled or cleared, and conversation including other terminals becomes possible.
- FIG. 5 is an explanatory diagram showing the concept of distribution control. An example of the transition of delivery data and request data is shown.
- the distribution data D1 on the upper left indicates a normal time, that is, a state in which audio is distributed between all terminals. In this state, it is assumed that a direct talk request is transmitted from the terminal A to the terminal D. Then, the server generates the request data R1 corresponding to this.
- a ⁇ D in the figure indicates that the transmission terminal of the request is A and the other party is D.
- the server changes the status of the request to "approved” as in the request data R2. " ⁇ " in the figure indicates approval.
- the distribution data D1 is changed to the distribution data D2 so that the direct talk is realized between the terminal ADs. That is, as shown in the data D2a, the voice from the terminal A is delivered only to the terminal D. The fact that the terminals B and C columns are "x" indicates that distribution to these terminals is prohibited. Similarly, as shown in the data D2d, the voice from the terminal D is delivered only to the terminal A. Further, when the direct talk is established between the terminals AD, the voices of the terminals B and C are also set so as not to be once delivered to the terminals A and D. Therefore, as shown in the data D2b, the distribution from the terminal B to the terminal D is not performed. The distribution from the terminal C to the terminal D is also once set to "x". However, when the volume is adjusted so as to hear the sound from the terminal C by the operation of the terminal D, the distribution data is set to " ⁇ " as shown in the data D2c.
- the server puts the request from the terminal B to the terminal A in the "approved” state like the request data R4. However, in the state where the approval from the terminal D has not been obtained, the approval of all the members has not been obtained (see step S31 in FIG. 4), so that the distribution data D2 is not updated.
- the server changes the distribution data D2 like the distribution data D3 accordingly. That is, a direct talk is established between the terminals AB. Further, when the direct talk between the terminals AD is established, the voices of the terminals C and D are not delivered to the terminals A and B, and as a result, the state is the same as that of the direct talk between the terminal CDs. Further, if the direct talk between the terminals AB is canceled in this state, the direct talk is not established between any terminals. Therefore, the distribution data D3 is changed to the state of the distribution data D1 and all of them are changed. Distribution will be performed between terminals.
- FIG. 6 is an explanatory diagram showing a screen example of direct talk in an online conference system.
- FIG. 6A shows the state before the establishment of the direct talk
- FIG. 6B shows the screen during the direct talk.
- buttons 52 displaying "direct talk” are displayed on the images of the participants A to C, respectively. Click this button to select individual participants and request a direct talk.
- the direct talk request is transmitted to the participant A, only the button 52 of the participant A is displayed in black-and-white inversion.
- a volume 53 for adjusting the volume is displayed on the screens of the participants A to C. By sliding the volume 53 during the online conference, it is possible to adjust the volume of each participant individually.
- the volume of the participant A is set to be high
- the volume of the participant C is set to be low
- the volume of the participant B is muted.
- the terminal 10 reproduces the sound by receiving and playing back the image data including the sound of each participant. Since the image data of the participants is distributed as individual data, the volume can be adjusted individually. That is, in the terminal 10, the process of reproducing a plurality of sounds is performed in parallel.
- individual volume adjustment is realized by configuring the volume instruction according to the operation of the volume 53 displayed on the screen to be instructed to the reproduction function of the terminal 10.
- the method of adjusting the volume is not limited to the method depending on the function of the terminal 10, and may be realized on the server side.
- the server may receive the adjustment state of the volume 53 for each participant from the terminal, and may distribute the voice of each participant to the terminal in a state of being synthesized at a volume corresponding to the adjustment state.
- the link 56 connecting the participants having the direct talk is displayed.
- this link 56 is similarly displayed on the screen of the terminal of the participant A. It is not displayed on the screen displayed on the terminals of Participant B and Participant C. By doing so, it is possible to prevent the participants B and C from recognizing that they are having a direct talk with the participant A.
- the link 56 of the direct talk may be displayed on the terminals of the unrelated participants B and C, or it may be possible to select whether or not to perform such display.
- a release button 55 is displayed at one end of the link 56. By clicking this, you can cancel the established direct talk.
- a link 56 and a release button 55 are established between the participants A and C, respectively. Is displayed, it is possible to individually cancel the direct talk by using the release button 55.
- a button 54 for "clearing" is displayed on its own screen. By operating the button 54, the direct talk related to itself can be canceled all at once.
- the "request” button 57 blinks as shown on the screen of participant B in the figure. You can "approve” this request by clicking button 57. In the embodiment, the operation for rejecting the request is not provided, but it may be rejectable.
- the online conference system 100 of this embodiment can realize direct talk with a part of the participants.
- the above-mentioned processing and screen display are merely examples, and various modified examples can be configured.
- the conference promotion function is provided in order to efficiently and effectively proceed with the online conference.
- the conference promotion function is a function to encourage participants to speak by displaying the degree of each participant's remark; the reaction from other participants is displayed during the remark to promote the remark. It also has features that give you the opportunity to rethink your thoughts. Hereinafter, these functions will be described.
- FIG. 7 is a flowchart of the participant screen generation process.
- the processing is mainly executed by the screen generation unit 130, the image input unit 140, the stamp processing unit 150, and the analysis processing unit 160 (see FIG. 1), and in terms of hardware, the processing executed by the server constituting the online conference system 100. Is. This process is repeated during the online conference.
- the server inputs image data including audio from each terminal (step S50). Then, the speaker in the online conference is specified by determining from which terminal the image data including the voice that can be said to be a speech is transmitted (step S51).
- stamp information from another participant to the speaker is input (step S52).
- stamp information a mark expressing opinions and impressions such as approval, surprise, and disagreement with respect to the remark can be used.
- these stamps are prepared in advance, and the participants can select some of them to easily express their own opinions and impressions and without hindering the remarks. , Can be sent.
- the stamp information may include text data from each participant. By doing this, it becomes possible to convey specific opinions and impressions that cannot be expressed by stamps.
- the stamp information may be transmitted not only to the speaker but also to anyone.
- the speaker is specified in step S51, and only the transmission of the stamp information to the speaker is effectively handled.
- the server performs sentiment analysis processing for participants other than the speaker (step S53).
- sentiment analysis processing for participants other than the speaker.
- This process can be performed using, for example, artificial intelligence using the image of the participant received from each terminal.
- Sentiment analysis may utilize well-known techniques because they already exist.
- the sentiment analysis for example, it may be evaluated whether or not the user's line of sight deviates from the screen, and the likability for the user's remark may be determined according to the number and frequency of the evaluation. Further, it may be determined whether or not the user is asleep based on the degree of opening of the eyes of the user and the shaking of the head. In this case, the remark may be treated as an indication that the remark is boring and feedback may be given to the speaker, or the user may be warned to wake up.
- these sentiment analyzes can be performed on all participants in an online meeting, so when the percentage of participants who are judged to be lacking in concentration, such as falling asleep, increases, the organizer. Alternatively, a display urging everyone to take a break may be displayed.
- the server also calculates the speaking time and silent time of each participant (step S54).
- the speaking time is the length of the speaking.
- the silent time is the time without speaking, that is, the elapsed time after the last speech is completed.
- the calculation method of the speaking time and the silent time is schematically shown. The hatched part in the figure indicates that the person is speaking.
- the participant A makes a statement a1
- the participant B makes a statement b1
- the speaker A makes a statement a2 again.
- step S54 in order to show the current situation, for the participant A, the length of the remark a2 currently being made is the remark time. As long as you continue to speak, the speaking time will gradually increase.
- Participant A can recognize that he / she has spoken too much for a long time during the online meeting, and try to organize the speaking compactly and speak, thereby improving the efficiency of the meeting. It becomes possible.
- the elapsed time after finishing the remark b1 is the silent time. If you don't speak, the silent time will gradually increase. By displaying the silent time, it is possible to prompt the participant B to speak.
- the server also calculates the remark rate of each participant (step S55).
- the remark rate is a rate that indicates how much each participant speaks in an online conference.
- the remark rate is calculated by "cumulative time when each participant made a remark / time of online conference".
- the time of the online meeting includes the time when everyone is silent. Instead of this, it may be "cumulative time for each participant to speak / total time for all participants to speak”. By doing this, it is possible to grasp the ratio of each participant only for the time when the remark is made.
- the remark rate may be calculated only for remarks exceeding a predetermined length to the extent that it is judged that a cohesive opinion has been expressed.
- the server generates image data representing the above processing results and transmits the image data to each terminal (step S56).
- steps S52 to S55 may be omitted.
- FIG. 8 is an explanatory diagram showing an example of a screen in an online conference system.
- the image of itself is displayed in the upper left, and the images of participants A to C are displayed in other areas.
- Indicators 61 for speaking time and silent time are displayed on the screens of each participant including himself / herself. While he is speaking, the speaking time will gradually increase as shown in the figure. On the contrary, when not speaking, the silent time increases as shown by the broken line. Since the example in the figure shows the state in which the participant is speaking, the participants A to C each display the silent time.
- a chart 62 showing the remark rate of each participant is displayed.
- the hatched portion of the chart 62 represents the own speech rate. Since the speech rate is displayed in common for all participants, it is not displayed on the screens of other participants.
- the stamp 60 is displayed on the left side of the screen.
- the heart symbol is a stamp that shows your approval for the statement! Is a stamp that represents surprise, and NG is a stamp that represents the opposite.
- Each is a stamp sent by Participants A to C to themselves during their own remarks. By displaying the stamp in this way, there is an advantage that the reaction to one's own remark can be known.
- the types of stamps are not limited to these.
- text transmitted from other participants may be displayed in any area of the screen. Conversely, you can also send stamps to other participants.
- Various types of interfaces for transmitting stamps can be considered. For example, each stamp may be displayed on the screen of each participant, and the stamp may be transmitted by clicking the stamp. In addition, the stamp may be displayed outside the screen and dragged into the screen of each participant to make a call.
- the result of sentiment analysis is displayed on the screen of each participant.
- opinions such as approval, disagreement, neither, or not understanding the remarks are judged by sentiment analysis, and the result is represented by the facial expression mark 63.
- a mark 63 indicating that he / she agrees with the statement is displayed.
- the mark of Participant C indicates that it is neither.
- the mark may be displayed on any part of the screen, and may be displayed on the face of the participant B as in the mark 65.
- the remarks of each person can be promoted by performing the display shown in FIG. Further, in an actual meeting, it is difficult to send opinions and impressions to a speaker while speaking without disturbing the speech, but in this embodiment, this is achieved by effectively utilizing the stamp. It can be realized. Therefore, it is possible to activate the discussion more than the actual meeting. Furthermore, by using sentiment analysis, there is an advantage that the true intention of each participant can be inferred.
- the screen display of FIG. 8 is merely an example, and a part thereof may be omitted, or various other displays may be performed.
- the conference review function is a function that analyzes and displays the status of each participant's remarks in the conference after the online conference is completed. By utilizing this function, each participant can evaluate that he / she was reluctant to the meeting, that he / she has a habit of speaking too long, and so on. Such an evaluation can improve the quality of subsequent online meetings.
- the processing of the conference review function, the display screen, and the like will be described.
- FIG. 9 is a flowchart of the conference review process. This is a process for analyzing various information after the online conference is completed. This process is mainly performed by the screen generation unit 130 and the analysis processing unit 160 (see FIG. 1), and is a process executed by the server that constructs the online conference system 100 in terms of hardware. This process is started when any user starts it.
- the server When the process is started, the server first inputs the user ID of the user who started the process (step S60). Then, the conference list in which this user participates is displayed, and the selection of the conference to be analyzed is accepted (step S61). As described with reference to FIG. 1, since the history of participation in the online conference is recorded in the user database 170, the history corresponding to the user ID input in step S60 may be referred to.
- the image of the conference list is shown in the figure. Information is displayed to help you select the meeting you want to review, such as the date and time of the meeting, the title, and the participants. The user may select one from this list by clicking or the like.
- the server reads the conference data (step S62).
- the conference data is recorded in the conference database 171.
- the keyword extraction process is executed (step S63). This processing content will be described later, but the speech of each participant is recognized by voice and the keywords contained therein are extracted. Keywords are extracted in association with remarks.
- the server then executes the analysis data generation process (step S64).
- the following four types of data are generated.
- Second, as a reaction analysis "number of stamps / number of remarks" is calculated for each type of stamp. By doing this, it is possible to know what kind of tendency the opinions and impressions of other participants, such as approval, surprise, and disagreement, with respect to their own remarks.
- the reaction analysis can perform various analyzes that can evaluate one's own remarks, such as the number of times that the stamp of "agree” or “disagree” is obtained most.
- Third is the percentage of comments made by each participant. This is obtained as the final result after the end of the meeting by the same process as described in step S55 of FIG. 7 earlier. By determining the percentage of remarks, it is possible to evaluate how actively oneself participated in the online meeting.
- Fourth is the comprehensive evaluation.
- Comprehensive evaluation can be obtained by various methods. For example, the first to third analysis results may be scored according to each standard, and the scores may be calculated by summing them up. Further, the comprehensive evaluation may be divided into factors such as positiveness and speech length, and the first to third analysis results may be scored for each factor. In addition, it can be obtained by various methods.
- Comprehensive evaluation does not necessarily have to be a theoretically "justified” evaluation. Displaying an objective overall rating defined by a given standard for each online meeting can motivate users to improve the quality of the meeting.
- the server generates image data representing the above analysis results and outputs them to the terminal (step S65).
- two types of screens a Gantt chart and an analysis report, are prepared.
- the output screen is not limited to these. These screens can be switched if the user instructs the display switching (step S66).
- the above is the content of the conference review process.
- FIG. 10 is a flowchart of the keyword extraction process. This is a process corresponding to step S63 of the meeting review process (FIG. 9).
- the server inputs voice data (step S70).
- voice data including audio
- only the audio portion needs to be extracted from the image data.
- the voice recognition process is performed based on the voice data (step S71). Since there is already a well-known technique for speech recognition, it may be used.
- the text data obtained by voice recognition is morphologically analyzed, and words are extracted (step S72).
- Well-known techniques can also be applied to morphological analysis. In this way, candidate words that serve as keywords have been extracted.
- a non-candidate word is a word that cannot be a keyword, even if it appears frequently during an online meeting.
- pronouns For example, pronouns, demonstrative pronouns, and words that represent the date and time, such as today, yesterday, and tomorrow.
- non-candidate words these may be registered as a database. Further, the database of non-candidate words may be updated by the operator checking the result of extracting the keyword.
- the server ranks the extracted words (step S74).
- ranking is based on criteria such as frequency of use, proper nouns, number of searches on the Internet, and keyword database.
- Frequency of use is the number of times it is used during an online conference. Since it is considered that it is more important as a keyword to be used by multiple people than to be used by one person, it may be evaluated not simply by the number of times of use but by the number of people used.
- Proprietary nouns often include proper nouns as the theme of online meetings such as project names and event names, and proper nouns are easy to use as clues to recall or identify the content of conversations, so they were ranked high. ..
- proper nouns may not be suitable for keywords such as personal names and place names.
- ranking may be given only when a plurality of people are using a common proper noun.
- the number of searches on the Internet is a keyword that frequently appears in various search engines on the Internet. These can be obtained by accessing a search engine site or the like.
- the keyword database is a database of keywords registered in advance by the user. By doing so, even a special word can be extracted as a keyword without omission.
- the keywords may be extracted using the other criteria described above. Further, a plurality of criteria may be applied with priorities.
- the server identifies the upper predetermined number as a keyword and outputs it (step S75).
- This keyword is used for screen display of the conference review process (FIG. 9).
- the extracted keywords may be recorded in the conference database 171 in association with the remarks.
- FIG. 11 is an explanatory diagram showing a display example of the Gantt chart.
- the remarks of each participant in the online conference are displayed as a strip graph with the horizontal axis as time.
- the remarks of four participants A to D are displayed.
- Each of the square speech frames 70 and the like indicates that the speaker is speaking.
- Each speech frame 70 may be linked with voice data. For example, when the remark frame 70 is clicked, the remark may be reproduced, or the voice at the corresponding time may be reproduced according to the click position of the remark frame 70.
- Image data may be playable together with audio data.
- another participant may make a statement while another person is speaking.
- the participant B starts speaking during the speech of the participant A shown in the speech frame 70.
- the highlight 72 is given to the portion covered with the remark of another person as shown by the hatched portion in the figure.
- the other hatched parts also represent the parts where the remarks were made by covering them.
- Speaking over someone else's remarks is not a very favorable attitude during the meeting, so by highlighting in this way, you should be aware that the participants should refrain from making such remarks from the next time. It has the effect of making it.
- the stamp 71 sent during the remark is also displayed for each remark. By doing this, it is possible to visually grasp how other participants responded to each statement, and it is easy to identify the statement that is considered important through the online meeting. It will be possible.
- FIG. 12 is an explanatory diagram showing a display example of the analysis report.
- information such as the user's name, the date and time of the conference analyzed, the theme, and participants are displayed.
- the statement record is displayed.
- the remark length is taken on the horizontal axis, and the number of remarks corresponding to each remark length is represented by a bar graph.
- the speaking time may be quantized and totaled in units of 1 minute or the like.
- the average of one's own speech length is displayed in the speech record. The overall average including other participants may be shown. By doing so, it is possible to know the tendency of one's own remarks being long or short, and it is possible to improve the quality of remarks thereafter.
- the effective remark rate was also shown in the remark performance.
- Some of the remarks are disorganized as opinions, such as simply replying or striking each other. Therefore, out of all the remarks of oneself, the remarks for a predetermined time or more were regarded as valid remarks, and the ratio was calculated as the effective remark rate.
- the time that serves as a criterion for whether or not a valid statement can be made can be arbitrarily determined.
- reaction analysis results are shown in the lower center. It expresses the reaction of other participants to their own remarks as a ratio. In the example of the figure, it shows that the frequency of obtaining the heart mark, that is, the stamp in favor, was less than half.
- Reaction analysis can be determined by various methods. For example, if two of the four participants agree, one disagrees, and one does not respond to one statement, then 50% agree, 25% disagree, and respond. None 25%. After performing such an analysis for each statement, the average may be calculated for all statements. Alternatively, the ratio for each opinion may be calculated by setting the entire stamp such as for or against as 100%. In this case, the percentage of "no reaction" does not appear in the analysis results.
- the lower right shows the percentage of comments made by each participant in the online conference.
- the hatched part in the figure is the percentage of one's own remarks.
- the calculation method is as described in step S55 of the participant screen generation process (FIG. 7).
- the overall evaluation of the online conference is shown.
- a radar chart is displayed, which is divided into items such as aggressiveness, speech length, effectiveness, persuasiveness, and cooperation.
- the positiveness can be scored by multiplying the number of remarks, the effective remark rate, the remark ratio, and the like by a predetermined coefficient.
- the analysis result of the online conference may be scored by defining an arithmetic expression according to the item. By plotting the points obtained in this way, a radar chart can be drawn.
- the score is shown in the upper right as a comprehensive evaluation. This score can also be calculated by various methods. For example, the area of the radar chart when each item is full score may be set to 100 points, and the score may be determined based on the area of the radar chart actually obtained. ..
- the analysis report may display not only the results of a particular online meeting of the user, but also the results of the user's past online meetings, comparisons with other participants, and so on. It is also possible to aggregate the remarks of all the participants in the online conference and display them as a collective analysis.
- the conference review function described above allows each participant to look back on the content of speech, participation attitude, habit of speech, etc. after conducting an online conference. By attending the next online meeting based on these reviews, it will be possible to improve the efficiency of the meeting. Further, in this embodiment, as shown in FIG. 11, since the reactions and keywords of other participants are associated with each statement and displayed, the content of the statement during the online meeting can be easily recalled and important. You can easily find the remarks.
- the conference review process has been described as being performed after the end of the online conference, but this process may be performed at any time during the conference. In this way, it is possible to improve the quality of the meeting while holding the meeting.
- the examples of the present invention have been described above.
- the usefulness and convenience of the online conference can be further improved by the functions such as the direct talk function, the conference promotion function, and the conference review function.
- the various features described in the examples do not necessarily have all of them, and some of them may be omitted or combined as appropriate.
- the present invention can also construct various modified examples.
- the present invention can be applied to an online conference system that is connected to a plurality of terminals via a network and realizes an online conference between the terminals.
- Terminal 11 Transmission / reception unit 12 Audio input unit 13 Image shooting unit 14 Browser 15 Volume adjustment unit 16 Command input unit 17 Display control unit 18 Audio output control unit 51 Button 52 Button 53 Volume 54 Button 55 Release button 56 Link 57 Button 60 Stamp 61 Indicator 62 Chart 63 Mark 65 Mark 70 speaking frame 71 Stamp 72 Highlighting 100 Online conference system 110 Transmission / reception unit 120 Distribution control unit 130 Screen generation unit 140 Image input unit 150 Stamp processing unit 160 Analysis processing unit 161 Sentiment analysis unit 162 Keyword extraction unit 170 User database 171 Conference database 172 Image database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Feedback Control In General (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
Abstract
【課題】 オンライン会議システムの利便性を、一層向上させる。 【解決手段】 サーバによって構築されるオンライン会議システムは、ネットワークに接続された複数の端末間で、音声を含む画像データを相互に配信して、オンライン会議を実現する。会議中に、図6(a)に示すように一人の参加者が、参加者Aに対して、ダイレクトトークをリクエストし、これが承認されると、図6(b)に示すようにリンク56が表示され、参加者Aとの会話は、他の参加者には配信されない状態となる。また、全員での会話中に、参加者の発言に対して、他の参加者はスタンプを送信することができ、発言を妨げることなく、各自の反応、感想を発言者に届けることができる。さらに、会議後は、発言時間、発言割合などの分析結果を表示することができる。これらの機能により、オンライン会議システムの利便性を向上させることができる。
Description
本発明は、複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムに関する。
オンライン会議システムでは、複数の端末をインターネットで接続し、端末間で音声データおよび画像データを相互に配信することでオンライン会議を実現する。オンライン会議の各参加者の端末には、他の参加者の画像が表示され、音声を聞き取ることができる。かかるシステムを利用することにより、多人数間で相互に会議、会話を行うことができる。
オンライン会議システムにおいては、その利便性を向上させるために、種々のアイディアが提案されている。例えば、特許文献1は、オンライン会議において人工知能を導入し、音声認識、レポート作成、感情分析などを行わせる技術を開示している。特許文献2は、オンライン会議において、ステレオ音声の左右の音量を調整することにより、画面上の参加者のアイコンの位置に応じた方向から音声を出力させる技術を開示している。特許文献3は、ウェブ会議システムにおいて、ノイズ音量が一定以上のときは、テキストを入力するよう利用者に促す技術を開示している。
しかし、オンライン会議システムは、未だ種々の面で改善の余地が残されていた。
本発明は、オンライン会議システムの利便性を、一層向上させることを目的とする。
本発明は、オンライン会議システムの利便性を、一層向上させることを目的とする。
本発明は、第1の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部を有し、
前記配信制御部は、
前記オンライン会議中に、いずれかの前記端末から、該端末を含む前記複数の端末の一部を特定端末として指定し、該特定端末の間でのみ会話を行う限定会話指示を受けた場合は、該特定端末との間で授受される音声データを、その他の端末で再生可能な状態で配信することを禁止する限定配信を行うオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部を有し、
前記配信制御部は、
前記オンライン会議中に、いずれかの前記端末から、該端末を含む前記複数の端末の一部を特定端末として指定し、該特定端末の間でのみ会話を行う限定会話指示を受けた場合は、該特定端末との間で授受される音声データを、その他の端末で再生可能な状態で配信することを禁止する限定配信を行うオンライン会議システムとすることができる。
従来のオンライン会議システムでは、多人数でオンライン会議を行っているとき、ミュートに設定し、自身の発言が誰にも聞かれない状態にするか、その会議に参加している他の参加者全員に聞かれる状態にするか、の選択しかなかった。オンライン会議のホストが、いくつかの会議室に分け、それぞれの会議室で会話をする機能も用意されているが、各会議室における発言については、同様であった。
しかし、現実の会議では、必ずしも全員に対して発言をする場面のみとは限らない。例えば、隣の参加者と小声で協議をすることもある。特に、会社同士の会議などでは、社内の参加者のみで協議をした上で発言する場合もある。従来のオンライン会議システムは、かかる要求に応えることはできなかった。
また、昨今では、オンライン会議システムを利用した懇親会が開催されることもあるが、オンライン会議システムではない現実の懇親会では、参加者の中に数名のグループが形成され、いくつかの会話が混在して行われることもある。参加者は、自分の意思で、ある会話に加わっては、また別の会話に加わり、というように様々な参加者と自由に会話を楽しむことができた。従来のオンライン会議システムでは、このような参加者の一部だけでの会話を、それぞれの参加者の意思で成立させることもできなかった。
これに対し、本発明によれば、オンライン会議中に、いずれかの参加者が自身の端末から、限定会話指示をすることにより、特定端末との間で授受される音声データは、他の端末で再生可能な状態では配信されなくなる。即ち、特定端末間でのみ会話を成立させることができる。従って、例えば、オンライン会議中に、一部の参加者間のみで協議等をすることが可能となる。また、懇親会などでは、複数のグループに分かれて、自由に会話することができる。
さらに、現実の会議や懇親会では、自分の近くにいる者との会話に制限されがちであるが、オンライン会議システムでは、こうした場所的制約を受けずに会話を成立させることができる利点がある。即ち、第1の構成によれば、場所的制約を回避できる点で、現実の会議や懇親会にはない利点を提供することができる。
他の端末で再生可能な状態での配信を禁止するとは、音声データの配信自体を禁止する方法と、禁止対象となっている端末での再生を禁止するフラグ等を付した音声データを配信する方法が含まれる。また、画像データと音声データとが一体となっている場合は、音声付きの画像データと、音声なしの画像データを生成し、これらを使い分けても良い。
しかし、現実の会議では、必ずしも全員に対して発言をする場面のみとは限らない。例えば、隣の参加者と小声で協議をすることもある。特に、会社同士の会議などでは、社内の参加者のみで協議をした上で発言する場合もある。従来のオンライン会議システムは、かかる要求に応えることはできなかった。
また、昨今では、オンライン会議システムを利用した懇親会が開催されることもあるが、オンライン会議システムではない現実の懇親会では、参加者の中に数名のグループが形成され、いくつかの会話が混在して行われることもある。参加者は、自分の意思で、ある会話に加わっては、また別の会話に加わり、というように様々な参加者と自由に会話を楽しむことができた。従来のオンライン会議システムでは、このような参加者の一部だけでの会話を、それぞれの参加者の意思で成立させることもできなかった。
これに対し、本発明によれば、オンライン会議中に、いずれかの参加者が自身の端末から、限定会話指示をすることにより、特定端末との間で授受される音声データは、他の端末で再生可能な状態では配信されなくなる。即ち、特定端末間でのみ会話を成立させることができる。従って、例えば、オンライン会議中に、一部の参加者間のみで協議等をすることが可能となる。また、懇親会などでは、複数のグループに分かれて、自由に会話することができる。
さらに、現実の会議や懇親会では、自分の近くにいる者との会話に制限されがちであるが、オンライン会議システムでは、こうした場所的制約を受けずに会話を成立させることができる利点がある。即ち、第1の構成によれば、場所的制約を回避できる点で、現実の会議や懇親会にはない利点を提供することができる。
他の端末で再生可能な状態での配信を禁止するとは、音声データの配信自体を禁止する方法と、禁止対象となっている端末での再生を禁止するフラグ等を付した音声データを配信する方法が含まれる。また、画像データと音声データとが一体となっている場合は、音声付きの画像データと、音声なしの画像データを生成し、これらを使い分けても良い。
第1の構成においては、例えば、ある端末が、他の端末に対して限定会話指示を送信した時点で限定配信を成立させてもよい。また、限定会話指示を送信した後、宛先となる端末から承諾が得られた時点で限定配信を成立させてもよい。
第1の構成においては、画像データについても、音声データと同様に限定配信を行ってもよい。こうすることで、限定配信による会話の様子を、他の参加者に見られることを回避できる。
また、他の態様として、画像データについては、通常通り、全参加者に配信してもよい。こうすることで、限定配信中も、他の参加者に対して配信される画面から消えることがなくなるため、他の参加者から違和感を抱かれることなく限定配信による会話を行うことができる。
また、他の態様として、画像データについては、通常通り、全参加者に配信してもよい。こうすることで、限定配信中も、他の参加者に対して配信される画面から消えることがなくなるため、他の参加者から違和感を抱かれることなく限定配信による会話を行うことができる。
第1の構成において、特定端末の指定は、種々の方法で行うことができる。例えば、オンライン会議に参加している参加者、即ちこれらの参加者が利用しているそれぞれの端末を、個別に指定する方法としてもよい。
また、特定端末の指定は、
前記端末の一部を予めグループとするグループデータを記憶する会議データベースを有し、
前記配信制御部は、前記グループを対象とする限定会話指示を受けた場合には、当該グループに属する端末を前記特定端末として扱うものとしてもよい。
前記端末の一部を予めグループとするグループデータを記憶する会議データベースを有し、
前記配信制御部は、前記グループを対象とする限定会話指示を受けた場合には、当該グループに属する端末を前記特定端末として扱うものとしてもよい。
こうすれば、グループ単位で、簡易に限定会話指示を行うことができる。
上記態様において、限定会話指示を送信すると同時に、当該グループ内での限定配信を成立させるようにしてもよいし、グループ内の各参加者から承諾が得られた場合にのみ限定配信を成立させるようにしてもよい。この場合、グループ内の全参加者から承諾が得られた場合に限定配信を成立させてもよいし、一部の承諾が得られた参加者との間でのみ限定配信を成立させてもよい。
上記態様においては、予め複数種類のグループを設定可能としてもよい。こうすることで、オンライン会議の場面ごとに、グループを選択して限定配信を行うことが可能となる。
上記態様において、限定会話指示を送信すると同時に、当該グループ内での限定配信を成立させるようにしてもよいし、グループ内の各参加者から承諾が得られた場合にのみ限定配信を成立させるようにしてもよい。この場合、グループ内の全参加者から承諾が得られた場合に限定配信を成立させてもよいし、一部の承諾が得られた参加者との間でのみ限定配信を成立させてもよい。
上記態様においては、予め複数種類のグループを設定可能としてもよい。こうすることで、オンライン会議の場面ごとに、グループを選択して限定配信を行うことが可能となる。
第1の構成においては、
前記限定配信を行っている間でも、前記特定端末以外の端末からの音声データを、前記特定端末の少なくとも一部に配信するものとしてもよい。
前記限定配信を行っている間でも、前記特定端末以外の端末からの音声データを、前記特定端末の少なくとも一部に配信するものとしてもよい。
こうすることにより、限定配信中も、他の端末からの音声を聞くことができる。即ち、限定配信中も、オンライン会議全体の進行状況を把握することが可能となる。
上記態様における音声データは、特定端末間での音量と同じとしてもよいし、これよりも小さい音量としてもよい。また、受信している端末側で、特定端末とは独立して音量を調整可能としてもよい。
上記態様における音声データは、特定端末間での音量と同じとしてもよいし、これよりも小さい音量としてもよい。また、受信している端末側で、特定端末とは独立して音量を調整可能としてもよい。
第1の構成においては、
前記配信制御部は、
前記限定配信を行っている間に、前記特定端末以外の端末から、前記特定端末の一部を指定して新たな限定会話指示を受け付けた場合には、
前記限定会話指示で指定されたか否かにかかわらず前記特定端末の全体に対して、当該限定会話指示を承認するか否かの問合せを行うものとしてもよい。
前記配信制御部は、
前記限定配信を行っている間に、前記特定端末以外の端末から、前記特定端末の一部を指定して新たな限定会話指示を受け付けた場合には、
前記限定会話指示で指定されたか否かにかかわらず前記特定端末の全体に対して、当該限定会話指示を承認するか否かの問合せを行うものとしてもよい。
限定配信を行っている場合、そこに新たに参加を希望する参加者が現れることがある。かかる場合に、不用意に参加を承認すると、限定配信中の一部の参加者は、新たな参加者を認識しないまま会話を続けるおそれが生じ、会話の内容が意図しない者に漏えいしてしまうおそれも生じる。
これに対し、上記態様では、限定配信を行っている端末に対して、新たな参加者から限定会話指示を受け付けた場合には、それを限定配信中の全員に、参加を承認するか否かの問合せを行うため、全員が認識の上で新たな参加を認めることができ、上述の課題を回避することができる。
上記態様においては、問合せをした全端末から承認が得られたときに新たな参加を認めるようにしてもよいし、一部の承認が得られた段階で認めるようにしてもよい。また、一部の承認しか得られない場合、承認しなかった特定端末は、特定端末の指定を解除してもよい。
これに対し、上記態様では、限定配信を行っている端末に対して、新たな参加者から限定会話指示を受け付けた場合には、それを限定配信中の全員に、参加を承認するか否かの問合せを行うため、全員が認識の上で新たな参加を認めることができ、上述の課題を回避することができる。
上記態様においては、問合せをした全端末から承認が得られたときに新たな参加を認めるようにしてもよいし、一部の承認が得られた段階で認めるようにしてもよい。また、一部の承認しか得られない場合、承認しなかった特定端末は、特定端末の指定を解除してもよい。
第1の構成においては、
前記端末からの画像データに該端末を前記特定端末として指定するための指示アイコンを重畳した画面を生成する画面生成部を有するものとしてもよい。
前記端末からの画像データに該端末を前記特定端末として指定するための指示アイコンを重畳した画面を生成する画面生成部を有するものとしてもよい。
こうすることにより、各人の端末には、他の端末から送られてくる他の参加者の画像とともに、その画像内に指示アイコンが表示される。従って、指示アイコンを操作することにより、容易に個別に参加者を選択して、限定会話指示を送信しやすくなる。
指示アイコンは、例えば、選択用のボタンとしてもよい。また、画像全体をクリック可能とすることで、指示アイコンとして活用してもよい。
指示アイコンは、例えば、選択用のボタンとしてもよい。また、画像全体をクリック可能とすることで、指示アイコンとして活用してもよい。
第1の構成においては、
前記限定配信を行っている場合、前記端末に表示される画面において、前記特定端末からの画像同士を関連づけるとともに、該限定配信を解除する指示を行うことが可能な解除アイコンを表示した画面を生成する画面生成部を有するものとしてもよい。
前記限定配信を行っている場合、前記端末に表示される画面において、前記特定端末からの画像同士を関連づけるとともに、該限定配信を解除する指示を行うことが可能な解除アイコンを表示した画面を生成する画面生成部を有するものとしてもよい。
こうすることにより、各人の端末には、他の端末から送られてくる他の参加者の画像が表示されるとともに、限定配信の対象となっている特定端末同士を関連づける線などの画像が表示されるため、どの参加者と限定配信による会話を行っているかを容易に認識することができる。
また、線などの画像は、その特定配信の解除用の解除アイコンも表示されるため、その操作により、容易かつ誤りなく特定の参加者との間の限定配信を解除することができ、操作性が向上する。
特定端末同士を関連づける画像としては、例えば、これらを結ぶ線としてもよいし、これらを枠で囲むなどの態様としてもよい。
また、線などの画像は、その特定配信の解除用の解除アイコンも表示されるため、その操作により、容易かつ誤りなく特定の参加者との間の限定配信を解除することができ、操作性が向上する。
特定端末同士を関連づける画像としては、例えば、これらを結ぶ線としてもよいし、これらを枠で囲むなどの態様としてもよい。
本発明は、第2の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
前記端末の画像データに重畳して、当該端末の音量を個別に指定するボリュームアイコンを表示させる画面生成部を備えるオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
前記端末の画像データに重畳して、当該端末の音量を個別に指定するボリュームアイコンを表示させる画面生成部を備えるオンライン会議システムとすることができる。
従来のオンライン会議システムでは、多人数でオンライン会議を行っているとき、他の参加者からの音声は、一様の音量で聞くしかなかった。
しかし、オンライン会議システムは、種々の用途に利用されることがあり、昨今では、オンライン会議システムを利用した懇親会が開催されることもある。現実の懇親会では、参加者の中に数名のグループがいくつも形成され、様々な話題での会話が混在していることがある。また、自身も、いずれかの話題に加わりながら、他の話題に興味を抱いたときには、そちらの会話に参加することもある。従来のオンライン会議システムでは、他の参加者の会話が、一様な音量で聞こえるため、このような状況での会話は成立させづらかった。
これに対し、第2の構成によれば、オンライン会議の各参加者の発言を自由に調整して聞くことが可能となる。従って、種々の会話が混在している状況でも支障なく会話に参加することが可能となる。
また、第2の構成では、自身の端末で、他の端末からの音量を調整するだけで済むため、他の端末からの承認などを受ける必要がない点で、手軽であるという利点もある。
しかし、オンライン会議システムは、種々の用途に利用されることがあり、昨今では、オンライン会議システムを利用した懇親会が開催されることもある。現実の懇親会では、参加者の中に数名のグループがいくつも形成され、様々な話題での会話が混在していることがある。また、自身も、いずれかの話題に加わりながら、他の話題に興味を抱いたときには、そちらの会話に参加することもある。従来のオンライン会議システムでは、他の参加者の会話が、一様な音量で聞こえるため、このような状況での会話は成立させづらかった。
これに対し、第2の構成によれば、オンライン会議の各参加者の発言を自由に調整して聞くことが可能となる。従って、種々の会話が混在している状況でも支障なく会話に参加することが可能となる。
また、第2の構成では、自身の端末で、他の端末からの音量を調整するだけで済むため、他の端末からの承認などを受ける必要がない点で、手軽であるという利点もある。
第2の構成は、種々の態様で実現することができる。
例えば、それぞれの端末からの音声データが、オンライン会議システムで統合されることなく独立のデータとして配信されている場合は、各端末においても、それぞれの端末からの音声データを独立に再生すればよい。こうすることにより、ボリュームアイコンでの指示に従って、それぞれの音声データの音量を容易に調整することが可能となる。端末として、スマートフォン、タブレット、コンピュータなどを利用する場合には、複数の音声データを個別に再生し、音量を調整する機能が、いわゆるOS(Operating System)によって提供されることがあるため、かかる場合には、第2の構成としては、ボリュームアイコンには、その操作結果に基づいて、OSに対する音量の指示を与える機能を持たせれば足りる。
また、別の態様として、それぞれの端末からの音声データを、ボリュームアイコンでの指示に従った音量で合成した上で再生するようにしても差し支えない。この合成は、オンライン会議システムで行ってもよいし、受信した端末で行ってもよい。
例えば、それぞれの端末からの音声データが、オンライン会議システムで統合されることなく独立のデータとして配信されている場合は、各端末においても、それぞれの端末からの音声データを独立に再生すればよい。こうすることにより、ボリュームアイコンでの指示に従って、それぞれの音声データの音量を容易に調整することが可能となる。端末として、スマートフォン、タブレット、コンピュータなどを利用する場合には、複数の音声データを個別に再生し、音量を調整する機能が、いわゆるOS(Operating System)によって提供されることがあるため、かかる場合には、第2の構成としては、ボリュームアイコンには、その操作結果に基づいて、OSに対する音量の指示を与える機能を持たせれば足りる。
また、別の態様として、それぞれの端末からの音声データを、ボリュームアイコンでの指示に従った音量で合成した上で再生するようにしても差し支えない。この合成は、オンライン会議システムで行ってもよいし、受信した端末で行ってもよい。
本発明は、第3の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
いずれかの前記端末からいずれかの他の端末に宛てたリアクションを受け取り、該リアクションを該他の端末に表示させる画面生成部を備えるオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
いずれかの前記端末からいずれかの他の端末に宛てたリアクションを受け取り、該リアクションを該他の端末に表示させる画面生成部を備えるオンライン会議システムとすることができる。
現実の会議では、発言をしている参加者は、他の参加者の表情や様子から自身の発言に対する賛否等を推測している。オンライン会議システムにおいても、同様であり、自身の端末に表示される他の参加者の表情などから、自分の発言に対する賛否等を推測することはできる。
しかし、オンライン会議システムでは、自身の端末に映し出される他の参加者の画像から把握できる事項には限界がある。従来、オンライン会議システムにおいて、自分の発言に対する他の参加者の賛否等を効果的に把握する方法については、あまり考慮されていなかった。
これに対し、第3の構成によれば、オンライン会議の各参加者は、一の端末から他の端末に対して個別に「リアクション」を届けることができる。こうすることにより、参加者の端末には、発言中に、他の参加者の当該発言に対するリアクションが表示される。従って、発言者は、自身の発言に対する他の参加者の反応を容易かつ客観的に把握することが可能となる。
また、第3の構成は、逆に見れば、発言者以外の参加者にとっても利点があると言える。即ち、現実の会議または従来のオンライン会議システムでは、発言中の発言者に対して、自身の「リアクション」を届けることはできないが、第3の構成によれば、これが可能となるのである。例えば、良い発言だと思えば、その発言を遮ることなく、「賛成」というリアクションを当該発言者に示すことができるのである。この点で、第3の構成は、オンライン会議システムならではの利点を提供するものであるとも言える。
しかし、オンライン会議システムでは、自身の端末に映し出される他の参加者の画像から把握できる事項には限界がある。従来、オンライン会議システムにおいて、自分の発言に対する他の参加者の賛否等を効果的に把握する方法については、あまり考慮されていなかった。
これに対し、第3の構成によれば、オンライン会議の各参加者は、一の端末から他の端末に対して個別に「リアクション」を届けることができる。こうすることにより、参加者の端末には、発言中に、他の参加者の当該発言に対するリアクションが表示される。従って、発言者は、自身の発言に対する他の参加者の反応を容易かつ客観的に把握することが可能となる。
また、第3の構成は、逆に見れば、発言者以外の参加者にとっても利点があると言える。即ち、現実の会議または従来のオンライン会議システムでは、発言中の発言者に対して、自身の「リアクション」を届けることはできないが、第3の構成によれば、これが可能となるのである。例えば、良い発言だと思えば、その発言を遮ることなく、「賛成」というリアクションを当該発言者に示すことができるのである。この点で、第3の構成は、オンライン会議システムならではの利点を提供するものであるとも言える。
第3の構成においては、「リアクション」は種々の態様をとることができ、
前記リアクションは、予め用意されたマークまたはテキストで表される情報であるものとしてもよい。
前記リアクションは、予め用意されたマークまたはテキストで表される情報であるものとしてもよい。
予め用意されたマークとしては、例えば、意見に対する賛成を表すマーク、反対を表すマーク、意外や驚きという反応を表すマークなどとすることができる。SNSなどで利用されている種々のスタンプを活用してもよい。これらのマークを利用すれば、いずれかを選択するだけで、簡易な操作でリアクションを届けることができる。
また、テキストを送ることができるようにすれば、具体的な意見を発言者に届けることが可能となる。
また、テキストを送ることができるようにすれば、具体的な意見を発言者に届けることが可能となる。
第3の構成において、マークやテキストを送るためのインタフェースは、種々の態様が考えられる。例えば、自身の端末に表示される発言者の画面に、用意されたマークの一覧を表示し、その中のいずれかを選択することで、当該マークを送るようにしてもよい。また、各端末の画像が表示される領域外に、マークの一覧を表示し、その中のいずれかを選択し、発言者の画面にドラッグするようにしてもよい。
第3の構成においては、
前記端末からの画像データに基づいて、該端末の利用者の感情分析を行う感情分析部を有し、
前記リアクションは、該感情分析の結果であるものとしてもよい。
前記端末からの画像データに基づいて、該端末の利用者の感情分析を行う感情分析部を有し、
前記リアクションは、該感情分析の結果であるものとしてもよい。
こうすることにより、各参加者が何も操作をしなくても、リアクションを得ることができる。
感情分析の方法は、表情から感情を分析する種々の技術を適用することができる。
感情分析の結果は、例えば、賛成、反対など予め用意されたマーク、テキスト、点数で表現してもよい。例えば、画面の明るさや色などで表現してもよい。
感情分析の方法は、表情から感情を分析する種々の技術を適用することができる。
感情分析の結果は、例えば、賛成、反対など予め用意されたマーク、テキスト、点数で表現してもよい。例えば、画面の明るさや色などで表現してもよい。
感情分析の内容および利用方法は、種々の態様が考えられる。例えば、表情から感情を分析する際に、その視線に着目してもよい。利用者の視線が、画面から外れたか否かを評価し、その回数や頻度に応じて、利用者の発言に対する好感度を判断することができる。発言に対する好感度は、上述した種々の態様で発言者にフィードバックすることが好ましい。
視線は、例えば、利用者の顔を撮影した画像内での瞳の位置で判断することができる。瞳が眼の周辺の所定範囲に入ったときは、画面から外れたと認識するのである。この場合、利用者の端末のカメラは、必ずしも画面中央に位置するとは限らないため、オンライン会議の開始時に、画面中央を見た状態の瞳の位置を基準位置として記憶させておいてもよい。この初期位置から、瞳が所定距離だけ離れたときに画面から外れたと判断する方法をとることができる。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
視線は、例えば、利用者の顔を撮影した画像内での瞳の位置で判断することができる。瞳が眼の周辺の所定範囲に入ったときは、画面から外れたと認識するのである。この場合、利用者の端末のカメラは、必ずしも画面中央に位置するとは限らないため、オンライン会議の開始時に、画面中央を見た状態の瞳の位置を基準位置として記憶させておいてもよい。この初期位置から、瞳が所定距離だけ離れたときに画面から外れたと判断する方法をとることができる。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
第3の構成においては、
前記画面生成部は、前記端末の利用者の画像データに、他の端末からのリアクションを重畳して表示させるものとしてもよい。
前記画面生成部は、前記端末の利用者の画像データに、他の端末からのリアクションを重畳して表示させるものとしてもよい。
こうすることにより、各端末の利用者は、自身に対する他の参加者のリアクションを知ることができる。
オンライン会議中には、自身の端末には、自身の画像だけでなく、各参加者の画像が表示されているが、他の参加者の画像にも、それぞれの参加者に対するリアクションを表示するようにしてもよい。こうすることにより、他の参加者に対する各参加者の反応と、自身に対する各参加者の反応を比較することが可能となる。
オンライン会議中には、自身の端末には、自身の画像だけでなく、各参加者の画像が表示されているが、他の参加者の画像にも、それぞれの参加者に対するリアクションを表示するようにしてもよい。こうすることにより、他の参加者に対する各参加者の反応と、自身に対する各参加者の反応を比較することが可能となる。
また、第3の構成においては、
前記画面生成部は、前記端末に対する他の端末からのリアクションを、該リアクションの発信者である他の端末の画像に重畳して表示させるものとしてもよい。
前記画面生成部は、前記端末に対する他の端末からのリアクションを、該リアクションの発信者である他の端末の画像に重畳して表示させるものとしてもよい。
自身の端末には、各参加者の画像が表示されている。上記態様では、ある参加者が、自身に対してリアクションを送ったとき、そのリアクションを当該参加者の画像に表示するのである。こうすることにより、自身に対するリアクションを誰が発信したかを容易に把握することが可能となる。
本発明は、第4の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
それぞれの前記端末の利用者が発言している時間、および沈黙している時間の一方または双方を集計する分析処理部と、
前記集計結果を前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
それぞれの前記端末の利用者が発言している時間、および沈黙している時間の一方または双方を集計する分析処理部と、
前記集計結果を前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
会議においては、参加者の発言は、一部の参加者に偏ることがある。
しかし、従来のオンライン会議システムでは、参加者の間で、音声および画像を相互に配信し、会議を行うことはできたが、その会議の実績を客観的に把握することはできなかった。
これに対し、第4の構成によれば、端末ごとの発言の時間、および沈黙の時間の一方または双方を集計することができる。従って、各参加者が、どの程度発言しているかを把握することができる。この結果、会議の質の向上に寄与することができる。
しかし、従来のオンライン会議システムでは、参加者の間で、音声および画像を相互に配信し、会議を行うことはできたが、その会議の実績を客観的に把握することはできなかった。
これに対し、第4の構成によれば、端末ごとの発言の時間、および沈黙の時間の一方または双方を集計することができる。従って、各参加者が、どの程度発言しているかを把握することができる。この結果、会議の質の向上に寄与することができる。
第4の構成においては、自分の集計結果のみを表示するようにしてもよいし、他人の集計結果を併せて表示するようにしてもよい。
また、集計結果の表示は、オンライン会議中に行ってもよいし、オンライン会議後のレビューとして行っても良い。
集計の内容は、例えば、発言ごとの時間、平均の発言時間、総発言時間などとすることができる。沈黙の時間についても同様である。
また、集計結果の表示は、オンライン会議中に行ってもよいし、オンライン会議後のレビューとして行っても良い。
集計の内容は、例えば、発言ごとの時間、平均の発言時間、総発言時間などとすることができる。沈黙の時間についても同様である。
第4の構成においては、
前記分析処理部は、前記端末の利用者の1回当たりの発言時間を提示するものとしてもよい。
前記分析処理部は、前記端末の利用者の1回当たりの発言時間を提示するものとしてもよい。
こうすることにより、各参加者は、自身の話の長さが、どのような傾向にあるのかを判断することができる。この結果、発言の内容・質を向上させることができる。また、例えば、長すぎる発言を短くまとめることができれば、他の発言者に発言の機会を与えることも可能となり、会議全体の質向上に寄与することができる。
第4の構成においては、発言時間の提示は、オンライン会議中に行っても良い。こうすることにより、発言の質、およびオンライン会議の質を、随時、改善することが可能となる。
第4の構成においては、1回当たりの発言時間を、他の参加者と比較可能な形で提示してもよい。
また、発言時間と発言回数との分布の形で提示してもよい。こうすることにより、短い発言を多数回繰り返す傾向や、長い発言を比較的少数回行う傾向など、発言の傾向を、より詳細に把握することが可能となる。
第4の構成においては、発言時間の提示は、オンライン会議中に行っても良い。こうすることにより、発言の質、およびオンライン会議の質を、随時、改善することが可能となる。
第4の構成においては、1回当たりの発言時間を、他の参加者と比較可能な形で提示してもよい。
また、発言時間と発言回数との分布の形で提示してもよい。こうすることにより、短い発言を多数回繰り返す傾向や、長い発言を比較的少数回行う傾向など、発言の傾向を、より詳細に把握することが可能となる。
第4の構成においては、
前記分析処理部は、前記オンライン会議における各端末からの発言時間の割合を求めるものとしてもよい。
前記分析処理部は、前記オンライン会議における各端末からの発言時間の割合を求めるものとしてもよい。
こうすることにより、オンライン会議において、各参加者の発言のバランスを把握することができ、オンライン会議全体の質向上に寄与することができる。
発言時間の割合は、種々の形で算出することができる。例えば、オンライン会議全体の時間に対する発言時間の割合を求めても良い。また、発言時間の総和の中の割合を求めても良い。さらに、単純な返事などを除外するため、発言時間を計算する際には、所定の長さ以上の発言のみを対象としてもよい。
発言時間の割合は、種々の形で算出することができる。例えば、オンライン会議全体の時間に対する発言時間の割合を求めても良い。また、発言時間の総和の中の割合を求めても良い。さらに、単純な返事などを除外するため、発言時間を計算する際には、所定の長さ以上の発言のみを対象としてもよい。
本発明は、第5の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記端末から音声データを入力する音声データ入力部と、
該音声データに含まれるキーワードを抽出するキーワード抽出部と、
該キーワードを前記音声データと対応づけて前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記端末から音声データを入力する音声データ入力部と、
該音声データに含まれるキーワードを抽出するキーワード抽出部と、
該キーワードを前記音声データと対応づけて前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
従来、オンライン会議システムにおいては、会議中の発言を音声データとして記録しておくことは可能であった。
しかし、これらの発言を後から確認しようとすれば、その内容を全て聞き直す必要があり、負担が大きかった。
これに対し、第5の構成によれば、発言の音声データに基づいてキーワードを抽出し、音声データと対応づけて表示することができる。従って、後から、キーワードによって、それぞれの発言の内容を推測することができ、議事録の作成や音声データの確認の効率化を図ることができる。
抽出されたキーワードは、音声データと対応づけて記憶させておいてもよい。
しかし、これらの発言を後から確認しようとすれば、その内容を全て聞き直す必要があり、負担が大きかった。
これに対し、第5の構成によれば、発言の音声データに基づいてキーワードを抽出し、音声データと対応づけて表示することができる。従って、後から、キーワードによって、それぞれの発言の内容を推測することができ、議事録の作成や音声データの確認の効率化を図ることができる。
抽出されたキーワードは、音声データと対応づけて記憶させておいてもよい。
第5の構成において、キーワードは、種々の方法で抽出することができる。例えば、人工知能を用いてもよい。
また、別の方法として、音声データを音声認識してテキストデータに変換し、形態素解析によって単語を抽出し、さらに、抽出された単語を所定の規則でランキングしてキーワードを抽出する方法としてもよい。
また、別の方法として、音声データを音声認識してテキストデータに変換し、形態素解析によって単語を抽出し、さらに、抽出された単語を所定の規則でランキングしてキーワードを抽出する方法としてもよい。
キーワードの抽出は、種々のタイミングで行うことができる。
例えば、オンライン会議中にキーワードを抽出し、参加者全員に提示するようにすれば、発言内容を理解する助けとなる。
また、オンライン会議後にキーワードを抽出する場合には、その処理に時間をかけられる分、より精度の高い抽出を行うことが可能となる。
例えば、オンライン会議中にキーワードを抽出し、参加者全員に提示するようにすれば、発言内容を理解する助けとなる。
また、オンライン会議後にキーワードを抽出する場合には、その処理に時間をかけられる分、より精度の高い抽出を行うことが可能となる。
本発明は、第6の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記オンライン会議における各端末からなされたそれぞれの発言の開始時刻、終了時刻を会議データとして記憶する会議データベースと、
前記会議データに基づいて、時間軸に従って、前記発言がなされている期間を、前記端末ごとに区分して描いたガントチャートを表示する画面生成部を備えるオンライン会議システムとすることができる。
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記オンライン会議における各端末からなされたそれぞれの発言の開始時刻、終了時刻を会議データとして記憶する会議データベースと、
前記会議データに基づいて、時間軸に従って、前記発言がなされている期間を、前記端末ごとに区分して描いたガントチャートを表示する画面生成部を備えるオンライン会議システムとすることができる。
会議において、その効率、質を向上することは常に課題とされている。その一つとして、会議における各参加者の発言の実績を把握することは重要である。
しかし、従来のオンライン会議システムにおいては、会議における発言実績の把握については、あまり考慮されていなかった。
これに対し、第6の構成によれば、各発言の開始時刻、終了時刻を、発言ごとに記憶しており、端末ごと、即ちそれを利用する参加者ごとに区分してガントチャートで表示することができる。こうすることにより、会議中に、どの参加者が、どのような頻度で、どのような時間、発言をなしたのかを視覚的に把握することが可能となる。この結果、発言が長い参加者に、発言を要約するよう促したり、全く発言をしていない参加者に発言を促したりすることができ、全体の会議の質を向上させることができる。
第6の構成において、上述のガントチャートは、会議中に表示してもよいし、会議後に表示してもよい。
しかし、従来のオンライン会議システムにおいては、会議における発言実績の把握については、あまり考慮されていなかった。
これに対し、第6の構成によれば、各発言の開始時刻、終了時刻を、発言ごとに記憶しており、端末ごと、即ちそれを利用する参加者ごとに区分してガントチャートで表示することができる。こうすることにより、会議中に、どの参加者が、どのような頻度で、どのような時間、発言をなしたのかを視覚的に把握することが可能となる。この結果、発言が長い参加者に、発言を要約するよう促したり、全く発言をしていない参加者に発言を促したりすることができ、全体の会議の質を向上させることができる。
第6の構成において、上述のガントチャートは、会議中に表示してもよいし、会議後に表示してもよい。
第6の構成においては、
前記画面生成部は、一の端末における発言がなされている期間に、他の端末からの発言が開始されたときは、他の端末の発言のうち、前記一の端末による発言と時間的に重なる部分を強調表示するものとしてもよい。
前記画面生成部は、一の端末における発言がなされている期間に、他の端末からの発言が開始されたときは、他の端末の発言のうち、前記一の端末による発言と時間的に重なる部分を強調表示するものとしてもよい。
こうすることにより、他人の発言が終了しないうちに、発言を開始した箇所を視覚的かつ客観的に把握することができる。このような態様で発言をなすことは、他人の発言の機会を奪うとともに、会議の円滑・公平な進行を妨げるものでもある。従って、かかる不適切な発言を視覚化することにより、会議の効率および質の向上を図ることが可能となる。
強調表示は、色による強調、ハッチングその他の模様を付す態様、太線の枠囲みとする態様、点滅など、種々の態様で行うことができる。
強調表示は、色による強調、ハッチングその他の模様を付す態様、太線の枠囲みとする態様、点滅など、種々の態様で行うことができる。
第6の構成においては、
前記会議データベースには、前記発言に対して、他の端末からのリアクションが関連づけて記憶されており、
前記画面生成部は、前記リアクションを前記発言に関連づけて表示するものとしてもよい。
前記会議データベースには、前記発言に対して、他の端末からのリアクションが関連づけて記憶されており、
前記画面生成部は、前記リアクションを前記発言に関連づけて表示するものとしてもよい。
こうすることにより、各発言して他の参加者からなされたリアクションを視覚的、客観的に把握することができる。従って、各発言が、賛同を得られていたものか、そうでないのか、などを判断でき、オンライン会議のレビューをする際に、重要な発言を抽出しやすくなる利点がある。
リアクションについては、先に説明した通り、マーク、テキスト、感情分析の結果など、種々の態様を用いることが可能である。
リアクションについては、先に説明した通り、マーク、テキスト、感情分析の結果など、種々の態様を用いることが可能である。
第6の構成においては、
前記画面生成部は、前記会議データベースに基づいて特定されるそれぞれの発言のキーワードを、該発言に対応づけて表示するものとしてもよい。
前記画面生成部は、前記会議データベースに基づいて特定されるそれぞれの発言のキーワードを、該発言に対応づけて表示するものとしてもよい。
こうすることにより、キーワードによって各発言の内容を推測することができ、オンライン会議のレビューをする際に、音声データの内容を確認すべき発言など、重要な発言を抽出しやすくなる利点がある。
キーワードの抽出は、先に説明した種々の方法を適用可能である。キーワードの抽出は、ガントチャートを描く時点で行ってもよいし、ガントチャートの描画以前に行い、結果を記憶しておくようにしてもよい。
キーワードの抽出は、先に説明した種々の方法を適用可能である。キーワードの抽出は、ガントチャートを描く時点で行ってもよいし、ガントチャートの描画以前に行い、結果を記憶しておくようにしてもよい。
本発明は、上述した種々の特徴を全て備えている必要はなく、適宜、その一部を省略してり組み合わせたりすることができる。
また、本発明は、上述のオンライン会議システムとしての構成の他、コンピュータによってオンライン会議を実現するオンライン会議方法として構成することもできる。また、本発明は、オンライン会議を実現するための機能をコンピュータに実現させるためのコンピュータプログラム、およびかかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
また、本発明は、上述のオンライン会議システムとしての構成の他、コンピュータによってオンライン会議を実現するオンライン会議方法として構成することもできる。また、本発明は、オンライン会議を実現するための機能をコンピュータに実現させるためのコンピュータプログラム、およびかかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
本発明の実施例としてのオンライン会議システムについて、以下の順序で説明する。
A.システム構成:
B.ダイレクトトーク機能:
C.会議促進機能:
D.会議レビュー機能:
E.効果:
A.システム構成:
B.ダイレクトトーク機能:
C.会議促進機能:
D.会議レビュー機能:
E.効果:
A.システム構成:
図1は、オンライン会議システムの構成を示す説明図である。実施例のオンライン会議システム100は、インターネットに接続されたサーバによって構成されており、同じくインターネットに接続された複数の端末10の間で、画像および音声を相互に配信することで、オンライン会議、オンライン懇親会(以下、双方を含めてオンライン会議と称する)などを実現することができる。端末10としては、インターネットに接続する機能を有するタブレット、スマートフォン、携帯電話、パソコン、ノートパソコンその他の機器を利用することができる。オンライン会議に参加する端末数は、何台であってもよい。
図1は、オンライン会議システムの構成を示す説明図である。実施例のオンライン会議システム100は、インターネットに接続されたサーバによって構成されており、同じくインターネットに接続された複数の端末10の間で、画像および音声を相互に配信することで、オンライン会議、オンライン懇親会(以下、双方を含めてオンライン会議と称する)などを実現することができる。端末10としては、インターネットに接続する機能を有するタブレット、スマートフォン、携帯電話、パソコン、ノートパソコンその他の機器を利用することができる。オンライン会議に参加する端末数は、何台であってもよい。
端末10は、内部にCPU、メモリを有するコンピュータであり、図示する機能がそれぞれコンピュータプログラムによってソフトウェア的に構築されている。図中の各機能の一部または全部はハードウェア的に構築しても良い。
送受信部11は、インターネットを介して情報を授受する機能を奏する。本実施例では、オンライン会議における画像データ、音声データ等の情報が含まれる。
音声入力部12は、端末10に備えられているマイク等を利用して、その利用者、即ちオンライン会議の参加者の音声を入力する。
画像撮影部13は、端末10に備えられているカメラ等を利用して、その利用者、即ちオンライン会議の参加者の画像を入力する。
コマンド入力部16は、端末10のタッチパネル、キーボードなどから、種々のコマンドを入力する。コマンドとしては、オンライン会議の画像の表示モード、音量の調節などの他、本実施例に固有の機能に関するものも含まれる。
表示制御部17は、端末10のディスプレイへの画面表示を制御する。本実施例では、オンライン会議において他の端末10から受信した画像等が表示されることになる。
音声出力制御部18は、端末10からの音声出力を制御する。本実施例では、オンライン会議における他の端末10から受信した音声等が出力されることになる。
送受信部11は、インターネットを介して情報を授受する機能を奏する。本実施例では、オンライン会議における画像データ、音声データ等の情報が含まれる。
音声入力部12は、端末10に備えられているマイク等を利用して、その利用者、即ちオンライン会議の参加者の音声を入力する。
画像撮影部13は、端末10に備えられているカメラ等を利用して、その利用者、即ちオンライン会議の参加者の画像を入力する。
コマンド入力部16は、端末10のタッチパネル、キーボードなどから、種々のコマンドを入力する。コマンドとしては、オンライン会議の画像の表示モード、音量の調節などの他、本実施例に固有の機能に関するものも含まれる。
表示制御部17は、端末10のディスプレイへの画面表示を制御する。本実施例では、オンライン会議において他の端末10から受信した画像等が表示されることになる。
音声出力制御部18は、端末10からの音声出力を制御する。本実施例では、オンライン会議における他の端末10から受信した音声等が出力されることになる。
端末10には、ブラウザ14が備えられており、オンライン会議システム100が生成したオンライン会議の画面その他のデータをブラウザ14が実行することにより、オンライン会議のための種々の機能が提供される。
ブラウザ14には、音量調整部15が組み込まれている。音量調整部15は、オンライン会議において、ブラウザ14で表示されるインタフェースを利用して、他の端末10から受信した音量を個別に調整する機能を提供する。即ち、ブラウザ14で表示される音量調整用のインタフェースを利用者が操作すると、音量調整部15は、その操作結果に基づいて、音声出力制御部18に音量調整指示を出力する機能を奏することになる。
ブラウザ14および音量調整部15に代えて、オンライン会議用の専用アプリケーションを端末10にインストールする方法をとってもよい。
ブラウザ14には、音量調整部15が組み込まれている。音量調整部15は、オンライン会議において、ブラウザ14で表示されるインタフェースを利用して、他の端末10から受信した音量を個別に調整する機能を提供する。即ち、ブラウザ14で表示される音量調整用のインタフェースを利用者が操作すると、音量調整部15は、その操作結果に基づいて、音声出力制御部18に音量調整指示を出力する機能を奏することになる。
ブラウザ14および音量調整部15に代えて、オンライン会議用の専用アプリケーションを端末10にインストールする方法をとってもよい。
オンライン会議システム100は、CPU、メモリ等を備えるサーバで構成されており、図示する各機能がそれぞれコンピュータプログラムによってソフトウェア的に構築されている。図中の各機能の一部または全部はハードウェア的に構築しても良い。また、オンライン会議システム100の各機能は、全てを1台のサーバで提供するものに限らず、複数のサーバによる分散システムによって提供してもよい。
以下、各機能について説明する。
以下、各機能について説明する。
オンライン会議システム100には、3つのデータベースが備えられている。各データベースの構造については、後で詳述する。
ユーザデータベース170は、利用者の氏名等の情報を記録している。オンライン会議への参加履歴も併せて記録する。
会議データベース171は、オンライン会議ごとにレコードが作成され、参加者その他の情報を記録する。
画像データベース172は、オンライン会議で各端末10から送信された画像データを記録する。本実施例では、画像データ、音声データが一体となった形式を利用しているため、画像データベース172には、音声も併せて記録されることになる。画像データと音声データとを別のファイルで構成してもよく、この場合は、画像データベース172には、画像データ、音声データを関連づけて記録することになる。
ユーザデータベース170は、利用者の氏名等の情報を記録している。オンライン会議への参加履歴も併せて記録する。
会議データベース171は、オンライン会議ごとにレコードが作成され、参加者その他の情報を記録する。
画像データベース172は、オンライン会議で各端末10から送信された画像データを記録する。本実施例では、画像データ、音声データが一体となった形式を利用しているため、画像データベース172には、音声も併せて記録されることになる。画像データと音声データとを別のファイルで構成してもよく、この場合は、画像データベース172には、画像データ、音声データを関連づけて記録することになる。
送受信部110は、インターネットを介して情報を授受する機能を奏する。本実施例では、オンライン会議における画像データ、音声データ等の情報が含まれる。
画像入力部140は、端末10から画像データを入力する。本実施例では、音声データも併せて入力されることになる。
画像入力部140は、端末10から画像データを入力する。本実施例では、音声データも併せて入力されることになる。
配信制御部120は、オンライン会議に参加している端末10の間で、画像データ、音声データなどオンライン会議に関するデータを配信する。配信制御部120は、2つの意味での配信制御を行うことになる。実施例では、複数のオンライン会議が並行して開催される可能性があり、それぞれの会議に参加する複数の端末10が接続されている。配信制御部120は、一つ目の制御処理として、これらのオンライン会議を区別して、それぞれのオンライン会議に参加している端末10間でのみ配信をするよう制御する。二つ目の制御処理は、各オンライン会議内での配信制御である。即ち、基本的には、オンライン会議に参加している複数の端末10全体で、相互にデータの送受信を行うように配信するのであるが、後述する本実施例に特徴的な機能においては、一部の端末間での配信を禁止等する。かかる制御がオンライン会議内での配信制御として実行されることになる。
スタンプ処理部150は、端末10の間で、スタンプを送受信する機能を奏する。スタンプとは、オンライン会議中に、他の参加者の発言に対して、賛成、反対などの意見・感想を簡易に表現するための図形等である。テキストのメッセージも含めても良い。
画面生成部130は、端末10に画面を表示させる機能を奏する。具体的には、各端末10に画面を表示するためのデータをHTML等の形式で生成するのである。このデータが端末10に送信され、ブラウザ14で表示されることになる。
画面生成部130は、端末10に画面を表示させる機能を奏する。具体的には、各端末10に画面を表示するためのデータをHTML等の形式で生成するのである。このデータが端末10に送信され、ブラウザ14で表示されることになる。
分析処理部160は、オンライン会議における参加者の発言や反応を分析する機能を奏する。分析は、オンライン会議中にリアルタイムに行っても良いし、オンライン会議の終了後にレビューしてもよい。分析内容としては、例えば、発言時間や各参加者の発言比率などが挙げられる。
また、分析処理部160には、感情分析部161、キーワード抽出部162が備えられている。
感情分析部161は、端末10から得られるオンライン会議の参加者の表情に基づいて、発言に対する反応を分析する。表情による感情の分析には、人工知能の利用など、周知の種々の技術を適用することができる。この意味で、感情分析部161は、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
キーワード抽出部162は、オンライン会議の発言を解析して、キーワードを抽出する。キーワードの抽出も、人工知能の利用など、周知の種々の技術を適用することができる。従って、キーワード抽出部162も、感情分析部161と同様、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
また、分析処理部160には、感情分析部161、キーワード抽出部162が備えられている。
感情分析部161は、端末10から得られるオンライン会議の参加者の表情に基づいて、発言に対する反応を分析する。表情による感情の分析には、人工知能の利用など、周知の種々の技術を適用することができる。この意味で、感情分析部161は、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
キーワード抽出部162は、オンライン会議の発言を解析して、キーワードを抽出する。キーワードの抽出も、人工知能の利用など、周知の種々の技術を適用することができる。従って、キーワード抽出部162も、感情分析部161と同様、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
図1に示したオンライン会議システム100および端末10の機能は、一例に過ぎず、他にも種々の構成が実現可能である。図示した機能の一部を省略、または統合してもよい。また、図示した以外の機能を設けても差し支えない。
図2は、データベース構造を示す説明図である。
右上に、ユーザデータベース170のデータ構造を示した。ユーザデータベース170は、利用者ごとに、固有の識別情報としてのユーザIDを付したレコードが作成される。レコードには、利用者の氏名、メールその他の連絡先、および利用者が参加したオンライン会議の履歴等が記録される。本実施例では、履歴には、会議データベース171において、会議ごとに付される識別情報である会議IDを記録するものとした。
右上に、ユーザデータベース170のデータ構造を示した。ユーザデータベース170は、利用者ごとに、固有の識別情報としてのユーザIDを付したレコードが作成される。レコードには、利用者の氏名、メールその他の連絡先、および利用者が参加したオンライン会議の履歴等が記録される。本実施例では、履歴には、会議データベース171において、会議ごとに付される識別情報である会議IDを記録するものとした。
右下に、画像データベース172のデータ構造を示した。画像データベース172には、画像データが、それぞれ固有の識別情報である画像IDを付して記録されている。さらに、ユーザIDや日時などを関連づけて記録するようにしてもよい。
左側に、会議データベース171のデータ構造を示した。会議データベース171は、オンライン会議ごとに、固有の識別情報である会議IDを付したレコードが作成される。
各レコードには、オンライン会議の「タイトル」、日付、開始時刻、終了時刻などの情報が記録される。これらの情報は、オンライン会議を主催した利用者が、端末10から登録することができる。
各レコードには、オンライン会議の「タイトル」、日付、開始時刻、終了時刻などの情報が記録される。これらの情報は、オンライン会議を主催した利用者が、端末10から登録することができる。
また、オンライン会議への参加者として、ユーザデータベース170のユーザIDが記録される。オンライン会議には、一つの端末10を複数人が利用することも考えられるが、本実施例では、各端末10からオンライン会議システム100にサインインした利用者のみが記録されるものとした。以下の説明では、表現が煩雑となることを回避するため、一つの端末10を一人が利用しているものとして、説明することとする。
「グループ」とは、オンライン会議に参加する利用者をグループ化する情報である。この情報は、オンライン会議への参加者が任意に登録することができる。図の例えは、グループ1、グループ2の2つのグループが登録されており、それぞれのグループに所属する参加者のユーザIDが記録されている。一人のユーザが複数のグループに重複して登録されることを許容しても差し支えない。本実施例では、後述する通り、オンライン会議の参加者の一部だけで会話することができるダイレクトトーク機能を設けており、グループは、かかる機能での会話相手の指定等で利用することができる。
「発言ログ」とは、オンライン会議中の各参加者の発言の記録である。発言された時刻、発言を行った参加者のユーザID、およびその画像データが関連づけて記録されている。画像データについては、画像データベース172の画像IDを記録するものとした。発言ログを参照すれば、オンライン会議の発言を再生することが可能となる。
「スタンプログ」は、オンライン会議中に参加者間で授受されたスタンプの記録である。スタンプを送信した時刻、送信者、受信者、スタンプの内容が関連づけて記録されている。送信者、受信者はそれぞれユーザIDが記録される。スタンプの内容は、スタンプを表すIDなどを記録すればよい。テキストのメッセージを送受信可能とする場合は、テキストの内容を記録してもよい。
「配信データログ」は、オンライン会議中の配信制御の結果の記録である。後述する通り、本実施例では、オンライン会議に参加している複数の端末10間で画像データを送受信する際に、全端末間で配信するだけでなく、一部の端末間でのみ配信することも可能となっている。このようにどの端末間で画像データを配信するかを制御するためのデータとして、本実施例では、配信データを用いている。配信データログでは、この配信データを時刻と対応づけて記録しておくのである。こうすることにより、オンライン会議中の各時点での画像データの配信状況を再現することが可能となる。
図2に示したデータ構造は、一例に過ぎず、他にも種々の構造をとることができる。図2に示したデータの一部を省略してもよいし、この他のデータを各データベースに記録するようにしてもよい。
B.ダイレクトトーク機能:
実施例のオンライン会議システムにおいて実現されるダイレクトトーク機能について説明する。ダイレクトトーク機能とは、オンライン会議中に、一部の参加者間でのみ会話を行う限定配信機能である。例えば、ダイレクトトークが、参加者A、参加者Bの間で行われているとき、AB間の会話は、他の参加者には配信されない。ただし、他の参加者は、会話を制限される訳ではなく、他の参加者間での会話は通常通り行うことができる。
例えば、オンライン会議システムを利用して懇親会を開催する場合を考える。現実の懇親会では、一部の参加者間での会話が並行して行われることが多いが、オンライン会議システムでは、通常は、一人の発言は全員に配信されるため、複数の会話が並行して行いづらい状態にある。かかる場合に、ダイレクトトーク機能を利用すれば、一部の参加者間でのみ会話をすることができるため、懇親会における会話をより円滑に行うことが可能となる。
また、会社間の協議にオンライン会議システムを利用する場合を考える。かかる会議では、途中で会社内のみで協議をした上で、相手方に回答をする必要が生じることがある。また、協議というほど大げさなものでないにしても、会議の進行中に、その進行を妨げない程度に、仲間内で疑問点などを確認しておきたい場面もある。通常のオンライン会議システムでは、このような仲間内での協議等を行うことができなかったが、本実施例では、ダイレクトトーク機能を用いることにより、これを実現することが可能となる。
以下、ダイレクトトーク機能を実現するための制御処理について説明する。
実施例のオンライン会議システムにおいて実現されるダイレクトトーク機能について説明する。ダイレクトトーク機能とは、オンライン会議中に、一部の参加者間でのみ会話を行う限定配信機能である。例えば、ダイレクトトークが、参加者A、参加者Bの間で行われているとき、AB間の会話は、他の参加者には配信されない。ただし、他の参加者は、会話を制限される訳ではなく、他の参加者間での会話は通常通り行うことができる。
例えば、オンライン会議システムを利用して懇親会を開催する場合を考える。現実の懇親会では、一部の参加者間での会話が並行して行われることが多いが、オンライン会議システムでは、通常は、一人の発言は全員に配信されるため、複数の会話が並行して行いづらい状態にある。かかる場合に、ダイレクトトーク機能を利用すれば、一部の参加者間でのみ会話をすることができるため、懇親会における会話をより円滑に行うことが可能となる。
また、会社間の協議にオンライン会議システムを利用する場合を考える。かかる会議では、途中で会社内のみで協議をした上で、相手方に回答をする必要が生じることがある。また、協議というほど大げさなものでないにしても、会議の進行中に、その進行を妨げない程度に、仲間内で疑問点などを確認しておきたい場面もある。通常のオンライン会議システムでは、このような仲間内での協議等を行うことができなかったが、本実施例では、ダイレクトトーク機能を用いることにより、これを実現することが可能となる。
以下、ダイレクトトーク機能を実現するための制御処理について説明する。
図3は、配信制御処理のフローチャートである。主として配信制御部120(図1参照)が実行する処理であり、ハードウェア的にはオンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議中、繰り返し実行される。
処理を開始すると、サーバは、各端末10から音声も含む画像データを入力する(ステップS10)。
そして、配信データに基づいて配信先を特定する(ステップS11)。図中に配信データの例を示した。配信データは、どの端末から受信したデータを、どの端末に配信するかを定義するデータである。図の例では、各行が発信端末を表し、各列が受信端末を表している。発信端末Aの行は、受信端末Dのみが「○」となっているから、端末Aから受信した画像データは、端末Dにのみ配信されることになる。逆に、端末Dから受信した画像データは、端末Aにのみ配信されることになる。即ち、端末AD間で、ダイレクトトークが行われている状態となる。
ダイレクトトークが行われている間、他の端末B、Cの会話が制限される訳ではない。従って、端末Bから受信した画像データは、端末Cに配信される。また、端末Cから受信した画像データは、端末B、Dに配信される。端末AD間ではダイレクトトークが行われているため、AD間の会話は端末B、Cには配信されないが、端末A、Dは設定次第で他の端末の会話を聞くことは可能である。端末Dは、端末Cの会話も聞くことができるよう設定しているため、ダイレクトトーク中であっても、端末Cからの画像データは、端末Dに配信されるのである。
このように配信データの設定次第で、全端末間で通常通り会話を行う状態、一部の端末間でダイレクトトークを行う状態などを制御することが可能となる。
そして、配信データに基づいて配信先を特定する(ステップS11)。図中に配信データの例を示した。配信データは、どの端末から受信したデータを、どの端末に配信するかを定義するデータである。図の例では、各行が発信端末を表し、各列が受信端末を表している。発信端末Aの行は、受信端末Dのみが「○」となっているから、端末Aから受信した画像データは、端末Dにのみ配信されることになる。逆に、端末Dから受信した画像データは、端末Aにのみ配信されることになる。即ち、端末AD間で、ダイレクトトークが行われている状態となる。
ダイレクトトークが行われている間、他の端末B、Cの会話が制限される訳ではない。従って、端末Bから受信した画像データは、端末Cに配信される。また、端末Cから受信した画像データは、端末B、Dに配信される。端末AD間ではダイレクトトークが行われているため、AD間の会話は端末B、Cには配信されないが、端末A、Dは設定次第で他の端末の会話を聞くことは可能である。端末Dは、端末Cの会話も聞くことができるよう設定しているため、ダイレクトトーク中であっても、端末Cからの画像データは、端末Dに配信されるのである。
このように配信データの設定次第で、全端末間で通常通り会話を行う状態、一部の端末間でダイレクトトークを行う状態などを制御することが可能となる。
サーバは、ステップS11の結果に従って、各端末に画像データを配信し(ステップS12)、会議データベースに配信データを格納して、データベースの内容を更新する(ステップSS13)。
実施例の処理では、音声を含む画像データの配信を制御しているため、ダイレクトトーク中は、音声だけでなく画像の配信も制限されることとなる。即ち、ダイレクトトーク中の参加者は、他の参加者の画像は、端末には表示されない状態となる。
これに代え、ダイレクトトークを音声データにのみ適用するものとしてもよい。つまり、音声を含まない画像データについては、配信データに依らず、常に全端末間で相互に配信するようにし、音声データのみ配信データに基づいて配信制御するようにしてもよい。画像データと音声データとが別々のデータとして扱われている場合には、それぞれを配信データによって配信制御すれば足りる。これに対し、音声を含む画像データとして一体的にデータが構成されている場合には、2つの方法が考えられる。一つは、音声データと画像データとを分離した上でそれぞれを個別に配信制御する方法である。もう一つは、両者を一体として配信するのであるが、配信データにおいて音声の配信が禁止されている端末に対しては、音声の再生を禁止するフラグを画像データに付した上で配信する方法である。端末は、音声を含む画像データを受信することになるが、フラグが付されているため、音声を消去して画像データのみを再生する。こうすることにより、実質的に音声を配信していないのと同じ効果を得ることができる。
実施例の処理では、音声を含む画像データの配信を制御しているため、ダイレクトトーク中は、音声だけでなく画像の配信も制限されることとなる。即ち、ダイレクトトーク中の参加者は、他の参加者の画像は、端末には表示されない状態となる。
これに代え、ダイレクトトークを音声データにのみ適用するものとしてもよい。つまり、音声を含まない画像データについては、配信データに依らず、常に全端末間で相互に配信するようにし、音声データのみ配信データに基づいて配信制御するようにしてもよい。画像データと音声データとが別々のデータとして扱われている場合には、それぞれを配信データによって配信制御すれば足りる。これに対し、音声を含む画像データとして一体的にデータが構成されている場合には、2つの方法が考えられる。一つは、音声データと画像データとを分離した上でそれぞれを個別に配信制御する方法である。もう一つは、両者を一体として配信するのであるが、配信データにおいて音声の配信が禁止されている端末に対しては、音声の再生を禁止するフラグを画像データに付した上で配信する方法である。端末は、音声を含む画像データを受信することになるが、フラグが付されているため、音声を消去して画像データのみを再生する。こうすることにより、実質的に音声を配信していないのと同じ効果を得ることができる。
図4は、配信データ管理処理のフローチャートである。この処理は、配信先を制御するための配信データの内容を、オンライン会議の参加者の端末10の操作に従って決定する処理である。主として配信制御部120(図1参照)が実行する処理であり、ハードウェア的にはオンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議中、繰り返し実行される。
処理を開始するとサーバは、参加者が各自の端末10に表示された画面を操作したか否かを検出する。特に操作が行われていない場合は(ステップS20)、配信データを変更する必要はないため、サーバは何も処理をすることなく配信データ管理処理を終了する。操作が行われた場合は(ステップS20)、その内容に応じて、それぞれの操作内容に応じた処理を実行する。
操作内容が、ダイレクトトークリクエストである場合(ステップS20)、即ち、いずれかの参加者が、他の参加者を指定して、ダイレクトトークの開催をリクエストした場合は、以下の処理を行う。
サーバは、操作内容に基づき、リクエスト元、リクエスト先を特定する。本実施例では、指名リクエスト、グループリクエストの2通りのリクエストの方法をとることができるものとした。
指名リクエストとは、他の参加者を個別に指定して行うリクエストである。この場合は、リクエスト先は、指定された参加者が利用する端末10ということになる。
グループリクエストとは、参加者が属するグループを指定して行うリクエストである。オンライン会議の参加者は、任意にグループを形成し、予め登録しておくことができる(図2の会議データベース171の「グループ」参照)。グループリクエストでは、このグループのいずれかを指定して、ダイレクトトークのリクエストをするのである。例えば、会社同士の会議では、同じ会社の参加者をグループとしておけば、個別に指名するまでなくグループ内の参加者に簡易にダイレクトトークのリクエストを送ることが可能となる。
サーバは、操作内容に基づき、リクエスト元、リクエスト先を特定する。本実施例では、指名リクエスト、グループリクエストの2通りのリクエストの方法をとることができるものとした。
指名リクエストとは、他の参加者を個別に指定して行うリクエストである。この場合は、リクエスト先は、指定された参加者が利用する端末10ということになる。
グループリクエストとは、参加者が属するグループを指定して行うリクエストである。オンライン会議の参加者は、任意にグループを形成し、予め登録しておくことができる(図2の会議データベース171の「グループ」参照)。グループリクエストでは、このグループのいずれかを指定して、ダイレクトトークのリクエストをするのである。例えば、会社同士の会議では、同じ会社の参加者をグループとしておけば、個別に指名するまでなくグループ内の参加者に簡易にダイレクトトークのリクエストを送ることが可能となる。
次に、サーバは、ダイレクトトーク中の相手をリクエスト先に追加する(ステップS22)。例えば、参加者AB間でダイレクトトークをしている最中に、参加者Cから参加者Aに対してダイレクトトークのリクエストが発信された場合を考える。このとき、参加者Cがダイレクトトークに参加するためには、参加者Bの承認も得るべきである。かかる観点から、サーバは、ダイレクトトークのリクエスト先(上述の例では参加者A)が、既にダイレクトトーク中である場合には、その相手先(上述の例では参加者B)もリクエスト先に追加するのである。
サーバは、ダイレクトトークの送信、および承認の結果をリクエストデータとして管理している。従って、サーバは、以上の処理に基づいて、新たに送信されることになるリクエストを追加することで、リクエストデータを更新する(ステップS23)。
そして、リクエストの送信先となる各端末の画面に、承認要求ボタンを表示させる(ステップS24)。
そして、リクエストの送信先となる各端末の画面に、承認要求ボタンを表示させる(ステップS24)。
操作内容が、リクエストの承認、またはボリュームの調整である場合は(ステップS20)、以下の処理を行う。リクエストの承認とは、先にステップS24で説明した「承認要求ボタン」が表示された端末の参加者が、これをクリック等して承認することを言う。リクエストが承認されると、サーバは、ダイレクトトークを成立させるよう配信データを変更する必要が生じる。
また、ボリュームの調整とは、参加者が他の参加者からの音量を個別に調整する操作のことを言う。ダイレクトトークが設定されると、一旦は、他の参加者の音声が配信されなくなる。例えば、参加者AB間でダイレクトトークが開始されると、他の参加者の音声は、一旦は、参加者ABには配信されない設定となる。しかし、本実施例では、ダイレクトトーク中でも他の参加者の会話を聞くことは許容されている。そこで、ダイレクトトーク中の参加者Aまたは参加者Bが、参加者Cの会話を聞けるように音量を調整したときには、サーバは参加者Cの音声を配信するように配信データを変更する必要が生じる。
以下で説明するのは、このように配信データを変更するための処理である。
また、ボリュームの調整とは、参加者が他の参加者からの音量を個別に調整する操作のことを言う。ダイレクトトークが設定されると、一旦は、他の参加者の音声が配信されなくなる。例えば、参加者AB間でダイレクトトークが開始されると、他の参加者の音声は、一旦は、参加者ABには配信されない設定となる。しかし、本実施例では、ダイレクトトーク中でも他の参加者の会話を聞くことは許容されている。そこで、ダイレクトトーク中の参加者Aまたは参加者Bが、参加者Cの会話を聞けるように音量を調整したときには、サーバは参加者Cの音声を配信するように配信データを変更する必要が生じる。
以下で説明するのは、このように配信データを変更するための処理である。
なお、ダイレクトトークが設定されたときに、他の参加者の音声を消去するのではなく、引き続き配信されるものとしてもよい。ダイレクトトークを開始した参加者は、必要に応じて、端末上で他の参加者の音量を小さくし、消音するようにしてもよい。かかる場合には、音量の調整に応じて配信データを変更する必要はなくなるため、以下の処理を省略するようにしても差し支えない。
処理を開始すると、サーバは、操作に従って、リクエストデータを更新する(ステップS30)。即ち、ダイレクトトークが承認された場合は、リクエストデータにおいて、対応するリクエストの記録を検索し、その状態を、「承認」に書き換えることになる。ボリュームの調整時は、リクエストの承認とは無関係であるため、リクエストデータの更新は必要ない。
リクエストがまだ全員に承認されていない場合には(ステップS31)、承認が得られた一部の参加者の間でのみダイレクトトークを成立させるべきではないため、サーバは、特に処理を行うことなく配信データ管理処理を終了する。この処理は、次のように場合を分けて行っても良い。例えば、未だダイレクトトークが成立していない状態で、グループリクエストのように、複数の参加者にリクエストを送信している場合は、その一部から承認が得られた段階で部分的にダイレクトトークを成立させても差し支えないと考えられる。一方、既にダイレクトトークを行っているときに、新たな参加者からのリクエストがなされた場合には、既存のダイレクトトークの参加者全員の承認が必要と言える。従って、ステップS31を、既にダイレクトトークがなされている場合と、そうでない場合に分けて処理するようにしても良い。
リクエストについて全員の承認が得られたときは(ステップS31)、サーバは、承認が得られたダイレクトトークを成立させるように配信データを更新する(ステップS32)。ボリュームの調整時も、全員の承認が得られたものとして、同様の処理を行う。こうすることで、操作に従った音声の配信が実現される。
操作内容が、ダイレクトトークの解除またはクリアの承認である場合は(ステップS20)、以下の処理を行う。解除とは、個別のダイレクトトークを終了させることを言い、クリアとは、自身が関係している全てのダイレクトトークを終了させることを言う。例えば、参加者Aが参加者B、Cとダイレクトトークを行っているとき、参加者Aは、参加者Bまたは参加者Cとのダイレクトトークを個別に「解除」することもできるし、参加者B、Cとのダイレクトトークを「クリア」して一括して終了させることもできる。
サーバは、処理を開始すると、まず解除またはクリアの操作に応じて、リクエストデータを更新する(ステップS40)。本実施例では、解除またはクリアされたダイレクトトークに対応するリクエストデータを削除するものとした。
次に、サーバは、配信データを更新する(ステップS41)。解除の場合は、指定されたダイレクトトークに関係していた端末の音声を他の端末にも配信するよう配信データを更新することになる。また、クリアの場合は、関係する全ダイレクトトークについて同様の処理を行うことになる。ただし、これは解除またはクリアを指示した端末から送信される音声についての処理であり、他の端末間でなされているダイレクトトークまで解除されるという趣旨ではない。
こうすることで、ダイレクトトークが解除またはクリアされ、他の端末も含めた会話が可能となる。
次に、サーバは、配信データを更新する(ステップS41)。解除の場合は、指定されたダイレクトトークに関係していた端末の音声を他の端末にも配信するよう配信データを更新することになる。また、クリアの場合は、関係する全ダイレクトトークについて同様の処理を行うことになる。ただし、これは解除またはクリアを指示した端末から送信される音声についての処理であり、他の端末間でなされているダイレクトトークまで解除されるという趣旨ではない。
こうすることで、ダイレクトトークが解除またはクリアされ、他の端末も含めた会話が可能となる。
図5は、配信制御の考え方を示す説明図である。配信データおよびリクエストデータの推移の例を示した。
左上の配信データD1は、通常時、即ち全ての端末間で音声が配信されている状態を示している。この状態で、端末Aから端末Dに対して、ダイレクトトークのリクエストが送信されたとする。すると、サーバは、これに対応するリクエストデータR1を生成する。図中のA→Dは、リクエストの発信端末がA、相手先がDであることを示している。
左上の配信データD1は、通常時、即ち全ての端末間で音声が配信されている状態を示している。この状態で、端末Aから端末Dに対して、ダイレクトトークのリクエストが送信されたとする。すると、サーバは、これに対応するリクエストデータR1を生成する。図中のA→Dは、リクエストの発信端末がA、相手先がDであることを示している。
次に、このリクエストに対して端末Dで承認されたとする。サーバは、この操作に応じて、リクエストデータR2のように、リクエストのステータスを「承認」に変更する。図中の「○」が承認を表している。
そして、承認されたリクエストに応じて、端末AD間でダイレクトトークが実現するよう配信データD1を配信データD2のように変更する。
つまり、データD2aに示すように、端末Aからの音声は、端末Dにのみ配信する。端末B、端末C欄が「×」となっているのは、これらの端末への配信が禁止されることを表している。同様に、データD2dに示すように、端末Dからの音声は、端末Aにのみ配信する。
また、端末AD間でダイレクトトークが成立したとき、端末B,Cの音声も、一旦、端末Aおよび端末Dに配信されないように設定される。従って、データD2bに示すように、端末Bから端末Dへの配信は行われない状態となる。
端末Cから端末Dへの配信も、一旦は、「×」とされる。しかし、端末Dの操作で、端末Cからの音声を聞くように、音量を調整した場合は、データD2cに示すように、配信データは「○」に設定されることとなる。
つまり、データD2aに示すように、端末Aからの音声は、端末Dにのみ配信する。端末B、端末C欄が「×」となっているのは、これらの端末への配信が禁止されることを表している。同様に、データD2dに示すように、端末Dからの音声は、端末Aにのみ配信する。
また、端末AD間でダイレクトトークが成立したとき、端末B,Cの音声も、一旦、端末Aおよび端末Dに配信されないように設定される。従って、データD2bに示すように、端末Bから端末Dへの配信は行われない状態となる。
端末Cから端末Dへの配信も、一旦は、「×」とされる。しかし、端末Dの操作で、端末Cからの音声を聞くように、音量を調整した場合は、データD2cに示すように、配信データは「○」に設定されることとなる。
この状態で、端末Bから端末Aに対してダイレクトトークのリクエストが発信されたとする。すると、サーバは、BからAに対するリクエストデータR3を生成する。また、既に端末AD間でダイレクトトークが成立しているため、その相手先である端末Dに対しても、端末Bからのリクエストを追加する。
このリクエストに対して、端末Aで承認されたとすると、サーバは、リクエストデータR4のように、端末Bから端末Aに対するリクエストを「承認」状態とする。しかし、端末Dからの承認が得られていない状態では、全員の承認が得られていないことになるため(図4のステップS31参照)、配信データD2は更新されない。
この状態で、端末AD間のダイレクトトークが解除されたとする。すると、端末Bから端末Aに対するリクエストは承認可能な状態となるため、サーバは、これに応じて配信データD2を配信データD3のように変更する。即ち、端末AB間でダイレクトトークを成立させる。また、端末AD間のダイレクトトークが成立した時点では、端末C、Dの音声も端末A、Bには配信されなくなるため、結果として、端末CD間でもダイレクトトークと同様の状態となっている。
この状態でさらに、端末AB間のダイレクトトークが解除されれば、ダイレクトトークはいずれの端末間にも成立していないこととなるから、配信データD3は、配信データD1の状態に変更され、全端末間での配信が行われることになる。
この状態でさらに、端末AB間のダイレクトトークが解除されれば、ダイレクトトークはいずれの端末間にも成立していないこととなるから、配信データD3は、配信データD1の状態に変更され、全端末間での配信が行われることになる。
図6は、オンライン会議システムにおけるダイレクトトークの画面例を示す説明図である。図6(a)にはダイレクトトークの成立前の状態、図6(b)にはダイレクトトーク中の画面を示した。
図6(a)に示す通り、この例では、左上には、自身の画像が表示され、その他の領域には、それぞれ参加者A~Cの画像が表示されている。自身の画像には、ダイレクトトークのリクエストを、グループ単位で指定するためのボタン51が表示されている。いずれかのボタンをクリックすることにより、グループ1またはグループ2に対するリクエストを発信することができる。
また、各参加者A~Cの画像には、それぞれ「ダイレクトトーク」と表示したボタン52が表示される。個別の参加者を選択してダイレクトトークをリクエストする際には、このボタンをクリックすればよい。図6(a)の例では、参加者Aに対してダイレクトトークのリクエストを発信したため、参加者Aのボタン52のみ白黒反転して表示されている。
また、各参加者A~Cの画像には、それぞれ「ダイレクトトーク」と表示したボタン52が表示される。個別の参加者を選択してダイレクトトークをリクエストする際には、このボタンをクリックすればよい。図6(a)の例では、参加者Aに対してダイレクトトークのリクエストを発信したため、参加者Aのボタン52のみ白黒反転して表示されている。
各参加者A~Cの画面には、音量調整のためのボリューム53が表示されている。オンライン会議中に、ボリューム53をスライドさせることで、各参加者の音量を個別に調整することが可能である。図の例では、参加者Aの音量は大きく、参加者Cの音量は小さく設定され、参加者Bは消音されている。
本実施例では、端末10は、それぞれの参加者の音声を含む画像データを受信して、再生することで音声を再生する。参加者の画像データは、個別のデータとして配信されるため、音量の調整も個別に可能である。即ち、端末10では、複数の音声を再生する処理が、並行して行われることになる。実施例のオンライン会議システム100では、画面に表示されたボリューム53の操作に応じた音量指示が端末10の再生機能に指示されるよう構成することで、個別の音量調整を実現している。
音量調整の方法は、端末10の機能に依存する方法に限らず、サーバ側で実現するようにしてもよい。この場合は、端末から各参加者に対するボリューム53の調整状態をサーバが受信し、これに応じた音量で各参加者の音声を合成した状態で端末に配信するようにすればよい。
本実施例では、端末10は、それぞれの参加者の音声を含む画像データを受信して、再生することで音声を再生する。参加者の画像データは、個別のデータとして配信されるため、音量の調整も個別に可能である。即ち、端末10では、複数の音声を再生する処理が、並行して行われることになる。実施例のオンライン会議システム100では、画面に表示されたボリューム53の操作に応じた音量指示が端末10の再生機能に指示されるよう構成することで、個別の音量調整を実現している。
音量調整の方法は、端末10の機能に依存する方法に限らず、サーバ側で実現するようにしてもよい。この場合は、端末から各参加者に対するボリューム53の調整状態をサーバが受信し、これに応じた音量で各参加者の音声を合成した状態で端末に配信するようにすればよい。
ダイレクトトークが成立すると、図6(b)に示すように、ダイレクトトークをしている参加者同士を結ぶリンク56が表示される。図の例では、自身と参加者Aとがダイレクトトークをしていることが示されている。このリンク56は、参加者Aの端末の画面にも同様に表示される。参加者Bおよび参加者Cの端末に表示される画面には、表示されない。こうすることで、自身が参加者Aとダイレクトトークをしていることが、参加者B、Cに認識されるのを回避することができる。
変形例として、ダイレクトトークのリンク56を、関係ない参加者B,Cの端末に表示するようにしてもよいし、かかる表示を行うか否かを選択可能としてもよい。
変形例として、ダイレクトトークのリンク56を、関係ない参加者B,Cの端末に表示するようにしてもよいし、かかる表示を行うか否かを選択可能としてもよい。
リンク56の一端には、解除ボタン55が表示されている。これをクリックすることにより、成立しているダイレクトトークを解除することができる。自身が、参加者A、Cとの間でダイレクトトークしている場合のように複数のダイレクトトークが成立しているときは、参加者A、Cとの間に、それぞれリンク56および解除ボタン55が表示されることになるため、解除ボタン55を利用して、ダイレクトトークを個別に解除することが可能である。
また、自身の画面には、「クリア」のためのボタン54が表示される。ボタン54を操作すると、自身が関係しているダイレクトトークを一斉解除することができる。
また、自身の画面には、「クリア」のためのボタン54が表示される。ボタン54を操作すると、自身が関係しているダイレクトトークを一斉解除することができる。
自身に対するダイレクトトークのリクエストが発信されたときは、図中の参加者Bの画面に示したように「リクエスト」のボタン57が点滅表示される。ボタン57をクリックすることにより、このリクエストを「承認」することができる。実施例では、リクエストを拒絶するための操作は設けなかったが、拒絶可能としてもよい。
以上で説明した処理、および画面表示によって、本実施例のオンライン会議システム100は、参加者の一部でダイレクトトークを実現することができる。
上述の処理、画面表示は、一例に過ぎず、種々の変形例を構成することも可能である。も
上述の処理、画面表示は、一例に過ぎず、種々の変形例を構成することも可能である。も
C.会議促進機能:
次に、会議促進機能について説明する。本実施例では、オンライン会議を効率的・効果的に進行するために会議促進機能を有している。会議促進機能としては、各参加者の発言の程度を表示することで、参加者に対して発言を促す機能;発言中に他の参加者からの反応が表示されることで、発言を促進したり、考えを再考したりする機会を与える機能などが用意されている。以下、これらの機能について説明する。
次に、会議促進機能について説明する。本実施例では、オンライン会議を効率的・効果的に進行するために会議促進機能を有している。会議促進機能としては、各参加者の発言の程度を表示することで、参加者に対して発言を促す機能;発言中に他の参加者からの反応が表示されることで、発言を促進したり、考えを再考したりする機会を与える機能などが用意されている。以下、これらの機能について説明する。
図7は、参加者画面生成処理のフローチャートである。主として画面生成部130、画像入力部140、スタンプ処理部150、分析処理部160(図1参照)が実行する処理であり、ハードウェア的には、オンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議の開催中、繰り返し実行される。
処理を開始すると、サーバは、各端末から音声を含む画像データを入力する(ステップS50)。そして、発言と言える音声が含まれている画像データが、いずれの端末から送信されたものであるかを判断することにより、オンライン会議における発言者を特定する(ステップS51)。
また、他の参加者から発言者へのスタンプ情報を入力する(ステップS52)。スタンプ情報としては、発言に対して賛成、驚き、反対などの意見、感想を表すマークを利用することができる。オンライン会議システム100において、これらのスタンプを予め用意しておき、参加者は、これらの一部を選択することで、発言に対して、自身の意見、感想を簡易に、かつ発言を妨げることなく、発信することができる。
スタンプ情報には、各参加者からのテキストデータを含めてもよい。こうすることで、スタンプで表しきれない具体的な意見、感想などを伝えることが可能となる。
スタンプ情報は、発言者に限らず、誰に対しても送信可能としてもよい。ただし、かかる態様でスタンプを発信可能とすると、それぞれのスタンプの趣旨が不明確となるとともに、オンライン会議中に雑多な情報が交換され、かえって会議の進行を阻害するおそれもある。そこで、本実施例では、ステップS51において発言者を特定し、発言者に対するスタンプ情報の発信のみを有効に扱うものとした。
スタンプ情報には、各参加者からのテキストデータを含めてもよい。こうすることで、スタンプで表しきれない具体的な意見、感想などを伝えることが可能となる。
スタンプ情報は、発言者に限らず、誰に対しても送信可能としてもよい。ただし、かかる態様でスタンプを発信可能とすると、それぞれのスタンプの趣旨が不明確となるとともに、オンライン会議中に雑多な情報が交換され、かえって会議の進行を阻害するおそれもある。そこで、本実施例では、ステップS51において発言者を特定し、発言者に対するスタンプ情報の発信のみを有効に扱うものとした。
次にサーバは、発言者以外の参加者の感情分析処理を行う(ステップS53)。本実施例では、各参加者の表情に基づいて感情分析することとした。この処理は、各端末から受信した参加者の画像を用い、例えば、人工知能を利用して行うことができる。感情分析は、既に周知の技術が存在しているため、これらを利用してもよい。
感情分析としては、例えば、利用者の視線が、画面から外れたか否かを評価し、その回数や頻度に応じて、利用者の発言に対する好感度を判断するようにしてもよい。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
サーバは、また、各参加者の発言時間、サイレント時間を算出する(ステップS54)。発言時間とは、発言の長さである。サイレント時間とは、発言をせずにいる時間、即ち、最終の発言を終えてからの経過時間である。
図中に、発言時間、サイレント時間の算出方法を模式的に示した。図中のハッチングを付した部分が発言をしていることを表している。参加者Aが発言a1をした後、参加者Bが発言b1をし、その後、再び発言者Aが発言a2をしている。ステップS54では、現在の状況を示すため、参加者Aについては、現在行っている発言a2の長さが発言時間となる。発言を継続する限り、発言時間は徐々に増加していくことになる。発言時間が表示されれば、参加者Aは、オンライン会議中に、自分が長時間話し過ぎであることを認識でき、発言をコンパクトに整理して話すように心がけるなど、会議の効率を向上させることが可能となる。
参加者Bについては、発言b1を終えた後の経過時間がサイレント時間となる。発言をしなければ、サイレント時間も徐々に増加することになる。サイレント時間を表示することにより、参加者Bに対して発言を促すことができる。
図中に、発言時間、サイレント時間の算出方法を模式的に示した。図中のハッチングを付した部分が発言をしていることを表している。参加者Aが発言a1をした後、参加者Bが発言b1をし、その後、再び発言者Aが発言a2をしている。ステップS54では、現在の状況を示すため、参加者Aについては、現在行っている発言a2の長さが発言時間となる。発言を継続する限り、発言時間は徐々に増加していくことになる。発言時間が表示されれば、参加者Aは、オンライン会議中に、自分が長時間話し過ぎであることを認識でき、発言をコンパクトに整理して話すように心がけるなど、会議の効率を向上させることが可能となる。
参加者Bについては、発言b1を終えた後の経過時間がサイレント時間となる。発言をしなければ、サイレント時間も徐々に増加することになる。サイレント時間を表示することにより、参加者Bに対して発言を促すことができる。
サーバは、各参加者の発言率も算出する(ステップS55)。発言率は、オンライン会議において、各参加者が、どれだけの割合で発言しているかを示す割合である。本実施例では、「各参加者が発言を行った累計時間/オンライン会議の時間」で発言率を算出するのとした。オンライン会議の時間には、全員が沈黙している時間も含まれる。これに代えて、「各参加者が発言を行った累計時間/全参加者による総発言時間」としてもよい。こうすれば、発言がされている時間のみを対象として、各参加者の割合を把握することができる。また、発言の中には、単なる返事も含まれるため、まとまった意見を述べたと判断される程度の所定の長さを超える発言のみを対象として、発言率を算出してもよい。
サーバは、以上の処理結果を表す画像データを生成し、各端末に送信する(ステップS56)。
なお、この例においてステップS52~S55で行ったそれぞれの処理は、一部を省略してもよい。
なお、この例においてステップS52~S55で行ったそれぞれの処理は、一部を省略してもよい。
図8は、オンライン会議システムにおける画面例を示す説明図である。左上に自身の画像、他の領域に参加者A~Cの画像が表示されている。
自身を含め各参加者の画面には、発言時間、サイレント時間のインジケータ61が表示される。自身が発言中は、図示するように発言時間が徐々に増大していくことになる。逆に、発言をしていないときは、破線で示すようにサイレント時間が増大していくことになる。図の例は、自身が発言中の状態を示しているため、参加者A~Cは、それぞれサイレント時間が表示されている。
自身を含め各参加者の画面には、発言時間、サイレント時間のインジケータ61が表示される。自身が発言中は、図示するように発言時間が徐々に増大していくことになる。逆に、発言をしていないときは、破線で示すようにサイレント時間が増大していくことになる。図の例は、自身が発言中の状態を示しているため、参加者A~Cは、それぞれサイレント時間が表示されている。
自身の画面の右下には、各参加者の発言率を示すチャート62が表示される。チャート62のハッチングを付した部分が自身の発言率を表している。発言率は、全参加者で共通の表示となるため、他の参加者の画面には表示されない。
自身の画面の左側には、スタンプ60が表示される。ハートマークは発言に対する賛成を表すスタンプ、!は驚きを表すスタンプ、NGは反対を表すスタンプである。それぞれ、自身の発言中に、参加者A~Cが自身に宛てて発信したスタンプである。このようにスタンプが表示されることにより、自身の発言に対する反応を知ることができる利点がある。スタンプの種類は、これらに限られるものではない。また、画面のいずれかの領域に、他の参加者から発信されたテキストを表示可能としてもよい。
逆に、自身が他の参加者に対してスタンプを発信することもできる。スタンプを発信するためのインタフェースは、種々のタイプが考えられる。例えば、各参加者の画面内に、各スタンプを表示しておき、これをクリックすることで、そのスタンプを発信可能としてもよい。また、スタンプを画面外に表示しておき、これを各参加者の画面内にドラッグすることで、発信可能としてもよい。
逆に、自身が他の参加者に対してスタンプを発信することもできる。スタンプを発信するためのインタフェースは、種々のタイプが考えられる。例えば、各参加者の画面内に、各スタンプを表示しておき、これをクリックすることで、そのスタンプを発信可能としてもよい。また、スタンプを画面外に表示しておき、これを各参加者の画面内にドラッグすることで、発信可能としてもよい。
各参加者の画面には、感情分析の結果が表示される。本実施例では、発言に対する賛成、反対、どちらでもない、分からないなどの意見を感情分析で判断するものとし、その結果を、表情のマーク63で表すものとした。参加者Aの画面には、発言に対して賛成であることを表すマーク63が表示されている。参加者Cのマークは、どちらでもないことを表している。マークは、画面内のいずれの部分に表示してもよく、マーク65のように参加者Bの顔に重ねて表示するようにしてもよい。
実施例のオンライン会議システムによれば、図8に示した表示を行うことにより、各人の発言を促進することができる。また、現実の会議では、発言者に対して、発言中に、発言を妨げることなく意見や感想を送ることは困難であるが、本実施例では、スタンプを有効に活用することにより、これを実現することができる。従って、現実の会議以上に、議論を活性化させることも可能となる。さらに、感情分析を利用することにより、各参加者の本心を推測することができる利点もある。
図8の画面表示は、一例に過ぎず、この一部を省略してもよいし、この他にも種々の表示を行ってもよい。
図8の画面表示は、一例に過ぎず、この一部を省略してもよいし、この他にも種々の表示を行ってもよい。
D.会議レビュー機能:
次に、会議レビュー機能について説明する。会議レビュー機能とは、オンライン会議の終了後に、会議における各参加者の発言の状況を分析して表示する機能である。この機能を活用することにより、各参加者は、自身が会議に消極的であった、自身の発言が長すぎる癖がある、などを評価することができる。かかる評価は、以後のオンライン会議の質向上を図ることが可能となる。以下、会議レビュー機能の処理および表示画面等について説明する。
次に、会議レビュー機能について説明する。会議レビュー機能とは、オンライン会議の終了後に、会議における各参加者の発言の状況を分析して表示する機能である。この機能を活用することにより、各参加者は、自身が会議に消極的であった、自身の発言が長すぎる癖がある、などを評価することができる。かかる評価は、以後のオンライン会議の質向上を図ることが可能となる。以下、会議レビュー機能の処理および表示画面等について説明する。
図9は、会議レビュー処理のフローチャートである。オンライン会議が終了後に、種々の情報を分析するための処理である。この処理は、主として画面生成部130、分析処理部160(図1参照)が行うものであり、ハードウェア的にはオンライン会議システム100を構築するサーバが実行する処理である。この処理は、いずれかの利用者が、起動することで開始される。
処理を開始すると、サーバは、まず処理を起動した利用者のユーザIDを入力する(ステップS60)。そして、この利用者が参加した会議リストを表示し、分析の対象とする会議の選択を受け付ける(ステップS61)。図1で説明した通り、ユーザデータベース170には、オンライン会議への参加履歴が記録されているから、ステップS60で入力されたユーザIDに対応する履歴を参照すればよい。
図中に、会議リストのイメージを示した。会議の日時、タイトル、参加者など、レビューの対象とする会議を選択する助けとなる情報が表示される。利用者は、このリストから、いずれかをクリック等で選択すればよい。
図中に、会議リストのイメージを示した。会議の日時、タイトル、参加者など、レビューの対象とする会議を選択する助けとなる情報が表示される。利用者は、このリストから、いずれかをクリック等で選択すればよい。
対象となる会議が選択されると、サーバは、会議データを読み込む(ステップS62)。会議データは、会議データベース171に記録されている。
そして、キーワード抽出処理を実行する(ステップS63)。この処理内容は後述するが、各参加者の発言を音声認識し、そこに含まれるキーワードを抽出するのである。キーワードは、発言と対応づけて抽出される。
そして、キーワード抽出処理を実行する(ステップS63)。この処理内容は後述するが、各参加者の発言を音声認識し、そこに含まれるキーワードを抽出するのである。キーワードは、発言と対応づけて抽出される。
サーバは、次に分析データ生成処理を実行する(ステップS64)。本実施例では、次の4種類のデータを生成する。
第1に、発言実績として、発言時間と回数の分布を集計する。これは、全参加者について集計してもよいし、本処理を実行している参加者についてのみ行っても良い。この集計により、参加者が、どれくらいの発言時間で発言をすることが多いかを知ることができ、自分が長めに発言する傾向にあるかといった癖を知ることができる。全参加者について集計すれば、他の参加者との比較により、自分の発言時間の傾向をより客観的に知ることが可能となる。
第2に、反応分析として、スタンプの種類ごとに「スタンプ数/発言回数」を算出する。こうすることにより、自身の発言に対して、他の参加者の賛成、驚き、反対などの意見、感想が、どのような傾向にあるのかを知ることができる。反応分析は、この他にも、「賛成」または「反対」のスタンプを最も多く得た回数など、自身の発言を評価できる種々の分析を行うことができる。
第3に、各参加者の発言割合である。これは、さきに図7のステップS55で説明したのと同様の処理により、会議終了後に最終の実績として求めるものである。発言割合を求めることにより、自身が、どの程度、積極的にオンライン会議に参加していたかを評価することができる。
第4に、総合評価である。総合評価は、種々の方法で求めることができる。例えば、第1~第3の分析結果を、それぞれの基準で点数化し、これを合計して点数を求めても良い。また、総合評価を、積極性、発言長さなどの要素に分け、それぞれの要素ごとに、第1~第3の分析結果を点数化してもよい。この他、種々の方法で求めることができる。総合評価は、必ずしも理論的に「正当な」評価である必要はない。オンライン会議ごとに、所定の基準で定義された客観的な総合評価が表示されれば、利用者に対して、会議の質を向上させる動機付けとなり得る。
第1に、発言実績として、発言時間と回数の分布を集計する。これは、全参加者について集計してもよいし、本処理を実行している参加者についてのみ行っても良い。この集計により、参加者が、どれくらいの発言時間で発言をすることが多いかを知ることができ、自分が長めに発言する傾向にあるかといった癖を知ることができる。全参加者について集計すれば、他の参加者との比較により、自分の発言時間の傾向をより客観的に知ることが可能となる。
第2に、反応分析として、スタンプの種類ごとに「スタンプ数/発言回数」を算出する。こうすることにより、自身の発言に対して、他の参加者の賛成、驚き、反対などの意見、感想が、どのような傾向にあるのかを知ることができる。反応分析は、この他にも、「賛成」または「反対」のスタンプを最も多く得た回数など、自身の発言を評価できる種々の分析を行うことができる。
第3に、各参加者の発言割合である。これは、さきに図7のステップS55で説明したのと同様の処理により、会議終了後に最終の実績として求めるものである。発言割合を求めることにより、自身が、どの程度、積極的にオンライン会議に参加していたかを評価することができる。
第4に、総合評価である。総合評価は、種々の方法で求めることができる。例えば、第1~第3の分析結果を、それぞれの基準で点数化し、これを合計して点数を求めても良い。また、総合評価を、積極性、発言長さなどの要素に分け、それぞれの要素ごとに、第1~第3の分析結果を点数化してもよい。この他、種々の方法で求めることができる。総合評価は、必ずしも理論的に「正当な」評価である必要はない。オンライン会議ごとに、所定の基準で定義された客観的な総合評価が表示されれば、利用者に対して、会議の質を向上させる動機付けとなり得る。
サーバは、以上の分析結果を表す画像データを生成し、端末に出力する(ステップS65).本実施例では、ガントチャート、分析レポートの2種類の画面を用意した。もちろん、出力画面は、これらに限られるものではない。
これらの画面は、利用者が表示切換を指示すれば(ステップS66)、切り換えることができる。以上が、会議レビュー処理の内容である。
これらの画面は、利用者が表示切換を指示すれば(ステップS66)、切り換えることができる。以上が、会議レビュー処理の内容である。
図10は、キーワード抽出処理のフローチャートである。会議レビュー処理(図9)のステップS63に相当する処理である。
処理を開始すると、サーバは、音声データを入力する(ステップS70)。音声を含む画像データを用いている場合は、そこから音声部分だけを抜き出せばよい。
そして、音声データに基づいて音声認識処理を行う(ステップS71)。音声認識は、既に周知の技術が存在するので、それを利用すればよい。
次に、音声認識によって得られたテキストデータを形態素解析し、単語を抽出する(ステップS72)。形態素解析も、周知の技術を適用可能である。こうしてキーワードとなる候補の単語が抽出されたことになる。
処理を開始すると、サーバは、音声データを入力する(ステップS70)。音声を含む画像データを用いている場合は、そこから音声部分だけを抜き出せばよい。
そして、音声データに基づいて音声認識処理を行う(ステップS71)。音声認識は、既に周知の技術が存在するので、それを利用すればよい。
次に、音声認識によって得られたテキストデータを形態素解析し、単語を抽出する(ステップS72)。形態素解析も、周知の技術を適用可能である。こうしてキーワードとなる候補の単語が抽出されたことになる。
次にサーバは、非候補単語を除外する(ステップS73)。非候補単語とは、オンライン会議中に頻出するとしても、キーワードとはなり得ない単語である。例えば、代名詞、指示代名詞や、今日、昨日、明日のように日時を表す単語が挙げられる。非候補単語は、これらをデータベースとして登録しておけばよい。また、キーワードを抽出した結果を、オペレータがチェックすることで、非候補単語のデータベースを更新可能としてもよい。
サーバは、抽出された単語にランキングをつける(ステップS74)。本実施例では、使用頻度、固有名詞、インターネットの検索回数、キーワードデータベースなどの基準でランキングをつけるものとした。
使用頻度とは、オンライン会議中に使用される回数である。一人が使用するよりも複数人が使用している方がキーワードとしての重要性は高いと考えられるため、単に使用回数ではなく、使用人数で評価してもよい。
固有名詞は、プロジェクト名、イベント名など、オンライン会議のテーマとして固有名詞が含まれることが多く、また固有名詞は会話の内容を想起したり、特定したりする手がかりとなりやすいため、高ランキングとした。一方、固有名詞は、人名や地名など、キーワードに適さないこともあり得るため、例えば、複数人が共通の固有名詞を使用しているときにのみランキングをつけるようにしてもよい。
インターネットの検索回数は、インターネットの種々の検索エンジンで頻出のキーワードである。これらについては、検索エンジンのサイトなどにアクセスすることにより取得することができる。
また、キーワードデータベースは、利用者が予め登録しておいたキーワードのデータベースである。こうすることにより、特殊な単語であっても、漏れなくキーワードとして抽出することが可能となる。
キーワードの抽出は、上述した他の基準を用いても良い。また、複数の基準については、優先度を設けて適用してもよい。
使用頻度とは、オンライン会議中に使用される回数である。一人が使用するよりも複数人が使用している方がキーワードとしての重要性は高いと考えられるため、単に使用回数ではなく、使用人数で評価してもよい。
固有名詞は、プロジェクト名、イベント名など、オンライン会議のテーマとして固有名詞が含まれることが多く、また固有名詞は会話の内容を想起したり、特定したりする手がかりとなりやすいため、高ランキングとした。一方、固有名詞は、人名や地名など、キーワードに適さないこともあり得るため、例えば、複数人が共通の固有名詞を使用しているときにのみランキングをつけるようにしてもよい。
インターネットの検索回数は、インターネットの種々の検索エンジンで頻出のキーワードである。これらについては、検索エンジンのサイトなどにアクセスすることにより取得することができる。
また、キーワードデータベースは、利用者が予め登録しておいたキーワードのデータベースである。こうすることにより、特殊な単語であっても、漏れなくキーワードとして抽出することが可能となる。
キーワードの抽出は、上述した他の基準を用いても良い。また、複数の基準については、優先度を設けて適用してもよい。
こうして単語にランキングが付されると、サーバは、その上位所定数をキーワードとして特定し、出力する(ステップS75)。このキーワードは、会議レビュー処理(図9)の画面表示等に活用される。なお、抽出したキーワードは、会議データベース171に発言と対応付けて記録しておいてもよい。
次に、会議レビュー処理における表示画面例について説明する。本実施例では、ガントチャートおよび分析レポートの2つの画面を用意した。以下、順に説明する。
図11は、ガントチャートの表示例を示す説明図である。ガントチャートでは、横軸を時間として、オンライン会議の各参加者の発言が帯状のグラフで表示される。図の例では、参加者A~参加者Dの4人の発言が表示されている。それぞれ四角の発言枠70などが、発言を行っていることを表している。
それぞれの発言枠70は、音声データと連動させてもよい。例えば、発言枠70をクリックすると、当該発言が再生されたり、発言枠70のクリックする位置に応じて、それに対応した時刻の音声を再生されるようにしてもよい。音声データと併せて画像データを再生可能としてもよい。
それぞれの発言枠70は、音声データと連動させてもよい。例えば、発言枠70をクリックすると、当該発言が再生されたり、発言枠70のクリックする位置に応じて、それに対応した時刻の音声を再生されるようにしてもよい。音声データと併せて画像データを再生可能としてもよい。
会議中は、他人の発言中に、別の参加者が発言を行うこともある。図の例では、発言枠70で示した参加者Aの発言中に、参加者Bが発言を開始している。このような場合、本実施例では、後から開始した発言を開始した場合、他人の発言にかぶっている部分には、図中のハッチングで付した部分のように強調表示72を施す。他のハッチングを施した部分も、同様に、かぶせて発言を行った箇所を表している。他人の発言にかぶせて発言をすることは、会議中はあまり好ましい態度とは言えないため、このように強調表示をすることにより、当該参加者に対して、次回から、かかる発言を控えるよう気づかせる効果がある。
各発言には、発言中に送られたスタンプ71も併せて表示している。こうすることにより、それぞれの発言に対して、他の参加者が、どのように反応したかを視覚的に把握することができ、オンライン会議を通じて、重要と考えられる発言を容易に特定することが可能となる。
また、各参加者の発言枠を表示するエリアの下側には、各発言に対応して抽出されたキーワードを表示している。こうすることにより、それぞれの発言が、どのようなテーマに関するものであったかを、容易に想起することが可能となる。
図12は、分析レポートの表示例を示す説明図である。
左上には、利用者の氏名、および分析対象となった会議の日時、テーマ、参加者などの情報が表示される。
左下には、発言実績が表示されている。本実施例では、発言長さを横軸にとり、それぞれの発言長さに該当する発言回数を棒グラフで表した。発言時間は、1分単位などで量子化して集計すればよい。
発言実績には、併せて自身の発言長さの平均が表示される。他の参加者も含めた全体の平均を示しても良い。こうすることにより、自身の1回当たりの発言が、長めなのか短めなのかの傾向を知ることができ、以後、発言の質を向上させることが可能となる。
また、発言実績には、有効発言率も示した。発言の中には、単純に返事をしたり、相づちを打ったりするなど、意見としてのまとまりのない発言もある。そこで、自身の全発言のうち、所定の時間以上の発言を有効発言とし、その割合を有効発言率として求めた。有効発言か否かの基準となる時間は、任意に決めることができる。
左上には、利用者の氏名、および分析対象となった会議の日時、テーマ、参加者などの情報が表示される。
左下には、発言実績が表示されている。本実施例では、発言長さを横軸にとり、それぞれの発言長さに該当する発言回数を棒グラフで表した。発言時間は、1分単位などで量子化して集計すればよい。
発言実績には、併せて自身の発言長さの平均が表示される。他の参加者も含めた全体の平均を示しても良い。こうすることにより、自身の1回当たりの発言が、長めなのか短めなのかの傾向を知ることができ、以後、発言の質を向上させることが可能となる。
また、発言実績には、有効発言率も示した。発言の中には、単純に返事をしたり、相づちを打ったりするなど、意見としてのまとまりのない発言もある。そこで、自身の全発言のうち、所定の時間以上の発言を有効発言とし、その割合を有効発言率として求めた。有効発言か否かの基準となる時間は、任意に決めることができる。
下の中央には、反応分析結果を示した。自身の発言に対して、他の参加者の反応を比率で表している。図の例では、ハートマーク、即ち賛成のスタンプが得られる頻度が、半分弱あったことを表している。
反応分析は、種々の方法で求めることができる。例えば、自身の1回の発言に対して、4人の参加者のうち2人が賛成、1人が反対、1人が反応なし、であったとすれば、賛成50%、反対25%、反応なし25%となる。このような分析を、発言ごとに行った後、全発言について平均を求めるようにしてもよい。
また別の方法として、賛成、反対などのスタンプ全体を100%として、意見ごとの比率を求めても良い。この場合は、「反応なし」の割合は分析結果に表れないことになる。
反応分析は、種々の方法で求めることができる。例えば、自身の1回の発言に対して、4人の参加者のうち2人が賛成、1人が反対、1人が反応なし、であったとすれば、賛成50%、反対25%、反応なし25%となる。このような分析を、発言ごとに行った後、全発言について平均を求めるようにしてもよい。
また別の方法として、賛成、反対などのスタンプ全体を100%として、意見ごとの比率を求めても良い。この場合は、「反応なし」の割合は分析結果に表れないことになる。
右下には、オンライン会議における各参加者の発言割合を示した。図中のハッチングを付した部分が自身の発言割合である。算出方法は、参加者画面生成処理(図7)のステップS55で説明した通りである。
右上には、オンライン会議の総合評価を示した。まず、積極性、発言長さ、有効性、説得力、協調性という項目に分けたレーダーチャートが表示される。積極性は、例えば、発言回数、有効発言率、発言割合などに対して、所定の係数を乗じて点数化する方法をとることができる。他の項目についても、同様に、オンライン会議の分析結果に対して、項目に応じた演算式を定義して点数化すればよい。こうして得られた点数をプロットすれば、レーダーチャートを描くことができる。
また、右上には、総合評価として点数を示した。この点数も、種々の方法で算出することができ、例えば、各項目が満点の場合のレーダーチャートの面積を100点とし、実際に得られたレーダーチャートの面積に基づいて点数を定めても良い。
また、右上には、総合評価として点数を示した。この点数も、種々の方法で算出することができ、例えば、各項目が満点の場合のレーダーチャートの面積を100点とし、実際に得られたレーダーチャートの面積に基づいて点数を定めても良い。
分析レポートは、利用者の特定のオンライン会議についての結果だけでなく、当該利用者の過去のオンライン会議の結果との比較や他の参加者との比較などを表示してもよい。
また、オンライン会議に参加した全員の発言等を集計し、全員をまとめた分析として表示することも可能である。
また、オンライン会議に参加した全員の発言等を集計し、全員をまとめた分析として表示することも可能である。
本実施例では、上述した会議レビュー機能により、オンライン会議を実施した後に、各参加者の発言内容、参加態度、発言の癖などを振り返ることができる。こうしたレビューを踏まえて次のオンライン会議に臨むことにより、会議の効率を向上させることが可能となる。
また、本実施例では、図11に示したように、各発言に他の参加者の反応やキーワードを対応づけて表示するため、オンライン会議中の発言の内容を容易に想起したり、重要な発言を容易に見つけたりすることができる。
実施例では、会議レビュー処理は、オンライン会議の終了後に実施するものとして説明したが、この処理を、会議中に随時、実施するものとしてもよい。こうすれば、会議を行いながら、その質向上を図ることが可能となる。
また、本実施例では、図11に示したように、各発言に他の参加者の反応やキーワードを対応づけて表示するため、オンライン会議中の発言の内容を容易に想起したり、重要な発言を容易に見つけたりすることができる。
実施例では、会議レビュー処理は、オンライン会議の終了後に実施するものとして説明したが、この処理を、会議中に随時、実施するものとしてもよい。こうすれば、会議を行いながら、その質向上を図ることが可能となる。
E.効果:
以上、本発明の実施例について説明した。実施例のオンライン会議システムでは、ダイレクトトーク機能、会議促進機能、会議レビュー機能などの機能により、オンライン会議の有用性、利便性を一層、向上させることができる。また、現実の会議では実現し得ない機能を提供することができ、会議自体の質向上を図ることができる。
実施例で説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり、組み合わせたりしてもよい。また、本発明は、実施例の他、種々の変形例を構築することもできる。
以上、本発明の実施例について説明した。実施例のオンライン会議システムでは、ダイレクトトーク機能、会議促進機能、会議レビュー機能などの機能により、オンライン会議の有用性、利便性を一層、向上させることができる。また、現実の会議では実現し得ない機能を提供することができ、会議自体の質向上を図ることができる。
実施例で説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり、組み合わせたりしてもよい。また、本発明は、実施例の他、種々の変形例を構築することもできる。
本発明は、複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムに適用することができる。
10 端末
11 送受信部
12 音声入力部
13 画像撮影部
14 ブラウザ
15 音量調整部
16 コマンド入力部
17 表示制御部
18 音声出力制御部
51 ボタン
52 ボタン
53 ボリューム
54 ボタン
55 解除ボタン
56 リンク
57 ボタン
60 スタンプ
61 インジケータ
62 チャート
63 マーク
65 マーク
70 発言枠
71 スタンプ
72 強調表示
100 オンライン会議システム
110 送受信部
120 配信制御部
130 画面生成部
140 画像入力部
150 スタンプ処理部
160 分析処理部
161 感情分析部
162 キーワード抽出部
170 ユーザデータベース
171 会議データベース
172 画像データベース
11 送受信部
12 音声入力部
13 画像撮影部
14 ブラウザ
15 音量調整部
16 コマンド入力部
17 表示制御部
18 音声出力制御部
51 ボタン
52 ボタン
53 ボリューム
54 ボタン
55 解除ボタン
56 リンク
57 ボタン
60 スタンプ
61 インジケータ
62 チャート
63 マーク
65 マーク
70 発言枠
71 スタンプ
72 強調表示
100 オンライン会議システム
110 送受信部
120 配信制御部
130 画面生成部
140 画像入力部
150 スタンプ処理部
160 分析処理部
161 感情分析部
162 キーワード抽出部
170 ユーザデータベース
171 会議データベース
172 画像データベース
Claims (20)
- 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部を有し、
前記配信制御部は、
前記オンライン会議中に、いずれかの前記端末から、該端末を含む前記複数の端末の一部を特定端末として指定し、該特定端末の間でのみ会話を行う限定会話指示を受けた場合は、該特定端末との間で授受される音声データを、その他の端末で再生可能な状態で配信することを禁止する限定配信を行うオンライン会議システム。 - 請求項1記載のオンライン会議システムであって、
前記端末の一部を予めグループとするグループデータを記憶する会議データベースを有し、
前記配信制御部は、前記グループを対象とする限定会話指示を受けた場合には、当該グループに属する端末を前記特定端末として扱うオンライン会議システム。 - 請求項1または2記載のオンライン会議システムであって、
前記限定配信を行っている間でも、前記特定端末以外の端末からの音声データを、前記特定端末の少なくとも一部に配信するオンライン会議システム。 - 請求項1~3いずれか記載のオンライン会議システムであって、
前記配信制御部は、
前記限定配信を行っている間に、前記特定端末以外の端末から、前記特定端末の一部を指定して新たな限定会話指示を受け付けた場合には、
前記限定会話指示で指定されたか否かにかかわらず前記特定端末の全体に対して、当該限定会話指示を承認するか否かの問合せを行うオンライン会議システム。 - 請求項1記載のオンライン会議システムであって、
前記端末からの画像データに該端末を前記特定端末として指定するための指示アイコンを重畳した画面を生成する画面生成部を有するオンライン会議システム。 - 請求項1記載のオンライン会議システムであって、
前記限定配信を行っている場合、前記端末に表示される画面において、前記特定端末からの画像同士を関連づけるとともに、該限定配信を解除する指示を行うことが可能な解除アイコンを表示した画面を生成する画面生成部を有するオンライン会議システム。 - 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
前記端末の画像データに重畳して、当該端末の音量を個別に指定するボリュームアイコンを表示させる画面生成部を備えるオンライン会議システム。 - 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
いずれかの前記端末からいずれかの他の端末に宛てたリアクションを受け取り、該リアクションを該他の端末に表示させる画面生成部を備えるオンライン会議システム。 - 請求項8記載のオンライン会議システムであって、
前記リアクションは、予め用意されたマークまたはテキストで表される情報であるオンライン会議システム。 - 請求項8記載のオンライン会議システムであって、
前記端末からの画像データに基づいて、該端末の利用者の感情分析を行う感情分析部を有し、
前記リアクションは、該感情分析の結果であるオンライン会議システム。 - 請求項8~10いずれか記載のオンライン会議システムであって、
前記画面生成部は、前記端末の利用者の画像データに、他の端末からのリアクションを重畳して表示させるオンライン会議システム。 - 請求項9~11いずれか記載のオンライン会議システムであって、
前記画面生成部は、前記端末に対する他の端末からのリアクションを、該リアクションの発信者である他の端末の画像に重畳して表示させるオンライン会議システム。 - 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
それぞれの前記端末の利用者が発言している時間、および沈黙している時間の一方または双方を集計する分析処理部と、
前記集計結果を前記端末に表示する画面生成部を備えるオンライン会議システム。 - 請求項13記載のオンライン会議システムであって、
前記分析処理部は、前記端末の利用者の1回当たりの発言時間を提示するオンライン会議システム。 - 請求項13記載のオンライン会議システムであって、
前記分析処理部は、前記オンライン会議における各端末からの発言時間の割合を求めるオンライン会議システム。 - 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記端末から音声データを入力する音声データ入力部と、
該音声データに含まれるキーワードを抽出するキーワード抽出部と、
該キーワードを前記音声データと対応づけて前記端末に表示する画面生成部を備えるオンライン会議システム。 - 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記オンライン会議における各端末からなされたそれぞれの発言の開始時刻、終了時刻を会議データとして記憶する会議データベースと、
前記会議データに基づいて、時間軸に従って、前記発言がなされている期間を、前記端末ごとに区分して描いたガントチャートを表示する画面生成部を備えるオンライン会議システム。 - 請求項17記載のオンライン会議システムであって、
前記画面生成部は、一の端末における発言がなされている期間に、他の端末からの発言が開始されたときは、他の端末の発言のうち、前記一の端末による発言と時間的に重なる部分を強調表示するオンライン会議システム。 - 請求項17または18記載のオンライン会議システムであって、
前記会議データベースには、前記発言に対して、他の端末からのリアクションが関連づけて記憶されており、
前記画面生成部は、前記リアクションを前記発言に関連づけて表示するオンライン会議システム。 - 請求項17~19いずれか記載のオンライン会議システムであって、
前記画面生成部は、前記会議データベースに基づいて特定されるそれぞれの発言のキーワードを、該発言に対応づけて表示するオンライン会議システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-089565 | 2020-05-22 | ||
JP2020089565A JP2021184189A (ja) | 2020-05-22 | 2020-05-22 | オンライン会議システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021235148A1 true WO2021235148A1 (ja) | 2021-11-25 |
Family
ID=78707779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/015672 WO2021235148A1 (ja) | 2020-05-22 | 2021-04-16 | オンライン会議システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2021184189A (ja) |
TW (1) | TWI795759B (ja) |
WO (1) | WO2021235148A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086281A (zh) * | 2022-06-13 | 2022-09-20 | 重庆回形针信息技术有限公司 | 一种会议系统、方法及存储介质 |
JP7556082B1 (ja) | 2023-03-16 | 2024-09-25 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置及びリアクション通知方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7370545B1 (ja) * | 2022-05-20 | 2023-10-30 | 株式会社ブイキューブ | 会議管理装置、会議管理方法及びプログラム |
WO2024053893A1 (ko) * | 2022-09-08 | 2024-03-14 | 삼성전자주식회사 | 가상 공간 내의 사용자의 음성 데이터의 전달하기 위한 장치 및 방법 |
CN117956233A (zh) * | 2022-10-31 | 2024-04-30 | 北京字跳网络技术有限公司 | 用于查看视听内容的方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268078A (ja) * | 2000-03-17 | 2001-09-28 | Sony Corp | 通信制御装置、その方法およびその提供媒体と通信装置 |
JP2008067203A (ja) * | 2006-09-08 | 2008-03-21 | Toshiba Corp | 映像合成装置、方法およびプログラム |
WO2020026850A1 (ja) * | 2018-08-03 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2284968A (en) * | 1993-12-18 | 1995-06-21 | Ibm | Audio conferencing system |
US7124164B1 (en) * | 2001-04-17 | 2006-10-17 | Chemtob Helen J | Method and apparatus for providing group interaction via communications networks |
EP2067347B1 (en) * | 2006-09-20 | 2013-06-19 | Alcatel Lucent | Systems and methods for implementing generalized conferencing |
-
2020
- 2020-05-22 JP JP2020089565A patent/JP2021184189A/ja active Pending
-
2021
- 2021-04-15 TW TW110113590A patent/TWI795759B/zh active
- 2021-04-16 WO PCT/JP2021/015672 patent/WO2021235148A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268078A (ja) * | 2000-03-17 | 2001-09-28 | Sony Corp | 通信制御装置、その方法およびその提供媒体と通信装置 |
JP2008067203A (ja) * | 2006-09-08 | 2008-03-21 | Toshiba Corp | 映像合成装置、方法およびプログラム |
WO2020026850A1 (ja) * | 2018-08-03 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115086281A (zh) * | 2022-06-13 | 2022-09-20 | 重庆回形针信息技术有限公司 | 一种会议系统、方法及存储介质 |
CN115086281B (zh) * | 2022-06-13 | 2023-09-19 | 重庆回形针信息技术有限公司 | 一种会议系统、方法及存储介质 |
JP7556082B1 (ja) | 2023-03-16 | 2024-09-25 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置及びリアクション通知方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021184189A (ja) | 2021-12-02 |
TWI795759B (zh) | 2023-03-11 |
TW202145775A (zh) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021235148A1 (ja) | オンライン会議システム | |
US11397507B2 (en) | Voice-based virtual area navigation | |
JP3644580B2 (ja) | 表示制御方法及び装置 | |
Wainfan et al. | Challenges in virtual collaboration: Videoconferencing, audioconferencing, and computer-mediated communications | |
US20140325395A1 (en) | Voice link system | |
JP4391691B2 (ja) | コンピュータネットワーク | |
JP2002522998A (ja) | インターネットおよびイントラネットを含むローカルおよびグローバルネットワークによるオーディオ会議用のコンピューター・アーキテクチャーおよびプロセス | |
Skowronek et al. | Quality of experience in telemeetings and videoconferencing: a comprehensive survey | |
JP2007334732A (ja) | ネットワークシステム及びネットワーク情報送受信方法 | |
US11212651B1 (en) | Complex computing network for handling audio messages during an audio conversation on a mobile application | |
JP5614798B2 (ja) | 電話会議システム、通信サーバー、通信端末及び電話会議方法。 | |
JP4077656B2 (ja) | 発言者特定映像装置 | |
WO2024067597A1 (zh) | 线上会议方法、装置、电子设备及可读存储介质 | |
Mehmood et al. | Communication apprehension and eye contact anxiety in video conferences involving Teleoperated robot avatars: a subjective evaluation study | |
JP2003323388A (ja) | 情報提供方法および情報提供システム | |
JP7152453B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
Mu et al. | Whispering through walls: towards inclusive backchannel communication in hybrid meetings | |
JP7431143B2 (ja) | 情報処理装置および報告作成支援方法 | |
JP4069207B2 (ja) | コミュニケーション装置 | |
JP2022181260A (ja) | 仮想空間管理システムおよび方法 | |
JP6610076B2 (ja) | 情報処理装置、情報処理システム、プログラム、及び記録媒体 | |
JP2007325063A (ja) | 遠隔会議システム | |
Takahashi et al. | Melodic emotional expression increases ease of talking to spoken dialog agents | |
JP2001331677A (ja) | 通信手段を用いた人物探索方法及び当該方法が利用可能なサーバ(装置) | |
RU2218593C2 (ru) | Способ телекоммуникаций в компьютерных сетях |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21808818 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21808818 Country of ref document: EP Kind code of ref document: A1 |