WO2022137485A1 - 情報処理装置、制御方法、及び制御プログラム - Google Patents

情報処理装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
WO2022137485A1
WO2022137485A1 PCT/JP2020/048640 JP2020048640W WO2022137485A1 WO 2022137485 A1 WO2022137485 A1 WO 2022137485A1 JP 2020048640 W JP2020048640 W JP 2020048640W WO 2022137485 A1 WO2022137485 A1 WO 2022137485A1
Authority
WO
WIPO (PCT)
Prior art keywords
presenter
information
listener
control unit
sound
Prior art date
Application number
PCT/JP2020/048640
Other languages
English (en)
French (fr)
Inventor
壮平 大澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022570930A priority Critical patent/JP7523589B2/ja
Priority to PCT/JP2020/048640 priority patent/WO2022137485A1/ja
Publication of WO2022137485A1 publication Critical patent/WO2022137485A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units

Definitions

  • This disclosure relates to an information processing device, a control method, and a control program.
  • the purpose of this disclosure is to make the presenter aware of the reaction of the audience.
  • the information processing device is a device that communicates with the listener device used by the listener and is used by the presenter.
  • the information processing device has an acquisition unit that acquires information indicating that the listener does not understand, a generation unit that generates output information to the presenter when the information is acquired, and the output information.
  • the presenter it has a providing control unit that controls.
  • the reaction of the audience can be noticed by the presenter.
  • FIG. It is a figure which shows the communication system of Embodiment 1.
  • FIG. It is a figure which shows the hardware which the presenter apparatus and the audience apparatus of Embodiment 1 have. It is a figure which shows the specific example of the display of Embodiment 1.
  • FIG. It is a block diagram of the function which the presenter apparatus of Embodiment 1 has. It is a figure which shows the example of the management table of Embodiment 1.
  • FIG. It is a flowchart which shows the example of the process which the presenter apparatus of Embodiment 1 performs. It is a figure which shows the specific example of the process which the presenter apparatus of Embodiment 1 performs.
  • FIG. 1 is a diagram showing a communication system according to the first embodiment.
  • the communication system includes a presenter device 100 and a listener device 200.
  • the presenter device 100 and the listener device 200 communicate with each other via a network.
  • the presenter device 100 is a device used by the presenter.
  • the presenter device 100 is also referred to as an information processing device.
  • the presenter device 100 is a device that executes a control method.
  • the listener device 200 is a device used by the listener.
  • the presenter device 100 and the listener device 200 are notebook-type, desktop-type, or tablet-type computers.
  • the presenter gives a presentation, an online lecture, etc. using the presenter device 100.
  • the number of listeners who listen to presentations and the like is one or more. Therefore, the presenter device 100 communicates with one or more listener devices.
  • FIG. 1 illustrates one listener device. Therefore, the number of listener devices may be two or more.
  • FIG. 2 is a diagram showing hardware included in the presenter device and the listener device of the first embodiment.
  • the presenter device 100 includes a processor 101, a volatile storage device 102, and a non-volatile storage device 103.
  • the processor 101 controls the entire presenter device 100.
  • the processor 101 is a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), or the like.
  • the processor 101 may be a multiprocessor.
  • the presenter device 100 may have a processing circuit.
  • the processing circuit may be a single circuit or a composite circuit.
  • the volatile storage device 102 is the main storage device of the presenter device 100.
  • the volatile storage device 102 is a RAM (Random Access Memory).
  • the non-volatile storage device 103 is an auxiliary storage device of the presenter device 100.
  • the non-volatile storage device 103 is an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • a display 300, a microphone 310, and speakers 320 and 321 are connected to the presenter device 100. Further, the presenter device 100 may have at least one of a display 300, a microphone 310, and speakers 320 and 321.
  • the display 300 is a display that the presenter sees.
  • the display 300, the microphone 310, and the speakers 320, 321 may be referred to as a display, a microphone, and a plurality of speakers on the presenter side. Further, the number of speakers may be one.
  • the display is also referred to as a display device.
  • the microphone is a microphone.
  • the listener device 200 has a processor, a volatile storage device, and a non-volatile storage device, similarly to the presenter device 100.
  • a display 400, a microphone 410, an image pickup device 420, and a speaker 430 are connected to the listener device 200.
  • the listener device 200 may have at least one of a display 400, a microphone 410, an image pickup device 420, and a speaker 430.
  • the display 400 is a display that the listener sees.
  • the display 400, the microphone 410, the image pickup device 420, and the speaker 430 may be referred to as a display, a microphone, an image pickup device, and a speaker on the listener side. Further, the number of speakers may be two or more.
  • the presenter gives a presentation or the like using the presenter device 100.
  • the presenter shall give a presentation.
  • an example of the display 300 when the presenter is giving a presentation is shown.
  • FIG. 3 is a diagram showing a specific example of the display of the first embodiment.
  • the presenter will give a presentation of this month's sales while looking at the display 300.
  • the avatar 301, the avatar 302, and the range 303 are displayed on the display 300.
  • Avata 301 is the presenter's Avata.
  • the presenter may give a presentation using Avata 301.
  • the avatar 301 speaks according to the utterance of the presenter.
  • the avatar 301 speaks according to the speaker's utterance by the lip-sync technique.
  • the avatar 302 is an avatar that provides output information to the presenter.
  • the output information will be described later.
  • the range 303 is a range in which the content of the chat is displayed. For example, the characters entered by the listener are displayed in the range 303.
  • the screen displayed on the display 300 is also displayed on the display 400. Therefore, the listener can listen to the presentation while looking at the display 400.
  • two avatars are exemplified.
  • the number of avatars may be three or more.
  • FIG. 4 is a block diagram of the functions of the presenter device of the first embodiment.
  • the presenter device 100 includes a storage unit 110, an acquisition unit 120, an analysis control unit 130, a generation unit 140, and a provision control unit 150.
  • the storage unit 110 may be realized as a storage area secured in the volatile storage device 102 or the non-volatile storage device 103.
  • a part or all of the acquisition unit 120, the analysis control unit 130, the generation unit 140, and the provision control unit 150 may be realized by a processing circuit. Further, a part or all of the acquisition unit 120, the analysis control unit 130, the generation unit 140, and the provision control unit 150 may be realized as a module of a program executed by the processor 101.
  • the program executed by the processor 101 is also referred to as a control program.
  • the control program is recorded on a recording medium.
  • the storage unit 110 stores various information.
  • the acquisition unit 120 acquires information indicating that the listener does not understand.
  • the information may be expressed as information indicating that the audience does not understand the presenter's explanation.
  • the acquisition unit 120 acquires the information from the listener device 200.
  • the information is information indicating a request for detailed explanation from the audience, or information indicating a question from the audience. Requests for detailed explanations or questions are presented to the presenter if the audience does not understand. Therefore, the information indicating the request for detailed explanation or the question can be said to be the information indicating that the listener does not understand.
  • the acquisition unit 120 acquires the management table.
  • the acquisition unit 120 acquires the management table from the storage unit 110.
  • the acquisition unit 120 acquires the management table from the external device.
  • the external device is a cloud server.
  • the management table will be described.
  • FIG. 5 is a diagram showing an example of the management table of the first embodiment.
  • the management table 111 is also referred to as management information.
  • the management table 111 is stored in the storage unit 110.
  • the management table 111 has items of avatar, charge, and individuality.
  • the name of the avatar is registered in the item of the avatar.
  • the avatar A in FIG. 5 is the avatar 301.
  • the avatar B in FIG. 5 is the avatar 302.
  • the role of the avatar is registered in the item in charge.
  • FIG. 5 shows that Avata A (ie, Avata 301) is the avatar making the presentation.
  • FIG. 5 shows that the avatar B (that is, the avatar 302) is an avatar that provides output information to the presenter.
  • information indicating the individuality of the avatar is registered.
  • the generation unit 140 generates output information to the presenter when information indicating that the listener does not understand is acquired.
  • the provision control unit 150 controls so that the output information is provided to the presenter. In other words, the provision control unit 150 controls the output information to be provided to the presenter. Further, as described above, the output information is provided by the avatar 302.
  • the information indicating that the audience does not understand shall be a request for detailed explanation or a question.
  • the request for detailed explanation is "Please tell me xxx in detail.”
  • the question is "Does xxx mean yyy?”.
  • FIG. 6 is a flowchart showing an example of the process executed by the presenter apparatus of the first embodiment.
  • the acquisition unit 120 acquires character information.
  • the acquisition unit 120 acquires character information from the listener device 200.
  • the acquisition unit 120 may acquire character information via an external device.
  • Character information is information including one or more characters.
  • the character information is information generated by the listener device 200 by the operation of the listener.
  • the character information is information generated by the listener device 200 by operating the keyboard of the listener.
  • Step S12 The analysis control unit 130 analyzes the character information. For example, the analysis control unit 130 uses morphological analysis to analyze whether or not the text indicated by the character information is a request or question for detailed explanation.
  • Step S13 The analysis control unit 130 determines whether or not the analysis result is a request or question for detailed explanation. If the condition is satisfied, the process proceeds to step S14. If the conditions are not met, the process ends.
  • Step S14 The acquisition unit 120 acquires the management table 111 from the storage unit 110.
  • the generation unit 140 generates a sentence according to the individuality of the avatar based on the management table 111 and the character information. Specifically, the process will be described.
  • the generation unit 140 refers to the item in charge of the management table 111, and identifies the avatar B (that is, the avatar 302) that provides information to the presenter.
  • the generation unit 140 refers to the item of individuality of the management table 111 and specifies the individuality of the avatar 302.
  • the generation unit 140 generates a sentence according to the individuality of the avatar based on the information indicating the individuality of the avatar 302 and the character information.
  • the generation unit 140 when the result of the analysis indicates that the question is a question, the generation unit 140 generates a sentence indicating that the question has arrived to the presenter based on the sentence indicated by the character information.
  • the generation unit 140 processes the sentence into a friendly sentence.
  • the generation unit 140 processes the ending of the sentence into friendly characters.
  • a sentence corresponding to the individuality of the avatar is generated.
  • the generation unit 140 summarizes the sentences indicated by the text information, generates a sentence indicating that the question has arrived to the presenter based on the summarized sentence, and processes the sentence into a friendly sentence. You may.
  • the generation unit 140 generates sound information based on the generated text.
  • the sound information may be called a sound file.
  • the generation unit 140 generates a screen including the avatar 302. For example, the generation unit 140 generates a screen including the avatar 302 having an open mouth.
  • Step S17 The provision control unit 150 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information.
  • the provision control unit 150 controls the sound based on the sound information to be output from at least one of the speaker 320 and the speaker 321. Further, for example, the provision control unit 150 controls for the screen to be displayed on the display 300. As a result, the presenter can hear the sound spoken by the avatar 302.
  • FIG. 7 is a diagram showing a specific example of the process executed by the presenter apparatus of the first embodiment.
  • the listener device 200 transmits the text information "Please tell me xxx in detail" to the presenter device 100.
  • the presenter device 100 acquires character information.
  • the presenter device 100 analyzes the character information.
  • the presenter device 100 detects that the textual information is a request for detailed explanation.
  • the presenter device 100 generates a sentence according to the individuality of the avatar 302. For example, the presenter device 100 generates the sentence "I have a question about xxx.”
  • the presenter device 100 generates sound information based on the generated text.
  • the presenter device 100 generates a screen including the avatar 302.
  • the presenter device 100 controls so that the sound based on the sound information and the screen are provided to the presenter. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the character "Please tell me xxx in detail" entered by the listener is displayed.
  • the presenter may not see range 303. That is, the presenter may not be aware of the listener's reaction.
  • the presenter hears the sound spoken by the avatar 302. Therefore, the presenter notices the reaction of the audience. Therefore, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter. Further, for example, the presenter can know the request for detailed explanation by listening to the sound spoken by the avatar 302. Therefore, the presenter does not have to read the range 303. Therefore, the presenter device 100 can reduce the burden on the presenter.
  • the presenter hears the sound based on the text according to the individuality of Avata 302. That is, the presenter hears the consistent way of speaking the Avata 302.
  • the presenter device 100 outputs a consistent speaking sound from the speaker (for example, the speaker 320).
  • the presenter device 100 can prevent the presenter from missing the utterance of the avatar 302.
  • the presenter determines which avatar is speaking by outputting the sound based on the sentence according to the individuality of the avatar 302 from the speaker.
  • the presenter can hear the utterance of Avata 302 without any confusion.
  • the presenter device 100 can control the listener device 200 so that the listener hears the sound uttered by the avatar 302. As a result, the listener hears the sound based on the sentence according to the individuality of the avatar 302. That is, the listener hears the consistent way of speaking the Avata 302. Similar to the effect on the presenter, the presenter device 100 can prevent the listener from missing the utterance of the avatar 302. In addition, the listener can hear the utterance of Avata 302 without any confusion.
  • the presenter device 100 may provide the text to the presenter.
  • the process will be described in detail.
  • the generation unit 140 generates a sentence based on the character information. It should be noted that the text is not a text according to the individuality of Avata 302. That is, the sentence is a general sentence (for example, a polite sentence).
  • the provision control unit 150 controls so that the text is provided to the presenter as output information. For example, the provision control unit 150 controls the display of the text on the display 300. In this way, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling so that the text is provided to the presenter.
  • the generation unit 140 may generate sound information based on the sentence (for example, a polite sentence).
  • the provision control unit 150 may control so that the sound based on the generated sound information is provided to the presenter.
  • the provision control unit 150 controls the sound based on the sound information to be output from the speaker 320.
  • the generation unit 140 may generate sound information based on the sentence (for example, a polite sentence) and generate a screen including the avatar 302.
  • the provision control unit 150 may control the sound based on the generated sound information and the screen so as to be provided to the presenter.
  • the provision control unit 150 may execute the following processing.
  • the provision control unit 150 controls so that the generated screen is displayed on the display 300.
  • the provision control unit 150 controls so that a sound image is formed at the position of the avatar 302 in the screen.
  • the provision control unit 150 controls the speaker 320 and the speaker 321 so that a sound image is formed at the position of the avatar 302.
  • the provision control unit 150 may control the sound based on the generated sound information and the generated screen so as to be provided to the listener. For example, the provision control unit 150 transmits the sound information and the screen to the listener device 200. Further, the provision control unit 150 transmits a sound output instruction based on the sound information and a display instruction on the screen to the listener device 200. As a result, the listener can hear the sound spoken by the avatar 302. Then, the audience can recognize that the request for detailed explanation or the question indicated by the textual information is transmitted to the presenter.
  • the provision control unit 150 may control so that a sound image is formed at the position of the avatar 302 in the screen displayed on the display 400.
  • the provision control unit 150 transmits an instruction to form a sound image to the listener device 200.
  • the listener device 200 controls a plurality of speakers on the listener side so that a sound image is formed at the position of the avatar 302. By forming the sound image at the position of the avatar 302 in this way, the listener can feel that the avatar 302 is really speaking.
  • the generation unit 140 may change the number of avatars displayed on the screen. Specifically, the generation unit 140 may change the number of avatars displayed on the screen during the presenter's presentation. For example, when the avatar 302 speaks, the generation unit 140 generates a screen in which only the avatar 302 is displayed. That is, the avatar 301 is not displayed on the screen. This allows the presenter to know which avatar to focus on and listen to.
  • textual information is exemplified as information indicating that the listener does not understand.
  • the modified examples 1 to 4 of the first embodiment the case where the information is other than the character information will be described.
  • FIG. 8 is a flowchart showing an example of processing executed by the presenter apparatus of the first modification of the first embodiment.
  • the acquisition unit 120 acquires an audio signal.
  • the acquisition unit 120 acquires an audio signal from the listener device 200.
  • the acquisition unit 120 may acquire an audio signal from the listener device 200 via an external device.
  • the audio signal is an audio signal of the listener.
  • the listener device 200 can acquire an audio signal from the microphone 410.
  • the provision control unit 150 controls for the sound based on the audio signal to be output from the speaker (for example, the speaker 320).
  • the provision control unit 150 may control the utterance content based on the voice signal to be displayed on the display 300 as the chat content.
  • the analysis control unit 130 detects the utterance content of the listener based on the audio signal. For example, the analysis control unit 130 detects the utterance content of the listener by using a known voice recognition technique and a voice signal. For example, the content of the utterance is "Please tell me xxx in detail.” Further, for example, the utterance content is "Does xxx mean yyy?". In this way, the analysis control unit 130 can detect the utterance content which is the character information.
  • Step S23 The analysis control unit 130 analyzes the utterance content of the listener. For example, the analysis control unit 130 analyzes whether or not the utterance content is a request for detailed explanation or a question by using morphological analysis.
  • Step S24 The analysis control unit 130 determines whether or not the analysis result is a request or question for detailed explanation. If the condition is satisfied, the process proceeds to step S14. If the conditions are not met, the process ends.
  • Step S25 The acquisition unit 120 acquires the management table 111 from the storage unit 110.
  • the generation unit 140 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content. For example, the generated text is "A question is coming about xxx.”
  • Step S26 The generation unit 140 generates sound information based on the generated text.
  • Step S27 The generation unit 140 generates a screen including the avatar 302.
  • the generation unit 140 generates a screen including the avatar 302 having an open mouth.
  • Step S28 The provision control unit 150 controls so that the sound and the screen based on the sound information are provided to the presenter as the output information. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the audio of the listener is output from the speaker 320.
  • the audio content is "Please tell me xxx in detail.”
  • the presenter may not be aware of the audio. That is, the presenter may not be aware of the listener's reaction.
  • the presenter again hears the sound uttered by the avatar 302 (that is, the sound based on the audio content of the listener). Therefore, the presenter notices the reaction of the audience. Therefore, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the mouth of the avatar 302 is open, and the presenter hears the sound spoken by the avatar 302, the probability that the presenter will notice is improved.
  • the provision control unit 150 may control the sound based on the generated sound information and the generated screen to be provided to the listener. As a result, the listener can hear the sound spoken by the avatar 302. The listener can then recognize that the presenter is being informed of a request for detailed explanation or a question indicated by his or her utterance.
  • FIG. 9 is a flowchart showing an example of processing executed by the presenter apparatus of the second modification of the first embodiment.
  • the acquisition unit 120 acquires an audio signal.
  • the acquisition unit 120 acquires an audio signal from the microphone 310.
  • the audio signal is the audio signal of the presenter.
  • the analysis control unit 130 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 130 detects the utterance content of the presenter by using a known voice recognition technique and a voice signal.
  • the utterance content is "xxx looks like this.” In this way, the analysis control unit 130 can detect the utterance content which is the character information.
  • the analysis control unit 130 stores the utterance content in the storage unit 110.
  • the analysis control unit 130 may store the utterance content in an external device.
  • a button is displayed on the display 400.
  • the button is pressed when the audience does not understand the presenter's explanation. For example, if the listener does not understand the presenter's explanation, he / she presses the button using the mouse.
  • the listener device 200 generates button information when the button is pressed. Button information is information that indicates that the listener does not understand.
  • the listener device 200 transmits the button information to the presenter device 100.
  • the acquisition unit 120 acquires button information.
  • the acquisition unit 120 acquires the button information from the listener device 200.
  • the acquisition unit 120 may acquire button information from the listener device 200 via an external device.
  • Step S35 The acquisition unit 120 acquires the management table 111 from the storage unit 110.
  • the generation unit 140 generates a sentence according to the individuality of the avatar based on the management table 111 and the character information which is the utterance content. For example, the generated text is "Please explain xxx again.”
  • Step S36 The generation unit 140 generates sound information based on the generated text.
  • Step S37 The generation unit 140 generates a screen including the avatar 302.
  • the generation unit 140 generates a screen including the avatar 302 having an open mouth.
  • Step S38 The provision control unit 150 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the presenter when the presenter is enthusiastic about giving a presentation, the presenter may not notice the reaction of the audience. In addition, if the presenter continues to speak without noticing the reaction of the listener, the degree of understanding of the listener is lowered.
  • the presenter device 100 controls to provide the sound spoken by the avatar 302 to the presenter.
  • the presenter hears the sound spoken by Avata 302.
  • the presenter notices that the listener does not understand (that is, the reaction of the listener). Therefore, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the provision control unit 150 may control the sound based on the generated sound information and the generated screen to be provided to the listener. As a result, the listener can hear the sound spoken by the avatar 302. Then, the audience can recognize that the presenter is informed that he / she does not understand the presenter's explanation. This allows the audience to expect the presenter to explain again.
  • FIG. 10 is a flowchart showing an example of a process executed by the presenter apparatus according to the third modification of the first embodiment.
  • the acquisition unit 120 acquires an audio signal.
  • the acquisition unit 120 acquires an audio signal from the microphone 310.
  • the audio signal is the audio signal of the presenter.
  • the analysis control unit 130 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 130 detects the utterance content of the presenter by using a known voice recognition technique and a voice signal. For example, the utterance content is "xxx looks like this.”
  • the analysis control unit 130 stores the utterance content in the storage unit 110.
  • the analysis control unit 130 may store the utterance content in an external device.
  • the listener device 200 acquires an image including the eyes of the listener from the image pickup device 420.
  • the listener device 200 transmits the image to the presenter device 100.
  • the acquisition unit 120 acquires the image. For example, the acquisition unit 120 acquires the image from the listener device 200. The acquisition unit 120 may acquire the image from the listener device 200 via an external device.
  • the analysis control unit 130 analyzes the line of sight of the listener based on the image. For example, the analysis control unit 130 analyzes the line of sight of the listener based on the position of the pupil of the eye included in the image.
  • Step S46 The analysis control unit 130 determines whether or not the listener understands based on the result of the analysis. For example, when the analysis result indicates that the line of sight of the listener is upward, the analysis control unit 130 determines that the listener does not understand. If the audience understands, the process ends. If the audience does not understand, the process proceeds to step S47.
  • Step S47 The acquisition unit 120 acquires the management table 111 from the storage unit 110.
  • the generation unit 140 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content. For example, the generated text is "Please explain xxx again.”
  • Step S48 The generation unit 140 generates sound information based on the generated text.
  • Step S49 The generation unit 140 generates a screen including the avatar 302.
  • the generation unit 140 generates a screen including the avatar 302 having an open mouth.
  • Step S50 The provision control unit 150 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the presenter when the presenter is enthusiastic about giving a presentation, the presenter may not notice the reaction of the audience. In addition, if the presenter continues to speak without noticing the reaction of the listener, the degree of understanding of the listener is lowered.
  • the presenter device 100 controls to provide the presenter with the sound uttered by the avatar 302 when it is analyzed that the listener does not understand. conduct. As a result, the presenter hears the sound spoken by Avata 302. By listening to the sound, the presenter notices that the listener does not understand (that is, the reaction of the listener). Therefore, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the provision control unit 150 may control the sound based on the generated sound information and the generated screen to be provided to the listener. As a result, the listener can hear the sound spoken by the avatar 302. Then, the audience can recognize that the presenter is informed that he / she does not understand the presenter's explanation. This allows the audience to expect the presenter to explain again.
  • FIG. 11 is a flowchart showing an example of a process executed by the presenter apparatus according to the modified example 4 of the first embodiment.
  • the acquisition unit 120 acquires an audio signal.
  • the acquisition unit 120 acquires an audio signal from the microphone 310.
  • the audio signal is the audio signal of the presenter.
  • the analysis control unit 130 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 130 detects the utterance content of the presenter by using a known voice recognition technique and a voice signal.
  • the analysis control unit 130 stores the utterance content in the storage unit 110.
  • the analysis control unit 130 may store the utterance content in an external device.
  • the listener device 200 acquires an image including the face of the listener from the image pickup device 420.
  • the listener device 200 transmits the image to the presenter device 100.
  • the acquisition unit 120 acquires the image. For example, the acquisition unit 120 acquires the image from the listener device 200. The acquisition unit 120 may acquire the image from the listener device 200 via an external device.
  • the analysis control unit 130 analyzes the facial expression of the listener based on the image. For example, the analysis control unit 130 analyzes the facial expression of the listener using the image and the trained model.
  • Step S56 The analysis control unit 130 determines whether or not the listener understands based on the result of the analysis. For example, when the result of the analysis indicates that the facial expression of the listener is the facial expression when the listener does not understand, the analysis control unit 130 determines that the listener does not understand. If the audience understands, the process ends. If the audience does not understand, the process proceeds to step S57.
  • Step S57 The acquisition unit 120 acquires the management table 111 from the storage unit 110.
  • the generation unit 140 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step S58 The generation unit 140 generates sound information based on the generated text.
  • Step S59 The generation unit 140 generates a screen including the avatar 302. For example, the generation unit 140 generates a screen including the avatar 302 having an open mouth.
  • Step S60 The provision control unit 150 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the presenter when the presenter is enthusiastic about giving a presentation, the presenter may not notice the reaction of the audience. In addition, if the presenter continues to speak without noticing the reaction of the listener, the degree of understanding of the listener is lowered.
  • the presenter device 100 controls to provide the presenter with the sound uttered by the avatar 302 when it is analyzed that the listener does not understand. conduct. As a result, the presenter hears the sound spoken by Avata 302. By listening to the sound, the presenter notices that the listener does not understand (that is, the reaction of the listener). Therefore, the presenter device 100 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the provision control unit 150 may control the sound based on the generated sound information and the generated screen to be provided to the listener. As a result, the listener can hear the sound spoken by the avatar 302. Then, the audience can recognize that the presenter is informed that he / she does not understand the presenter's explanation. This allows the audience to expect the presenter to explain again.
  • Embodiment 2 Next, the second embodiment will be described.
  • the matters different from the first embodiment will be mainly described.
  • the description of the matters common to the first embodiment will be omitted.
  • the case where the presenter apparatus 100 performs the main processing has been described.
  • the server performs the main processing will be described.
  • FIG. 12 is a diagram showing a communication system according to the second embodiment.
  • the communication system includes a server 500, a presenter device 600, and a listener device 700.
  • the server 500, the presenter device 600, and the listener device 700 communicate with each other via a network.
  • the server 500 is also called an information processing device.
  • the server 500 is a cloud server.
  • the server 500 is a device that executes a control method.
  • the server 500 includes a processor, a volatile storage device, and a non-volatile storage device.
  • the server 500 may have a processing circuit.
  • the presenter device 600 is a device used by the presenter.
  • the presenter device 600 is a PC (Personal Computer).
  • a display, a microphone, and one or more speakers are connected to the presenter device 600.
  • the presenter device 600 may have at least one of a display, a microphone, and one or more speakers.
  • the display, the microphone, and the one or more speakers may be referred to as a display, a microphone, and one or more speakers on the presenter side.
  • the listener device 700 is a device used by the listener.
  • the listener device 700 is a PC.
  • a display, a microphone, an image pickup device, and one or more speakers are connected to the listener device 700.
  • the listener device 700 may have at least one of a display, a microphone, an image pickup device, and one or more speakers.
  • the display, the microphone, the image pickup device, and the one or more speakers may be referred to as a display, a microphone, an image pickup device, and one or more speakers on the listener side.
  • the presenter gives a presentation while looking at the screen displayed on the display of the presenter device 600.
  • the screen is also displayed on the display on the listener side.
  • FIG. 13 is a block diagram of the functions of the server of the second embodiment.
  • the server 500 has a storage unit 510, an acquisition unit 520, an analysis control unit 530, a generation unit 540, and a provision control unit 550.
  • the storage unit 510 may be realized as a storage area secured in the volatile storage device or the non-volatile storage device of the server 500.
  • a part or all of the acquisition unit 520, the analysis control unit 530, the generation unit 540, and the provision control unit 550 may be realized by a processing circuit included in the server. Further, a part or all of the acquisition unit 520, the analysis control unit 530, the generation unit 540, and the provision control unit 550 may be realized as a module of a program executed by the processor of the server 500.
  • the program executed by the processor is also called a control program.
  • the control program is recorded on a recording medium.
  • the storage unit 510 stores various information.
  • the storage unit 510 stores the management table 111.
  • the acquisition unit 520 acquires information indicating that the listener does not understand.
  • the information may be expressed as information indicating that the audience does not understand the presenter's explanation.
  • the acquisition unit 520 acquires the information from the listener device 700. Further, for example, the information is a request for detailed explanation from the listener or a question from the listener.
  • the function of the analysis control unit 530 will be described later.
  • the generation unit 540 generates output information to the presenter when the information indicating that the listener does not understand is acquired.
  • the provision control unit 550 controls so that the output information is provided to the presenter. In other words, the provision control unit 550 controls for the output information to be provided to the presenter.
  • FIG. 14 is a sequence diagram showing an example of processing executed in the communication system of the second embodiment.
  • the server 500 performs the same processing as the presenter device 100. Therefore, detailed description thereof will be omitted.
  • the listener device 700 transmits the character information to the server 500.
  • the character information is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire character information via an external device.
  • the analysis control unit 530 analyzes the character information.
  • the analysis control unit 530 determines whether or not the analysis result is a request or question for detailed explanation. The result of the analysis shall be a request for detailed explanation or a question.
  • the acquisition unit 520 acquires the management table 111.
  • the acquisition unit 520 acquires the management table 111 from the storage unit 510. Further, for example, the acquisition unit 520 acquires the management table 111 from an external device.
  • the generation unit 540 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information.
  • the generation unit 540 generates sound information based on the generated text.
  • Step ST106 The generation unit 540 generates a screen including the avatar 302.
  • Step ST107 The provision control unit 550 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 550 transmits the sound information and the screen to the presenter device 600. The provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 600.
  • Step ST108 The presenter device 600 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 600 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the presenter hears the sound spoken by the avatar 302. Therefore, the presenter notices the reaction of the audience. Therefore, the server 500 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the presenter device 600 may provide the text to the presenter.
  • the process will be described in detail.
  • the generation unit 540 generates a sentence based on the character information. It should be noted that the text is not a text according to the individuality of Avata 302. That is, the sentence is a general sentence (for example, a polite sentence).
  • the provision control unit 550 controls so that the text is provided to the presenter as output information. For example, the provision control unit 550 transmits the text and a display instruction of the text to the presenter device 600.
  • the presenter device 600 controls the display of the text on the presenter's display. As a result, the text is provided to the presenter.
  • the generation unit 540 may generate sound information based on the sentence (for example, a polite sentence).
  • the provision control unit 550 may control so that the sound based on the generated sound information is provided to the presenter.
  • the generation unit 540 may generate sound information based on the sentence (for example, a polite sentence) and generate a screen including the avatar 302.
  • the provision control unit 550 may control the sound based on the generated sound information and the screen so as to be provided to the presenter.
  • the provision control unit 550 may execute the following processing.
  • the provision control unit 550 controls so that the generated screen is displayed on the display on the presenter side. Further, the provision control unit 150 controls so that a sound image is formed at the position of the avatar 302 in the screen.
  • the provision control unit 550 transmits a sound image formation instruction to the presenter device 600.
  • the presenter device 600 controls for the sound image to be formed by the plurality of speakers at the position of the avatar 302. As a result, a sound image is formed at the position of the avatar 302.
  • the provision control unit 550 may control the sound based on the generated sound information and the generated screen so as to be provided to the listener. For example, the provision control unit 550 transmits the sound information and the screen to the listener device 700. Further, the provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the listener device 700. As a result, the listener can hear the sound spoken by the avatar 302.
  • the provision control unit 550 may control so that the sound image is formed at the position of the avatar 302 in the screen displayed on the display on the listener side.
  • the provision control unit 550 transmits a sound image formation instruction to the listener device 700.
  • the listener device 700 controls for the sound image to be formed by the plurality of speakers at the position of the avatar 302. As a result, a sound image is formed at the position of the avatar 302.
  • the generation unit 540 may change the number of avatars displayed on the screen. Specifically, the generator 540 may change the number of avatars displayed on the screen during the presenter's presentation. For example, when the avatar 302 speaks, the generation unit 540 generates a screen in which only the avatar 302 is displayed. That is, the avatar 301 is not displayed on the screen. This allows the presenter to know which avatar to focus on and listen to.
  • FIG. 15 is a sequence diagram showing an example of processing executed in the communication system of the first modification of the second embodiment.
  • the listener device 700 transmits an audio signal to the server 500.
  • the audio signal is an audio signal of the listener.
  • the audio signal is acquired by the acquisition unit 520.
  • the acquisition unit 520 may acquire an audio signal via an external device.
  • the provision control unit 550 controls for the sound based on the audio signal to be output from the speaker on the presenter side.
  • the provision control unit 550 may control the utterance content based on the voice signal to be displayed on the display on the presenter side as the chat content.
  • the analysis control unit 530 detects the utterance content of the listener based on the audio signal.
  • the analysis control unit 530 analyzes the utterance content of the listener.
  • the analysis control unit 530 determines whether or not the analysis result is a request or question for detailed explanation.
  • the result of the analysis shall be a request for detailed explanation or a question.
  • Step ST115 The acquisition unit 520 acquires the management table 111 from the storage unit 510.
  • the generation unit 540 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST116 The generation unit 540 generates sound information based on the generated text.
  • Step ST117 The generation unit 540 generates a screen including the avatar 302.
  • Step ST118 The provision control unit 550 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 550 transmits the sound information and the screen to the presenter device 600. The provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 600.
  • Step ST119 The presenter device 600 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 600 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the server 500 can make the presenter aware of the reaction of the listener. Further, the provision control unit 550 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 16 is a sequence diagram showing an example of processing executed in the communication system of the second modification of the second embodiment.
  • the presenter device 600 transmits an audio signal to the server 500.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire an audio signal via an external device.
  • Step ST122 The analysis control unit 530 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 530 stores the utterance content in the storage unit 510.
  • Step ST123 The listener device 700 transmits the button information to the server 500. As a result, the button information is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire button information via an external device.
  • Step ST124 The acquisition unit 520 acquires the management table 111 from the storage unit 510.
  • the generation unit 540 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST125 The generation unit 540 generates sound information based on the generated text.
  • Step ST126 The generation unit 540 generates a screen including the avatar 302.
  • Step ST127 The provision control unit 550 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 550 transmits the sound information and the screen to the presenter device 600. The provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 600.
  • Step ST1228 The presenter device 600 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 600 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the server 500 can make the presenter aware of the reaction of the listener. Further, the provision control unit 550 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 17 is a sequence diagram showing an example of processing executed in the communication system of the modification 3 of the second embodiment.
  • the presenter device 600 transmits an audio signal to the server 500.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire an audio signal via an external device.
  • Step ST132 The analysis control unit 530 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 530 stores the utterance content in the storage unit 510.
  • Step ST133 The listener device 700 transmits an image including the eyes of the listener to the server 500. As a result, the image is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire the image via an external device.
  • Step ST134 The analysis control unit 530 analyzes the line of sight of the listener based on the image.
  • Step ST135 The analysis control unit 530 determines whether or not the listener understands based on the result of the analysis. For example, when the analysis result indicates that the line of sight of the listener is upward, the analysis control unit 530 determines that the listener does not understand.
  • the results of the analysis shall indicate that the audience does not understand.
  • Step ST136 The acquisition unit 520 acquires the management table 111 from the storage unit 510.
  • the generation unit 540 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST137 The generation unit 540 generates sound information based on the generated text.
  • Step ST138 The generation unit 540 generates a screen including the avatar 302.
  • Step ST139 The provision control unit 550 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 550 transmits the sound information and the screen to the presenter device 600. The provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 600.
  • Step ST140 The presenter device 600 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 600 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the server 500 can make the presenter aware of the reaction of the listener. Further, the provision control unit 550 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 18 is a sequence diagram showing an example of processing executed in the communication system of the modified example 4 of the second embodiment.
  • the presenter device 600 transmits an audio signal to the server 500.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire an audio signal via an external device.
  • Step ST142 The analysis control unit 530 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 530 stores the utterance content in the storage unit 510.
  • Step ST143 The listener device 700 transmits an image including the face of the listener to the server 500. As a result, the image is acquired by the acquisition unit 520. Further, the acquisition unit 520 may acquire the image via an external device.
  • the analysis control unit 530 analyzes the facial expression of the listener based on the image.
  • the analysis control unit 530 determines whether or not the listener understands based on the result of the analysis. For example, when the result of the analysis shows that the facial expression of the listener is the facial expression when the listener does not understand, the analysis control unit 530 determines that the listener does not understand. The results of the analysis shall indicate that the audience does not understand.
  • Step ST146 The acquisition unit 520 acquires the management table 111 from the storage unit 510.
  • the generation unit 540 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST147 The generation unit 540 generates sound information based on the generated text.
  • Step ST148 The generation unit 540 generates a screen including the avatar 302.
  • Step ST149 The provision control unit 550 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 550 transmits the sound information and the screen to the presenter device 600. The provision control unit 550 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 600.
  • Step ST150 The presenter device 600 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 600 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the server 500 can make the presenter aware of the reaction of the listener. Further, the provision control unit 550 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • Embodiment 3 Next, the third embodiment will be described.
  • the matters different from the first embodiment will be mainly described.
  • the description of the matters common to the first embodiment will be omitted.
  • the case where the presenter apparatus 100 performs the main processing has been described.
  • the listener device performs the main processing will be described.
  • FIG. 19 is a diagram showing a communication system according to the third embodiment.
  • the communication system includes a listener device 800 and a presenter device 900.
  • the listener device 800 and the presenter device 900 communicate with each other via a network.
  • the listener device 800 is also referred to as an information processing device.
  • the listener device 800 is a device that executes the control method.
  • the listener device 800 includes a processor, a volatile storage device, and a non-volatile storage device.
  • the listener device 800 may have a processing circuit.
  • the listener device 800 is a device used by the listener.
  • a display, a microphone, an image pickup device, and one or more speakers are connected to the listener device 800.
  • the listener device 800 may have at least one of a display, a microphone, an image pickup device, and one or more speakers.
  • the display, the microphone, the image pickup device, and the one or more speakers may be referred to as a display, a microphone, an image pickup device, and one or more speakers on the listener side.
  • the presenter device 900 is a device used by the presenter.
  • the presenter device 900 is a PC.
  • a display, a microphone, and one or more speakers are connected to the presenter device 900.
  • the presenter device 900 may have at least one of a display, a microphone, and one or more speakers.
  • the display, the microphone, and the one or more speakers may be referred to as a display, a microphone, and one or more speakers on the presenter side.
  • the presenter gives a presentation while looking at the screen displayed on the display of the presenter device 900.
  • the screen is also displayed on the display on the listener side.
  • FIG. 20 is a block diagram of the functions of the listener device of the third embodiment.
  • the listener device 800 includes a storage unit 810, an acquisition unit 820, an analysis control unit 830, a generation unit 840, and a provision control unit 850.
  • the storage unit 810 may be realized as a storage area secured in the volatile storage device or the non-volatile storage device of the listener device 800.
  • a part or all of the acquisition unit 820, the analysis control unit 830, the generation unit 840, and the provision control unit 850 may be realized by the processing circuit included in the listener device 800.
  • a part or all of the acquisition unit 820, the analysis control unit 830, the generation unit 840, and the provision control unit 850 may be realized as a module of a program executed by the processor of the listener device 800.
  • the program executed by the processor is also called a control program.
  • the control program is recorded on a recording medium.
  • the storage unit 810 stores various information.
  • the storage unit 810 stores the management table 111.
  • the acquisition unit 820 acquires information indicating that the listener does not understand.
  • the information may be expressed as information indicating that the audience does not understand the presenter's explanation. Further, for example, the information is a request for detailed explanation from the listener or a question from the listener.
  • the function of the analysis control unit 830 will be described later.
  • the generation unit 840 generates output information to the presenter when the information indicating that the listener does not understand is acquired.
  • the provision control unit 850 controls so that the output information is provided to the presenter. In other words, the provision control unit 850 controls for the output information to be provided to the presenter.
  • FIG. 21 is a sequence diagram showing an example of processing executed in the communication system of the third embodiment.
  • the listener device 800 performs the same processing as the presenter device 100. Therefore, detailed description thereof will be omitted.
  • the acquisition unit 820 acquires character information.
  • the character information is a character input by the keyboard operation of the listener.
  • Step ST152 The analysis control unit 830 analyzes the character information.
  • Step ST153 The analysis control unit 830 determines whether or not the analysis result is a request or question for detailed explanation.
  • the result of the analysis shall be a request for detailed explanation or a question.
  • the acquisition unit 820 acquires the management table 111.
  • the acquisition unit 820 acquires the management table 111 from the storage unit 810. Further, for example, the acquisition unit 820 acquires the management table 111 from an external device.
  • the generation unit 840 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information.
  • the generation unit 840 generates sound information based on the generated text.
  • Step ST156 The generation unit 840 generates a screen including the avatar 302.
  • Step ST157 The provision control unit 850 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information.
  • the provision control unit 850 transmits the sound information and the screen to the presenter device 900.
  • the provision control unit 850 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 900.
  • Step ST158 The presenter device 900 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 900 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the presenter hears the sound spoken by the avatar 302. Therefore, the presenter notices the reaction of the audience. Therefore, the listener device 800 can make the presenter aware of the reaction of the listener by controlling the sound to be provided to the presenter.
  • the presenter device 900 may provide the text to the presenter.
  • the process will be described in detail.
  • the generation unit 840 generates a sentence based on the character information. It should be noted that the text is not a text according to the individuality of Avata 302. That is, the sentence is a general sentence (for example, a polite sentence).
  • the provision control unit 850 controls so that the text is provided to the presenter as output information. For example, the provision control unit 850 transmits the text and a display instruction of the text to the presenter device 900.
  • the presenter device 900 controls the display of the text on the presenter's display. As a result, the text is provided to the presenter.
  • the generation unit 840 may generate sound information based on the sentence (for example, a polite sentence).
  • the provision control unit 850 may control the presenter so that the sound based on the generated sound information is provided to the presenter.
  • the generation unit 840 may generate sound information based on the sentence (for example, a polite sentence) and generate a screen including the avatar 302.
  • the provision control unit 850 may control the sound based on the generated sound information and the screen so as to be provided to the presenter.
  • the provision control unit 850 may execute the following processing.
  • the provision control unit 850 controls so that the generated screen is displayed on the display on the presenter side.
  • the provision control unit 150 controls so that a sound image is formed at the position of the avatar 302 in the screen.
  • the provision control unit 850 transmits a sound image formation instruction to the presenter device 900.
  • the presenter device 900 controls the sound image to be formed by the plurality of speakers at the position of the avatar 302. As a result, a sound image is formed at the position of the avatar 302.
  • provision control unit 850 may control the sound based on the generated sound information and the generated screen so as to be provided to the listener. As a result, the listener can hear the sound spoken by the avatar 302.
  • the provision control unit 850 may control so that the sound image is formed at the position of the avatar 302 in the screen displayed on the display on the listener side. As a result, a sound image is formed at the position of the avatar 302.
  • the generation unit 840 may change the number of avatars displayed on the screen. Specifically, the generator 840 may change the number of avatars displayed on the screen during the presenter's presentation. For example, when the avatar 302 speaks, the generation unit 840 generates a screen in which only the avatar 302 is displayed. That is, the avatar 301 is not displayed on the screen. This allows the presenter to know which avatar to focus on and listen to.
  • FIG. 22 is a sequence diagram showing an example of processing executed in the communication system of the first modification of the third embodiment.
  • the acquisition unit 820 acquires an audio signal from the microphone on the listener side.
  • the audio signal is an audio signal of the listener.
  • the provision control unit 850 controls for the sound based on the audio signal to be output from the speaker on the presenter side.
  • the provision control unit 850 may control the utterance content based on the voice signal to be displayed on the display on the presenter side as the chat content.
  • the analysis control unit 830 detects the utterance content of the listener based on the audio signal.
  • Step ST163 The analysis control unit 830 analyzes the utterance content.
  • Step ST164 The analysis control unit 830 determines whether or not the analysis result is a request or question for detailed explanation.
  • the result of the analysis shall be a request for detailed explanation or a question.
  • Step ST165 The acquisition unit 820 acquires the management table 111 from the storage unit 810.
  • the generation unit 840 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST166 The generation unit 840 generates sound information based on the generated text.
  • Step ST167 The generation unit 840 generates a screen including the avatar 302.
  • Step ST168 The provision control unit 850 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information.
  • the provision control unit 850 transmits the sound information and the screen to the presenter device 900.
  • the provision control unit 850 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 900.
  • Step ST169 The presenter device 900 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 900 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the listener device 800 can make the presenter aware of the reaction of the listener. Further, the provision control unit 850 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 23 is a sequence diagram showing an example of processing executed in the communication system of the second modification of the third embodiment.
  • the presenter device 900 transmits an audio signal to the listener device 800.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 820. Further, the acquisition unit 820 may acquire an audio signal via an external device.
  • Step ST172 The analysis control unit 830 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 830 stores the utterance content in the storage unit 810.
  • Step ST173 The acquisition unit 820 acquires the button information.
  • the acquisition process will be described. Buttons are displayed on the display on the listener side. The button is pressed when the audience does not understand the presenter's explanation. For example, if the listener does not understand the presenter's explanation, he / she presses the button using the mouse.
  • the listener device 800 generates button information when the button is pressed.
  • the acquisition unit 820 acquires the generated button information.
  • Step ST174 The acquisition unit 820 acquires the management table 111 from the storage unit 810.
  • the generation unit 840 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • the generation unit 840 generates sound information based on the generated text.
  • Step ST176 The generation unit 840 generates a screen including the avatar 302.
  • Step ST177 The provision control unit 850 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information. For example, the provision control unit 850 transmits the sound information and the screen to the presenter device 900. The provision control unit 850 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 900.
  • Step ST178 The presenter device 900 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 900 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the listener device 800 can make the presenter aware of the reaction of the listener. Further, the provision control unit 850 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 24 is a sequence diagram showing an example of processing executed in the communication system of the modification 3 of the third embodiment.
  • the presenter device 900 transmits an audio signal to the listener device 800.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 820. Further, the acquisition unit 820 may acquire an audio signal via an external device.
  • Step ST182 The analysis control unit 830 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 830 stores the utterance content in the storage unit 810.
  • the acquisition unit 820 acquires an image including the eyes of the listener from the image pickup device on the listener side.
  • Step ST184 The analysis control unit 830 analyzes the line of sight of the listener based on the image.
  • Step ST185 The analysis control unit 830 determines whether or not the listener understands based on the analysis result. For example, when the analysis result indicates that the line of sight of the listener is upward, the analysis control unit 830 determines that the listener does not understand. The results of the analysis shall indicate that the audience does not understand.
  • Step ST186 The acquisition unit 820 acquires the management table 111 from the storage unit 810.
  • the generation unit 840 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST187 The generation unit 840 generates sound information based on the generated text.
  • Step ST188 The generation unit 840 generates a screen including the avatar 302.
  • Step ST189 The provision control unit 850 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information.
  • the provision control unit 850 transmits the sound information and the screen to the presenter device 900.
  • the provision control unit 850 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 900.
  • Step ST190 The presenter device 900 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 900 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the listener device 800 can make the presenter aware of the reaction of the listener. Further, the provision control unit 850 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • FIG. 25 is a sequence diagram showing an example of processing executed in the communication system of the modification 4 of the third embodiment.
  • the presenter device 900 transmits an audio signal to the listener device 800.
  • the voice signal is a voice signal of the presenter.
  • the audio signal is acquired by the acquisition unit 820. Further, the acquisition unit 820 may acquire an audio signal via an external device.
  • Step ST192 The analysis control unit 830 detects the utterance content of the presenter based on the voice signal.
  • the analysis control unit 830 stores the utterance content in the storage unit 810.
  • Step ST193 The acquisition unit 820 acquires an image including the listener's face from the image pickup device on the listener side.
  • Step ST194 The analysis control unit 830 analyzes the facial expression of the listener based on the image.
  • Step ST195 The analysis control unit 830 determines whether or not the listener understands based on the analysis result. For example, when the result of the analysis indicates that the facial expression of the listener is the facial expression when the listener does not understand, the analysis control unit 830 determines that the listener does not understand. The results of the analysis shall indicate that the audience does not understand.
  • Step ST196 The acquisition unit 820 acquires the management table 111 from the storage unit 810.
  • the generation unit 840 generates a sentence according to the individuality of the avatar 302 based on the management table 111 and the character information which is the utterance content.
  • Step ST197 The generation unit 840 generates sound information based on the generated text.
  • Step ST198 The generation unit 840 generates a screen including the avatar 302.
  • Step ST199 The provision control unit 850 controls so that the sound based on the generated sound information and the generated screen are provided to the presenter as output information.
  • the provision control unit 850 transmits the sound information and the screen to the presenter device 900.
  • the provision control unit 850 transmits a sound output instruction based on the sound information and a display instruction on the screen to the presenter device 900.
  • Step ST200 The presenter device 900 controls the sound based on the sound information to be output from one or more speakers. In addition, the presenter device 900 controls the screen to be displayed on the display. As a result, the presenter can hear the sound spoken by the avatar 302.
  • the listener device 800 can make the presenter aware of the reaction of the listener. Further, the provision control unit 850 may control the sound based on the generated sound information and the generated screen to be provided to the listener.
  • 100 presenter device 101 processor, 102 volatile storage device, 103 non-volatile storage device, 110 storage unit, 111 management table, 120 acquisition unit, 130 analysis control unit, 140 generation unit, 150 provision control unit, 200 listener equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

発表者装置（１００）は、聴講者が用いる聴講者装置と通信する。発表者装置（１００）は、発表者が用いる装置である。発表者装置（１００）は、取得部（１２０）と生成部（１４０）と提供制御部（１５０）とを有する。取得部（１２０）は、聴講者が理解していないことを示す情報を取得する。生成部（１４０）は、当該情報が取得された場合、発表者への出力情報を生成する。提供制御部（１５０）は、出力情報が発表者に提供されるように、制御を行う。

Description

情報処理装置、制御方法、及び制御プログラム
　本開示は、情報処理装置、制御方法、及び制御プログラムに関する。
　近年、ネットワークを介したプレゼンテーションが行われている。例えば、プレゼンテーションは、アバタを用いて、行われる。ここで、アバタに関する技術が提案されている（特許文献１を参照）。
特開２０２０－０８０１５４号公報
　ところで、発表者が熱中してプレゼンテーションなどを行っているとき、発表者は、聴講者の反応に気付かない場合がある。
　本開示の目的は、聴講者の反応を発表者に気付かせることである。
　本開示の一態様に係る情報処理装置が提供される。情報処理装置は、聴講者が用いる聴講者装置と通信し、かつ発表者が用いる装置である。情報処理装置は、前記聴講者が理解していないことを示す情報を取得する取得部と、当該情報が取得された場合、前記発表者への出力情報を生成する生成部と、前記出力情報が前記発表者に提供されるように、制御を行う提供制御部と、を有する。
　本開示によれば、聴講者の反応を発表者に気付かせることができる。
実施の形態１の通信システムを示す図である。 実施の形態１の発表者装置と聴講者装置とが有するハードウェアを示す図である。 実施の形態１のディスプレイの具体例を示す図である。 実施の形態１の発表者装置が有する機能のブロック図である。 実施の形態１の管理テーブルの例を示す図である。 実施の形態１の発表者装置が実行する処理の例を示すフローチャートである。 実施の形態１の発表者装置が実行する処理の具体例を示す図である。 実施の形態１の変形例１の発表者装置が実行する処理の例を示すフローチャートである。 実施の形態１の変形例２の発表者装置が実行する処理の例を示すフローチャートである。 実施の形態１の変形例３の発表者装置が実行する処理の例を示すフローチャートである。 実施の形態１の変形例４の発表者装置が実行する処理の例を示すフローチャートである。 実施の形態２の通信システムを示す図である。 実施の形態２のサーバが有する機能のブロック図である。 実施の形態２の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態２の変形例１の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態２の変形例２の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態２の変形例３の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態２の変形例４の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態３の通信システムを示す図である。 実施の形態３の聴講者装置が有する機能のブロック図である。 実施の形態３の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態３の変形例１の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態３の変形例２の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態３の変形例３の通信システムで実行される処理の例を示すシーケンス図である。 実施の形態３の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態１．
　図１は、実施の形態１の通信システムを示す図である。通信システムは、発表者装置１００と聴講者装置２００とを含む。発表者装置１００と聴講者装置２００とは、ネットワークを介して、通信する。
　発表者装置１００は、発表者が用いる装置である。発表者装置１００は、情報処理装置とも言う。発表者装置１００は、制御方法を実行する装置である。聴講者装置２００は、聴講者が用いる装置である。例えば、発表者装置１００と聴講者装置２００とは、ノート型、デスクトップ型、又はタブレット型のコンピュータである。
　発表者は、発表者装置１００を用いて、プレゼンテーション、オンラインの講演などを行う。プレゼンテーションなどを聴講する聴講者の数は、１以上である。そのため、発表者装置１００は、１以上の聴講者装置と通信する。ここで、以下の説明を簡単にするため、図１では、１つの聴講者装置が例示されている。よって、聴講者装置の数は、２以上でもよい。
　次に、発表者装置１００と聴講者装置２００とが有するハードウェアを説明する。
　図２は、実施の形態１の発表者装置と聴講者装置とが有するハードウェアを示す図である。発表者装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
　プロセッサ１０１は、発表者装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。発表者装置１００は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
　揮発性記憶装置１０２は、発表者装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、発表者装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。
　発表者装置１００には、ディスプレイ３００、マイク３１０、及びスピーカ３２０，３２１が接続されている。また、発表者装置１００は、ディスプレイ３００、マイク３１０、及びスピーカ３２０，３２１のうちの少なくとも１つを有してもよい。ディスプレイ３００は、発表者が見るディスプレイである。ディスプレイ３００、マイク３１０、及びスピーカ３２０，３２１は、発表者側のディスプレイ、マイク、及び複数のスピーカと呼んでもよい。また、スピーカの数は、１つでもよい。
　ここで、ディスプレイは、表示装置とも言う。また、マイクは、マイクロフォンである。
　聴講者装置２００は、発表者装置１００と同様に、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。聴講者装置２００には、ディスプレイ４００、マイク４１０、撮像装置４２０、及びスピーカ４３０が接続されている。聴講者装置２００は、ディスプレイ４００、マイク４１０、撮像装置４２０、及びスピーカ４３０のうちの少なくとも１つを有してもよい。ディスプレイ４００は、聴講者が見るディスプレイである。ディスプレイ４００、マイク４１０、撮像装置４２０、及びスピーカ４３０は、聴講者側のディスプレイ、マイク、撮像装置、及びスピーカと呼んでもよい。また、スピーカの数は、２つ以上でもよい。
　上述したように、発表者は、発表者装置１００を用いて、プレゼンテーションなどを行う。以下、発表者は、プレゼンテーションを行うものとする。ここで、発表者がプレゼンテーションを行っているときのディスプレイ３００の例を示す。
　図３は、実施の形態１のディスプレイの具体例を示す図である。例えば、発表者は、ディスプレイ３００を見ながら、今月の売上のプレゼンテーションを行う。ディスプレイ３００には、アバタ３０１、アバタ３０２、及び範囲３０３が表示されている。
　アバタ３０１は、発表者のアバタである。発表者は、アバタ３０１を用いて、プレゼンテーションを行ってもよい。例えば、発表者がアバタ３０１を用いることで、アバタ３０１は、発表者の発話に合わせて発話する。例えば、アバタ３０１は、リップシンクの技術によって、発表者の発話に合わせて発話する。
　アバタ３０２は、出力情報を発表者に提供するアバタである。出力情報については、後述する。
　範囲３０３は、チャットの内容が表示される範囲である。例えば、聴講者が入力した文字が、範囲３０３に表示される。
　ディスプレイ３００に表示されている画面は、ディスプレイ４００にも表示されている。そのため、聴講者は、ディスプレイ４００を見ながら、プレゼンテーションを聞くことができる。
　なお、図３には、２つのアバタが例示されている。アバタの数は、３つ以上でもよい。
　次に、発表者装置１００が有する機能を説明する。
　図４は、実施の形態１の発表者装置が有する機能のブロック図である。発表者装置１００は、記憶部１１０、取得部１２０、解析制御部１３０、生成部１４０、及び提供制御部１５０を有する。
　記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
　取得部１２０、解析制御部１３０、生成部１４０、及び提供制御部１５０の一部又は全部は、処理回路によって実現してもよい。また、取得部１２０、解析制御部１３０、生成部１４０、及び提供制御部１５０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
　記憶部１１０は、様々な情報を記憶する。
　取得部１２０は、聴講者が理解していないことを示す情報を取得する。当該情報は、聴講者が発表者の説明を理解していないことを示す情報と表現してもよい。例えば、取得部１２０は、当該情報を聴講者装置２００から取得する。
　例えば、当該情報は、聴講者からの詳細な説明の要求を示す情報、又は聴講者からの質問を示す情報である。詳細な説明の要求又は質問は、聴講者が理解していない場合に、発表者に提示されるものである。そのため、詳細な説明の要求又は質問を示す情報は、聴講者が理解していないことを示す情報と言える。
　また、取得部１２０は、管理テーブルを取得する。例えば、取得部１２０は、管理テーブルを記憶部１１０から取得する。また、例えば、取得部１２０は、管理テーブルを外部装置から取得する。例えば、外部装置は、クラウドサーバである。ここで、管理テーブルを説明する。
　図５は、実施の形態１の管理テーブルの例を示す図である。管理テーブル１１１は、管理情報とも言う。例えば、管理テーブル１１１は、記憶部１１０に格納されている。管理テーブル１１１は、アバタ、担当、及び個性の項目を有する。
　アバタの項目には、アバタの名称が登録される。なお、図５のアバタＡは、アバタ３０１である。図５のアバタＢは、アバタ３０２である。
　担当の項目には、アバタの役割が登録される。例えば、図５は、アバタＡ（すなわち、アバタ３０１）が発表を行うアバタであることを示している。また、例えば、図５は、アバタＢ（すなわち、アバタ３０２）が出力情報を発表者に提供するアバタであることを示している。
　個性の項目は、アバタの個性を示す情報が登録される。
　図４に戻って、発表者装置１００の機能を説明する。
　解析制御部１３０の機能は、後で説明する。
　生成部１４０は、聴講者が理解していないことを示す情報が取得された場合、発表者への出力情報を生成する。
　提供制御部１５０は、出力情報が発表者に提供されるように、制御を行う。言い換えれば、提供制御部１５０は、出力情報が発表者に提供されるための制御を行う。また、上述したように、出力情報は、アバタ３０２から提供される。
　以下の説明では、聴講者が理解していないことを示す情報は、詳細な説明の要求又は質問であるものとする。なお、例えば、発表者が“ｘｘｘは、このようになります。”と発話した場合、詳細な説明の要求は、“ｘｘｘを詳しく教えてください。”である。また、例えば、発表者が“ｘｘｘは、このようになります。”と発話した場合、質問は、“ｘｘｘとは、ｙｙｙということですか。”である。
　次に、発表者装置１００が実行する処理を、フローチャートを用いて、説明する。
　図６は、実施の形態１の発表者装置が実行する処理の例を示すフローチャートである。
　（ステップＳ１１）取得部１２０は、文字情報を取得する。例えば、取得部１２０は、文字情報を聴講者装置２００から取得する。取得部１２０は、外部装置を介して、文字情報を取得してもよい。
　文字情報は、１以上の文字を含む情報である。文字情報は、聴講者の操作により、聴講者装置２００が生成した情報である。例えば、文字情報は、聴講者のキーボード操作により、聴講者装置２００が生成した情報である。
　（ステップＳ１２）解析制御部１３０は、文字情報を解析する。例えば、解析制御部１３０は、形態素解析を用いて、当該文字情報が示す文章が詳細な説明の要求又は質問であるか否かを解析する。
　（ステップＳ１３）解析制御部１３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。条件を満たす場合、処理は、ステップＳ１４に進む。条件を満たさない場合、処理は、終了する。
　（ステップＳ１４）取得部１２０は、管理テーブル１１１を記憶部１１０から取得する。生成部１４０は、管理テーブル１１１と文字情報とに基づいて、アバタの個性に応じた文章を生成する。具体的に、処理を説明する。生成部１４０は、管理テーブル１１１の担当の項目を参照し、発表者に情報を提供するアバタＢ（すなわち、アバタ３０２）を特定する。生成部１４０は、管理テーブル１１１の個性の項目を参照し、アバタ３０２の個性を特定する。生成部１４０は、アバタ３０２の個性を示す情報と文字情報とに基づいて、アバタの個性に応じた文章を生成する。例えば、解析の結果が、質問であることを示している場合、生成部１４０は、文字情報が示す文章に基づいて、発表者に対して質問が届いていることを示す文章を生成する。生成部１４０は、当該文章をフレンドリーな文章に加工する。例えば、生成部１４０は、当該文章の語尾をフレンドリーな文字に加工する。これにより、アバタの個性に応じた文章が、生成される。また、生成部１４０は、文字情報が示す文章を要約し、要約された文章に基づいて、発表者に対して質問が届いていることを示す文章を生成し、当該文章をフレンドリーな文章に加工してもよい。
　（ステップＳ１５）生成部１４０は、生成された文章に基づいて、音情報を生成する。音情報は、音ファイルと呼んでもよい。
　（ステップＳ１６）生成部１４０は、アバタ３０２を含む画面を生成する。例えば、生成部１４０は、口が開いているアバタ３０２を含む画面を生成する。
　（ステップＳ１７）提供制御部１５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部１５０は、当該音情報に基づく音がスピーカ３２０及びスピーカ３２１の少なくとも１つから出力されるための制御を行う。また、例えば、提供制御部１５０は、当該画面がディスプレイ３００に表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　次に、発表者装置１００が実行する処理の具体例を示す。
　図７は、実施の形態１の発表者装置が実行する処理の具体例を示す図である。聴講者装置２００は、“ｘｘｘを詳しく教えてください。”という文字情報を発表者装置１００に送信する。
　発表者装置１００は、文字情報を取得する。発表者装置１００は、文字情報を解析する。発表者装置１００は、文字情報が詳細な説明の要求であることを検出する。発表者装置１００は、アバタ３０２の個性に応じた文章を生成する。例えば、発表者装置１００は、“ｘｘｘについて質問が来ているよ。”という文章を生成する。発表者装置１００は、生成された文章に基づいて、音情報を生成する。発表者装置１００は、アバタ３０２を含む画面を生成する。発表者装置１００は、音情報に基づく音と、画面とが発表者に提供されるように、制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　ここで、例えば、範囲３０３には、聴講者が入力した文字“ｘｘｘを詳しく教えてください。”が、表示される。しかし、発表者が熱中してプレゼンテーションを行っているとき、発表者は、範囲３０３を見ない場合がある。すなわち、発表者は、聴講者の反応に気付かない場合がある。
　実施の形態１によれば、発表者は、アバタ３０２が発話する音を聞く。そのため、発表者は、聴講者の反応に気付く。よって、発表者装置１００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、例えば、発表者は、アバタ３０２が発話する音を聞けば、詳細な説明の要求を知ることができる。そのため、発表者は、範囲３０３を読まなくて済む。よって、発表者装置１００は、発表者の負担を軽減できる。
　発表者は、アバタ３０２の個性に応じた文章に基づく音を聞く。すなわち、発表者は、アバタ３０２の一貫した話し方を聞く。ここで、例えば、アバタ３０２が複数の話し方を行う場合、発表者は、話し方の変化が気になり、アバタ３０２の発話を聞き逃すことがある。そのため、発表者装置１００は、一貫した話し方の音をスピーカ（例えば、スピーカ３２０）から出力させる。これにより、発表者装置１００は、発表者がアバタ３０２の発話を聞き逃すことを防ぐことができる。また、アバタ３０１とアバタ３０２とが画面に表示されている場合、発表者は、アバタ３０２の個性に応じた文章に基づく音がスピーカから出力されることで、どちらのアバタが発話しているのかを認識できる。そのため、発表者は、混乱せずに、アバタ３０２の発話を聞くことができる。また、後述するように、発表者装置１００は、アバタ３０２が発話する音を聴講者が聞くように、聴講者装置２００を制御することができる。これにより、聴講者は、アバタ３０２の個性に応じた文章に基づく音を聞く。すなわち、聴講者は、アバタ３０２の一貫した話し方を聞く。発表者に対する効果と同様に、発表者装置１００は、聴講者がアバタ３０２の発話を聞き逃すことを防ぐことができる。また、聴講者は、混乱せずに、アバタ３０２の発話を聞くことができる。
　また、発表者装置１００は、文章を発表者に提供してもよい。詳細に処理を説明する。生成部１４０は、文字情報に基づいて文章を生成する。なお、当該文章は、アバタ３０２の個性に応じた文章ではない。すなわち、当該文章は、一般的な文章（例えば、丁寧な文章）である。提供制御部１５０は、出力情報として当該文章が、発表者に提供されるように、制御を行う。例えば、提供制御部１５０は、当該文章がディスプレイ３００に表示されるための制御を行う。このように、発表者装置１００は、当該文章が発表者に提供されるように、制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、生成部１４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成してもよい。提供制御部１５０は、生成された音情報に基づく音が発表者に提供されるように、制御を行ってもよい。例えば、提供制御部１５０は、音情報に基づく音がスピーカ３２０から出力されるための制御を行う。
　さらに、生成部１４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成し、アバタ３０２を含む画面を生成してもよい。提供制御部１５０は、生成された音情報に基づく音と当該画面が発表者に提供されるように、制御を行ってもよい。
　提供制御部１５０は、次の処理を実行してもよい。提供制御部１５０は、生成された画面がディスプレイ３００に表示されるように、制御を行う。提供制御部１５０は、画面の中のアバタ３０２の位置に音像が形成されるように、制御を行う。例えば、提供制御部１５０は、アバタ３０２の位置に音像が形成されるように、スピーカ３２０とスピーカ３２１とを制御する。このように、アバタ３０２の位置に音像が形成されることで、発表者は、アバタ３０２が本当に話しているように感じることができる。
　また、提供制御部１５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるように、制御を行ってもよい。例えば、提供制御部１５０は、当該音情報と当該画面とを聴講者装置２００に送信する。また、提供制御部１５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を聴講者装置２００に送信する。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。そして、聴講者は、文字情報が示す詳細な説明の要求又は質問が発表者に伝わっていることを認識できる。
　さらに、提供制御部１５０は、ディスプレイ４００に表示される画面の中のアバタ３０２の位置に音像が形成されるように、制御を行ってもよい。例えば、提供制御部１５０は、音像の形成指示を聴講者装置２００に送信する。聴講者装置２００は、アバタ３０２の位置に音像が形成されるように、聴講者側の複数のスピーカを制御する。このように、アバタ３０２の位置に音像が形成されることで、聴講者は、アバタ３０２が本当に話しているように感じることができる。
　生成部１４０は、画面に表示されるアバタの数を変更してもよい。詳細には、生成部１４０は、発表者の発表中に、画面に表示されるアバタの数を変更してもよい。例えば、アバタ３０２が発話する場合、生成部１４０は、アバタ３０２のみが表示されている画面を生成する。すなわち、アバタ３０１は、画面に表示されない。これにより、発表者は、どのアバタを注目して話を聞いたらよいのか分かる。
　実施の形態１では、聴講者が理解していないことを示す情報として、文字情報を例示した。実施の形態１の変形例１～４では、当該情報が文字情報以外である場合を説明する。
実施の形態１の変形例１．
　図８は、実施の形態１の変形例１の発表者装置が実行する処理の例を示すフローチャートである。
　（ステップＳ２１）取得部１２０は、音声信号を取得する。例えば、取得部１２０は、音声信号を聴講者装置２００から取得する。また、取得部１２０は、外部装置を介して、音声信号を聴講者装置２００から取得してもよい。音声信号は、聴講者の音声の信号である。なお、聴講者装置２００は、音声信号をマイク４１０から取得することができる。
　また、提供制御部１５０は、当該音声信号に基づく音がスピーカ（例えば、スピーカ３２０）から出力されるための制御を行う。さらに、提供制御部１５０は、当該音声信号に基づく発話内容が、チャットの内容として、ディスプレイ３００に表示されるための制御を行ってもよい。
　（ステップＳ２２）解析制御部１３０は、音声信号に基づいて、聴講者の発話内容を検出する。例えば、解析制御部１３０は、公知の音声認識技術と音声信号とを用いて、聴講者の発話内容を検出する。例えば、発話内容は、“ｘｘｘを詳しく教えてください。”である。また、例えば、発話内容は、“ｘｘｘとは、ｙｙｙということですか。”である。
　このように、解析制御部１３０は、文字情報である発話内容を検出することができる。
　（ステップＳ２３）解析制御部１３０は、聴講者の発話内容を解析する。例えば、解析制御部１３０は、形態素解析を用いて、発話内容が詳細な説明の要求又は質問であるか否かを解析する。
　（ステップＳ２４）解析制御部１３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。条件を満たす場合、処理は、ステップＳ１４に進む。条件を満たさない場合、処理は、終了する。
　（ステップＳ２５）取得部１２０は、管理テーブル１１１を記憶部１１０から取得する。生成部１４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。例えば、生成された文章は、“ｘｘｘについて質問が来ているよ。”である。
　（ステップＳ２６）生成部１４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳ２７）生成部１４０は、アバタ３０２を含む画面を生成する。例えば、生成部１４０は、口が開いているアバタ３０２を含む画面を生成する。
　（ステップＳ２８）提供制御部１５０は、出力情報として、音情報に基づく音と画面とが、発表者に提供されるように、制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　ここで、例えば、スピーカ３２０から聴講者の音声が出力される。例えば、音声内容は、“ｘｘｘを詳しく教えてください。”である。しかし、発表者が熱中してプレゼンテーションを行っているとき、発表者は、当該音声に気付かない場合がある。すなわち、発表者は、聴講者の反応に気付かない場合がある。
　実施の形態１の変形例１によれば、発表者は、改めて、アバタ３０２が発話する音（すなわち、聴講者の音声内容に基づく音）を聞く。そのため、発表者は、聴講者の反応に気付く。よって、発表者装置１００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、発表者がディスプレイ３００を見ており、アバタ３０２の口が開いており、かつアバタ３０２が発話する音を発表者が聞いた場合、発表者が気付く確率が、向上する。
　また、提供制御部１５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。そして、聴講者は、自分の発話が示す詳細な説明の要求又は質問が発表者に伝わっていることを認識できる。
実施の形態１の変形例２．
　図９は、実施の形態１の変形例２の発表者装置が実行する処理の例を示すフローチャートである。
　（ステップＳ３１）取得部１２０は、音声信号を取得する。例えば、取得部１２０は、音声信号をマイク３１０から取得する。音声信号は、発表者の音声の信号である。
　（ステップＳ３２）解析制御部１３０は、音声信号に基づいて、発表者の発話内容を検出する。例えば、解析制御部１３０は、公知の音声認識技術と音声信号とを用いて、発表者の発話内容を検出する。例えば、発話内容は、“ｘｘｘは、このようになります。”である。
　このように、解析制御部１３０は、文字情報である発話内容を検出することができる。
　（ステップＳ３３）解析制御部１３０は、発話内容を記憶部１１０に格納する。解析制御部１３０は、発話内容を外部装置に格納してもよい。
　ここで、ディスプレイ４００には、ボタンが表示されている。当該ボタンは、聴講者が発表者の説明を理解できない場合に押下される。例えば、聴講者は、発表者の説明を理解できない場合、マウスを用いて、当該ボタンを押下する。聴講者装置２００は、当該ボタンが押下された場合、ボタン情報を生成する。ボタン情報は、聴講者が理解していないことを示す情報である。聴講者装置２００は、ボタン情報を発表者装置１００に送信する。
　（ステップＳ３４）取得部１２０は、ボタン情報を取得する。例えば、取得部１２０は、ボタン情報を聴講者装置２００から取得する。取得部１２０は、外部装置を介して、ボタン情報を聴講者装置２００から取得してもよい。
　（ステップＳ３５）取得部１２０は、管理テーブル１１１を記憶部１１０から取得する。生成部１４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタの個性に応じた文章を生成する。例えば、生成された文章は、“ｘｘｘの説明を再びお願い。”である。
　（ステップＳ３６）生成部１４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳ３７）生成部１４０は、アバタ３０２を含む画面を生成する。例えば、生成部１４０は、口が開いているアバタ３０２を含む画面を生成する。
　（ステップＳ３８）提供制御部１５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　ここで、発表者が熱中してプレゼンテーションを行っているとき、発表者は、聴講者の反応に気付かない場合がある。また、発表者が、聴講者の反応に気付かないで、発話を続けることは、聴講者の理解度を低下させる。
　実施の形態１の変形例２によれば、発表者装置１００は、ボタン情報を取得した場合、アバタ３０２が発話する音が発表者に提供されるための制御を行う。これにより、発表者は、アバタ３０２が発話する音を聞く。発表者は、当該音を聞くことで、聴講者が理解していないということ（すなわち、聴講者の反応）に気付く。よって、発表者装置１００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部１５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。そして、聴講者は、自分が発表者の説明を理解していないことが、発表者に伝わっていることを認識できる。これにより、聴講者は、発表者が再び説明してくれることを期待できる。
実施の形態１の変形例３．
　図１０は、実施の形態１の変形例３の発表者装置が実行する処理の例を示すフローチャートである。
　（ステップＳ４１）取得部１２０は、音声信号を取得する。例えば、取得部１２０は、音声信号をマイク３１０から取得する。音声信号は、発表者の音声の信号である。
　（ステップＳ４２）解析制御部１３０は、音声信号に基づいて、発表者の発話内容を検出する。例えば、解析制御部１３０は、公知の音声認識技術と音声信号とを用いて、発表者の発話内容を検出する。例えば、発話内容は、“ｘｘｘは、このようになります。”である。
　（ステップＳ４３）解析制御部１３０は、発話内容を記憶部１１０に格納する。解析制御部１３０は、発話内容を外部装置に格納してもよい。
　ここで、聴講者装置２００は、聴講者の目を含む画像を撮像装置４２０から取得する。聴講者装置２００は、当該画像を発表者装置１００に送信する。
　（ステップＳ４４）取得部１２０は、当該画像を取得する。例えば、取得部１２０は、当該画像を聴講者装置２００から取得する。取得部１２０は、外部装置を介して、当該画像を聴講者装置２００から取得してもよい。
　（ステップＳ４５）解析制御部１３０は、当該画像に基づいて、聴講者の視線を解析する。例えば、解析制御部１３０は、当該画像に含まれている目の瞳孔の位置に基づいて、聴講者の視線を解析する。
　（ステップＳ４６）解析制御部１３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の視線が上方向であることを示している場合、解析制御部１３０は、聴講者が理解していないと判定する。
　聴講者が理解している場合、処理は、終了する。聴講者が理解していない場合、処理は、ステップＳ４７に進む。
　（ステップＳ４７）取得部１２０は、管理テーブル１１１を記憶部１１０から取得する。生成部１４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。例えば、生成された文章は、“ｘｘｘの説明を再びお願い。”である。
　（ステップＳ４８）生成部１４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳ４９）生成部１４０は、アバタ３０２を含む画面を生成する。例えば、生成部１４０は、口が開いているアバタ３０２を含む画面を生成する。
　（ステップＳ５０）提供制御部１５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　ここで、発表者が熱中してプレゼンテーションを行っているとき、発表者は、聴講者の反応に気付かない場合がある。また、発表者が、聴講者の反応に気付かないで、発話を続けることは、聴講者の理解度を低下させる。
　実施の形態１の変形例３によれば、発表者装置１００は、聴講者が理解していないことが、解析された場合、アバタ３０２が発話する音が発表者に提供されるための制御を行う。これにより、発表者は、アバタ３０２が発話する音を聞く。発表者は、当該音を聞くことで、聴講者が理解していないということ（すなわち、聴講者の反応）に気付く。よって、発表者装置１００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部１５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。そして、聴講者は、自分が発表者の説明を理解していないことが、発表者に伝わっていることを認識できる。これにより、聴講者は、発表者が再び説明してくれることを期待できる。
実施の形態１の変形例４．
　図１１は、実施の形態１の変形例４の発表者装置が実行する処理の例を示すフローチャートである。
　（ステップＳ５１）取得部１２０は、音声信号を取得する。例えば、取得部１２０は、音声信号をマイク３１０から取得する。音声信号は、発表者の音声の信号である。
　（ステップＳ５２）解析制御部１３０は、音声信号に基づいて、発表者の発話内容を検出する。例えば、解析制御部１３０は、公知の音声認識技術と音声信号とを用いて、発表者の発話内容を検出する。
　（ステップＳ５３）解析制御部１３０は、発話内容を記憶部１１０に格納する。解析制御部１３０は、発話内容を外部装置に格納してもよい。
　ここで、聴講者装置２００は、聴講者の顔を含む画像を撮像装置４２０から取得する。聴講者装置２００は、当該画像を発表者装置１００に送信する。
　（ステップＳ５４）取得部１２０は、当該画像を取得する。例えば、取得部１２０は、当該画像を聴講者装置２００から取得する。取得部１２０は、外部装置を介して、当該画像を聴講者装置２００から取得してもよい。
　（ステップＳ５５）解析制御部１３０は、当該画像に基づいて、聴講者の表情を解析する。例えば、解析制御部１３０は、当該画像と学習済モデルとを用いて、聴講者の表情を解析する。
　（ステップＳ５６）解析制御部１３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の表情が理解していないときの表情であることを示している場合、解析制御部１３０は、聴講者が理解していないと判定する。
　聴講者が理解している場合、処理は、終了する。聴講者が理解していない場合、処理は、ステップＳ５７に進む。
　（ステップＳ５７）取得部１２０は、管理テーブル１１１を記憶部１１０から取得する。生成部１４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳ５８）生成部１４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳ５９）生成部１４０は、アバタ３０２を含む画面を生成する。例えば、生成部１４０は、口が開いているアバタ３０２を含む画面を生成する。
　（ステップＳ６０）提供制御部１５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。
　これにより、発表者は、アバタ３０２が発話する当該音を聞くことができる。
　ここで、発表者が熱中してプレゼンテーションを行っているとき、発表者は、聴講者の反応に気付かない場合がある。また、発表者が、聴講者の反応に気付かないで、発話を続けることは、聴講者の理解度を低下させる。
　実施の形態１の変形例４によれば、発表者装置１００は、聴講者が理解していないことが、解析された場合、アバタ３０２が発話する音が発表者に提供されるための制御を行う。これにより、発表者は、アバタ３０２が発話する音を聞く。発表者は、当該音を聞くことで、聴講者が理解していないということ（すなわち、聴講者の反応）に気付く。よって、発表者装置１００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部１５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。そして、聴講者は、自分が発表者の説明を理解していないことが、発表者に伝わっていることを認識できる。これにより、聴講者は、発表者が再び説明してくれることを期待できる。
実施の形態２．
　次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。
　実施の形態１では、発表者装置１００が主な処理を行う場合を説明した。実施の形態２では、サーバが主な処理を行う場合を説明する。
　図１２は、実施の形態２の通信システムを示す図である。通信システムは、サーバ５００、発表者装置６００、及び聴講者装置７００を含む。サーバ５００、発表者装置６００、及び聴講者装置７００は、ネットワークを介して、通信する。
　サーバ５００は、情報処理装置とも言う。例えば、サーバ５００は、クラウドサーバである。サーバ５００は、制御方法を実行する装置である。サーバ５００は、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。サーバ５００は、処理回路を有してもよい。
　発表者装置６００は、発表者が用いる装置である。例えば、発表者装置６００は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）である。発表者装置６００には、ディスプレイ、マイク、及び１以上のスピーカが接続されている。また、発表者装置６００は、ディスプレイ、マイク、及び１以上のスピーカのうちの少なくとも１つを有してもよい。当該ディスプレイ、当該マイク、及び当該１以上のスピーカは、発表者側のディスプレイ、マイク、及び１以上のスピーカと呼んでもよい。
　聴講者装置７００は、聴講者が用いる装置である。例えば、聴講者装置７００は、ＰＣである。聴講者装置７００には、ディスプレイ、マイク、撮像装置、及び１以上のスピーカが接続されている。聴講者装置７００は、ディスプレイ、マイク、撮像装置、及び１以上のスピーカのうちの少なくとも１つを有してもよい。当該ディスプレイ、当該マイク、当該撮像装置、及び当該１以上のスピーカは、聴講者側のディスプレイ、マイク、撮像装置、及び１以上のスピーカと呼んでもよい。
　発表者は、発表者装置６００のディスプレイに表示された画面を見ながら、プレゼンテーションなどを行う。実施の形態１と同じように、当該画面は、聴講者側のディスプレイにも表示されている。
　次に、サーバ５００が有する機能を説明する。
　図１３は、実施の形態２のサーバが有する機能のブロック図である。サーバ５００は、記憶部５１０、取得部５２０、解析制御部５３０、生成部５４０、及び提供制御部５５０を有する。
　記憶部５１０は、サーバ５００が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
　取得部５２０、解析制御部５３０、生成部５４０、及び提供制御部５５０の一部又は全部は、サーバが有する処理回路によって実現してもよい。また、取得部５２０、解析制御部５３０、生成部５４０、及び提供制御部５５０の一部又は全部は、サーバ５００が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、当該プロセッサが実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
　記憶部５１０は、様々な情報を記憶する。例えば、記憶部５１０は、管理テーブル１１１を記憶する。
　取得部５２０は、聴講者が理解していないことを示す情報を取得する。当該情報は、聴講者が発表者の説明を理解していないことを示す情報と表現してもよい。例えば、取得部５２０は、当該情報を聴講者装置７００から取得する。また、例えば、当該情報は、聴講者からの詳細な説明の要求、又は聴講者からの質問である。
　解析制御部５３０の機能は、後で説明する。
　生成部５４０は、聴講者が理解していないことを示す情報が取得された場合、発表者への出力情報を生成する。
　提供制御部５５０は、出力情報が発表者に提供されるように、制御を行う。言い換えれば、提供制御部５５０は、出力情報が発表者に提供されるための制御を行う。
　次に、通信システムで実行される処理を、シーケンス図を用いて、説明する。
　図１４は、実施の形態２の通信システムで実行される処理の例を示すシーケンス図である。上述したように、サーバ５００は、発表者装置１００と同様の処理を行う。そのため、詳細な説明は、省略する。
　（ステップＳＴ１０１）聴講者装置７００は、文字情報をサーバ５００に送信する。
　これにより、文字情報は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、文字情報を取得してもよい。
　（ステップＳＴ１０２）解析制御部５３０は、文字情報を解析する。
　（ステップＳＴ１０３）解析制御部５３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。解析の結果が、詳細な説明の要求又は質問であるものとする。
　（ステップＳＴ１０４）取得部５２０は、管理テーブル１１１を取得する。例えば、取得部５２０は、管理テーブル１１１を記憶部５１０から取得する。また、例えば、取得部５２０は、管理テーブル１１１を外部装置から取得する。生成部５４０は、管理テーブル１１１と文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１０５）生成部５４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１０６）生成部５４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１０７）提供制御部５５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該音情報と当該画面を発表者装置６００に送信する。提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示とを発表者装置６００に送信する。
　（ステップＳＴ１０８）発表者装置６００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置６００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態２によれば、発表者は、アバタ３０２が発話する音を聞く。そのため、発表者は、聴講者の反応に気付く。よって、サーバ５００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、発表者装置６００は、文章を発表者に提供してもよい。詳細に処理を説明する。生成部５４０は、文字情報に基づいて文章を生成する。なお、当該文章は、アバタ３０２の個性に応じた文章ではない。すなわち、当該文章は、一般的な文章（例えば、丁寧な文章）である。提供制御部５５０は、出力情報として当該文章が、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該文章と、当該文章の表示指示を発表者装置６００に送信する。発表者装置６００は、当該文章が発表者側のディスプレイに表示されるための制御を行う。これにより、当該文章が、発表者に提供される。
　また、生成部５４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成してもよい。提供制御部５５０は、生成された音情報に基づく音が発表者に提供されるように、制御を行ってもよい。
　さらに、生成部５４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成し、アバタ３０２を含む画面を生成してもよい。提供制御部５５０は、生成された音情報に基づく音と当該画面が発表者に提供されるように、制御を行ってもよい。
　提供制御部５５０は、次の処理を実行してもよい。提供制御部５５０は、生成された画面が発表者側のディスプレイに表示されるように、制御を行う。また、提供制御部１５０は、当該画面の中のアバタ３０２の位置に音像が形成されるように、制御を行う。例えば、提供制御部５５０は、音像の形成指示を発表者装置６００に送信する。発表者装置６００は、アバタ３０２の位置に音像が複数のスピーカによって形成されるための制御を行う。これにより、アバタ３０２の位置に音像が形成される。
　また、提供制御部５５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるように、制御を行ってもよい。例えば、提供制御部５５０は、当該音情報と当該画面とを聴講者装置７００に送信する。また、提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を聴講者装置７００に送信する。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。
　さらに、提供制御部５５０は、聴講者側のディスプレイに表示される画面の中のアバタ３０２の位置に音像が形成されるように、制御を行ってもよい。例えば、提供制御部５５０は、音像の形成指示を聴講者装置７００に送信する。聴講者装置７００は、アバタ３０２の位置に音像が複数のスピーカによって形成されるための制御を行う。これにより、アバタ３０２の位置に音像が形成される。
　生成部５４０は、画面に表示されるアバタの数を変更してもよい。詳細には、生成部５４０は、発表者の発表中に、画面に表示されるアバタの数を変更してもよい。例えば、アバタ３０２が発話する場合、生成部５４０は、アバタ３０２のみが表示されている画面を生成する。すなわち、アバタ３０１は、画面に表示されない。これにより、発表者は、どのアバタを注目して話を聞いたらよいのか分かる。
実施の形態２の変形例１．
　実施の形態２の変形例１では、実施の形態１の変形例１と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
　図１５は、実施の形態２の変形例１の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１１１）聴講者装置７００は、音声信号をサーバ５００に送信する。なお、音声信号は、聴講者の音声の信号である。
　これにより、音声信号は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、音声信号を取得してもよい。
　また、提供制御部５５０は、当該音声信号に基づく音が発表者側のスピーカから出力されるための制御を行う。さらに、提供制御部５５０は、当該音声信号に基づく発話内容が、チャットの内容として、発表者側のディスプレイに表示されるための制御を行ってもよい。
　（ステップＳＴ１１２）解析制御部５３０は、音声信号に基づいて、聴講者の発話内容を検出する。
　（ステップＳＴ１１３）解析制御部５３０は、聴講者の発話内容を解析する。
　（ステップＳＴ１１４）解析制御部５３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。解析の結果が、詳細な説明の要求又は質問であるものとする。
　（ステップＳＴ１１５）取得部５２０は、管理テーブル１１１を記憶部５１０から取得する。生成部５４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１１６）生成部５４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１１７）生成部５４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１１８）提供制御部５５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該音情報と当該画面を発表者装置６００に送信する。提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置６００に送信する。
　（ステップＳＴ１１９）発表者装置６００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置６００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態２の変形例１によれば、サーバ５００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部５５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態２の変形例２．
　実施の形態２の変形例２では、実施の形態１の変形例２と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
　図１６は、実施の形態２の変形例２の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１２１）発表者装置６００は、音声信号をサーバ５００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１２２）解析制御部５３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部５３０は、発話内容を記憶部５１０に格納する。
　（ステップＳＴ１２３）聴講者装置７００は、ボタン情報をサーバ５００に送信する。
　これにより、ボタン情報は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、ボタン情報を取得してもよい。
　（ステップＳＴ１２４）取得部５２０は、管理テーブル１１１を記憶部５１０から取得する。生成部５４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１２５）生成部５４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１２６）生成部５４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１２７）提供制御部５５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該音情報と当該画面を発表者装置６００に送信する。提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置６００に送信する。
　（ステップＳＴ１２８）発表者装置６００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置６００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態２の変形例２によれば、サーバ５００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部５５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態２の変形例３．
　実施の形態２の変形例３では、実施の形態１の変形例３と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
　図１７は、実施の形態２の変形例３の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１３１）発表者装置６００は、音声信号をサーバ５００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１３２）解析制御部５３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部５３０は、発話内容を記憶部５１０に格納する。
　（ステップＳＴ１３３）聴講者装置７００は、聴講者の目を含む画像をサーバ５００に送信する。
　これにより、当該画像は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、当該画像を取得してもよい。
　（ステップＳＴ１３４）解析制御部５３０は、当該画像に基づいて、聴講者の視線を解析する。
　（ステップＳＴ１３５）解析制御部５３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の視線が上方向であることを示している場合、解析制御部５３０は、聴講者が理解していないと判定する。解析の結果が、聴講者が理解していないことを示しているものとする。
　（ステップＳＴ１３６）取得部５２０は、管理テーブル１１１を記憶部５１０から取得する。生成部５４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１３７）生成部５４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１３８）生成部５４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１３９）提供制御部５５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該音情報と当該画面を発表者装置６００に送信する。提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置６００に送信する。
　（ステップＳＴ１４０）発表者装置６００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置６００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態２の変形例３によれば、サーバ５００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部５５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態２の変形例４．
　実施の形態２の変形例４では、実施の形態１の変形例４と同様の処理をサーバ５００が実行する。そのため、詳細な説明は、省略する。
　図１８は、実施の形態２の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１４１）発表者装置６００は、音声信号をサーバ５００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１４２）解析制御部５３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部５３０は、発話内容を記憶部５１０に格納する。
　（ステップＳＴ１４３）聴講者装置７００は、聴講者の顔を含む画像をサーバ５００に送信する。
　これにより、当該画像は、取得部５２０に取得される。また、取得部５２０は、外部装置を介して、当該画像を取得してもよい。
　（ステップＳＴ１４４）解析制御部５３０は、当該画像に基づいて、聴講者の表情を解析する。
　（ステップＳＴ１４５）解析制御部５３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の表情が理解していないときの表情であることを示している場合、解析制御部５３０は、聴講者が理解していないと判定する。解析の結果が、聴講者が理解していないことを示しているものとする。
　（ステップＳＴ１４６）取得部５２０は、管理テーブル１１１を記憶部５１０から取得する。生成部５４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１４７）生成部５４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１４８）生成部５４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１４９）提供制御部５５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部５５０は、当該音情報と当該画面を発表者装置６００に送信する。提供制御部５５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置６００に送信する。
　（ステップＳＴ１５０）発表者装置６００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置６００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態２の変形例４によれば、サーバ５００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部５５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態３．
　次に、実施の形態３を説明する。実施の形態３では、実施の形態１と相違する事項を主に説明する。そして、実施の形態３では、実施の形態１と共通する事項の説明を省略する。
　実施の形態１では、発表者装置１００が主な処理を行う場合を説明した。実施の形態３では、聴講者装置が主な処理を行う場合を説明する。
　図１９は、実施の形態３の通信システムを示す図である。通信システムは、聴講者装置８００及び発表者装置９００を含む。聴講者装置８００及び発表者装置９００は、ネットワークを介して、通信する。
　聴講者装置８００は、情報処理装置とも言う。聴講者装置８００は、制御方法を実行する装置である。聴講者装置８００は、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。聴講者装置８００は、処理回路を有してもよい。
　聴講者装置８００は、聴講者が用いる装置である。聴講者装置８００には、ディスプレイ、マイク、撮像装置、及び１以上のスピーカが接続されている。聴講者装置８００は、ディスプレイ、マイク、撮像装置、及び１以上のスピーカのうちの少なくとも１つを有してもよい。当該ディスプレイ、当該マイク、当該撮像装置、及び当該１以上のスピーカは、聴講者側のディスプレイ、マイク、撮像装置、及び１以上のスピーカと呼んでもよい。
　発表者装置９００は、発表者が用いる装置である。例えば、発表者装置９００は、ＰＣである。発表者装置９００には、ディスプレイ、マイク、及び１以上のスピーカが接続されている。また、発表者装置９００は、ディスプレイ、マイク、及び１以上のスピーカのうちの少なくとも１つを有してもよい。当該ディスプレイ、当該マイク、及び当該１以上のスピーカは、発表者側のディスプレイ、マイク、及び１以上のスピーカと呼んでもよい。
　発表者は、発表者装置９００のディスプレイに表示された画面を見ながら、プレゼンテーションなどを行う。実施の形態１と同じように、当該画面は、聴講者側のディスプレイにも表示されている。
　次に、聴講者装置８００が有する機能を説明する。
　図２０は、実施の形態３の聴講者装置が有する機能のブロック図である。聴講者装置８００は、記憶部８１０、取得部８２０、解析制御部８３０、生成部８４０、及び提供制御部８５０を有する。
　記憶部８１０は、聴講者装置８００が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
　取得部８２０、解析制御部８３０、生成部８４０、及び提供制御部８５０の一部又は全部は、聴講者装置８００が有する処理回路によって実現してもよい。また、取得部８２０、解析制御部８３０、生成部８４０、及び提供制御部８５０の一部又は全部は、聴講者装置８００が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、当該プロセッサが実行するプログラムは、制御プログラムとも言う。例えば、制御プログラムは、記録媒体に記録されている。
　記憶部８１０は、様々な情報を記憶する。例えば、記憶部８１０は、管理テーブル１１１を記憶する。
　取得部８２０は、聴講者が理解していないことを示す情報を取得する。当該情報は、聴講者が発表者の説明を理解していないことを示す情報と表現してもよい。また、例えば、当該情報は、聴講者からの詳細な説明の要求、又は聴講者からの質問である。
　解析制御部８３０の機能は、後で説明する。
　生成部８４０は、聴講者が理解していないことを示す情報が取得された場合、発表者への出力情報を生成する。
　提供制御部８５０は、出力情報が発表者に提供されるように、制御を行う。言い換えれば、提供制御部８５０は、出力情報が発表者に提供されるための制御を行う。
　次に、通信システムで実行される処理を、シーケンス図を用いて、説明する。
　図２１は、実施の形態３の通信システムで実行される処理の例を示すシーケンス図である。上述したように、聴講者装置８００は、発表者装置１００と同様の処理を行う。そのため、詳細な説明は、省略する。
　（ステップＳＴ１５１）取得部８２０は、文字情報を取得する。例えば、文字情報は、聴講者のキーボード操作により、入力された文字である。
　（ステップＳＴ１５２）解析制御部８３０は、文字情報を解析する。
　（ステップＳＴ１５３）解析制御部８３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。解析の結果が、詳細な説明の要求又は質問であるものとする。
　（ステップＳＴ１５４）取得部８２０は、管理テーブル１１１を取得する。例えば、取得部８２０は、管理テーブル１１１を記憶部８１０から取得する。また、例えば、取得部８２０は、管理テーブル１１１を外部装置から取得する。生成部８４０は、管理テーブル１１１と文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１５５）生成部８４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１５６）生成部８４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１５７）提供制御部８５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該音情報と当該画面を発表者装置９００に送信する。提供制御部８５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置９００に送信する。
　（ステップＳＴ１５８）発表者装置９００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置９００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態３によれば、発表者は、アバタ３０２が発話する音を聞く。そのため、発表者は、聴講者の反応に気付く。よって、聴講者装置８００は、当該音が発表者に提供されるための制御を行うことで、聴講者の反応を発表者に気付かせることができる。
　また、発表者装置９００は、文章を発表者に提供してもよい。詳細に処理を説明する。生成部８４０は、文字情報に基づいて文章を生成する。なお、当該文章は、アバタ３０２の個性に応じた文章ではない。すなわち、当該文章は、一般的な文章（例えば、丁寧な文章）である。提供制御部８５０は、出力情報として当該文章が、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該文章と、当該文章の表示指示を発表者装置９００に送信する。発表者装置９００は、当該文章が発表者側のディスプレイに表示されるための制御を行う。これにより、当該文章が、発表者に提供される。
　また、生成部８４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成してもよい。提供制御部８５０は、生成された音情報に基づく音が発表者に提供されるように、制御を行ってもよい。
　さらに、生成部８４０は、当該文章（例えば、丁寧な文章）に基づいて、音情報を生成し、アバタ３０２を含む画面を生成してもよい。提供制御部８５０は、生成された音情報に基づく音と当該画面が発表者に提供されるように、制御を行ってもよい。
　提供制御部８５０は、次の処理を実行してもよい。提供制御部８５０は、生成された画面が発表者側のディスプレイに表示されるように、制御を行う。提供制御部１５０は、当該画面の中のアバタ３０２の位置に音像が形成されるように、制御を行う。例えば、提供制御部８５０は、音像の形成指示を発表者装置９００に送信する。発表者装置９００は、アバタ３０２の位置に音像が複数のスピーカによって形成されるための制御を行う。これにより、アバタ３０２の位置に音像が形成される。
　また、提供制御部８５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるように、制御を行ってもよい。これにより、聴講者は、アバタ３０２が発話する音を聞くことができる。
　さらに、提供制御部８５０は、聴講者側のディスプレイに表示される画面の中のアバタ３０２の位置に音像が形成されるように、制御を行ってもよい。これにより、アバタ３０２の位置に音像が形成される。
　生成部８４０は、画面に表示されるアバタの数を変更してもよい。詳細には、生成部８４０は、発表者の発表中に、画面に表示されるアバタの数を変更してもよい。例えば、アバタ３０２が発話する場合、生成部８４０は、アバタ３０２のみが表示されている画面を生成する。すなわち、アバタ３０１は、画面に表示されない。これにより、発表者は、どのアバタを注目して話を聞いたらよいのか分かる。
実施の形態３の変形例１．
　実施の形態３の変形例１では、実施の形態１の変形例１と同様の処理を聴講者装置８００が実行する。そのため、詳細な説明は、省略する。
　図２２は、実施の形態３の変形例１の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１６１）取得部８２０は、聴講者側のマイクから音声信号を取得する。なお、音声信号は、聴講者の音声の信号である。
　また、提供制御部８５０は、当該音声信号に基づく音が発表者側のスピーカから出力されるための制御を行う。さらに、提供制御部８５０は、当該音声信号に基づく発話内容が、チャットの内容として、発表者側のディスプレイに表示されるための制御を行ってもよい。
　（ステップＳＴ１６２）解析制御部８３０は、音声信号に基づいて、聴講者の発話内容を検出する。
　（ステップＳＴ１６３）解析制御部８３０は、発話内容を解析する。
　（ステップＳＴ１６４）解析制御部８３０は、解析の結果が、詳細な説明の要求又は質問であるか否かを判定する。解析の結果が、詳細な説明の要求又は質問であるものとする。
　（ステップＳＴ１６５）取得部８２０は、管理テーブル１１１を記憶部８１０から取得する。生成部８４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１６６）生成部８４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１６７）生成部８４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１６８）提供制御部８５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該音情報と当該画面を発表者装置９００に送信する。提供制御部８５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置９００に送信する。
　（ステップＳＴ１６９）発表者装置９００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置９００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態３の変形例１によれば、聴講者装置８００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部８５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態３の変形例２．
　実施の形態３の変形例２では、実施の形態１の変形例２と同様の処理を聴講者装置８００が実行する。そのため、詳細な説明は、省略する。
　図２３は、実施の形態３の変形例２の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１７１）発表者装置９００は、音声信号を聴講者装置８００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部８２０に取得される。また、取得部８２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１７２）解析制御部８３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部８３０は、発話内容を記憶部８１０に格納する。
　（ステップＳＴ１７３）取得部８２０は、ボタン情報を取得する。取得処理を説明する。聴講者側のディスプレイには、ボタンが表示されている。当該ボタンは、聴講者が発表者の説明を理解できない場合に押下される。例えば、聴講者は、発表者の説明を理解できない場合、マウスを用いて、当該ボタンを押下する。聴講者装置８００は、当該ボタンが押下された場合、ボタン情報を生成する。取得部８２０は、生成されたボタン情報を取得する。
　（ステップＳＴ１７４）取得部８２０は、管理テーブル１１１を記憶部８１０から取得する。生成部８４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１７５）生成部８４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１７６）生成部８４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１７７）提供制御部８５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該音情報と当該画面を発表者装置９００に送信する。提供制御部８５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置９００に送信する。
　（ステップＳＴ１７８）発表者装置９００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置９００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態３の変形例２によれば、聴講者装置８００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部８５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態３の変形例３．
　実施の形態３の変形例３では、実施の形態１の変形例３と同様の処理を聴講者装置８００が実行する。そのため、詳細な説明は、省略する。
　図２４は、実施の形態３の変形例３の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１８１）発表者装置９００は、音声信号を聴講者装置８００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部８２０に取得される。また、取得部８２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１８２）解析制御部８３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部８３０は、発話内容を記憶部８１０に格納する。
　（ステップＳＴ１８３）取得部８２０は、聴講者の目を含む画像を、聴講者側の撮像装置から取得する。
　（ステップＳＴ１８４）解析制御部８３０は、当該画像に基づいて、聴講者の視線を解析する。
　（ステップＳＴ１８５）解析制御部８３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の視線が上方向であることを示している場合、解析制御部８３０は、聴講者が理解していないと判定する。解析の結果が、聴講者が理解していないことを示しているものとする。
　（ステップＳＴ１８６）取得部８２０は、管理テーブル１１１を記憶部８１０から取得する。生成部８４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１８７）生成部８４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１８８）生成部８４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１８９）提供制御部８５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該音情報と当該画面を発表者装置９００に送信する。提供制御部８５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置９００に送信する。
　（ステップＳＴ１９０）発表者装置９００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置９００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態３の変形例３によれば、聴講者装置８００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部８５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
実施の形態３の変形例４．
　実施の形態３の変形例４では、実施の形態１の変形例４と同様の処理を聴講者装置８００が実行する。そのため、詳細な説明は、省略する。
　図２５は、実施の形態３の変形例４の通信システムで実行される処理の例を示すシーケンス図である。
　（ステップＳＴ１９１）発表者装置９００は、音声信号を聴講者装置８００に送信する。なお、音声信号は、発表者の音声の信号である。
　これにより、音声信号は、取得部８２０に取得される。また、取得部８２０は、外部装置を介して、音声信号を取得してもよい。
　（ステップＳＴ１９２）解析制御部８３０は、音声信号に基づいて、発表者の発話内容を検出する。解析制御部８３０は、発話内容を記憶部８１０に格納する。
　（ステップＳＴ１９３）取得部８２０は、聴講者の顔を含む画像を、聴講者側の撮像装置から取得する。
　（ステップＳＴ１９４）解析制御部８３０は、当該画像に基づいて、聴講者の表情を解析する。
　（ステップＳＴ１９５）解析制御部８３０は、解析の結果に基づいて、聴講者が理解しているか否かを判定する。例えば、解析の結果が、聴講者の表情が理解していないときの表情であることを示している場合、解析制御部８３０は、聴講者が理解していないと判定する。解析の結果が、聴講者が理解していないことを示しているものとする。
　（ステップＳＴ１９６）取得部８２０は、管理テーブル１１１を記憶部８１０から取得する。生成部８４０は、管理テーブル１１１と発話内容である文字情報とに基づいて、アバタ３０２の個性に応じた文章を生成する。
　（ステップＳＴ１９７）生成部８４０は、生成された文章に基づいて、音情報を生成する。
　（ステップＳＴ１９８）生成部８４０は、アバタ３０２を含む画面を生成する。
　（ステップＳＴ１９９）提供制御部８５０は、出力情報として、生成された音情報に基づく音と、生成された画面とが、発表者に提供されるように、制御を行う。例えば、提供制御部８５０は、当該音情報と当該画面を発表者装置９００に送信する。提供制御部８５０は、当該音情報に基づく音の出力指示と当該画面の表示指示を発表者装置９００に送信する。
　（ステップＳＴ２００）発表者装置９００は、当該音情報に基づく音が１以上のスピーカから出力されるための制御を行う。また、発表者装置９００は、当該画面がディスプレイに表示されるための制御を行う。
　これにより、発表者は、アバタ３０２が発話する音を聞くことができる。
　実施の形態３の変形例４によれば、聴講者装置８００は、聴講者の反応を発表者に気付かせることができる。
　また、提供制御部８５０は、生成された音情報に基づく音と、生成された画面とが、聴講者に提供されるための制御を行ってもよい。
　以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
　１００　発表者装置、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１１０　記憶部、　１１１　管理テーブル、　１２０　取得部、　１３０　解析制御部、　１４０　生成部、　１５０　提供制御部、　２００　聴講者装置、　３００　ディスプレイ、　３０１　アバタ、　３０２　アバタ、　３０３　範囲、　３１０　マイク、　３２０，３２１　スピーカ、　４００　ディスプレイ、　４１０　マイク、　４２０　撮像装置、　４３０　スピーカ、　５００　サーバ、　５１０　記憶部、　５２０　取得部、　５３０　解析制御部、　５４０　生成部、　５５０　提供制御部、　６００　発表者装置、　７００　聴講者装置、　８００　聴講者装置、　８１０　記憶部、　８２０　取得部、　８３０　解析制御部、　８４０　生成部、　８５０　提供制御部、　９００　発表者装置。

Claims (21)

  1. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる情報処理装置であって、
    　前記聴講者が理解していないことを示す情報を取得する取得部と、
    　当該情報が取得された場合、前記発表者への出力情報を生成する生成部と、
    　前記出力情報が前記発表者に提供されるように、制御を行う提供制御部と、
    　を有する情報処理装置。
  2. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる発表者装置と通信する情報処理装置であって、
    　前記聴講者が理解していないことを示す情報を取得する取得部と、
    　当該情報が取得された場合、前記発表者への出力情報を生成する生成部と、
    　前記出力情報が前記発表者に提供されるように、制御を行う提供制御部と、
    　を有する情報処理装置。
  3. 　発表者が用いる発表者装置と通信し、かつ聴講者が用いる情報処理装置であって、
    　前記聴講者が理解していないことを示す情報を取得する取得部と、
    　当該情報が取得された場合、前記発表者への出力情報を生成する生成部と、
    　前記出力情報が前記発表者に提供されるように、制御を行う提供制御部と、
    　を有する情報処理装置。
  4. 　解析制御部をさらに有し、
    　前記取得部は、文字情報を取得し、
    　前記解析制御部は、前記文字情報を解析し、
    　前記生成部は、前記解析の結果が、詳細な説明の要求又は質問を示している場合、前記文字情報に基づいて文章を生成し、
    　前記提供制御部は、前記出力情報として前記文章が、前記発表者に提供されるように、制御を行う、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　解析制御部をさらに有し、
    　前記取得部は、前記聴講者の音声の信号である音声信号を取得し、
    　前記解析制御部は、前記音声信号に基づいて、前記聴講者の発話内容を検出し、前記発話内容を解析し、
    　前記生成部は、前記解析の結果が、詳細な説明の要求又は質問を示している場合、検出された前記発話内容である文字情報に基づいて文章を生成し、
    　前記提供制御部は、前記出力情報として前記文章が、前記発表者に提供されるように、制御を行う、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  6. 　解析制御部をさらに有し、
    　前記取得部は、前記発表者の音声の信号である音声信号を取得し、
    　前記解析制御部は、前記音声信号に基づいて、前記発表者の発話内容を検出し、
    　前記取得部は、前記聴講者が理解していないことを示す前記情報を取得し、
    　前記生成部は、検出された前記発話内容である文字情報に基づいて文章を生成し、
    　前記提供制御部は、前記出力情報として前記文章が、前記発表者に提供されるように、制御を行う、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  7. 　解析制御部をさらに有し、
    　前記取得部は、前記発表者の音声の信号である音声信号を取得し、
    　前記解析制御部は、前記音声信号に基づいて、前記発表者の発話内容を検出し、
    　前記取得部は、前記聴講者の目を含む画像を取得し、
    　前記解析制御部は、前記画像が取得された場合、前記画像に基づいて、前記聴講者の視線を解析し、前記解析の結果に基づいて、前記聴講者が理解しているか否かを判定し、
    　前記生成部は、前記聴講者が理解していない場合、検出された前記発話内容である文字情報に基づいて文章を生成し、
    　前記提供制御部は、前記出力情報として前記文章が、前記発表者に提供されるように、制御を行う、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  8. 　解析制御部をさらに有し、
    　前記取得部は、前記発表者の音声の信号である音声信号を取得し、
    　前記解析制御部は、前記音声信号に基づいて、前記発表者の発話内容を検出し、
    　前記取得部は、前記聴講者の顔を含む画像を取得し、
    　前記解析制御部は、前記画像が取得された場合、前記画像に基づいて、前記聴講者の表情を解析し、前記解析の結果に基づいて、前記聴講者が理解しているか否かを判定し、
    　前記生成部は、前記聴講者が理解していない場合、検出された前記発話内容である文字情報に基づいて文章を生成し、
    　前記提供制御部は、前記出力情報として前記文章が、前記発表者に提供されるように、制御を行う、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  9. 　前記生成部は、前記文章に基づいて、音情報を生成し、
    　前記提供制御部は、前記出力情報として前記音情報に基づく音が、前記発表者に提供されるように、制御を行う、
    　請求項４から８のいずれか１項に記載の情報処理装置。
  10. 　前記生成部は、アバタを含む画面を生成し、
    　前記提供制御部は、前記出力情報として、前記画面と前記音情報に基づく音とが、前記発表者に提供されるように、制御を行う、
    　請求項９に記載の情報処理装置。
  11. 　前記生成部は、画面に表示されるアバタの数を変更する、
    　請求項１０に記載の情報処理装置。
  12. 　前記取得部は、前記アバタの個性を示す管理情報を取得し、
    　前記生成部は、前記管理情報と前記文字情報とに基づいて、前記アバタの個性に応じた前記文章を生成する、
    　請求項１０に記載の情報処理装置。
  13. 　前記提供制御部は、前記発表者が見る表示装置に前記画面が表示されるように、制御を行い、前記表示装置に表示される前記画面の中の前記アバタの位置に音像が形成されるように、制御を行う、
    　請求項１２に記載の情報処理装置。
  14. 　前記提供制御部は、前記画面と前記音情報に基づく音とが、前記聴講者に提供されるように、制御を行う、
    　請求項１２に記載の情報処理装置。
  15. 　前記提供制御部は、前記聴講者が見る表示装置に表示される画面の中の前記アバタの位置に音像が形成されるように、制御を行う、
    　請求項１４に記載の情報処理装置。
  16. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる情報処理装置が、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　制御方法。
  17. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる発表者装置と通信する情報処理装置が、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　制御方法。
  18. 　発表者が用いる発表者装置と通信し、かつ聴講者が用いる情報処理装置が、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　制御方法。
  19. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる情報処理装置に、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　処理を実行させる制御プログラム。
  20. 　聴講者が用いる聴講者装置と通信し、かつ発表者が用いる発表者装置と通信する情報処理装置に、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　処理を実行させる制御プログラム。
  21. 　発表者が用いる発表者装置と通信し、かつ聴講者が用いる情報処理装置に、
    　前記聴講者が理解していないことを示す情報を取得し、
    　当該情報が取得された場合、前記発表者への出力情報を生成し、
    　前記出力情報が前記発表者に提供されるように、制御を行う、
    　処理を実行させる制御プログラム。
PCT/JP2020/048640 2020-12-25 2020-12-25 情報処理装置、制御方法、及び制御プログラム WO2022137485A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022570930A JP7523589B2 (ja) 2020-12-25 2020-12-25 情報処理装置、制御方法、及び制御プログラム
PCT/JP2020/048640 WO2022137485A1 (ja) 2020-12-25 2020-12-25 情報処理装置、制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/048640 WO2022137485A1 (ja) 2020-12-25 2020-12-25 情報処理装置、制御方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
WO2022137485A1 true WO2022137485A1 (ja) 2022-06-30

Family

ID=82157453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048640 WO2022137485A1 (ja) 2020-12-25 2020-12-25 情報処理装置、制御方法、及び制御プログラム

Country Status (2)

Country Link
JP (1) JP7523589B2 (ja)
WO (1) WO2022137485A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201818A (ja) * 2006-01-26 2007-08-09 Sony Corp オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
JP2009237387A (ja) * 2008-03-28 2009-10-15 Mitsubishi Electric Information Systems Corp 音声文字変換装置、音声文字変換方法及び音声文字変換プログラム
JP2011061314A (ja) * 2009-09-07 2011-03-24 Konica Minolta Business Technologies Inc 会議システム、会議管理装置、端末装置およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140136626A1 (en) 2012-11-15 2014-05-15 Microsoft Corporation Interactive Presentations
US20200228358A1 (en) 2019-01-11 2020-07-16 Calendar.com, Inc. Coordinated intelligent multi-party conferencing
WO2020222669A1 (en) 2019-04-30 2020-11-05 Ringcentral, Inc., (A Delaware Corporation) Systems and methods for recognizing user information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201818A (ja) * 2006-01-26 2007-08-09 Sony Corp オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
JP2009237387A (ja) * 2008-03-28 2009-10-15 Mitsubishi Electric Information Systems Corp 音声文字変換装置、音声文字変換方法及び音声文字変換プログラム
JP2011061314A (ja) * 2009-09-07 2011-03-24 Konica Minolta Business Technologies Inc 会議システム、会議管理装置、端末装置およびプログラム

Also Published As

Publication number Publication date
JPWO2022137485A1 (ja) 2022-06-30
JP7523589B2 (ja) 2024-07-26

Similar Documents

Publication Publication Date Title
US11423889B2 (en) Systems and methods for recognizing a speech of a speaker
JP2011253375A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2011209786A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2011209787A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7283384B2 (ja) 情報処理端末、情報処理装置、および情報処理方法
US11238869B2 (en) System and method for reconstructing metadata from audio outputs
US12087297B2 (en) Voice filtering other speakers from calls and audio messages
WO2007058263A1 (ja) 語学学習装置、語学学習支援方法、プログラム及び記録媒体
JP7427408B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2022074024A (ja) 方法、コンピュータ・プログラム製品、およびコンピュータ・システム（聴衆フィードバックを用いたパーソナル・スピーチ提案）
JP2023126219A (ja) 保留を管理するための方法および装置
JP2006251898A (ja) 情報処理装置、情報処理方法およびプログラム
WO2019155717A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11568871B1 (en) Interactive media system using audio inputs
WO2022137485A1 (ja) 情報処理装置、制御方法、及び制御プログラム
US11470201B2 (en) Systems and methods for providing real time assistance to voice over internet protocol (VOIP) users
JP7406704B2 (ja) 情報処理装置、制御方法、及び制御プログラム
US20120278178A1 (en) Method for Delivering Highly Relevant Advertisements in a Friendly Way through Personal Robots
US20120121108A1 (en) Cooperative voice dialog and business logic interpreters for a voice-enabled software application
JP2019176375A (ja) 動画出力装置、動画出力方法および動画出力プログラム
JP7427112B2 (ja) 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム
CN111798872A (zh) 用于在线互动平台的处理方法、装置及电子设备
JP7313518B1 (ja) 評価方法、評価装置、および、評価プログラム
US20240257811A1 (en) System and Method for Providing Real-time Speech Recommendations During Verbal Communication
JP2024152492A (ja) 映像生成装置及び映像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20966971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022570930

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20966971

Country of ref document: EP

Kind code of ref document: A1