WO2012043451A1 - 通信装置、通信方法、および通信プログラム - Google Patents

通信装置、通信方法、および通信プログラム Download PDF

Info

Publication number
WO2012043451A1
WO2012043451A1 PCT/JP2011/071839 JP2011071839W WO2012043451A1 WO 2012043451 A1 WO2012043451 A1 WO 2012043451A1 JP 2011071839 W JP2011071839 W JP 2011071839W WO 2012043451 A1 WO2012043451 A1 WO 2012043451A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
voice
base
audio
shared
Prior art date
Application number
PCT/JP2011/071839
Other languages
English (en)
French (fr)
Inventor
藤野　裕章
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2012043451A1 publication Critical patent/WO2012043451A1/ja
Priority to US13/781,033 priority Critical patent/US8965760B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Definitions

  • the present disclosure relates to a communication device, a communication method, and a communication program that transmit and receive at least audio data to and from another communication device in order to perform a remote conference.
  • the characterizing device disclosed in Patent Document 1 performs a speech recognition process on an utterance made by a conference participant, and converts the utterance content into character information.
  • the characterizing apparatus adds the utterance history information indicating the utterance amount of the participant, the utterance of the utterance, and the like to the converted character information and displays the added information on the display unit. As a result, the contents and status of the conversation are communicated to the participants, and the remote conference proceeds smoothly.
  • the present disclosure relates to a communication device capable of causing a participant to accurately grasp the content of a document voice to be shared when a shared document including voice is shared at a plurality of sites during a remote conference using at least voice.
  • An object of the present invention is to provide a communication method and a communication program.
  • the communication device includes site audio data that is audio data of a site audio input by an audio input unit that inputs audio, and image data of an image captured by an imaging unit that captures an image.
  • a communication device capable of transmitting / receiving the document data of the shared image shared between the base image data and the other communication device to / from the other communication device, the material data being When transmitting / receiving, the material data to be transmitted / received includes determination means for determining whether or not material audio data that is audio data is included, and the material data is included in the material data by the determination means
  • An output control means for controlling the output of the base voice data to the voice output means for outputting the voice according to the reproduction conditions of the material voice data when determined. Eteiru.
  • the site audio is determined according to the reproduction conditions of the material audio data. Data output is controlled. In other words, if the utterances are made at other sites while the document audio data is being shared, the output of the site audio data is appropriately controlled, so that participants can easily listen to the document audio. it can. Therefore, the participant can accurately grasp the contents of the material voice that needs to be shared with other participants, and can smoothly advance the remote conference.
  • the output control means may output the base voice data at a volume smaller than that of the material voice data to the voice output means for outputting voice while outputting the material voice data.
  • the participant can hear the material audio with a volume higher than that of the site audio. Therefore, the participant can grasp the contents of the material sound more accurately.
  • the output control means outputs the base voice data and the material voice data to different voice output means when the judgment means judges that the material voice data is included in the material data. May be. In this case, the participant can easily distinguish between the base voice and the material voice, compared to the case where two kinds of voice data are output by one voice output means. Furthermore, when the volume of the base voice data is made smaller than the volume of the document voice data, the two kinds of voice data are output to different voice output means, so that the volume can be easily controlled.
  • the output control means may output the base audio data and the material audio data to different speakers.
  • the communication device can generate the base voice and the shared voice from different speakers. Therefore, the participant can more easily distinguish the base voice and the shared voice, and can easily grasp the contents of the voice.
  • the communication device generates text data by performing speech recognition processing on the base voice data when the judgment means judges that the material voice data is included in the material data
  • text output means for outputting the text data generated by the text generation means to display means for displaying text.
  • the participant can grasp the content of the utterance performed at the other base by text while easily listening to the material voice to be shared with other participants. Therefore, the participant can grasp both the contents of the material voice and the contents of the utterances of other bases, and can smoothly advance the remote conference.
  • the communication device may further include storage control means for storing data in the storage means.
  • the communication device is generated from the base voice, the base voice data whose volume is controlled by the output control means, the base image data, the material data including the material voice data, and the text generation means.
  • the text data may be stored by the storage control means.
  • the user can read the utterance included in the base voice as text by reproducing the data stored in the storage means. Furthermore, the output of the reproduced base voice data is appropriately controlled by the output control means when sharing the document voice data. Therefore, the user can accurately grasp the contents of the remote conference even after the remote conference.
  • the output control means outputs the base voice data to the voice output means and reproduces the voice data only during a period of time during which the voice data is generated during transmission / reception of the voice data. You may control according to conditions. In this case, even if the shared material including the material sound is shared, if the material sound is not generated, the output of the base sound data is not controlled. Therefore, when no material voice is generated, the participant can hear the base voice whose output is not controlled, and can smoothly advance the remote conference.
  • the communication method includes site audio data that is audio data of a site audio input by an audio input unit that inputs audio, and image data of an image captured by an imaging unit that captures an image.
  • a communication method performed by a communication device capable of transmitting / receiving the image data of the base and the material data of the shared material shared with the other communication device to / from the other communication device.
  • a determination step for determining whether or not the material data that is audio data is included in the material data to be transmitted / received, and the material audio data is included in the material data in the determination step.
  • the base voice data for the voice output means for outputting voice according to the reproduction condition of the voice data when it is determined that it is included And an output control step of controlling the output.
  • the site audio according to the reproduction conditions of the material audio data Data output is controlled.
  • the output of the site audio data is appropriately controlled, so that participants can easily listen to the document audio. it can. Therefore, the participant can accurately grasp the contents of the material voice that needs to be shared with other participants, and can smoothly advance the remote conference.
  • the communication program includes site audio data that is audio data of a site audio input by an audio input unit that inputs audio, and image data of an image captured by an imaging unit that captures an image
  • a communication program used in a communication device capable of transmitting and receiving the base image data and the material data of the shared material shared with the other communication device to and from the other communication device.
  • a determination step for determining whether or not the material data that is audio data is included in the material data to be transmitted / received, and the material audio data is included in the material data in the determination step. If it is determined that it is included, the base sound for the sound output means for outputting sound according to the reproduction condition of the material sound data And an output control step of controlling the output of data including instructions to be executed by the controller of the communication device.
  • the site audio according to the reproduction conditions of the material audio data Data output is controlled.
  • the output of the site audio data is appropriately controlled, so that participants can easily listen to the document audio. it can. Therefore, the participant can accurately grasp the contents of the material voice that needs to be shared with other participants, and can smoothly advance the remote conference.
  • FIG. 1 is a diagram showing a system configuration of a communication system 100.
  • FIG. It is a figure which shows an example of the image which PC1 displays on the display apparatus 35.
  • FIG. It is a block diagram which shows the electric constitution of PC1.
  • the system configuration of the communication system 100 will be described with reference to FIG.
  • the communication system 100 includes a plurality of PCs 1.
  • Each PC 1 transmits / receives data to / from other PCs 1 via a network 8 such as the Internet.
  • the PC 1 can directly transmit and receive data such as images, sounds, and texts with each other PC 1 by P2P (peer to peer).
  • P2P peer to peer
  • what can be used as a communication apparatus in this indication is not restricted to PC1.
  • a dedicated video conference terminal or the like arranged at each base for performing a video conference can be used as the communication device in the present disclosure.
  • the communication system 100 is a video conference system for executing a remote conference (video conference) using images and sound.
  • Each PC 1 transmits the base image data input from the camera 34 of its own base and the base voice data input from the microphone 31 (see FIG. 3) to the other PC 1.
  • Each PC 1 displays the captured image of the other base on the display device 35 based on the base image data and base voice data received from the other PC 1, and the voices of the other bases to the speakers 32 and 33 (see FIG. 3). ).
  • the base images and base sounds of a plurality of bases are shared in the communication system 100. Therefore, according to the communication system 100, even when all the participants of the conference are not in the same base, the participant can smoothly execute the conference. There may be one or more participants at one base.
  • the communication system 100 can also hold a video conference while sharing document images, document images such as documents, drawings, moving images, still images, and document audio among a plurality of participants.
  • an instruction to distribute the shared material to another PC 1 is input to one of the plurality of PCs 1.
  • the PC 1 to which the distribution instruction is input generates the document image data by capturing the document image to be displayed on the display device 35 of the local site and performing the encoding process.
  • the PC 1 to which the distribution instruction is input is hereinafter referred to as “distribution source device”.
  • the distribution source device when the shared material to be distributed includes sound (material sound), the distribution source device generates the material sound data by encoding the material sound.
  • the distribution source device transmits the generated document image data and document audio data to another PC 1 in the communication system 100.
  • the other PC 1 is hereinafter referred to as “distribution destination device”.
  • the distribution destination device decrypts the received data and reproduces the shared material. Accordingly, each participant can hold a video conference while sharing necessary shared materials with other participants.
  • the communication system 100 of the present embodiment it is possible to share a shared material consisting only of images and a shared material consisting of images and sounds.
  • the present disclosure can also be applied to a communication system that shares shared material consisting only of voice.
  • the data of the shared material may be stored in advance by the distribution source device, or may be acquired by the distribution source device via the network 8 or the like during the video conference.
  • FIG. 2 shows an example of an image displayed on the display device 35 installed at the site A when a video conference is being executed at the three sites A, B, and C.
  • the base A display section 41, the base B display section 42, and the base C display section 43 are formed on the upper right side of the display screen of the display device 35.
  • the PC 1 at the site A causes the site A display unit 41 to display the site image of the site itself input from the camera 34 at the site A.
  • the base image of the base B is displayed on the base B display unit 42 according to the base image data received from the PC 1 of the base B.
  • the base image of the base C is displayed on the base C display unit 43 according to the base image data received from the PC 1 of the base C.
  • the PC 1 at the site A can reproduce the site voices of the other sites (base B and site C). Therefore, the participant in the site A can smoothly execute the video conference by using the image displayed on the display device 35 and the reproduced sound.
  • a document image display unit 45 is formed on the upper left side of the display device 35.
  • the document image display unit 45 displays a shared document image.
  • the PC 1 operates as a distribution source device that distributes the shared material to another PC 1
  • the PC 1 captures a material image to be displayed on the material image display unit 45 to generate material image data, and transmits the material image data to the other PC 1.
  • the PC 1 operates as a distribution destination device to which shared material is provided
  • the material image is displayed on the material image display unit 45 based on the material image data received from the distribution source device.
  • the PC 1 can reproduce the material sound when the material sound is included in the shared material. Therefore, the participant can hold a video conference while sharing the shared material with the participants at other bases.
  • a text display section 46 is formed below the display device 35.
  • the text display unit 46 when the material voice is shared, the utterance contents performed at the bases A, B, and C are displayed as text.
  • the participant needs to simultaneously grasp the contents of the site audio input from the microphone 31 at each site and the material audio distributed by the distribution source device.
  • the base voice and the document voice are output at the same volume, it is difficult for the participant to hear the voice and understand the contents.
  • the PC 1 can cause the participant to accurately grasp the contents of each voice by performing processing such as adjusting the volume of the base voice and the document voice and converting the contents of the base voice into text.
  • the electrical configuration of the PC 1 will be described with reference to FIG.
  • the PC 1 includes a CPU 10 that controls the PC 1.
  • a ROM 11, a RAM 12, a hard disk drive 13, and an input / output interface 19 are connected to the CPU 10 via a bus 18.
  • the hard disk drive is hereinafter referred to as “HDD”.
  • the ROM 11 stores a program such as a BIOS for operating the PC 1 and initial values.
  • the RAM 12 temporarily stores various information used in the control program.
  • the HDD 13 is a non-volatile storage device and stores various information such as a communication program for executing a video conference process described later.
  • the communication program is stored in the HDD 13 via, for example, a storage medium such as a CD-ROM, the network 8 or the like.
  • the HDD 13 stores an acoustic model, a language model, and a word dictionary for performing voice recognition. While sharing the document voice, the CPU 10 analyzes the base voice data and extracts the feature amount, and then performs matching between the acoustic model and the language model.
  • the likelihood is obtained for each sentence acceptable by the language model, and the sentence with the highest likelihood is obtained as the recognition result.
  • the language model refers to a word dictionary.
  • the likelihood becomes a value equal to or less than a predetermined threshold, the recognition result is not obtained as a recognition failure.
  • the PC 1 can cause the participant to accurately grasp the contents of the base voice (the contents of the utterance) by performing voice recognition processing on the base voice data and converting it into text. Details of this will be described later.
  • a storage device such as an EEPROM or a memory card may be used instead of the HDD 13.
  • the input / output interface 19 is connected to an audio input processing unit 21, an audio output processing unit 22, an image input processing unit 23, an image output processing unit 24, an operation input processing unit 25, and an external communication I / F 26.
  • the voice input processing unit 21 processes input of voice data from the microphone 31 that inputs voice.
  • the audio output processing unit 22 is connected to two speakers 32 and 33 (first speaker 32 and second speaker 33) that output audio, and processes the operations of the two speakers 32 and 33.
  • the image input processing unit 23 processes input of image data from a camera 34 that captures an image.
  • the image output processing unit 24 processes the operation of the display device 35 that displays an image.
  • the operation input processing unit 25 processes operation inputs from the operation unit 36 such as a keyboard and a mouse.
  • the external communication I / F 26 connects the PC 1 to the network 8.
  • the PC 1 can perform both operations of the distribution source device and the distribution destination device. That is, when a shared material is selected by a participant and an instruction to start distributing the selected shared material is input from the operation unit 36, the PC 1 operates as a distribution source device (S4 to S13).
  • the distribution source device includes the data of the shared material in the data transmitted to the other PC 1 (distribution destination device).
  • the PC 1 operates as a distribution destination device and reproduces the shared material according to the received data.
  • the CPU 10 encodes the base image data input from the camera 34 at the base (S1).
  • the base voice data input from the microphone 31 of the own base is encoded (S2).
  • the CPU 10 determines whether or not the shared material is being distributed to the other PC 1, that is, whether or not itself is the distribution source device (S3). If the shared material distribution execution instruction is input from the operation unit 36 and it is determined that the shared material is being distributed (S3: YES), the CPU 10 selects the material image of the shared material selected by the participant. Data is encoded (S4).
  • the CPU 10 determines whether or not material audio data is included in the data (material data) of the shared material to be distributed (S5).
  • the CPU 10 determines whether or not the material audio data is included according to the extension of the data file of the material data. For example, if a data file having an extension of wav, mp3, mp4, etc. exists, it can be determined that the material audio data is included.
  • the CPU 10 determines whether or not the document audio data is included based on the URL of the website to be shared, the type of application running on the shared website, and the like. You may judge.
  • the CPU 10 encodes the material audio data (S6).
  • CPU10 produces
  • the CPU 10 transmits the text data of the utterance generated in S7 to another PC 1 (distribution destination device) (S9).
  • the CPU 10 transmits the base image data encoded in S1 and the material image data encoded in S4 to the distribution destination device (S10). Further, the CPU 10 transmits the material voice data and the base voice data to the distribution destination device (S11).
  • the base voice data encoded in S2 and the material voice data encoded in S6 are transmitted to different channels of each of the distribution destination apparatuses, so that each of the two voices from different speakers in the distribution destination apparatus. Is output.
  • two types of audio data are transmitted to each of the delivery destination devices so that the base audio is output from the first speaker 32 and the material audio is output from the second speaker 33.
  • the CPU 10 When the own apparatus is the distribution source apparatus (S3: YES) and the document audio data is not included in the document data (S5: NO), the CPU 10 performs the base image data encoded in S1 and the S4. The encoded document image data is transmitted to the distribution destination device (S12). Furthermore, the CPU 10 transmits the base voice data of the local base encoded in S2 to the distribution destination apparatus without performing special processing (S13). In this case, the sound of the local site is output at a normal volume.
  • the normal sound volume in the present embodiment is the sound volume of the base sound when the material sound data is not shared, and is larger than the sound volume of the base sound when the material sound data is shared.
  • the CPU 10 determines whether or not material data has been received from another PC 1 (S15). If the document data is received (S15: YES), it is determined whether the received document data includes document audio data (S16). When the document voice data is included (S16: YES), the CPU 10 generates text data by performing voice recognition processing on the base voice data input from the microphone 31 of its own base (S17). . When the CPU 10 operates as the distribution source device, the CPU 10 receives the base voice data input from the microphone 31 of the base so that the volume is lower than the volume of the source voice data (data encoded in S5) to be encoded. The volume is set (S18).
  • the volume of all the site sounds is smaller than the volume of the document audio.
  • the CPU 10 transmits the base image data encoded in S1 to another PC 1 (S12).
  • the base voice data is transmitted to the other PC 1 at the volume set in S18 (S13).
  • the text data generated in S17 is transmitted to the other PC 1 together with the image data and audio data.
  • the base image data is not performed without any special processing. And it transfers to the process (S12, S13) which transmits base audio
  • the CPU 10 stores the data transmitted to the other PC 1 in the HDD 13 (S20).
  • the CPU 10 receives data from the other PC 1 and decrypts it (S21).
  • the received data includes base voice data and base image data of other bases, and may include document voice data, document image data, and text data.
  • the CPU 10 stores the received data in the HDD 13 (S22).
  • the user can confirm the content of the video conference after the conference ends by reproducing the data stored in the HDD 13 by the processing of S20 and S22.
  • the CPU 10 outputs sound from the speakers 32 and 33, displays an image on the display device 35, and displays text on the display device 35 based on the received data (S23).
  • the CPU 10 When the base audio data and the material audio data are received through different channels, the CPU 10 outputs one audio from the first speaker 32 and outputs the other audio from the second speaker 33. Further, when the document audio data is shared, the base audio data is set to have a volume smaller than that of the material audio data. The participant can change the volume of the sound generated from the speakers 32 and 33 by operating the operation unit 36, but the magnitude relationship between the volume of the base sound and the volume of the document sound does not change. Accordingly, the material voice is generated from a speaker different from the base voice at a volume higher than that of the base voice. Thereafter, the process returns to S1.
  • a video conference is realized by repeating the processing of S1 to S23 in the PC 1 of each base. Although not shown, when an instruction to end the video conference is input to the PC 1, the CPU 10 ends the video conference process.
  • the PC 1 when sharing the material sound data, controls the output of the base sound data according to the reproduction condition of the material sound data. In other words, if the utterances are made at other sites while the document audio data is being shared, the output of the site audio data is appropriately controlled, so that participants can easily listen to the document audio. it can. Specifically, the PC 1 transmits (outputs) the audio data to the speakers 32 and 33 connected to the other PC 1 so that the base audio data is output at a volume smaller than the material audio data. Therefore, even when a participant's utterance is input while the document audio data is shared among multiple sites in a video conference, the participant plays the document audio at a louder volume than the site audio such as an utterance. I can hear you. Therefore, the participant can accurately grasp the contents of the material voice that needs to be shared with other participants, and can smoothly advance the video conference.
  • the base audio data and the material audio data can be separately output to each of the speakers 32 and 33 connected to the distribution destination device. Accordingly, when the PC 1 operates as a distribution source device, the base voice data and the material voice data can be easily output at different volumes at other bases. As a result, the participant can easily distinguish the base voice and the material voice generated by different speakers, and can easily grasp the contents of the voice.
  • the PC 1 When sharing the document voice, the PC 1 generates text data from the base voice data input from the microphone 31 of its own base, and transmits (outputs) the text data to the display device 35 connected to the other PC 1. Therefore, the participant can grasp the content of the utterance performed at the other base by text while easily listening to the material voice to be shared with the other participants. Therefore, the participant can grasp both the contents of the material voice and the contents of the utterances of other bases, and can smoothly advance the video conference.
  • the PC 1 stores the base voice data and material voice data whose volume is controlled in the process of S8 and the text data generated in the process of S7 in the HDD 13 in the processes of S20 and S22. Therefore, the user can listen to the material voice at a volume higher than the base voice even after the video conference by reproducing the data stored in the HDD 13, and the utterance included in the base voice can be converted into text. Can be read at Thus, the user can accurately grasp the contents of the meeting. Further, while the document audio data is shared, the PC 1 reduces the volume of the base audio data regardless of whether or not an audio signal is included in the material audio data. As a result, the volume of the base voice data does not change frequently, and the user can easily hear the base voice.
  • the base audio data may be output at a volume smaller than that of the material audio data only during a time period in which the audio signal is generated in the material audio data. In this case, even if the shared material is shared, the volume of the base sound does not decrease while the material sound data is not generated. Therefore, the participant can easily hear the base voice data.
  • the communication system 200 includes a server 101 for controlling a video conference. Processing for causing the conference participants to accurately grasp the contents of the document audio is executed by the server 101.
  • the communication system 200 includes a server 101 and a plurality of PCs 102. Each PC 102 transmits / receives data to / from another PC 102 via the server 101. As a result, the voices and images of a plurality of locations where each PC 102 is arranged and the shared material provided by any of the PCs 102 are shared within the communication system 200. Also in the second embodiment, as in the first embodiment, it is possible to use a video conference terminal or the like instead of the PC 102.
  • the electrical configuration of the server 101 will be described with reference to FIG.
  • the server 101 includes a CPU 110.
  • a ROM 111, a RAM 112, an HDD 113, and an input / output interface 119 are connected to the CPU 110 via a bus 118.
  • an external communication I / F 126 is connected to the input / output interface 119.
  • the server 101 is connected to the network 8 by an external communication I / F 126. Since the electrical configuration of the PC 102 is the same as the electrical configuration of the PC 1 according to the first embodiment (see FIG. 3), this description is omitted.
  • the CPU of the PC 102 executes the video conference process shown in FIG.
  • the CPU encodes the base image data of the local base (S51) and encodes the base voice data of the local base (S52).
  • the CPU determines whether or not the shared material is being distributed to another PC 102 (S53). If the shared material is not being distributed (S53: NO), the process proceeds directly to S57. If the shared material is being distributed (S53: YES), the CPU encodes the material image data of the shared material (S54).
  • the CPU determines whether or not material audio data is included in the material data to be distributed (S55). If the document audio data is not included (S55: NO), the process proceeds to S57. If the document voice data is included (S55: YES), the CPU encodes the document voice data (S56).
  • the CPU transmits the encoded image data and audio data to the server 101 (S57).
  • S57 when both the base voice data and the material voice data are included in the data to be transmitted, the base voice data and the material voice data are transmitted through different channels.
  • data is received from the server 101 (S58).
  • the CPU outputs sound based on the received data and displays an image (S59).
  • the received data includes text data
  • the text is displayed in addition to the sound and the image.
  • the material audio data and the site audio data are received through different channels
  • the CPU outputs the respective audio data from different speakers. As a result, two types of sounds can be easily heard. Thereafter, the process returns to S51, and the processes of S51 to S59 are repeated until the video conference is completed.
  • server processing executed by the server 101 according to the second embodiment will be described.
  • the CPU 110 of the server 101 receives an instruction to execute a video conference from any of the PCs 102
  • the CPU 110 executes server processing according to a communication program stored in the HDD 113.
  • the CPU 110 receives data from the PC 102 at each site (S61).
  • the base image data of each base is synthesized, and base image data to be displayed on the display device 35 is generated and encoded (S62).
  • the image data to be displayed on the display device 35 may be generated and encoded by combining the material image data received from the distribution source device.
  • the CPU 110 determines whether or not the data received from the PC 102 includes document audio data (S63). That is, it is determined whether or not the document audio data is shared in the communication system 200.
  • the CPU 110 performs text recognition processing on the base voice data received from each base to generate text data (S64). ).
  • the base voice data received from each base is synthesized and encoded (S65). Further, the CPU 110 sets the volume of each voice data so that the base voice data of each base synthesized and encoded has a volume lower than that of the material voice data (S66).
  • the CPU 110 transmits the generated text data to each of the plurality of PCs 102 (S68).
  • the material image data is transmitted (transferred) to the PC 102 (S69), and the base image data synthesized in S62 is transmitted to the PC 102 (S70). Further, the CPU 110 transmits the material audio data received from any of the PCs 102 and the site audio data of each site synthesized and encoded in S65 to each different channel of the plurality of PCs 102 (S71). As a result, the CPU 110 can separately output the material audio data and the base audio data to different speakers 32 and 33 connected to each of the plurality of PCs 102. At this time, instead of transmitting the material voice data and the base voice data through different channels, the two voice data may be combined and encoded after the volume is set in S66 and transmitted through one channel. . The process returns to S61.
  • the CPU 110 transmits the data to each PC 102 without performing any special processing (S72 to S75). Specifically, the base voice data received from each base is synthesized and encoded (S72). Next, when the material image data is received from any of the PCs 102, the received material image data is transferred to the other PCs 102 (S73). The CPU 110 transmits the base image data combined in S62 to each PC 102 (S74). The base voice data synthesized and encoded in S72 is transmitted to each PC 102 (S75). The process returns to S61, and the processes of S61 to S75 are repeated.
  • the server 101 controls the output of the base audio data according to the reproduction conditions of the material audio data when the material audio data is shared in the communication system 200.
  • the server 101 outputs the base voice data to the speakers 32 and 33 connected to the PCs 102 of the bases at a volume smaller than the material voice data. Therefore, the participant can accurately grasp the contents of the material voice that needs to be shared with other participants, and can smoothly advance the video conference.
  • the present disclosure can be applied not only to the P2P communication system 100 (see FIG. 1) but also to the server communication system 200.
  • the server 101 can also perform processing for causing the participant to accurately grasp the content of the document audio.
  • the PC 1 of the first embodiment and the server 101 of the second embodiment always output the base audio data at a volume smaller than the material audio data while the material audio data is shared. (See S5 in FIG. 4 and S63 in FIG. 7).
  • the PC 1 and the server 101 may output the base audio data at a volume smaller than that of the material audio data only in a time zone in which a signal for generating sound is present in the material audio data.
  • the CPU 101 determines whether there is a signal for generating a sound in the document audio data. do it.
  • the process of S66 is performed, and if there is no signal, the process may proceed to S72.
  • the above process may be performed when it is determined in step S5 in FIG. In this case, even if the shared material including the material sound is shared, the volume of the base sound data does not decrease while the material sound is not generated. Therefore, the participant can easily listen to the base voice data.
  • the characteristic processing for allowing the participant to accurately grasp the contents of the material audio is mainly executed when the PC 1 operates as a distribution source device that distributes the data of the shared material.
  • the PC 1 sets the volume of the base voice data according to whether or not the document voice is being shared, and then transmits the data to another PC 1.
  • the process for causing the participant to accurately grasp the contents of the material sound may be executed when the PC 1 operates as a distribution destination device that receives the data of the shared material.
  • the PC 1 determines whether or not the material audio data is included in the data received from the other PC 1 in S23 of FIG.
  • the speech included in the base voice is displayed as text and the base voice data is output at a volume smaller than that of the voice data.
  • the PC 1 separately outputs the base audio data and the material audio data to each of the two speakers 32 and 33 connected to the PC 1.
  • the PC 1 controls the volume of the two audio data when outputting the material audio data and the site audio data received from the other PC 1 to the speakers 32 and 33 connected to the own device. Also good.
  • the PC 1 may convert the base voice of its own base into text and send it to another PC 1, but may generate text data from the base voice data received from the other PC 1.
  • the present disclosure can also be applied to a remote conference that is performed without using an image.
  • the server 101 performs a characteristic process for causing the participant to accurately grasp the contents of the material audio.
  • the PC 102 may execute part of the above characteristic processing.
  • the PC 102 can execute processing for converting the utterance content of each site into text.
  • a communication device such as a PC connected to the server can perform the above-described characteristic processing.
  • the communication device controls the output of the base voice data according to the reproduction condition of the document voice data.
  • the PC 1 and the server 101 of the above embodiment determine whether or not the material audio data is being output, and if it is being output, the base audio data is output at a volume smaller than that of the material audio data.
  • the method for controlling the base voice data can be changed. For example, if the communication device plays the document audio data at a normal speed, the volume of the base audio data is made smaller than the volume of the document audio data, and is output at the same volume for fast-forward playback and slow playback. May be. In other words, whether or not the reproduction is at normal speed may be set as the “reproduction condition”.
  • the communication device may determine whether the material voice is an utterance voice or a voice other than the utterance voice, for example, music, and may reduce the volume of the base voice data only when it is the utterance voice.
  • the communication device may reduce the volume of the base audio data if the number of times of reproduction of the document audio being shared is the first time, and may output the same volume if the number of times of reproduction is the second time or later.
  • the communication device may make the intelligibility of the material audio data higher than the intelligibility of the site audio data together with or in place of the above method of making the volume of the site audio data smaller than the volume of the material audio data. Thus, it is possible to make the material audio data easy to hear.
  • the two speakers 32 and 33 are connected to the PCs 1 and 102.
  • the document voice is shared, the document voice is output from one of the two speakers 32 and 33, and the base voice is output from the other.
  • the speakers 32 and 33 can be used as the audio output means.
  • a speaker and an earphone worn by a user on one ear are connected to the PCs 1 and 102.
  • the PC 1 or the server 101 may output the material sound from one of the speaker and the earphone, and output the base sound from the other. Even in this case, as in the above-described embodiment, the participants in the conference can easily distinguish the two sounds.
  • the present disclosure can be realized even when a part of the processing described in the above embodiment is not executed.
  • the PC 1 and the server 101 can make the video conference proceed more smoothly if the utterance content is displayed as text.
  • the PC 1 and the server 101 can appropriately control the output of the base voice data even when the text conversion process is not performed, the video conference can be smoothly advanced.
  • the PC 1 and the server 101 may perform processing so as not to output the base voice particularly when the utterance content is displayed as text.
  • “output the base voice data at a volume lower than that of the material voice data” includes a case where the volume of the base voice is set to zero and a case where the base voice data is not output.
  • the server 101 does not perform processing for storing data such as voice.
  • the server 101 may perform processing for storing data.
  • the server 101 may distribute the stored data to the PC 102 after the video conference is completed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　少なくとも音声を用いた遠隔会議中に、音声を含む共有資料が複数の拠点で共有される場合に、共有すべき資料音声の内容を参加者に正確に把握させることができる通信装置、通信方法、および通信プログラムを提供する。ＰＣは、拠点音声データ、拠点画像データ、および資料データを他のＰＣとの間で送受信することで、遠隔会議を実行することができる。ＰＣのＣＰＵは、資料データを送受信する場合に（Ｓ３：ＹＥＳ）、送受信する資料データに資料音声データが含まれているか否かを判断する（Ｓ５）。資料データに資料音声データが含まれていると判断した場合（Ｓ５：ＹＥＳ）、ＣＰＵは、資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する拠点音声データの出力を制御する（Ｓ８、Ｓ１１）。

Description

通信装置、通信方法、および通信プログラム
　本開示は、遠隔会議を実行するために他の通信装置との間で少なくとも音声データを送受信する通信装置、通信方法、および通信プログラムに関する。
　従来、複数の通信装置を備えた通信システムにおいて遠隔会議を円滑に実行するための様々な技術が提案されている。例えば、特許文献１が開示している文字化装置は、会議の参加者が行った発話に対して音声認識処理を行い、発話内容を文字情報に変換する。文字化装置は、変換した文字情報に、参加者の発言量、発言の活発さ等を示す発言履歴情報を付加して表示手段に表示させる。その結果、会話の内容および状況が参加者に伝わり、遠隔会議が円滑に進行する。
特開２００２－３４４９１５号公報
　遠隔会議中に共有資料を各拠点で共有することができれば、参加者全員が同一の共有資料の内容を同時に把握することができ、遠隔会議が円滑に進行する。しかし、音声を用いた遠隔会議で共有する共有資料に音声（資料音声）が含まれている場合、各拠点では、他の拠点の音声と資料音声とが同時に再生されることになる。従って、参加者は、再生された音声が他の拠点の音声なのか、資料音声なのかを区別し難くなり、共有すべき資料音声の内容を把握することが困難になるという問題がある。
　本開示は、少なくとも音声を用いた遠隔会議中に、音声を含む共有資料が複数の拠点で共有される場合に、共有すべき資料音声の内容を参加者に正確に把握させることができる通信装置、通信方法、および通信プログラムを提供することを目的とする。
　本開示の第一の態様に係る通信装置は、音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置であって、前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断手段と、前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御手段とを備えている。
　第一の態様に係る通信装置によると、共有資料の資料データに含まれる資料音声データが遠隔会議中に複数の拠点で共有されている最中に、資料音声データの再生条件に応じて拠点音声データの出力が制御される。つまり、資料音声データが共有されている最中に、他の拠点で発話等が行われた場合、拠点音声データの出力が適切に制御されるため、参加者は資料音声を容易に聞き取ることができる。従って、参加者は、他の参加者との間で共有する必要がある資料音声の内容を正確に把握し、遠隔会議を円滑に進行させることができる。
　前記出力制御手段は、前記資料音声データを出力する間、音声を出力する音声出力手段に対し、前記拠点音声データを前記資料音声データよりも小さい音量で出力してもよい。この場合、資料音声データが共有されている最中に他の拠点で発話等が行われても、参加者は、拠点音声よりも大きい音量で資料音声を聞き取ることができる。よって、参加者は、資料音声の内容をより正確に把握することができる。
　前記出力制御手段は、前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記拠点音声データと前記資料音声データとをそれぞれ異なる前記音声出力手段に出力してもよい。この場合、１つの音声出力手段において２種類の音声データを出力する場合よりも、参加者は拠点音声と資料音声とを容易に聞き分けることができる。さらに、拠点音声データの音量を資料音声データの音量よりも小さくする場合には、２種類の音声データを異なる音声出力手段に出力するため、容易に音量を制御することができる。
　前記出力制御手段は、前記拠点音声データと前記資料音声データとをそれぞれ異なるスピーカに出力してもよい。この場合、通信装置は、拠点音声と共有音声とを異なるスピーカから発生させることができる。従って、参加者は、拠点音声と共有音声とをより容易に聞き分けることができ、音声の内容を把握し易くなる。
　前記通信装置は、前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記拠点音声データに対して音声認識処理を行うことでテキストデータを生成するテキスト生成手段と、前記テキスト生成手段によって生成された前記テキストデータを、テキストを表示する表示手段に出力するテキスト出力手段とをさらに備えてもよい。この場合、参加者は、他の参加者との間で共有すべき資料音声を容易に聞き取りつつ、他の拠点で行われた発話の内容をテキストによって把握することができる。従って、参加者は、資料音声の内容と他の拠点の発話の内容とを共に把握することができ、遠隔会議を円滑に進行させることができる。
　前記通信装置は、データを記憶手段に記憶させる記憶制御手段をさらに備えてもよい。前記通信装置は、前記出力制御手段によって音量が制御された前記拠点音声データと、前記拠点画像データと、前記資料音声データを含む前記資料データと、前記テキスト生成手段によって前記拠点音声から生成された前記テキストデータとを、前記記憶制御手段によって記憶してもよい。ユーザは、記憶手段に記憶されたデータを再生させることで、拠点音声に含まれる発話をテキストで読むことができる。さらに、再生される拠点音声データの出力は、資料音声データの共有時において、出力制御手段によって適切に制御されている。従って、ユーザは、遠隔会議の後であっても正確に遠隔会議の内容を把握することができる。
　前記出力制御手段は、前記資料データの送受信中において、前記資料音声データに音声を発生させる信号が存在する時間帯にのみ、前記音声出力手段に対する前記拠点音声データの出力を前記資料音声データの再生条件に応じて制御してもよい。この場合、資料音声を含む共有資料が共有されている場合であっても、資料音声が発生していない場合には、拠点音声データの出力が制御されることはない。従って、資料音声が発生していない場合には、参加者は、出力が制御されていない拠点音声を聞き取ることができ、遠隔会議を円滑に進行させることができる。
　本開示の第二の態様に係る通信方法は、音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置によって行われる通信方法であって、前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断ステップと、前記判断ステップにおいて前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御ステップとを備えている。
　第二の態様に係る通信方法によると、共有資料の資料データに含まれる資料音声データが遠隔会議中に複数の拠点で共有されている最中に、資料音声データの再生条件に応じて拠点音声データの出力が制御される。つまり、資料音声データが共有されている最中に、他の拠点で発話等が行われた場合、拠点音声データの出力が適切に制御されるため、参加者は資料音声を容易に聞き取ることができる。従って、参加者は、他の参加者との間で共有する必要がある資料音声の内容を正確に把握し、遠隔会議を円滑に進行させることができる。
　本開示の第三の態様に係る通信プログラムは、音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置で用いられる通信プログラムであって、前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断ステップと、前記判断ステップにおいて前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御ステップとを前記通信装置のコントローラに実行させるための指示を含む。
　第三の態様に係る通信プログラムによると、共有資料の資料データに含まれる資料音声データが遠隔会議中に複数の拠点で共有されている最中に、資料音声データの再生条件に応じて拠点音声データの出力が制御される。つまり、資料音声データが共有されている最中に、他の拠点で発話等が行われた場合、拠点音声データの出力が適切に制御されるため、参加者は資料音声を容易に聞き取ることができる。従って、参加者は、他の参加者との間で共有する必要がある資料音声の内容を正確に把握し、遠隔会議を円滑に進行させることができる。
通信システム１００のシステム構成を示す図である。 ＰＣ１が表示装置３５に表示させる画像の一例を示す図である。 ＰＣ１の電気的構成を示すブロック図である。 第一の実施形態に係るＰＣ１が実行するテレビ会議処理のフローチャートである。 第二の実施形態に係る通信システム２００のシステム構成を示す図である。 第二の実施形態に係るＰＣ１０２が実行するテレビ会議処理のフローチャートである。 第二の実施形態に係るサーバ１０１が実行するサーバ処理のフローチャートである。
　以下、本開示の第一の実施形態について、図面を参照して説明する。参照する図面は、本開示が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
　図１を参照して、通信システム１００のシステム構成について説明する。通信システム１００は、複数のＰＣ１を備える。各ＰＣ１は、インターネット等のネットワーク８を介して、他のＰＣ１との間でデータを送受信する。詳細には、ＰＣ１は、他のＰＣ１のそれぞれとの間で、Ｐ２Ｐ（ｐｅｅｒ　ｔｏ　ｐｅｅｒ）で画像、音声、テキスト等のデータを直接送受信することができる。なお、本開示における通信装置として用いることができるのはＰＣ１に限られない。例えば、テレビ会議を実行するために各拠点に配置される専用のテレビ会議端末等を、本開示における通信装置として用いることも可能である。
　通信システム１００は、画像および音声を用いた遠隔会議（テレビ会議）を実行するためのテレビ会議システムである。各ＰＣ１は、自拠点のカメラ３４から入力した拠点画像のデータ、およびマイク３１（図３参照）から入力した拠点音声のデータを、他のＰＣ１に送信する。各ＰＣ１は、他のＰＣ１から受信した拠点画像データおよび拠点音声データに基づいて、他の拠点の撮影画像を表示装置３５に表示し、且つ他の拠点の音声をスピーカ３２，３３（図３参照）から出力させる。その結果、複数の拠点の拠点画像および拠点音声が、通信システム１００内で共有される。よって、通信システム１００によると、会議の参加者の全てが同一の拠点にいない場合でも、参加者は円滑に会議を実行することができる。１つの拠点にいる参加者は１人でもよいし、複数でもよい。
　さらに、通信システム１００では、文書、図面、動画、静止画等の資料画像、および資料音声を、複数の参加者の間で共有しながらテレビ会議を行うこともできる。具体的には、まず、他のＰＣ１へ共有資料を配信する指示が、複数のＰＣ１のいずれかに入力される。配信指示が入力されたＰＣ１は、自拠点の表示装置３５に表示させる資料画像をキャプチャして符号化処理を行うことで、資料画像データを生成する。配信指示が入力されたＰＣ１を以下、「配信元装置」と記す。さらに、配信する共有資料に音声（資料音声）が含まれている場合には、配信元装置は、資料音声を符号化して資料音声データを生成する。配信元装置は、生成した資料画像データおよび資料音声データを、通信システム１００内の他のＰＣ１に送信する。他のＰＣ１を以下、「配信先装置」と記す。配信先装置は、受信したデータを復号化し、共有資料を再生させる。従って、各参加者は、必要な共有資料を他の参加者との間で共有しながらテレビ会議を行うことができる。
　本実施形態の通信システム１００では、画像のみからなる共有資料と、画像および音声からなる共有資料とを共有することができる。しかし、音声のみからなる共有資料を共有する通信システムにも本開示は適用できる。また、共有資料のデータは、あらかじめ配信元装置が記憶していてもよいし、テレビ会議中に配信元装置がネットワーク８等を介して取得してもよい。
　図２を参照して、通信システム１００内で共有資料が共有されている場合に表示装置３５に表示される画像の一例について説明する。図２は、拠点Ａ，Ｂ，Ｃの３つの拠点でテレビ会議が実行されている場合に、拠点Ａに設置された表示装置３５に表示される画像の一例を示す。
　表示装置３５の表示画面の右上側には、拠点Ａ表示部４１、拠点Ｂ表示部４２、および拠点Ｃ表示部４３が形成される。拠点ＡのＰＣ１は、自拠点のカメラ３４から入力した自拠点の拠点画像を拠点Ａ表示部４１に表示させる。拠点Ｂ表示部４２には、拠点ＢのＰＣ１から受信した拠点画像データに従って、拠点Ｂの拠点画像が表示される。拠点Ｃ表示部４３には、拠点ＣのＰＣ１から受信した拠点画像データに従って、拠点Ｃの拠点画像が表示される。さらに、前述したように、拠点ＡのＰＣ１は、他の拠点（拠点Ｂおよび拠点Ｃ）の拠点音声を再生させることができる。よって、拠点Ａの参加者は、表示装置３５に表示される画像と、再生される音声とによって、円滑にテレビ会議を実行することができる。
　表示装置３５の左上側には、資料画像表示部４５が形成される。資料画像表示部４５には、共有されている資料画像が表示される。ＰＣ１は、共有資料を他のＰＣ１に配信する配信元装置として動作する場合、資料画像表示部４５に表示させる資料画像をキャプチャして資料画像データを生成し、他のＰＣ１に送信する。また、ＰＣ１は、共有資料が提供される配信先装置として動作する場合、配信元装置から受信した資料画像データに基づいて、資料画像表示部４５に資料画像を表示させる。さらに、前述したように、ＰＣ１は、共有資料に資料音声が含まれている場合、資料音声を再生させることができる。よって、参加者は、他の拠点の参加者との間で共有資料を共有しながらテレビ会議を行うことができる。
　表示装置３５の下側には、テキスト表示部４６が形成される。テキスト表示部４６には、資料音声が共有されている場合に、拠点Ａ，Ｂ，Ｃで行われた発話内容がテキスト化されて表示される。
　本実施形態では、テレビ会議の実行中に資料音声を共有することも可能である。資料音声の共有中には、参加者は、各拠点のマイク３１から入力された拠点音声の内容と、配信元装置が配信する資料音声とを同時に把握する必要がある。しかし、拠点音声と資料音声とが同一の音量で出力されると、参加者は、音声を聞き分けて内容を理解するのが難しい。ＰＣ１は、拠点音声および資料音声の音量の調整、拠点音声の内容のテキスト化等の処理を行うことで、それぞれの音声の内容を正確に参加者に把握させることができる。
　図３を参照して、ＰＣ１の電気的構成について説明する。ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ１３、および入出力インターフェース１９が、バス１８を介して接続されている。ハードディスクドライブは以下、「ＨＤＤ」と記す。
　ＲＯＭ１１は、ＰＣ１を動作させるためのＢＩＯＳ等のプログラム、および初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、不揮発性の記憶装置であり、後述するテレビ会議処理を実行させるための通信プログラム等の各種情報を記憶する。通信プログラムは、例えば、ＣＤ－ＲＯＭ等の記憶媒体、ネットワーク８等を介して、ＨＤＤ１３に記憶される。また、ＨＤＤ１３は、音声認識を行うための音響モデル、言語モデル、および単語辞書を記憶している。ＣＰＵ１０は、資料音声の共有中には、拠点音声データを分析し、特徴量を抽出した後、音響モデルと言語モデルとのマッチングを行う。その結果、言語モデルで受理可能な文毎に尤度が求まり、尤度が最も高い文が認識結果として得られる。マッチングの際、言語モデルは単語辞書を参照する。尤度が規定の閾値以下の値になった場合には、認識失敗として認識結果は得られない。ＰＣ１は、拠点音声データに対する音声認識処理を行いテキスト化することで、拠点音声の内容（発話の内容）を正確に参加者に把握させることができる。この詳細は後述する。なお、ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
　入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、画像入力処理部２３、画像出力処理部２４、操作入力処理部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力する２つのスピーカ３２，３３（第一スピーカ３２および第二スピーカ３３）に接続し、２つのスピーカ３２，３３の動作を処理する。画像入力処理部２３は、画像を撮影するカメラ３４からの画像データの入力を処理する。画像出力処理部２４は、画像を表示する表示装置３５の動作を処理する。操作入力処理部２５は、キーボードおよびマウス等の操作部３６からの操作入力を処理する。外部通信Ｉ／Ｆ２６は、ＰＣ１をネットワーク８に接続する。
　図４を参照して、第一の実施形態に係るＰＣ１が実行するテレビ会議処理について説明する。テレビ会議の実行指示をＰＣ１が受け付けると、ＰＣ１のＣＰＵ１０は、ＨＤＤ１３に記憶されている通信プログラムに従って、図４に示すテレビ会議処理を実行する。
　ＰＣ１は、配信元装置および配信先装置のいずれの動作も行うことができる。つまり、共有資料が参加者によって選択され、選択された共有資料の配信を開始させる指示が操作部３６から入力された場合には、ＰＣ１は配信元装置として動作する（Ｓ４～Ｓ１３）。配信元装置は、他のＰＣ１（配信先装置）に送信するデータに、共有資料のデータを含める。一方、他のＰＣ１から共有資料のデータを受信した場合には、ＰＣ１は配信先装置として動作し、受信したデータに従って共有資料を再生させる。
　ＣＰＵ１０は、テレビ会議処理を開始すると、自拠点のカメラ３４から入力された拠点画像データを符号化する（Ｓ１）。自拠点のマイク３１から入力された拠点音声データを符号化する（Ｓ２）。次いで、ＣＰＵ１０は、他のＰＣ１への共有資料の配信中であるか否か、つまり自らが配信元装置であるか否かを判断する（Ｓ３）。共有資料の配信の実行指示が操作部３６から入力されており、共有資料の配信中であると判断した場合には（Ｓ３：ＹＥＳ）、ＣＰＵ１０は、参加者によって選択された共有資料の資料画像データを符号化する（Ｓ４）。
　次いで、ＣＰＵ１０は、配信する共有資料のデータ（資料データ）に資料音声データが含まれているか否かを判断する（Ｓ５）。Ｓ５では、ＣＰＵ１０は、ＨＤＤ１３に記憶されている資料データを共有する場合、資料データのデータファイルの拡張子によって、資料音声データが含まれているか否かを判断する。例えば、拡張子がｗａｖ，ｍｐ３，ｍｐ４等のデータファイルが存在すれば、資料音声データが含まれていると判断できる。また、音声を含むウェブサイトを共有する場合には、ＣＰＵ１０は、共有するウェブサイトのＵＲＬ、共有するウェブサイトで動作するアプリケーションの種類等に基づいて、資料音声データが含まれているか否かを判断してもよい。
　資料画像データに加えて資料音声データが含まれている場合には（Ｓ５：ＹＥＳ）、ＣＰＵ１０は、資料音声データを符号化する（Ｓ６）。ＣＰＵ１０は、自拠点のマイク３１から入力された拠点音声データに対して音声認識処理を行うことで、自拠点で行われた発話のテキストデータを生成する（Ｓ７）。さらに、ＣＰＵ１０は、資料音声データと拠点音声データとを送信するにあたって、資料音声よりも拠点音声の方が、音量が小さくなるように、それぞれの音量を設定する（Ｓ８）。
　次いで、ＣＰＵ１０は、Ｓ７で生成した発話のテキストデータを、他のＰＣ１（配信先装置）に送信する（Ｓ９）。ＣＰＵ１０は、Ｓ１で符号化した拠点画像データと、Ｓ４で符号化した資料画像データとを、配信先装置に送信する（Ｓ１０）。さらに、ＣＰＵ１０は、資料音声データと拠点音声データとを配信先装置に送信する（Ｓ１１）。この場合、Ｓ２で符号化した拠点音声データと、Ｓ６で符号化した資料音声データとを、配信先装置の各々の異なるチャンネルへ送信することで、配信先装置において異なるスピーカから２つの音声のそれぞれを出力させる。例えば、拠点音声を第一スピーカ３２から、資料音声を第二スピーカ３３から出力させるように、２種類の音声データが配信先装置の各々に送信される。
　自装置が配信元装置であり（Ｓ３：ＹＥＳ）、且つ資料データに資料音声データが含まれていない場合には（Ｓ５：ＮＯ）、ＣＰＵ１０は、Ｓ１で符号化した拠点画像データと、Ｓ４で符号化した資料画像データとを、配信先装置に送信する（Ｓ１２）。さらに、ＣＰＵ１０は、特別な処理を行うことなく、Ｓ２で符号化した自拠点の拠点音声データを配信先装置に送信する（Ｓ１３）。この場合、自拠点の音声が通常の音量で出力されることになる。本実施の形態における通常の音量とは、資料音声データが共有されていない場合の拠点音声の音量であり、資料音声データが共有されている場合の拠点音声の音量に比べて大きい。
　自装置が配信元装置でない場合には（Ｓ３：ＮＯ）、ＣＰＵ１０は、他のＰＣ１から資料データを受信しているか否かを判断する（Ｓ１５）。資料データを受信している場合には（Ｓ１５：ＹＥＳ）、受信している資料データに資料音声データが含まれているか否かを判断する（Ｓ１６）。資料音声データが含まれている場合には（Ｓ１６：ＹＥＳ）、ＣＰＵ１０は、自拠点のマイク３１から入力された拠点音声データに対して音声認識処理を行うことでテキストデータを生成する（Ｓ１７）。ＣＰＵ１０は、配信元装置として動作する場合に符号化する資料音声データ（Ｓ５で符号化されるデータ）の音量よりも小さい音量となるように、自拠点のマイク３１から入力された拠点音声データの音量を設定する（Ｓ１８）。従って、資料音声データの共有中には、全ての拠点音声の音量が、資料音声の音量よりも小さくなる。次いで、ＣＰＵ１０は、Ｓ１で符号化した拠点画像データを他のＰＣ１に送信する（Ｓ１２）。Ｓ１８で設定した音量で、拠点音声データを他のＰＣ１に送信する（Ｓ１３）。なお、Ｓ１７で生成されたテキストデータは、画像データおよび音声データと共に他のＰＣ１へ送信される。
　資料データを受信していない場合（Ｓ１５：ＮＯ）、あるいは、受信した資料データに資料音声データが含まれていない場合には（Ｓ１６：ＮＯ）、特別な処理は行われることなく、拠点画像データおよび拠点音声データを他のＰＣ１に送信する処理（Ｓ１２，Ｓ１３）へ移行する。
　各種データを送信する処理が終了すると、ＣＰＵ１０は、他のＰＣ１に送信したデータをＨＤＤ１３に記憶する（Ｓ２０）。ＣＰＵ１０は、他のＰＣ１からデータを受信し、復号化する（Ｓ２１）。受信するデータには、他拠点の拠点音声データおよび拠点画像データが含まれており、且つ、資料音声データ、資料画像データ、およびテキストデータが含まれる場合がある。ＣＰＵ１０は、受信したデータをＨＤＤ１３に記憶する（Ｓ２２）。ユーザは、Ｓ２０およびＳ２２の処理によってＨＤＤ１３に記憶されたデータを再生させることで、テレビ会議の内容を会議終了後に確認することができる。次いで、ＣＰＵ１０は、受信したデータに基づいて、スピーカ３２，３３からの音声の出力、表示装置３５への画像の表示、および表示装置３５へのテキストの表示を行う（Ｓ２３）。なお、ＣＰＵ１０は、拠点音声データと資料音声データとを異なるチャンネルで受信した場合には、一方の音声を第一スピーカ３２から出力し、且つ他方の音声を第二スピーカ３３から出力する。また、資料音声データが共有されている場合には、拠点音声データは、資料音声データよりも小さい音量となるように設定されている。参加者は、操作部３６を操作することで、スピーカ３２，３３から発生する音声の音量を変化させることができるが、拠点音声の音量と資料音声の音量との大小関係は変化しない。従って、資料音声は、拠点音声とは異なるスピーカから、拠点音声よりも大きい音量で発生する。その後、処理はＳ１へ戻る。各拠点のＰＣ１においてＳ１～Ｓ２３の処理が繰り返されることで、テレビ会議が実現される。なお、図示しないが、テレビ会議を終了させる指示がＰＣ１に入力されると、ＣＰＵ１０はテレビ会議処理を終了する。
　以上説明したように、第一の実施形態に係るＰＣ１は、資料音声データを共有する場合に、資料音声データの再生条件に応じて拠点音声データの出力を制御する。つまり、資料音声データが共有されている最中に、他の拠点で発話等が行われた場合、拠点音声データの出力が適切に制御されるため、参加者は資料音声を容易に聞き取ることができる。詳細には、ＰＣ１は、他のＰＣ１に接続されたスピーカ３２，３３に対し、拠点音声データが資料音声データよりも小さい音量で出力されるように音声データを送信（出力）する。従って、テレビ会議において資料音声データが複数の拠点で共有されている最中に、参加者の発話等が入力された場合でも、参加者は、発話等の拠点音声よりも大きい音量で資料音声を聞き取ることができる。よって、参加者は、他の参加者との間で共有する必要がある資料音声の内容を正確に把握し、テレビ会議を円滑に進行させることができる。
　ＰＣ１は、配信元装置として動作する場合に、拠点音声データと資料音声データとを、配信先装置に接続されたスピーカ３２，３３の各々に別々に出力することができる。従って、ＰＣ１は、配信元装置として動作する場合に、拠点音声データと資料音声データとを他の拠点で容易に異なる音量で出力させることができる。その結果、参加者は、異なるスピーカによって発生する拠点音声と資料音声とを容易に聞き分けることができ、音声の内容を把握し易くなる。
　ＰＣ１は、資料音声を共有する場合に、自拠点のマイク３１から入力した拠点音声データからテキストデータを生成し、他のＰＣ１に接続された表示装置３５に送信（出力）する。従って、参加者は、他の参加者との間で共有すべき資料音声を容易に聞き取りつつ、他の拠点で行われた発話の内容をテキストによって把握することができる。よって、参加者は、資料音声の内容と他の拠点の発話の内容とを共に把握することができ、テレビ会議を円滑に進行させることができる。
　ＰＣ１は、Ｓ８の処理で音量が制御された拠点音声データおよび資料音声データと、Ｓ７の処理で生成されたテキストデータとを、Ｓ２０およびＳ２２の処理においてＨＤＤ１３に記憶させる。従って、ユーザは、ＨＤＤ１３に記憶されたデータを再生させることで、テレビ会議の後であっても、資料音声を拠点音声よりも大きい音量で聞くことができ、且つ拠点音声に含まれる発話をテキストで読むことができる。よって、ユーザは正確に会議内容を把握することができる。また、ＰＣ１は、資料音声データが共有されている間は、資料音声データに音声信号が含まれるか否かに関わらず、拠点音声データの音量を小さくする。その結果、拠点音声データの音量が頻繁に変化することがなく、ユーザは容易に拠点音声を聞き取ることができる。なお、資料音声データに音声を発生させる信号が存在する時間帯にのみ、拠点音声データを資料音声データよりも小さい音量で出力してもよい。この場合、共有資料が共有されている場合であっても、資料音声データが発生していない間は拠点音声の音量が小さくなることはない。よって、参加者は拠点音声データを容易に聞き取ることができる。
　図５から図７を参照して、本開示の第二の実施形態について説明する。第二の実施形態に係る通信システム２００は、データがＰ２Ｐで送受信される通信システム１００（図１参照）とは異なり、テレビ会議を制御するためのサーバ１０１を備える。資料音声の内容を会議の参加者に正確に把握させるための処理は、サーバ１０１によって実行される。
　図５を参照して、第二の実施形態に係る通信システム２００のシステム構成について説明する。通信システム２００は、サーバ１０１と、複数のＰＣ１０２とを備える。各ＰＣ１０２は、サーバ１０１を介して他のＰＣ１０２との間でデータを送受信する。その結果、各ＰＣ１０２が配置されている複数の拠点の音声および画像と、いずれかのＰＣ１０２が提供する共有資料とが、通信システム２００内で共有される。第二の実施形態においても、第一の実施形態と同様に、ＰＣ１０２の代わりにテレビ会議専用の端末等を使用することも可能である。
　図５を参照して、サーバ１０１の電気的構成について説明する。サーバ１０１は、ＣＰＵ１１０を備える。ＣＰＵ１１０には、ＲＯＭ１１１、ＲＡＭ１１２、ＨＤＤ１１３、および入出力インターフェース１１９が、バス１１８を介して接続されている。さらに、入出力インターフェース１１９には、外部通信Ｉ／Ｆ１２６が接続されている。サーバ１０１は、外部通信Ｉ／Ｆ１２６によってネットワーク８に接続される。なお、ＰＣ１０２の電気的構成は、第一の実施形態に係るＰＣ１の電気的構成（図３参照）と同一であるため、この説明は省略する。
　図６を参照して、第二の実施形態に係るＰＣ１０２が実行するテレビ会議処理について説明する。テレビ会議を実行する指示をユーザがＰＣ１０２に入力すると、ＰＣ１０２のＣＰＵは、図６に示すテレビ会議処理を実行する。ＣＰＵは、自拠点の拠点画像データを符号化し（Ｓ５１）、且つ、自拠点の拠点音声データを符号化する（Ｓ５２）。ＣＰＵは、他のＰＣ１０２への共有資料の配信中であるか否かを判断する（Ｓ５３）。共有資料の配信中でない場合には（Ｓ５３：ＮＯ）、処理はそのままＳ５７へ移行する。共有資料の配信中であれば（Ｓ５３：ＹＥＳ）、ＣＰＵは、共有資料の資料画像データを符号化する（Ｓ５４）。ＣＰＵは、配信する資料データに資料音声データが含まれているか否かを判断する（Ｓ５５）。資料音声データが含まれていなければ（Ｓ５５：ＮＯ）、処理はＳ５７へ移行する。資料音声データが含まれていれば（Ｓ５５：ＹＥＳ）、ＣＰＵは、資料音声データを符号化する（Ｓ５６）。
　次いで、ＣＰＵは、符号化した画像データおよび音声データをサーバ１０１へ送信する（Ｓ５７）。Ｓ５７では、送信するデータに拠点音声データおよび資料音声データが共に含まれる場合、拠点音声データと資料音声データとが異なるチャンネルで送信される。次いで、サーバ１０１からデータを受信する（Ｓ５８）。ＣＰＵは、受信したデータに基づいて音声を出力し、画像を表示する（Ｓ５９）。なお、受信したデータにテキストデータが含まれている場合には、音声および画像に加えてテキストの表示も実行する。また、資料音声データと拠点音声データとを異なるチャンネルで受信した場合には、ＣＰＵは、それぞれの音声データを異なるスピーカから出力する。その結果、２種類の音声を聞き取り易くすることができる。その後、処理はＳ５１へ戻り、テレビ会議が終了するまでＳ５１～Ｓ５９の処理が繰り返される。
　図７を参照して、第二の実施形態に係るサーバ１０１が実行するサーバ処理について説明する。サーバ１０１のＣＰＵ１１０は、テレビ会議を実行する指示をＰＣ１０２のいずれかから受信すると、ＨＤＤ１１３に記憶されている通信プログラムに従ってサーバ処理を実行する。ＣＰＵ１１０は、各拠点のＰＣ１０２からデータを受信する（Ｓ６１）。各拠点の拠点画像データを合成して、表示装置３５に表示させる拠点画像のデータを生成し、符号化する（Ｓ６２）。資料が共有されている場合には、Ｓ６２の処理では、配信元装置から受信した資料画像データも含めて合成することで、表示装置３５に表示させる画像データを生成し、符号化してもよい。
　ＣＰＵ１１０は、ＰＣ１０２から受信したデータに資料音声データが含まれるか否かを判断する（Ｓ６３）。つまり、通信システム２００において資料音声データが共有されているか否かを判断する。受信したデータに資料音声データが含まれている場合には（Ｓ６３：ＹＥＳ）、ＣＰＵ１１０は、各拠点から受信した拠点音声データに対して音声認識処理を行うことで、テキストデータを生成する（Ｓ６４）。各拠点から受信した拠点音声データを合成して符号化する（Ｓ６５）。さらに、ＣＰＵ１１０は、合成して符号化した各拠点の拠点音声データが、資料音声データよりも小さい音量となるように、各音声データの音量を設定する（Ｓ６６）。ＣＰＵ１１０は、生成したテキストデータを、複数のＰＣ１０２の各々に送信する（Ｓ６８）。資料画像データをＰＣ１０２に送信（転送）し（Ｓ６９）、Ｓ６２で合成した拠点画像データをＰＣ１０２に送信する（Ｓ７０）。さらに、ＣＰＵ１１０は、いずれかのＰＣ１０２から受信した資料音声データと、Ｓ６５で合成し符号化した各拠点の拠点音声データとを、複数のＰＣ１０２の各々の異なるチャンネルへ送信する（Ｓ７１）。これにより、ＣＰＵ１１０は、資料音声データと拠点音声データとを、複数のＰＣ１０２の各々に接続された異なるスピーカ３２，３３へ別々に出力することができる。その際、資料音声データと拠点音声データとを異なるチャンネルで送信するのではなく、Ｓ６６で音量を設定した上で、２つの音声データを合成して符号化し、１つのチャンネルで送信してもよい。処理はＳ６１へ戻る。
　ＰＣ１０２から受信したデータに資料音声データが含まれていない場合（Ｓ６３：ＮＯ）、ＣＰＵ１１０は、特別な処理を行うことなく、各ＰＣ１０２にデータを送信する（Ｓ７２～Ｓ７５）。詳細には、各拠点から受信した拠点音声データを合成して符号化する（Ｓ７２）。次いで、いずれかのＰＣ１０２から資料画像データを受信している場合に、受信した資料画像データを他のＰＣ１０２に転送する（Ｓ７３）。ＣＰＵ１１０は、Ｓ６２で合成した拠点画像データを各ＰＣ１０２に送信する（Ｓ７４）。Ｓ７２で合成し符号化した拠点音声データを、各ＰＣ１０２に送信する（Ｓ７５）。処理はＳ６１へ戻り、Ｓ６１～Ｓ７５の処理が繰り返される。
　以上説明したように、第二の実施形態に係るサーバ１０１は、通信システム２００内で資料音声データを共有させる場合に、資料音声データの再生条件に応じて拠点音声データの出力を制御する。つまり、資料音声データが共有されている最中に、少なくともいずれかの拠点で発話等が行われた場合、拠点音声データの出力が適切に制御されるため、参加者は資料音声を容易に聞き取ることができる。詳細には、サーバ１０１は、各拠点のＰＣ１０２の各々に接続しているスピーカ３２，３３に対し、拠点音声データを資料音声データよりも小さい音量で出力する。従って、参加者は、他の参加者との間で共有する必要がある資料音声の内容を正確に把握し、テレビ会議を円滑に進行させることができる。
　第二の実施形態に例示したように、本開示は、Ｐ２Ｐ型の通信システム１００（図１参照）のみならず、サーバ型の通信システム２００にも適用できる。この場合、資料音声の内容を参加者に正確に把握させるための処理は、サーバ１０１で行うこともできる。
　本開示は上記実施形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記第一の実施形態のＰＣ１、および第二の実施形態のサーバ１０１は、資料音声データが共有されている間は常に、拠点音声データを資料音声データよりも小さい音量で出力している（図４のＳ５、および図７のＳ６３参照）。しかし、ＰＣ１およびサーバ１０１は、資料音声データに音声を発生させる信号が存在する時間帯にのみ、拠点音声データを資料音声データよりも小さい音量で出力してもよい。具体的には、図７のＳ６３で資料音声データの共有中であると判断された場合に（Ｓ６３：ＹＥＳ）、ＣＰＵ１０１は、資料音声データに音声を発生させる信号が存在するか否かを判断すればよい。信号が存在すると判断した場合にＳ６６の処理を行い、信号が存在しない場合にはＳ７２の処理へ移行すればよい。第一の実施形態においては、図４のＳ５で資料音声データを含むと判断された場合に上記の処理を行えばよい。この場合、資料音声を含む共有資料が共有されていても、資料音声が発生していない間は拠点音声データの音量が小さくなることはない。よって、参加者は、拠点音声データを容易に聞き取ることができる。
　上記第一の実施形態では、資料音声の内容を参加者に正確に把握させるための特徴的な処理は、主に、共有資料のデータを配信する配信元装置としてＰＣ１が動作する場合に実行される。つまり、ＰＣ１は、資料音声の共有中であるか否かに応じて拠点音声データの音量を設定した後に、データを他のＰＣ１へ送信する。しかし、資料音声の内容を参加者に正確に把握させるための処理は、共有資料のデータを受信する配信先装置としてＰＣ１が動作する場合に実行してもよい。具体的には、ＰＣ１は、図４のＳ２３において、他のＰＣ１から受信したデータに資料音声データが含まれるか否かを判断する。資料音声データを受信したと判断した場合に、拠点音声に含まれる発話をテキスト化して表示し、且つ、拠点音声データを資料音声データよりも小さい音量で出力する。この場合、ＰＣ１は、自らに接続している２つのスピーカ３２，３３の各々に、拠点音声データと資料音声データとを別々に出力することが望ましい。以上のように、ＰＣ１は、他のＰＣ１から受信した資料音声データおよび拠点音声データを、自装置に接続しているスピーカ３２，３３に出力する際に、２つの音声データの音量を制御してもよい。また、ＰＣ１は、自拠点の拠点音声をテキスト化して他のＰＣ１に送信してもよいが、他のＰＣ１から受信した拠点音声データからテキストデータを生成してもよい。また、本開示は、画像を用いずに行われる遠隔会議にも適用できる。
　上記第二の実施形態では、資料音声の内容を参加者に正確に把握させるための特徴的な処理がサーバ１０１によって行われる。しかし、上記の特徴的な処理の一部をＰＣ１０２が実行してもよい。例えば、各拠点の発話内容をテキスト化する処理は、ＰＣ１０２が実行することも可能である。また、サーバを備えた通信システムにおいても、サーバに接続したＰＣ等の通信装置が上記の特徴的な処理を行うことも可能である。
　本開示に係る通信装置は、資料音声データの再生条件に応じて拠点音声データの出力を制御する。具体的には、上記実施形態のＰＣ１およびサーバ１０１は、資料音声データの出力中であるか否かを判断し、出力中であれば、拠点音声データを資料音声データよりも小さい音量で出力する。しかし、拠点音声データの制御方法は変更できる。例えば、通信装置は、資料音声データを通常の速度で再生する場合には、拠点音声データの音量を資料音声データの音量よりも小さくし、早送り再生およびスロー再生の場合にはそのままの音量で出力してもよい。つまり、通常速度の再生であるか否かを「再生条件」としてもよい。また、通信装置は、資料音声が発話音声であるか、発話音声以外の音声、例えば、音楽であるかを判断し、発話音声である場合にのみ拠点音声データの音量を小さくしてもよい。通信装置は、共有中の資料音声の再生回数が１回目であれば拠点音声データの音量を小さくし、再生回数が２回目以降であればそのままの音量で出力してもよい。また、通信装置は、拠点音声データの音量を資料音声データの音量よりも小さくする上記方法と共に、または上記方法に代えて、資料音声データの明瞭度を拠点音声データの明瞭度よりも高くすることで、資料音声データを聞き取り易くしてもよい。
　上記実施形態では、ＰＣ１，１０２には２つのスピーカ３２，３３が接続されている。資料音声が共有されている場合、２つのスピーカ３２，３３の一方から資料音声が出力され、且つ他方から拠点音声が出力される。しかし、音声出力手段として採用できるのはスピーカ３２，３３に限られない。例えば、スピーカと、ユーザが片耳に装着するイヤホンとを、ＰＣ１，１０２に接続する。ＰＣ１またはサーバ１０１は、スピーカおよびイヤホンの一方から資料音声を出力し、他方から拠点音声を出力してもよい。この場合でも、上記実施形態と同様に、会議の参加者は２つの音声を容易に聞き分けることができる。
　上記実施形態で説明した処理の一部を実行しない場合でも、本開示は実現できる。例えば、ＰＣ１およびサーバ１０１は、発話内容をテキスト化して表示させた方が、テレビ会議をより円滑に進行させることができる。しかし、ＰＣ１およびサーバ１０１は、テキスト化の処理を行わない場合でも、拠点音声データの出力を適切に制御することができるため、テレビ会議を円滑に進行させることができる。また、ＰＣ１およびサーバ１０１は、特に発話内容をテキスト化して表示させる場合には、拠点音声を出力させないように処理を行ってもよい。つまり、「拠点音声データを資料音声データよりも小さい音量で出力する」とは、拠点音声の音量をゼロとする場合、および拠点音声データを出力しない場合も含む。また、上記第二の実施形態では、サーバ１０１は音声等のデータを記憶する処理を行わない。しかし、サーバ１０１がデータを記憶する処理を行ってもよいことは言うまでもない。この場合、サーバ１０１は、テレビ会議の終了後に、記憶したデータをＰＣ１０２に配信すればよい。
１　　ＰＣ
１０　　ＣＰＵ
１３　　ＨＤＤ
３１　　マイク
３２　　第一スピーカ
３３　　第二スピーカ
３４　　カメラ
３５　　表示装置
１００，２００　　通信システム
１０１　　サーバ
１０２　　ＰＣ
１１０　　ＣＰＵ
１１３　　ＨＤＤ

Claims (9)

  1. 　音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置であって、
    　前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断手段と、
    　前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御手段と
    　を備えたことを特徴とする通信装置。
  2. 　前記出力制御手段は、前記資料音声データを出力する間、前記音声出力手段に対し、前記拠点音声データを前記資料音声データよりも小さい音量で出力することを特徴とする請求項１に記載の通信装置。
  3. 　前記出力制御手段は、前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記拠点音声データと前記資料音声データとをそれぞれ異なる前記音声出力手段に出力することを特徴とする請求項１に記載の通信装置。
  4. 　前記出力制御手段は、前記拠点音声データと前記資料音声データとをそれぞれ異なるスピーカに出力することを特徴とする請求項３に記載の通信装置。
  5. 　前記判断手段によって前記資料データに前記資料音声データが含まれていると判断された場合に、前記拠点音声データに対して音声認識処理を行うことでテキストデータを生成するテキスト生成手段と、
    　前記テキスト生成手段によって生成された前記テキストデータを、テキストを表示する表示手段に出力するテキスト出力手段と
    　をさらに備えたことを特徴とする請求項１に記載の通信装置。
  6. 　データを記憶手段に記憶させる記憶制御手段をさらに備え、
    　前記出力制御手段によって出力が制御された前記拠点音声データと、前記拠点画像データと、前記資料音声データを含む前記資料データと、前記テキスト生成手段によって前記拠点音声から生成された前記テキストデータとを、前記記憶制御手段によって記憶することを特徴とする請求項５に記載の通信装置。
  7. 　前記出力制御手段は、前記資料データの送受信中において、前記資料音声データに音声を発生させる信号が存在する時間帯にのみ、前記音声出力手段に対する前記拠点音声データの出力を前記資料音声データの再生条件に応じて制御することを特徴とする請求項１に記載の通信装置。
  8. 　音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置によって行われる通信方法であって、
    　前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断ステップと、
    　前記判断ステップにおいて前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御ステップと
    　を備えたことを特徴とする通信方法。
  9. 　音声を入力する音声入力手段によって入力された拠点音声の音声データである拠点音声データと、画像を撮像する撮像手段によって撮像された画像の画像データである拠点画像データと、他の通信装置との間で共有する共有資料の資料データとを、前記他の通信装置との間で送受信することが可能な通信装置で用いられる通信プログラムであって、
    　前記資料データを送受信する場合に、送受信する前記資料データに音声データである資料音声データが含まれているか否かを判断する判断ステップと、
    　前記判断ステップにおいて前記資料データに前記資料音声データが含まれていると判断された場合に、前記資料音声データの再生条件に応じて、音声を出力する音声出力手段に対する前記拠点音声データの出力を制御する出力制御ステップと
    　を前記通信装置のコントローラに実行させるための指示を含む通信プログラム。
PCT/JP2011/071839 2010-09-28 2011-09-26 通信装置、通信方法、および通信プログラム WO2012043451A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/781,033 US8965760B2 (en) 2010-09-28 2013-02-28 Communication device, method, non-transitory computer readable medium, and system of a remote conference

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-217505 2010-09-28
JP2010217505A JP5533503B2 (ja) 2010-09-28 2010-09-28 通信装置、通信方法、および通信プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/781,033 Continuation-In-Part US8965760B2 (en) 2010-09-28 2013-02-28 Communication device, method, non-transitory computer readable medium, and system of a remote conference

Publications (1)

Publication Number Publication Date
WO2012043451A1 true WO2012043451A1 (ja) 2012-04-05

Family

ID=45892897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071839 WO2012043451A1 (ja) 2010-09-28 2011-09-26 通信装置、通信方法、および通信プログラム

Country Status (3)

Country Link
US (1) US8965760B2 (ja)
JP (1) JP5533503B2 (ja)
WO (1) WO2012043451A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6719166B2 (ja) * 2018-09-13 2020-07-08 貴弘 市橋 ライブ放送システム
CN113347535A (zh) * 2021-05-26 2021-09-03 海南正东雄科技有限公司 一种扩声式激励处理器
US12101199B1 (en) 2023-07-21 2024-09-24 Capital One Services, Llc Conference system for use of multiple devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289356A (ja) * 2003-03-20 2004-10-14 Hitachi Ie Systems Co Ltd 遠隔会議システム
JP2005064592A (ja) * 2003-08-14 2005-03-10 Fuji Photo Film Co Ltd 携帯通信端末
JP2006186867A (ja) * 2004-12-28 2006-07-13 Sharp Corp 音声処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949886A (en) * 1995-10-26 1999-09-07 Nevins; Ralph J. Setting a microphone volume level
JP2002344915A (ja) 2001-05-14 2002-11-29 Nippon Telegr & Teleph Corp <Ntt> コミュニケーション把握装置、および、その方法
JP2005141424A (ja) * 2003-11-05 2005-06-02 Canon Inc 情報処理方法及び情報処理装置
US20080130908A1 (en) * 2006-12-05 2008-06-05 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Selective audio/sound aspects
JP5332798B2 (ja) * 2009-03-26 2013-11-06 ブラザー工業株式会社 通信制御装置、通信制御方法、及び通信制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289356A (ja) * 2003-03-20 2004-10-14 Hitachi Ie Systems Co Ltd 遠隔会議システム
JP2005064592A (ja) * 2003-08-14 2005-03-10 Fuji Photo Film Co Ltd 携帯通信端末
JP2006186867A (ja) * 2004-12-28 2006-07-13 Sharp Corp 音声処理装置

Also Published As

Publication number Publication date
JP2012074872A (ja) 2012-04-12
US20130176382A1 (en) 2013-07-11
JP5533503B2 (ja) 2014-06-25
US8965760B2 (en) 2015-02-24

Similar Documents

Publication Publication Date Title
CN104871566B (zh) 协作式声音系统
JP5457430B2 (ja) オーディオ信号の処理方法及び装置
JP5319704B2 (ja) オーディオ信号の処理方法及び装置
US20110066438A1 (en) Contextual voiceover
JP6056625B2 (ja) 情報処理装置、音声処理方法、及び音声処理プログラム
JP2009540650A (ja) 複数の音声再生ユニットへの送信のための音声データを生成する装置及び方法
CN110140170A (zh) 适配用于终端用户自由视点监控的分布式音频录制
JP2013164515A (ja) 音声翻訳装置、音声翻訳方法および音声翻訳プログラム
US20190261121A1 (en) Method Of Editing Audio Signals Using Separated Objects And Associated Apparatus
US11580954B2 (en) Systems and methods of handling speech audio stream interruptions
JP5533503B2 (ja) 通信装置、通信方法、および通信プログラム
JP2016206575A (ja) 歌唱音声の伝送遅延に対応したカラオケシステム
US8411132B2 (en) System and method for real-time media data review
US9535455B2 (en) Portable media enhancement device
US12010496B2 (en) Method and system for performing audio ducking for headsets
US10206031B2 (en) Switching to a second audio interface between a computer apparatus and an audio apparatus
JP4531013B2 (ja) 映像音声会議システムおよび端末装置
JP4457986B2 (ja) 語学学習システム及び端末装置
WO2024100920A1 (ja) 情報処理装置、情報処理方法及び情報処理用プログラム
JP4792819B2 (ja) 遠隔編集方法及び遠隔編集システム
KR20140125440A (ko) 음향 처리 장치 및 통신 음향 처리 시스템
JP6834398B2 (ja) 音処理装置、音処理方法、及びプログラム
US20240029755A1 (en) Intelligent speech or dialogue enhancement
JP6819236B2 (ja) 音処理装置、音処理方法、及びプログラム
WO2018092286A1 (ja) 音処理装置、音処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11829005

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11829005

Country of ref document: EP

Kind code of ref document: A1