WO2018230414A1 - 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム - Google Patents

信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム Download PDF

Info

Publication number
WO2018230414A1
WO2018230414A1 PCT/JP2018/021725 JP2018021725W WO2018230414A1 WO 2018230414 A1 WO2018230414 A1 WO 2018230414A1 JP 2018021725 W JP2018021725 W JP 2018021725W WO 2018230414 A1 WO2018230414 A1 WO 2018230414A1
Authority
WO
WIPO (PCT)
Prior art keywords
text data
communication
text
data
communication terminal
Prior art date
Application number
PCT/JP2018/021725
Other languages
English (en)
French (fr)
Inventor
平岡　秀一
和昭 沖本
克己 横道
Original Assignee
株式会社シアンス・アール
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シアンス・アール filed Critical 株式会社シアンス・アール
Priority to EP18817755.4A priority Critical patent/EP3641287B1/en
Priority to KR1020197023457A priority patent/KR102168913B1/ko
Priority to EP22167127.4A priority patent/EP4089994B1/en
Priority to CN201880011278.5A priority patent/CN110291769B/zh
Priority to SG11201906536QA priority patent/SG11201906536QA/en
Publication of WO2018230414A1 publication Critical patent/WO2018230414A1/ja
Priority to US16/520,105 priority patent/US11568154B2/en
Priority to US18/090,618 priority patent/US11836457B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H04M3/566—User guidance or feature selection relating to a participants right to speak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08—User group management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/10—Push-to-Talk [PTT] or Push-On-Call services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/14—Two-way operation using the same type of signal, i.e. duplex
    • H04L5/16—Half-duplex systems; Simplex/duplex switching; Transmission of break signals non-automatically inverting the direction of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2061—Language aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Definitions

  • the present invention relates to a signal processing device, a communication system, a method implemented by the signal processing device, a program executed by the signal processing device, a method implemented by the communication terminal, and a program executed by the communication terminal.
  • PTT Push To Talk
  • PTT communication which is a half-duplex voice communication method, is known as a technology for realizing one-to-many group simultaneous voice communication.
  • a transceiver, a wireless device, and the like are used as terminals.
  • PTT communication while the user is pressing a call button provided on the terminal, the user can send voice to the other party constituting the group.
  • PoC Push-to-Talk over Cellular
  • a transmission right for transmitting audio data is acquired by one communication terminal among a plurality of communication terminals constituting a group. And the communication terminal which acquired the transmission right transmits audio
  • the object is a communication system that realizes one-to-many group simultaneous voice communication, which can reduce information transmission errors, a signal processing device used in the communication system, and the signal processing device. And a program executed by the signal processing apparatus, a method executed by a communication terminal used in the system, and a program executed by the communication terminal.
  • the signal processing apparatus associates a plurality of communication terminals into a group and provides one-to-many communication from any one communication terminal belonging to the group to other communication terminals belonging to the group.
  • the signal processing device includes a transmission right granting unit, a text processing unit, and a communication control unit.
  • the transmission right granting unit gives a transmission right, which is a right to transmit data, to any one of the plurality of communication terminals belonging to the group.
  • a text processing unit creates text data based on voice data transmitted from a communication terminal having the transmission right, and indicates that text creation is completed when the text data is created, and a plurality of communication terminals belonging to the group To notify.
  • the communication control unit transmits the created text data to at least one of the plurality of communication terminals belonging to the group after notifying that the text conversion is completed.
  • the communication system includes a plurality of communication terminals and a signal processing device.
  • the signal processing apparatus associates the plurality of communication terminals into a group, and provides one-to-many communication from any one communication terminal belonging to the group to another communication terminal belonging to the group.
  • the signal processing apparatus includes a transmission right grant unit, a text processing unit, and a communication control unit.
  • the transmission right granting unit gives a transmission right, which is a right to transmit data, to any one of the plurality of communication terminals belonging to the group.
  • a text processing unit creates text data based on voice data transmitted from a communication terminal having the transmission right, and indicates that text creation is completed when the text data is created, and a plurality of communication terminals belonging to the group To notify.
  • the communication control unit transmits the created text data to at least one of the plurality of communication terminals belonging to the group after notifying that the text conversion is completed.
  • the communication method according to the present invention provides a one-to-many communication from any one communication terminal belonging to the group to another communication terminal belonging to the group by associating a plurality of communication terminals into a group.
  • the communication method comprises the steps of creating text data based on voice data transmitted from a communication terminal that is given a transmission right that is a right to transmit data among a plurality of communication terminals belonging to the group; And a step of notifying a plurality of communication terminals belonging to the group that text conversion has been completed, and a notification that the text conversion has been completed, and then transmitting the generated text data to a plurality of communication belonging to the group Transmitting to at least one of the terminals.
  • the communication method according to the present invention is implemented in a communication terminal that performs one-to-many communication between a plurality of communication terminals belonging to a group associated with a plurality of communication terminals.
  • the communication method includes a step of receiving a text-completion notification indicating that the text data of the voice data transmitted from any of the plurality of communication terminals has been completed, and according to the received text-completion notification, Transmitting a request signal requesting transmission of the created text data; receiving text data returned in response to the request signal; and displaying characters based on the received text data on a display unit Including.
  • FIG. 1 is a block diagram showing a functional configuration of a communication system according to the present embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the processing server shown in FIG.
  • FIG. 3 is a block diagram showing a functional configuration of the communication terminal shown in FIG.
  • FIG. 4 is a diagram for explaining operations of the processing server and the communication terminal when voice communication is performed in the communication system shown in FIG.
  • FIG. 5 is a diagram illustrating a management table stored in the storage unit illustrated in FIG.
  • FIG. 6 is a diagram illustrating a user management table stored in the storage unit illustrated in FIG.
  • FIG. 7 is a diagram showing the structure of audio data created by the processing unit shown in FIG.
  • FIG. 8 is a diagram for explaining the operation when the processing server shown in FIG.
  • FIG. 9 is a schematic diagram showing the structure of call data created by the storage control unit shown in FIG.
  • FIG. 10 is a diagram showing the structure of text data created by the text processing unit shown in FIG.
  • FIG. 11 is a diagram showing the structure of translation text data created by the translation processing unit shown in FIG.
  • FIG. 12 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays characters corresponding to speech on the display.
  • FIG. 13 is a diagram showing characters displayed through the processing shown in FIG.
  • FIG. 14 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays characters based on the text data and the translated text data on the display.
  • FIG. 9 is a schematic diagram showing the structure of call data created by the storage control unit shown in FIG.
  • FIG. 10 is a diagram showing the structure of text data created by the text processing unit shown in FIG.
  • FIG. 11 is a diagram showing the structure of translation text data created by the translation processing unit
  • FIG. 15 is a diagram showing characters displayed on the communication terminal through the processing shown in FIG.
  • FIG. 16 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays characters corresponding to speech on the display.
  • FIG. 17 is a diagram showing a text completion notification displayed on the communication terminal shown in FIG.
  • FIG. 18 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays characters based on the text data and the translated text data on the display.
  • FIG. 19 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 reproduces the voice corresponding to the characters displayed on the display.
  • FIG. 19 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 reproduces the voice corresponding to the characters displayed on the display.
  • FIG. 20 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 corrects the characters displayed on the display.
  • FIG. 21 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays the corrected character on the display.
  • FIG. 22 is a diagram for explaining the operation of the processing server and the communication terminal when the communication terminal shown in FIG. 1 displays the translated character on the display.
  • FIG. 1 is a block diagram illustrating an example of a functional configuration of the communication system 1 according to the present embodiment.
  • the communication system 1 illustrated in FIG. 1 realizes one-to-many voice communication in units of groups using, for example, PoC (Push-to-Talk over Cellular).
  • the communication system 1 shown in FIG. 1 includes, for example, a processing server 10, communication terminals 20-1 to 20-m, and base stations 30-1 to 30-n.
  • the processing server 10 and the base stations 30-1 to 30-n are connected via the Internet and a network such as a communication network provided by a communication carrier.
  • the communication terminals 20-1 to 20-m are wirelessly connected to base stations forming a wireless area including the currently existing position among the base stations 30-1 to 30-n.
  • the processing server 10 is a plurality of users who participate in the same talk group as the user who transmitted the audio data transmitted from the communication terminal having the transmission right. Is a signal processing device that performs control for broadcast transmission to a communication terminal possessed by.
  • the transmission right means the right to transmit audio data in PoC.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the processing server 10 shown in FIG.
  • the processing server 10 illustrated in FIG. 2 includes, for example, a processing unit 11, a storage unit 12, and a communication interface 13.
  • the processing unit 11, the storage unit 12, and the communication interface 13 are connected to be communicable with each other via, for example, a bus.
  • the processing unit 11 includes, for example, a CPU (Central Processing Unit), a first memory used when the CPU executes processing, and a second memory provided between the CPU and the first memory.
  • the first memory is a so-called main storage device, and is composed of, for example, a DRAM (Dynamic Random Access Memory).
  • the second memory is a so-called cache memory, and is composed of, for example, SRAM (Static RAM).
  • the CPU reads the application program memorize
  • the CPU executes the application program read into the first and second memories.
  • the processing unit 11 realizes various functions corresponding to the application program.
  • the storage unit 12 is a so-called auxiliary storage device including a nonvolatile storage circuit such as an HDD (hard disk drive) and an SSD (solid disk drive) that stores various information.
  • a nonvolatile storage circuit such as an HDD (hard disk drive) and an SSD (solid disk drive) that stores various information.
  • the storage unit 12 may be a drive unit that reads and writes various information from and to a portable storage medium such as a CD-ROM, DVD, and flash memory.
  • the storage unit 12 stores an application program according to the present embodiment.
  • the storage unit 12 stores user information regarding users participating in the talk group in accordance with the control from the processing unit 11.
  • the storage unit 12 stores call data created based on voice data transmitted from a communication terminal having a transmission right in accordance with control from the processing unit 11.
  • the storage unit 12 stores text data obtained by converting the call data into text and text data modified by a communication terminal having a transmission right in accordance with control from the processing unit 11.
  • the storage unit 12 stores translated text data obtained by translating text data in accordance with control from the processing unit 11.
  • the communication interface 13 is a circuit connected to a network.
  • the communication interface 13 transmits data to at least one of the communication terminals 20-1 to 20-m wirelessly connected to the base stations 30-1 to 30-n via the network.
  • the communication interface 13 receives data transmitted from at least one of the communication terminals 20-1 to 20-m wirelessly connected to the base stations 30-1 to 30-n via the network.
  • the processing unit 11 shown in FIG. 2 implements a function corresponding to the application program by executing the application program stored in the storage unit 12.
  • the processing unit 11 executes functions of the registration processing unit 111, the transmission right granting unit 112, the communication control unit 113, the storage control unit 114, the text processing unit 115, and the translation processing unit 116 by executing an application program. Realize.
  • the processing unit 11 shown in FIG. 2 may be formed by combining a plurality of CPUs. That is, the registration processing unit 111, the transmission right granting unit 112, the communication control unit 113, the storage control unit 114, the text conversion processing unit 115, and the translation processing unit 116 illustrated in FIG. It may be realized by doing.
  • the processing unit 11 has a dedicated hardware configuration having functions of a registration processing unit 111, a transmission right granting unit 112, a communication control unit 113, a storage control unit 114, a text processing unit 115, and a translation processing unit 116, respectively. It may be formed.
  • the processing unit 11 includes dedicated hardware circuits each having functions of a registration processing unit 111, a transmission right granting unit 112, a communication control unit 113, a storage control unit 114, a text processing unit 115, and a translation processing unit 116.
  • Embedded Application Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA), Other Complex Programmable Logic Device (CPLD), or Simple Programmable It may be formed by a logic device (Simple Programmable Logic Device: SPLD).
  • the registration processing unit 111 registers users who participate in a talk group that performs one-to-many voice communication. Specifically, for example, the registration processing unit 111 acquires user information, which is information about users participating in a predetermined talk group, based on requests from the communication terminals 20-1 to 20-m. The registration processing unit 111 stores the acquired user information in the storage unit 12 and the first memory in association with the participating talk group.
  • the user information includes, for example, the talk group ID, the ID of the user participating in the talk group, the IP address of the communication terminal possessed by the user, the language code for the language set by the user, and the login status of the user , And location information of the communication terminal owned by the user.
  • the registration processing unit 111 stores, in the storage unit 12, definition information indicating which user participates in which talk group, that is, for example, the ID of the talk group and the ID of the user who participates in the talk group.
  • the registration processing unit 111 stores information that dynamically changes depending on the state of the communication terminal 20, that is, for example, an IP address, a language code, a login state, position information, and the like in the first memory.
  • the transmission right granting unit 112 gives a transmission right to any of the communication terminals possessed by the users participating in the predetermined talk group.
  • the communication control unit 113 controls communication so that one-to-many voice communication is realized between communication terminals owned by users participating in the talk group. Specifically, for example, the communication control unit 113 transmits voice data transmitted from a communication terminal to which a transmission right is given, to communication terminals owned by users who are participating in the same talk group.
  • the communication control unit 113 controls communication so that text data converted from voice data is transmitted to a communication terminal possessed by a user participating in the talk group. Specifically, for example, when the voice data is converted into text data, the communication control unit 113 transmits a message indicating that the text conversion has been completed to a communication terminal owned by a user participating in the talk group. When the communication control unit 113 requests transmission of text data from the communication terminal, the communication control unit 113 transmits the text data to the requesting communication terminal.
  • the communication control unit 113 controls communication so as to transmit translated text data obtained by translating text data into a predetermined language to a communication terminal that requires translation. Specifically, for example, when the translation of the text data is completed, the communication control unit 113 transmits a message indicating that the translation has been completed to a communication terminal owned by a user participating in the talk group. When the communication control unit 113 requests the communication terminal to transmit the translated text data, the communication control unit 113 transmits the translated text data to the requesting communication terminal.
  • the communication control unit 113 controls the communication so that the corrected text data is transmitted to the communication terminal owned by the user participating in the talk group. To do. Specifically, for example, when the text data is corrected by the communication terminal having the transmission right, the communication control unit 113 notifies the communication terminal owned by the user participating in the talk group that the display is updated. Send. When the communication terminal 113 requests transmission of the corrected text data from the communication terminal, the communication control unit 113 transmits the corrected text data to the requesting communication terminal.
  • the communication control unit 113 controls communication so as to transmit the call data to the communication terminal that requests the reproduction of the call data. Specifically, for example, when a user participating in a talk group is requested to reproduce call data, the communication control unit 113 sends the call data stored in the storage unit 12 to the requesting communication terminal. Send.
  • the storage control unit 114 controls the storage processing of the received voice data and the various data created. Specifically, for example, the storage control unit 114 holds audio data transmitted from a communication terminal having a transmission right in a cache memory. Further, for example, the storage control unit 114 collects a predetermined amount of audio data held in the cache memory and stores it in the storage unit 12 as call data. For example, the storage control unit 114 stores the text data acquired by the text conversion processing unit 115 and the text data corrected by the communication terminal having the transmission right in the storage unit 12. For example, the storage control unit 114 stores the translation text data created by the translation processing unit 116 in the storage unit 12. Further, for example, the storage control unit 114 reads the call data, text data, and translation text data stored in the storage unit 12 in response to a request, and transmits the read data to the request source.
  • Text conversion processing unit 115 converts voice data transmitted from a communication terminal having a transmission right into text data. Specifically, for example, the text processing unit 115 stores a predetermined amount of speech data stored in the cache memory, information on grammar, information on language structure, information on composition of speech data, and stored words Convert to text data based on information. Note that the voice-text conversion processing adopted by the text processing unit 115 may use existing technology.
  • the translation processing unit 116 creates translation text data by performing translation processing on the text data converted by the text processing unit 115. Specifically, for example, the translation processing unit 116 converts the text data converted by the text conversion processing unit 115 into text data in a language corresponding to the language code associated with the user participating in the talk group. translate.
  • the translation processing employed by the translation processing unit 116 may use existing techniques such as statistical machine translation and neural machine translation.
  • the processing server 10 may have an input interface.
  • the input interface is realized by, for example, a mouse, a keyboard, and a touch panel on which an instruction is input by touching an operation surface.
  • the input interface converts an input instruction from the operator into an electrical signal and outputs the electrical signal to the processing unit 11.
  • the input interface is not limited to physical operation devices such as a mouse and a keyboard.
  • the input interface may include, for example, a reception port that receives an electrical signal input from an external input device.
  • the processing server 10 may have an output interface.
  • the output interface is realized by, for example, a display device and a printing device.
  • the display device for example, an arbitrary display such as a CRT display, a liquid crystal display, an organic EL display, an LED display, and a plasma display can be used.
  • the display device displays image data about the display target.
  • the printing device is, for example, a printer.
  • the printing device prints image data about a printing target on a predetermined sheet.
  • the output interface is not limited to a physical output device such as a display device and a printing device.
  • the output interface may include, for example, a transmission port that transmits image data to an external output device.
  • the base stations 30-1 to 30-n are provided for each area of a predetermined size and form a predetermined radio area.
  • the base stations 30-1 to 30-n are wirelessly connected to the communication terminals 20-1 to 20-m existing in the wireless area formed by the base station 30-1 to 30-n.
  • the communication terminals 20-1 to 20-m are terminals owned by the user, such as a mobile phone, a smartphone, a tablet PC, and a predetermined dedicated terminal.
  • the communication terminals 20-1 to 20-m perform one-to-many voice communication using PoC via the processing server 10.
  • the communication terminals 20-1 to 20-m participate in the group talk according to the operation from the user.
  • Any of the communication terminals 20-1 to 20-m acquires the transmission right according to the operation from the user.
  • the communication terminal that has acquired the transmission right receives voice input from the user, and transmits voice data based on the received voice to other communication terminals participating in the same group talk via the processing server 10.
  • the communication terminals 20-1 to 20-m receive the text data created based on the voice by the processing server 10, and display the characters based on the text data on the display of the own device.
  • FIG. 3 is a block diagram showing an example of a functional configuration of the communication terminal 20 shown in FIG.
  • the communication terminal 20 illustrated in FIG. 3 includes, for example, a processing unit 21, a storage unit 22, an input interface 23, an output interface 24, a communication interface 25, and a GPS receiver 26. Since the configurations of the communication terminals 20-1 to 20-m are the same, in the description of FIG.
  • the processing unit 21 includes, for example, a CPU and a volatile memory such as a RAM (Random Access Memory), which is a main storage device used when the CPU executes processing.
  • a CPU reads an application program stored in the storage unit 22 into the RAM.
  • the CPU executes an application program read into the RAM.
  • the processing unit 21 realizes various functions corresponding to the application program.
  • the storage unit 22 is a so-called auxiliary storage device including a nonvolatile storage circuit such as a NAND type or NOR type flash memory. Note that the storage unit 22 may be a drive device that reads and writes various kinds of information with a portable storage medium such as an SD card and a micro SD card.
  • the storage unit 22 stores an application program according to the present embodiment.
  • the storage unit 22 stores information about group talks that the terminal can participate in.
  • the input interface 23 is realized by, for example, a button, a touch panel on which an instruction is input by touching the operation surface, and a microphone for inputting voice.
  • the input interface 23 converts an input instruction from the operator into an electrical signal and outputs the electrical signal to the processing unit 21.
  • the output interface 24 is realized by, for example, a display device and a speaker.
  • the display device include a liquid crystal display and an organic EL display.
  • the display device displays image data about the display target.
  • the speaker reproduces audio data associated with audio communication.
  • the communication interface 25 is a circuit for wireless connection with the base stations 30-1 to 30-n.
  • the communication interface 25 is realized by, for example, an antenna and a wireless unit.
  • the antenna receives an incoming radio signal. Also, a radio signal output from the radio unit is transmitted.
  • the radio unit converts the radio signal received by the antenna in accordance with a preset demodulation method, and outputs the converted data to the processing unit 21.
  • the radio unit converts the data created by the processing unit 21 into a radio signal in accordance with a preset modulation scheme, and outputs the converted radio signal to the antenna.
  • the GPS receiver 26 receives a signal transmitted from a GPS satellite and creates position information based on the received signal.
  • the processing unit 21 shown in FIG. 3 implements a function corresponding to the application program by executing the application program stored in the storage unit 22.
  • the processing unit 21 executes functions of the communication control unit 211, the storage control unit 212, the display control unit 213, the reproduction control unit 214, the reading control unit 215, and the correction control unit 216 by executing an application program. .
  • the communication control unit 211 controls communication with the processing server 10. Specifically, for example, the communication control unit 211 of the communication terminal 20 having the transmission right converts the voice input from the microphone according to a unique protocol based on TCP / IP. The communication control unit 211 transmits the converted audio data to the processing server 10 via the network and the base station 30. Further, the communication control unit 211 of the communication terminal 20 having the transmission right receives text data transmitted from the processing server 10 via the network and the base station 30.
  • the communication control unit 211 of the communication terminal 20 that does not have the transmission right receives voice data transmitted from the processing server 10 and text data obtained by converting the voice data into text.
  • the communication control unit 211 sets the text data.
  • the translated text data translated into the language being received is received from the processing server 10.
  • the storage control unit 212 controls storage processing of various received notifications, text data, and translated text data. Specifically, for example, when various notifications, text data, and translated text data are received, the storage control unit 212 stores the various notifications, text data, and translated text data in a volatile memory such as a RAM. Let Various notifications, text data, and translated text data stored in the volatile memory are turned off when the execution of the application program for performing one-to-many voice communication using PoC is completed and the communication terminal 20 is turned off. It is erased from the volatile memory, for example. This makes it possible to avoid dangers such as information leakage.
  • the display control unit 213 controls display processing on the display which is the output interface 24. Specifically, for example, the display control unit 213 controls the display so as to display various received notifications and characters based on the received text data and translated text data.
  • the playback control unit 214 controls the playback of audio corresponding to characters based on text data displayed on the display. Specifically, for example, the reproduction control unit 214 controls the speaker that is the output interface 24 so as to reproduce the call data corresponding to the characters based on the text data displayed on the display.
  • the reading control unit 215 controls reading of characters based on the translated text data displayed on the display. Specifically, for example, when there is a reading request for a character based on the translated text data displayed on the display, the reading control unit 215 converts the character to be requested into voice data. Then, the reading control unit 215 controls the speaker that is the output interface 24 so as to reproduce the converted audio data.
  • the reading control unit 215 may be realized by an API (Application Program Interface) provided by an OS (Operating System), for example.
  • the correction control unit 216 controls correction processing of characters displayed on the display. Specifically, for example, the correction control unit 216 corrects the displayed character and transmits the corrected text data to the processing server 10 in response to a request for correcting the character displayed on the display.
  • FIG. 4 is a diagram for explaining an example of operations of the processing server 10 and the communication terminals 20-1 to 20-3 when voice communication is performed in the communication system 1 shown in FIG.
  • the storage unit 22 of the communication terminals 20-1 to 20-3 stores information about the talk group G1. That is, the communication terminals 20-1 to 20-3 are ready to participate in the talk group G1.
  • the users of the communication terminals 20-1 to 20-3 operate the communication terminals 20-1 to 20-3 to start up an application program that executes one-to-many voice communication using PoC (step S41). ).
  • the display control unit 213 of the communication terminals 20-1 to 20-3 displays, for example, a talk group G1 as a selectable talk group on the display that is the output interface 24 (step S42). Note that a plurality of talk groups that can be joined may be displayed on the display.
  • the users of the communication terminals 20-1 to 20-3 select the talk group G1 displayed on the display.
  • the processing unit 21 of the communication terminals 20-1 to 20-3 may automatically select the participating talk group G1 based on the participation frequency, user settings, and the like.
  • the display control unit 213 of the communication terminals 20-1 to 20-3 displays a list of usable languages on the display in this service.
  • the users of the communication terminals 20-1 to 20-3 select a language desired to be used from among a plurality of languages displayed on the display (step S43).
  • the processing unit 21 of the communication terminals 20-1 to 20-3 causes the GPS receiver 26 to create position information when the talk group is selected.
  • the communication control unit 211 of the communication terminals 20-1 to 20-3 sets the ID of the selected talk group (hereinafter referred to as a talk group ID) and the own terminal.
  • Information data including an ID (hereinafter referred to as a user ID), information about the selected language (hereinafter referred to as a language code), acquired position information, and the like.
  • the information data has a packet structure, for example.
  • the communication terminals 20-1 and 20-2 transmit the created information data to the processing server 10 via the base station 30-1 and the network NW (step S44). Further, the communication terminal 20-3 transmits the created information data to the processing server 10 via the base station 30-2 and the network NW (step S44).
  • the registration processing unit 111 of the processing server 10 associates users participating in the talk group with the participating talk group based on the information data transmitted from the communication terminals 20-1 to 20-3, and It memorize
  • FIG. 5 is a diagram illustrating an example of a management table stored in the storage unit 12 illustrated in FIG. In the management table shown in FIG. 5, three talk groups are managed. For example, it is stored that the user IDs: User01 to 03, who are users of the communication terminals 20-1 to 20-3, participate in the talk group G1 with the talk group ID: Group01.
  • the registration processing unit 111 stores information on users participating in the talk group in the first memory of the processing unit 11 based on the information data transmitted from the communication terminals 20-1 to 20-3. Specifically, for example, the registration processing unit 111 updates a user management table for managing dynamically changing user information stored in the first memory based on the information data.
  • FIG. 6 is a diagram illustrating an example of a user management table stored in the first memory of the processing unit 11 illustrated in FIG.
  • information about users participating in the talk group is managed.
  • the User 01 is associated with the IP address 01 of the communication terminal 20-1, for example, a language code 01 representing Japanese, and position information 01.
  • User 02 is associated with the IP address 02, language code 01, and position information 02 of the communication terminal 20-2.
  • User 03 is associated with IP address 03 of communication terminal 20-3, for example, language code 02 representing English, and position information 03.
  • the processing server 10 does not necessarily acquire the location information of the communication terminals 20-1 to 20-3. At this time, the communication terminals 20-1 to 20-3 do not have to create position information. Further, the position information may not be included in the information data transmitted from the communication terminals 20-1 to 20-3 to the processing server 10.
  • the display control unit 213 of the communication terminals 20-1 to 20-3 displays a PTT call start request button on the display (step S46).
  • the user of the communication terminal 20-1 presses a PTT call start request button displayed on the display of the communication terminal 20-1, for example (step S47).
  • the communication control unit 211 of the communication terminal 20-1 requests the processing server 10 to acquire the transmission right via the base station 30-1 and the network NW.
  • An acquisition request notification is sent with a user ID (step S48).
  • the PTT call start request button is not limited to that displayed on the display.
  • the PTT call start request button may be, for example, a physical button provided in an operation device that connects the input interface 23 of the communication terminal 20-1 as a connector.
  • the transmission right granting unit 112 of the processing server 10 grants the transmission right to the communication terminal 20-1 (step S49).
  • the user of the communication terminal 20-1 acquires the transmission right, the user inputs voice from the microphone of the communication terminal 20-1 (step S410).
  • the communication control unit 211 of the communication terminal 20-1 creates audio data based on the audio input from the microphone (step S411).
  • the audio data has a packet structure conforming to a unique protocol based on TCP / IP, for example.
  • FIG. 7 is a schematic diagram showing an example of the structure of audio data created by the processing unit 21 shown in FIG.
  • the voice data shown in FIG. 7 has an area for storing a talk group ID, an area for storing a speaker ID, an area for storing a time stamp, an area for storing a data length, and an area for storing actual data.
  • the communication control unit 211 of the communication terminal 20-1 stores, for example, Group01 in an area for storing a talk group ID, User01 in an area for storing a speaker ID, and an utterance start time in an area for storing a time stamp. Are stored in the area where the actual data is stored, and the data length of the audio digital data is stored in the area where the data length is stored.
  • the utterance start time represents the time when the call was started.
  • the communication control unit 211 sets, for example, the time when the user presses the PTT call start request button as the call start time.
  • the communication terminal 20-1 transmits the created voice data to the processing server 10 via the base station 30-1 and the network NW (step S412).
  • the communication control unit 113 of the processing server 10 transfers the voice data to the communication terminals 20-2 and 20-3 participating in the group talk G1.
  • the control for carrying out is performed (step S413).
  • the communication control unit 113 when receiving the voice data transmitted from the communication terminal 20-1, the communication control unit 113, the speaker ID: User01 stored in the voice data, and the user ID granted the transmission right: It is determined whether or not User01 matches. Since the speaker ID stored in the voice data and the user ID to which the transmission right is given match with User01, the communication control unit 113 sets the voice data according to the number of users participating in the group talk G1. Duplicate the number.
  • the communication control unit 113 transmits the duplicated audio data with reference to the IP addresses of the communication terminals 20-2 and 20-3 (step S414).
  • the communication control unit 211 of the communication terminals 20-2 and 20-3 Upon receiving the audio data transmitted from the processing server 10, the communication control unit 211 of the communication terminals 20-2 and 20-3 reproduces the received audio data and outputs it as sound from the speaker (step S415). Thereby, a PTT call, that is, PoC communication is established.
  • FIG. 8 is a diagram for explaining an example of the operation when the processing server 10 shown in FIG. 1 creates text data and translated text data.
  • the processing server 10 executes communication control in step S413 in FIG. 4 and executes the processing shown in FIG. Specifically, when receiving the voice data transmitted from the communication terminal 20-1, the storage control unit 114 of the processing server 10 holds the received voice data in the cache memory (step S81). The storage control unit 114 sequentially holds the audio data transmitted from the communication terminal 20-1 in the cache memory.
  • the storage control unit 114 stores a plurality of voice data held in the cache memory. Call data is created on the basis of (Step S82).
  • the preset capacity is, for example, a capacity corresponding to about 20 seconds of audio.
  • FIG. 9 is a schematic diagram showing an example of the structure of call data created by the storage control unit 114 shown in FIG.
  • the call data shown in FIG. 9 stores an area for storing a talk group ID, an area for storing a speaker ID, an area for storing a voice ID, an area for storing a call ID, an area for storing a time stamp, and a data length. And an area for storing actual data.
  • the voice ID is a unique ID for identifying a call made by a speaker.
  • the call ID is a unique number for identifying the number of call data among a plurality of call data constituting one call when a call made by a speaker extends over a plurality of call data. ID. For example, 0, 1, 2,...
  • the time stamp includes an utterance start time and an utterance end time.
  • the utterance end time represents the time when the call made by the speaker ends.
  • the time stamp includes the call data creation time instead of the utterance end time.
  • the call data creation time represents a time when a call is divided, for example, a time when call data is created based on a plurality of audio data.
  • the storage control unit 114 when the storage control unit 114 reaches the preset capacity of the voice data stored in the cache memory and having the talk group ID “Group01” and the speaker ID “User01”. Voice ID: Talk01 is set. In addition, the storage control unit 114 sets a call ID: 0 representing the first call data for Talk01. In addition, the storage control unit 114 sets a time stamp: TimeS1 based on a time stamp representing the utterance start time included in the audio data. Further, the storage control unit 114 sets a time stamp: TimeE1 based on the time when the call data is created. The storage control unit 114 creates call data by storing corresponding data in a predetermined area.
  • the storage control unit 114 stores the data length and actual data included in the group 01, User 01, Talk 01, 0, Time S1, Time E1, and a plurality of audio data of a predetermined capacity held in the cache memory in the corresponding areas.
  • Call data is created by storing in.
  • the storage control unit 114 stores the created call data in the storage unit 12.
  • the storage control unit 114 releases the transmission right before the capacity of the voice data stored in the cache memory whose talk group ID is Group01 and whose speaker ID is User01 reaches a preset capacity. Then, a voice ID, a call ID, and a time stamp are set.
  • the release of the transmission right is realized, for example, when the user releases the PTT call start request button in the communication terminal 20-1 having the transmission right. For example, when the user lifts his finger from the PTT call start request button, a transmission right release request notification is transmitted from the communication terminal 20-1 to the processing server 10.
  • the transmission right grant unit 112 of the processing server 10 releases the transmission right of the communication terminal 20-1.
  • the operation for acquiring or releasing the transmission right is not limited to pressing the PTT call start request button or releasing the PTT call start request button.
  • the storage control unit 114 of the processing server 10 sets the time when the transmission right release request notification is received as the utterance end time.
  • the storage control unit 114 sets a time stamp: TimeE1 based on the set utterance end time.
  • the storage control unit 114 reads, from the cache memory, a plurality of audio data whose talk group ID is Group01 and whose speaker ID is User01.
  • the storage control unit 114 stores data in an area for storing a talk group ID, a speaker ID, a voice ID, a call ID, and a time stamp, and stores the data length and actual data included in the read voice data in a predetermined area. Call data is created by storing in.
  • the storage control unit 114 stores the created call data in the storage unit 12. Since the call data is stored with the time stamp including the utterance start time and the utterance end time added, the user can search the call data for the time information such as the utterance start time and the utterance end time. It can be used as a search key.
  • the text processing unit 115 of the processing server 10 stores the voice data of a preset capacity in the cache memory, or holds the voice data in the cache memory when the call ends before reaching the preset capacity. Text data is created based on the plurality of voice data (step S83).
  • FIG. 10 is a schematic diagram showing an example of the structure of text data created by the text processing unit 115 shown in FIG.
  • the text data shown in FIG. 10 has an area for storing a talk group ID, an area for storing a text ID, an area for storing a voice ID, an area for storing a call ID, and an area for storing actual text data.
  • the voice ID is set to the same ID as the call data that has undergone text processing.
  • the call ID is set to the same ID as the call data that has undergone text processing.
  • the text processing unit 115 reaches the preset capacity of the voice data stored in the cache memory and having the talk group ID “Group01” and the speaker ID “User01”. Then, these audio data are read out.
  • the text processing unit 115 converts the actual data included in the read audio data into the language code 01 associated with User01 in FIG. Is converted into text actual data based on the stored information and the stored word information.
  • the text processing unit 115 sets the text ID: Text01.
  • the text processing unit 115 creates text data by storing corresponding data in a predetermined area. That is, the text processing unit 115 creates text data by storing Group01, Text01, Talk01, and text actual data in each corresponding area.
  • the text processing unit 115 receives the transmission right before the capacity of the voice data stored in the cache memory whose talk group ID is Group01 and whose speaker ID is User01 reaches a preset capacity. When released, a plurality of audio data having a talk group ID of Group01 and a speaker ID of User01 are read from the cache memory. The text processing unit 115 creates text data based on the actual data included in the read audio data.
  • the text processing unit 115 notifies the communication control unit 113 that text conversion has been completed (step S84).
  • the notification that text conversion has been completed includes, for example, the text ID of the created text data.
  • the communication control unit 113 Upon receiving the notification that the text data of the voice data group has been completed, the communication control unit 113 notifies the communication terminals 20-1 to 20-3 participating in the talk group G1 of the notification that the text conversion has been completed. And through the base station 30-1 (step S85). Note that the communication control unit 113 notifies the communication terminal 20-3 possessed by User03, which has a language code different from User01, that the text conversion is completed, and a notification that the translation described later is completed. You may send together. Further, the communication control unit 113 may not transmit a notification that the text conversion is completed to the communication terminal 20-3.
  • a process is described in the case where a text conversion completion notification is transmitted to the communication terminals 20-1 to 20-3 participating in the talk group G1.
  • the text completion notification is not sent to the talk group G1, but may be transmitted to communication terminals that can join the talk group G1.
  • the storage unit 12 of the processing server 10 stores, for example, a list of users who can participate in each talk group.
  • the communication control unit 113 of the processing server 10 refers to the list stored in the storage unit 12 and transmits a text completion notification to users who can participate in the talk group G1.
  • the text conversion completion notification may be transmitted to communication terminals that satisfy a predetermined condition among communication terminals that can participate in the talk group G1.
  • the predetermined condition is, for example, based on the position information of the communication terminal stored in the storage unit 12, being located within a predetermined distance from the communication terminal having the transmission right, and having a predetermined flag. , Etc.
  • the created text data is output to the storage control unit 114 and the translation processing unit 116 (step S86).
  • the storage control unit 114 stores the text data created by the text processing unit 115 in the storage unit 12 (step S87).
  • the translation processing unit 116 creates translation text data by performing translation processing on the text data created by the text processing unit 115 (step S88).
  • FIG. 11 is a schematic diagram showing an example of the structure of translation text data created by the translation processing unit 116 shown in FIG.
  • the translated text data shown in FIG. 11 has an area for storing a text ID, an area for storing a language code, and an area for storing translated text actual data.
  • the language code represents a language corresponding to the translated text actual data.
  • the same ID is set for the text ID of the translation source and the translation text data.
  • the translation processing unit 116 reads the actual text data from the text data created by the text processing unit 115.
  • the translation processing unit 116 translates the read text actual data into all language codes different from the language code of User01, in FIG. 6, the language corresponding to the language code 02, that is, English text actual data.
  • the translation processing unit 116 creates translation text data by storing corresponding data in a predetermined area. That is, the translation processing unit 116 creates translation text data by storing the Text01, the language code 02, and the actual translation text data in each corresponding area.
  • the translation processing unit 116 notifies the communication control unit 113 that the translation has been completed (step S89).
  • the notification that the translation is complete includes, for example, the text ID of the created translation text data and the language code.
  • the communication control unit 113 sends a notification that the translation is complete to the communication terminal 20-3 possessed by User03 in which a language code different from User01 is set. Then, the data is transmitted via the base station 30-3 (step S810).
  • the text conversion completion notification when the text conversion completion notification is not transmitted to the communication terminal 20-3, the text conversion completion notification may be transmitted to the communication terminal 20-3 together with the translation completion notification.
  • the created translated text data is output to the storage control unit 114 (step S811).
  • the storage control unit 114 stores the translation text data created by the translation processing unit 116 in the storage unit 12 (step S812).
  • the processing shown in steps S81 to S812 is repeated until the call ends.
  • the text conversion completion notification is transmitted to the communication terminal every time the text conversion process is completed.
  • a text conversion completion notification may be transmitted only once to the communication terminals that can participate in the talk group after the call is finished. As a result, the user can recognize that there is text data corresponding to the call.
  • the display formats of the communication terminals 20-1 to 20-3 include, for example, a first display format and a second display format.
  • the first display format is a format in which a PTT call start request button and a character corresponding to a distributed voice are displayed together.
  • the second display format is a format in which the PTT call start request button is displayed, but the characters corresponding to the voice are not displayed. Whether the display format is the first display format or the second display format is based on user settings.
  • the first display format will be described first, and then the second display format will be described.
  • FIG. 12 shows an example of operations of the processing server 10 and the communication terminals 20-1 and 20-2 when the communication terminals 20-1 and 20-2 shown in FIG. It is a figure explaining.
  • FIG. 12 a case where the first display format is set will be described as an example.
  • the communication terminal 20-1 having the transmission right and the communication terminal 20-2 set with the same language code as the communication terminal 20-1 receive the text conversion completion notification from the processing server 10 (step S121).
  • the text conversion completion notification includes the text ID of the text data that has been converted to text.
  • the description of FIG. 12 it is assumed that the description of FIG. 8 is taken over and the text ID: Text01 is included in the text conversion completion notification.
  • the communication control unit 211 of the communication terminal 20-1 Upon receiving the text conversion completion notification, the communication control unit 211 of the communication terminal 20-1 sends a text data request notification for requesting text data including the text ID: Text01 to the base station 30-1 and the network. It transmits to the processing server 10 via NW (step S122). At this time, the user ID: User01 of the communication terminal 20-1 that is the request source is attached to the text data request notification. Further, the communication control unit 211 of the communication terminal 20-2 attaches a text data request notification for requesting text data including the text ID: Text01 to the user ID: User02 of the communication terminal 20-2. And transmitted to the processing server 10 (step S122).
  • the storage control unit 114 of the processing server 10 reads the text data including the text ID: Text01 from the storage unit 12 (step S123).
  • the communication control unit 113 of the processing server 10 converts the text data read from the storage unit 12 into packet format data (step S124).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the text data request notification.
  • the communication control unit 113 transmits the copied data to the IP address specified using the user ID (step S125). As a result, the text data converted into the packet format is transmitted to the communication terminals 20-1 and 20-2.
  • the storage control unit 212 of the communication terminals 20-1 and 20-2 stores the received text data in the RAM.
  • the display control unit 213 of the communication terminals 20-1 and 20-2 reads the actual text data from the text data stored in the RAM.
  • the display control unit 213 displays characters based on the read text actual data as characters corresponding to the voice ID: Talk01 on the display screen for the talk group G1 identified by the talk group ID: Group01 (step S126).
  • the display control unit 213 of the communication terminal 20-1 recognizes that this call is a call originated by the own apparatus based on the voice ID: Talk01.
  • the display control unit 213 displays characters on the display in such a manner that it can be identified that the call originates from the own device.
  • an arbitrary method such as changing the display position, changing the display color, or changing the font may be adopted.
  • FIG. 13 is a schematic diagram showing an example of characters displayed through the processing shown in FIG.
  • the left diagram in FIG. 13 is a schematic diagram showing a display example of the display of the communication terminal 20-1 having the transmission right.
  • the right figure of FIG. 13 is a schematic diagram showing a display example of the display of the communication terminal 20-2 which is a recipient terminal.
  • character L1 is displayed at the right end of the display.
  • the character L2 is displayed at the left end of the display.
  • FIG. 13 shows an example in which the PTT call start request button B1 is displayed at the lower left of the display
  • the display position of the PTT call start request button B1 is not limited to this. There is no restriction as long as the user can easily tap the position.
  • FIG. 14 is a diagram for explaining an example of operations of the processing server 10 and the communication terminal 20-3 when the communication terminal 20-3 shown in FIG. 1 displays characters based on text data and translated text data on the display. is there.
  • FIG. 14 a case where the first display format is set will be described as an example.
  • the communication terminal 20-3 set with a language code different from that of the communication terminal 20-1 receives the text completion notification and the translation completion notification from the processing server 10 (step S141).
  • the text conversion completion notification includes the text ID of the text data that has been converted to text.
  • the translation completion notification includes the text ID of the translated text data that has been translated and the language code used in the translation.
  • FIG. 14 it is assumed that the description in FIG. 8 is taken over and the text ID: Text01 is included in the text conversion completion notification. Further, it is assumed that the text ID: Text01 and the language code: language code 02 are included in the translation completion notification.
  • the communication control unit 211 of the communication terminal 20-3 Upon receiving the text completion notification and the translation completion notification, the communication control unit 211 of the communication terminal 20-3, the text data including the text ID: Text01, the text ID: Text01, and the language code: language code A request notification for requesting the translated text data including 02 is transmitted to the processing server 10 via the base station 30-2 and the network NW (step S142). At this time, the user ID: User03 of the communication terminal 20-3 as the request source is attached to the request notification.
  • the storage control unit 114 of the processing server 10 receives the text data including the text ID: Text01, the translated text data including the text ID: Text01, and the language code: language code 02. Are read from the storage unit 12 (step S143).
  • the communication control unit 113 of the processing server 10 converts the text data and translation text data read from the storage unit 12 into packet format data (step S144).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the text data request notification.
  • the communication control unit 113 transmits the replicated data to the IP address specified using the user ID (step S145). As a result, the text data converted into the packet format and the translated text data are transmitted to the communication terminal 20-3.
  • the storage control unit 212 of the communication terminal 20-3 stores the received text data and translation text data in the RAM.
  • the display control unit 213 of the communication terminal 20-3 reads the actual text data and the actual translated text data from the text data and the translated text data stored in the RAM.
  • the display control unit 213 displays characters based on the actual text data and the actual translated text data as characters corresponding to the voice ID: Talk01 on the display screen for the talk group G1 identified by the talk group ID: Group01 (step S1). S146).
  • FIG. 15 is a schematic diagram showing an example of characters displayed on the communication terminal 20-3 through the processing shown in FIG.
  • the character L3 is displayed at the left end of the display.
  • the character L3 includes a character based on the actual text data and a character based on the translated text actual data.
  • the display of characters based on actual text data and characters based on actual translated text data may not be displayed in one area. For example, these characters may be displayed in separate areas.
  • FIG. 14 illustrates an example in which the communication terminal 20-3 receives the text completion notification and the translation completion notification at the same time.
  • the translation completion notification may be transmitted after the text conversion completion notification.
  • the communication control unit 211 of the communication terminal 20-3 does not transmit the text data request notification to the processing server 10 upon reception of the text completion notification, but waits for reception of the translation completion notification, A translation text data request notification may be transmitted.
  • the communication control unit 211 of the communication terminal 20-3 transmits a text data request notification to the processing server 10 in response to reception of the text conversion completion notification.
  • a request for translation text data may be transmitted to the processing server 10.
  • FIG. 16 shows an example of operations of the processing server 10 and the communication terminals 20-1 and 20-2 when the communication terminals 20-1 and 20-2 shown in FIG. It is a figure explaining.
  • the communication terminal 20-1 having the transmission right and the communication terminal 20-2 set with the same language code as the communication terminal 20-1 receive the text conversion completion notification from the processing server 10 (step S161).
  • the text ID: Text06 is included in the text conversion completion notification.
  • FIG. 17 is a schematic diagram showing an example of the text completion notification displayed on communication terminals 20-1 and 20-2 shown in FIG. According to FIG. 17, the fact that text conversion has been completed is notified as “There is unread text”. Note that the completion of text conversion may be expressed by a symbol or the like.
  • FIG. 17 shows an example in which the PTT call start request button B2 is displayed at the center of the display, the display position of the PTT call start request button B2 is not limited to this. There is no restriction as long as the user can easily tap the position.
  • the user of the communication terminals 20-1 and 20-2 determines whether or not it is necessary to display a character corresponding to the voice when viewing the text conversion completion notification displayed on the display.
  • the user inputs a character display request from the input interface 23 (step S163). For example, the user taps the display area of the text conversion completion notification displayed on the display.
  • the communication control unit 211 of the communication terminal 20-1 sends a display start request notification requesting the start of character display from text data including the text ID: Text06. , To the processing server 10 via the base station 30-1 and the network NW. At this time, the user ID: User01 of the requesting communication terminal 20-1 is attached to the display start request notification.
  • the communication control unit 211 of the communication terminal 20-2 requests a display start request for requesting the start of character display from the text data including the text ID: Text06. The notification is transmitted to the processing server 10 with the user ID: User02 of the communication terminal 20-2 (step S164).
  • the storage control unit 114 of the processing server 10 reads the text data including the text ID: Text06 from the storage unit 12 and includes the read text data, for example, a talk group Get an ID.
  • the storage control unit 114 reads text data including the same talk group ID as the acquired talk group ID from the storage unit 12 by a preset amount (step S165).
  • the preset data amount represents, for example, a preset number of text data stored before the text data including the text ID: Text06. That is, for example, text data including text IDs: Text01 to Text06 is read from the storage unit 12.
  • the communication control unit 113 of the processing server 10 sequentially converts the plurality of text data read from the storage unit 12 into packet format data (step S166).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the display start request notification.
  • the communication control unit 113 transmits the copied data to the IP address specified using the user ID (step S167). Thereby, a plurality of text data converted into the packet format is transmitted to the communication terminals 20-1 and 20-2.
  • the storage control unit 212 of the communication terminals 20-1 and 20-2 sequentially stores the received text data in the RAM.
  • the display control unit 213 of the communication terminals 20-1 and 20-2 reads the text actual data from the text data.
  • the display control unit 213 displays characters based on the read text actual data on the display screen for the talk group identified by the predetermined talk group ID (step S168).
  • the text-completion notification may be transmitted to a communication terminal that does not participate in the talk group G1 but can participate in the talk group G1.
  • the communication terminal indicates that the text conversion has been completed in the talk group G1, for example, in the talk group G1. "There is unread text.”
  • the completion of text conversion in the talk group G1 may be represented by a symbol or the like at a position corresponding to the talk group G1 on the display of the communication terminal.
  • the user can check the call in the talk group in which the user can participate by text.
  • the user who does not participate in the talk group G1 confirms the call contents of the talk group G1 with characters, the user may participate in the talk group G1.
  • FIG. 18 is a diagram for explaining an example of operations of the processing server 10 and the communication terminal 20-3 when the communication terminal 20-3 shown in FIG. 1 displays characters based on the text data and the translated text data on the display. is there.
  • the communication terminal 20-3 in which a language code different from that of the communication terminal 20-1 is set receives the text conversion completion notification and the translation completion notification from the processing server 10 (step S181).
  • the text ID: Text06 is included in the text conversion completion notification.
  • text ID: Text06 and language code: language code 02 are included in the translation completion notification.
  • the display control unit 213 of the communication terminal 20-3 overlaps with the PTT call start request button displayed on the display that the text conversion and translation processing has been completed. It is displayed on the display so that it does not occur (step S182).
  • the communication terminal 20-3 receives the text completion notification and the translation completion notification simultaneously, and receives the translation completion notification after the text completion notification. There is.
  • the display control unit 213 of the communication terminal 20-3 determines that the text conversion is completed and the translation process is performed in response to the reception of the text conversion completion notification and the translation completion notification. Display completion. At this time, the display control unit 213 may only indicate that the text conversion has been completed, and may indicate that the translation process has been completed.
  • the display control unit 213 of the communication terminal 20-3 displays that the text conversion is completed in response to the reception of the text conversion completion notification.
  • a message indicating that the translation process has been completed may be displayed in response to receiving the completion notification.
  • the display control unit 213 does not display that the text conversion has been completed upon reception of the text conversion completion notification, but indicates that the text conversion has been completed in response to the reception of the translation completion notification and that the translation processing has been completed. It may be displayed. At this time, the display control unit 213 may only indicate that the text conversion has been completed, and may indicate that the translation process has been completed.
  • the user of the communication terminal 20-3 visually recognizes the text completion notification and the translation completion notification displayed on the display, the user determines whether or not it is necessary to display the character corresponding to the voice and the translation of the character. To do.
  • the user inputs a display request for characters and translation from the input interface 23 (step S183). For example, the user taps the display area of the text completion notification and the translation completion notification displayed on the display.
  • the communication control unit 211 of the communication terminal 20-3 When a display request for characters and translation is input from the user, the communication control unit 211 of the communication terminal 20-3, the text data including the text ID: Text06, the text ID: Text06, and the language code: A display start request notification requesting the start of character display from the translation text data including the language code 02 is transmitted to the processing server 10 via the base station 30-1 and the network NW (step S184). At this time, the user ID: User03 of the communication terminal 20-3 that is the request source is attached to the display start request notification.
  • the storage control unit 114 of the processing server 10 reads the text data including the text ID: Text06 from the storage unit 12 and includes the read text data, for example, a talk group Get an ID.
  • the storage control unit 114 reads text data including the same talk group ID as the acquired talk group ID from the storage unit 12 by a preset amount of data.
  • the preset data amount represents, for example, a preset number of text data stored before the text data including the text ID: Text06. That is, for example, text data including text IDs: Text01 to Text06 is read from the storage unit 12.
  • the storage control unit 114 reads, from the storage unit 12, translation text data including the same text ID as the text ID included in the plurality of read text data and the language code: language code 02 (step S185). That is, for example, the translated text data including text ID: Text01 to Text06 and language code: language code 02 is read from the storage unit 12.
  • the communication control unit 113 of the processing server 10 sequentially converts the text data and translation text data read from the storage unit 12 into packet format data (step S186).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the display start request notification.
  • the communication control unit 113 transmits the copied data to the IP address specified using the user ID (step S187). Thereby, the plurality of text data and translation text data converted into the packet format are transmitted to the communication terminal 20-3.
  • the storage control unit 212 of the communication terminal 20-3 sequentially stores the received text data and translation text data in the RAM.
  • the display control unit 213 of the communication terminal 20-3 reads the actual text data and the actual translated text data from the text data and the translated text data with the same text ID stored in the RAM.
  • the display control unit 213 displays characters based on the read text actual data and translated text actual data on the display screen for the talk group identified by the predetermined talk group ID (step S188).
  • the processing server 10 transmits the text completion notification and the translation completion notification to the communication terminal 20-3 in which a language different from the communication terminal 20-1 having the transmission right is set.
  • the case has been described as an example. However, it is not limited to this. Only the translation completion notification may be transmitted from the processing server 10 to the communication terminal 20-3. In such a case, only characters based on the translated text data are displayed on the display of the communication terminal 20-3.
  • FIG. 19 shows the processing server 10 and the communication terminals 20-1 and 20-2 when the voice corresponding to the characters displayed on the display by the communication terminals 20-1 and 20-2 shown in FIG. It is a figure explaining the example of operation
  • characters are displayed on the displays of the communication terminals 20-1 and 20-2 (step S191).
  • the text data about characters displayed on the display includes a voice ID: Talk01 and a call ID: 0.
  • the user of the communication terminals 20-1 and 20-2 wants to reproduce the voice corresponding to the character displayed on the display, he / she inputs a character reproduction request from the input interface 23 (step S192). For example, the user taps a display area of characters displayed on the display.
  • the communication control unit 211 of the communication terminal 20-1 requests playback of call data including the voice ID: Talk01 and the call ID: 0.
  • a reproduction request notification to that effect is transmitted to the processing server 10 via the base station 30-1 and the network NW.
  • the user ID: User01 of the communication terminal 20-1 as the request source is attached to the reproduction request notification.
  • the communication control unit 211 of the communication terminal 20-2 reproduces the call data including the voice ID: Talk01 and the call ID: 0.
  • a reproduction request notification for requesting is sent to the processing server 10 with the user ID: User02 of the communication terminal 20-2 (step S193).
  • the storage control unit 114 of the processing server 10 reads the call data including the voice ID: Talk01 and the call ID: 0 from the storage unit 12.
  • the communication control unit 113 of the processing server 10 converts the call data read from the storage unit 12 into packet-format data while changing the structure as necessary (step S195).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the request source.
  • the communication control unit 113 transmits the copied data to the IP address specified using the user ID (step S196). As a result, the call data converted into the packet format is transmitted to the communication terminals 20-1 and 20-2.
  • the storage control unit 212 of the communication terminals 20-1 and 20-2 stores the received call data in the RAM.
  • the reproduction control unit 214 of the communication terminals 20-1 and 20-2 reads actual data from the call data stored in the RAM, and controls the speaker based on the read actual data (step S197).
  • FIG. 20 is a diagram for explaining an example of operations of the processing server 10 and the communication terminal 20-1 when the communication terminal 20-1 shown in FIG. 1 corrects characters displayed on the display.
  • characters are displayed on the display of the communication terminal 20-1 having the transmission right and the communication terminals 20-2 and 20-3 participating in the same talk group G1 as the communication terminal 20-1 (step S201).
  • FIG. 20 it is assumed that characters are displayed based on text data including a talk group ID: Group01 and a text ID: Text01.
  • the user of the communication terminal 20-1 visually recognizes characters displayed on the display and determines whether or not correction is necessary.
  • the user inputs a character correction request from the input interface 23 (step S202). For example, the user taps a display area of characters displayed on the display.
  • the correction control unit 216 of the communication terminal 20-1 creates text data by correcting the actual text data (step S203). Specifically, for example, when a character correction request is input from the user, the correction control unit 216 determines whether the character for which the character correction request is input is a character belonging to a call for which the terminal has a transmission right. Is determined based on the talk group ID included in the text data. When the character to which the character correction request is input is a character belonging to a call for which the terminal has a transmission right, the correction control unit 216 displays a character correction form on the display. The correction control unit 216 corrects the characters displayed on the display according to the input via the correction form.
  • the correction control unit 216 stores the corrected text actual data in text data including the same talk group ID, text ID, voice ID, and call ID as the text data for the character before correction.
  • the communication control unit 211 of the communication terminal 20-1 changes the structure of text data including the corrected text actual data as necessary, converts the data into packet format data, and transmits the data to the processing server 10 (step S204). ).
  • the communication control unit 113 of the processing server 10 When receiving the text data transmitted from the communication terminal 20-1, the communication control unit 113 of the processing server 10 reads the talk group ID: Group01 and the text ID: Text01 included in the received text data.
  • the communication control unit 113 includes the text ID: Text01 to the communication terminals 20-2 and 20-3 possessed by the User02 and User03 participating in the talk group G1 identified by the read talk group ID: Group01. Notification is made to update the display of characters based on the text data (step S205).
  • the storage control unit 114 of the processing server 10 receives the text data transmitted from the communication terminal 20-1, the storage control unit 114 reads the text ID: Text01 included in the received text data. The storage control unit 114 erases the stored text data including the text ID: Text01 from the storage unit 12 and stores the received text data in the storage unit 12 (step S206).
  • the translation processing unit 116 of the processing server 10 When the translation processing unit 116 of the processing server 10 receives the text data transmitted from the communication terminal 20-1, the translation processing unit 116 performs a translation process on the received text data, for example, in a language corresponding to the language code 02. Thus, translation text data is created (step S207).
  • the translation processing unit 116 notifies the communication control unit 113 that the translation has been completed (step S208).
  • the communication control unit 113 Upon receiving the notification that the translation has been completed, the communication control unit 113 transmits a notification that the translation has been completed to the communication terminal 20-3 possessed by User03 in which a language code different from User01 is set (step S1). S209).
  • the created translated text data is output to the storage control unit 114 (step S2010).
  • the storage control unit 114 deletes the stored translated text data including the text ID: Text01 and the language code: language code 02 from the storage unit 12, and stores the translation text data created by the translation processing unit 116. (Step S2011).
  • FIG. 21 illustrates an example of operations of the processing server 10 and the communication terminal 20-2 when the communication terminal 20-2 illustrated in FIG. 1 displays characters corrected by the communication terminal 20-1 on the display.
  • FIG. FIG. 21 illustrates an example in which the first display format is set.
  • the communication terminal 20-2 set with the same language code as the communication terminal 20-1 receives the update notification from the processing server 10 (step S211).
  • the update notification includes a text ID for the corrected text data.
  • the description of FIG. 21 it is assumed that the description of FIG. 20 is taken over and the text ID: Text01 is included in the text conversion completion notification.
  • the communication control unit 211 of the communication terminal 20-2 transmits a text data request notification requesting text data including the text ID: Text01 to the processing server 10 (step S212).
  • the user ID: User02 of the communication terminal 20-2 that is the request source is attached to the text data request notification.
  • the storage control unit 114 of the processing server 10 reads the text data including the text ID: Text01 from the storage unit 12 (step S213).
  • the communication control unit 113 of the processing server 10 converts the text data read from the storage unit 12 into packet format data (step S214).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the text data request notification.
  • the communication control unit 113 transmits the copied data to the IP address specified using the user ID (step S215). As a result, the text data converted into the packet format is transmitted to the communication terminal 20-2.
  • the storage control unit 212 of the communication terminal 20-2 stores the received text data in the RAM.
  • the storage control unit 212 reads the text ID: Text01 from the stored text data.
  • the storage control unit 212 refers to the read text ID: Text01, and deletes the text data including the text ID: Text01 stored in the past in the RAM. As a result, the text data before correction is deleted from the RAM.
  • the display control unit 213 of the communication terminal 20-2 reads the text actual data from the text data newly stored in the RAM.
  • the display control unit 213 displays characters based on the read text actual data as characters corresponding to the voice ID: Talk01 on the display screen for the talk group G1 identified by the talk group ID: Group01 (step S216). Thereby, the character displayed based on the text data before correction is rewritten with the character based on the received text data.
  • FIG. 22 illustrates an example of operations of the processing server 10 and the communication terminal 20-3 when the communication terminal 20-3 illustrated in FIG. 1 displays the characters corrected by the communication terminal 20-1 on the display.
  • FIG. 22 a case where the first display format is set will be described as an example.
  • the communication terminal 20-3 set with a language code different from that of the communication terminal 20-1 receives the update notification and the translation completion notification from the processing server 10 (step S221).
  • the update notification includes a text ID for the corrected text data.
  • the translation completion notification includes a text ID and a language code for the translated text data that has been translated.
  • FIG. 22 it is assumed that the description of FIG. 20 is taken over and the text ID: Text01 is included in the text conversion completion notification. Further, it is assumed that the text ID: Text01 and the language code: language code 02 are included in the translation completion notification.
  • the communication control unit 211 of the communication terminal 20-3 Upon receiving the update notification and the translation completion notification, the communication control unit 211 of the communication terminal 20-3 receives the text data including the text ID: Text01, the text ID: Text01, and the language code: language code 02. A request notification for requesting the contained translated text data is transmitted to the processing server 10 (step S222). At this time, the user ID: User03 of the communication terminal 20-3 as the request source is attached to the request notification.
  • the storage control unit 114 of the processing server 10 receives the text data including the text ID: Text01, the translated text data including the text ID: Text01, and the language code: language code 02. Are read from the storage unit 12 (step S223).
  • the communication control unit 113 of the processing server 10 converts the text data and translation text data read from the storage unit 12 into packet format data (step S224).
  • the communication control unit 113 copies the data converted into the packet format by the number corresponding to the user ID attached to the text data request notification.
  • the communication control unit 113 transmits the replicated data to the IP address specified using the user ID (step S225). As a result, the text data converted into the packet format and the translated text data are transmitted to the communication terminal 20-3.
  • the storage control unit 212 of the communication terminal 20-3 stores the received text data and translation text data in the RAM.
  • the storage control unit 212 reads the text ID: Text01 and the language code: language code 02 from the stored text data and translation text data.
  • the storage control unit 212 refers to the read text ID: Text01 and language code: language code 02, and stores text data including the text ID: Text01, text ID: Text01, and language code stored in the RAM in the past. : Delete translated text data including language code 02.
  • the text data before correction and the translated text data for the text data before correction are deleted from the RAM.
  • the display control unit 213 of the communication terminal 20-3 reads the actual text data and the actual translated text data from the text data and the translated text data newly stored in the RAM.
  • the display control unit 213 displays characters based on the actual text data and the actual translated text data as characters corresponding to the voice ID: Talk01 on the display screen for the talk group G1 identified by the talk group ID: Group01 (step S1). S226). Thereby, the character displayed based on the text data before correction and translation text data is rewritten with the character based on the received text data and translation text data.
  • the text processing unit 115 of the processing server 10 creates text data based on voice data transmitted from the communication terminal 20-1 having a transmission right.
  • the communication control unit 113 of the processing server 10 transmits the created text data to the communication terminals 20-1 to 20-3 participating in the talk group G1.
  • the users of the communication terminals 20-1 to 20-m participating in the talk group can check the contents of the call by displaying the call as text.
  • the text processing unit 115 of the processing server 10 creates text data based on a plurality of audio data held in the cache memory.
  • the processing server 10 can create text data while maintaining the quality of voice communication.
  • the text processing unit 115 of the processing server 10 holds the voice data having a preset capacity in the cache memory or transmits the communication terminal 20-1 before reaching the capacity.
  • text data is created based on a plurality of audio data held in the cache memory. That is, a long-time call is divided into texts at regular intervals.
  • the processing server 10 can create text data while minimizing a delay from the voice data. Further, even when the speaker is speaking for a long time, the voice data can be converted into text sequentially.
  • the storage control unit 114 of the processing server 10 stores the created text data in the storage unit 12.
  • the text processing unit 115 notifies the communication terminals 20-1 to 20-3 participating in the talk group G1 that text conversion is completed when the text data is created. Then, when there is a notification to request text data from the communication terminal that has notified the completion of text conversion, the communication control unit 113 transmits the text data stored in the storage unit 12 to the requesting communication terminal. To do. Accordingly, the processing server 10 can display characters based on the text data on the display without storing the text data in the storage unit 22 of the communication terminals 20-1 to 20-m. As described above, since the communication terminals 20-1 to 20-m do not store text data, it is possible to prevent information leakage.
  • the communication control unit 113 of the processing server 10 stores in the storage unit 12 when there is a notification requesting display start of characters based on text data from the communication terminal that has notified that text conversion has been completed. A plurality of past text data to be stored is transmitted to the requesting communication terminal. As a result, even if the user joins the talk group from the middle and the voice character display starts from the middle of the call, the users of the communication terminals 20-1 to 20-m It becomes possible to confirm with.
  • the storage control unit 114 of the processing server 10 stores the voice data used when creating the text data in the storage unit 12 as call data.
  • the communication control unit 113 receives a voice reproduction request corresponding to the text data from the communication terminal 20 that has transmitted the text data, the communication control unit 113 sets the text data requested to be reproduced among the call data stored in the storage unit 12. Corresponding call data is transmitted to the communication terminal that requested the reproduction.
  • the users of the communication terminals 20-1 to 20-m can listen to an actual call corresponding to the characters displayed on the display at an arbitrary timing. Further, even if there is an error in the characters displayed on the display, it is possible to confirm the correct content.
  • the communication control unit 113 of the processing server 10 transmits the corrected text data to the talk group G1. -2 and 20-3. Thereby, even if there is an erroneous conversion in the conversion of the call data into text by the text processing unit 115, the speaker corrects the characters displayed on the call terminal and transfers the corrected characters to another communication terminal. It can be reflected.
  • the communication control unit 113 of the processing server 10 indicates that the display is updated when the text data is corrected in the communication terminal 20-1 having the transmission right, and the communication terminals participating in the talk group G1. 20-2 and 20-3 are notified.
  • the communication control unit 113 transmits the corrected text data stored in the storage unit 12 to the requesting communication terminal 20. To do.
  • the processing server 10 can display characters based on the corrected text data on the display without storing the corrected text data in the storage unit 22 of the communication terminals 20-1 to 20-m. It becomes.
  • the translation processing unit 116 of the processing server 10 creates translation text data by performing translation processing on the text data created by the text processing unit 115. Then, the communication control unit 113 sets a language different from that of the communication terminal 20-1 having the transmission right among the communication terminals 20-1 to 20-3 participating in the talk group G1 for the created translated text data. To the communication terminal 20-3. Thereby, even if there is a user who uses a different language in the talk group, this user can understand the content of the call. That is, communication between multiple languages can be achieved.
  • the storage control unit 114 of the processing server 10 stores the translation text data created by the translation processing unit 116 in the storage unit 12.
  • the fact that the translation process is completed differs from the communication terminal 20-1 having the transmission right among the communication terminals 20-1 to 20-3 participating in the talk group G1. It is transmitted to the communication terminal 20-3 for which the language is set.
  • the communication control unit 113 reads out the requested translated text data from the storage unit 12, and reads out the read translated text data. Is transmitted to the requesting communication terminal 20-3.
  • the processing server 10 can display characters based on the translated text data on the display without storing the translated text data in the storage unit 22 of the communication terminals 20-1 to 20-m.
  • the processing server 10 can display characters based on the translated text data on the display without storing the translated text data in the storage unit 22 of the communication terminals 20-1 to 20-m.
  • the translated text data is not stored in the communication terminals 20-1 to 20-m, it is possible to prevent information leakage.
  • the communication control unit 113 of the processing server 10 receives a notification requesting to start displaying characters based on the translated text data from the communication terminal 20-3 that has notified that the translation process has been completed.
  • a plurality of past translated text data stored in the storage unit 12 is transmitted to the requesting communication terminal 20-3.
  • the translation processing unit 116 of the processing server 10 creates translation text data by performing translation processing on the text data corrected by the communication terminal having the transmission right.
  • the communication control unit 113 sets the translated text data for the corrected text data in a language different from the communication terminal 20-1 having the transmission right among the communication terminals 20-1 to 20-3 participating in the talk group G1.
  • the data is transmitted to the communication terminal 20-3.
  • the processing server 10 automatically translates the corrected text data, and distributes the translated text data reflecting the correction to the communication terminal 20 in which a language different from the communication terminal 20 having the transmission right is set. It becomes possible to do.
  • the storage control unit 114 of the processing server 10 creates the translated text data for the text data modified by the communication terminal 20-1 having the transmission right, and the text data before the modification is created.
  • the translated text data is deleted from the storage unit 12, and the translated text data for the corrected text data is stored in the storage unit 12.
  • the translation processing unit 116 creates the translation text data for the text data modified by the communication terminal 20-1
  • the translation processing unit 116 notifies the communication terminals 20-1 to 20-3 participating in the talk group G1 that the translation processing has been completed. Among these, it transmits to the communication terminal 20-3 in which a language different from that of the communication terminal 20-1 having the transmission right is set.
  • the communication control unit 113 reads out the requested translated text data from the storage unit 12, and reads out the read translated text data. Is transmitted to the requesting communication terminal 20-3.
  • the processing server 10 displays characters based on the translated text data on the display without storing the translated text data for the modified text data in the storage unit 22 of the communication terminals 20-1 to 20-m. It becomes possible.
  • the communication control unit 211 of the communication terminals 20-1 to 20-3 notifies the completion of text conversion that the text data of the voice data transmitted from the communication terminal 20-1 having the transmission right has been completed. Receive.
  • the communication control unit 211 requests the processing server 10 to transmit the text data notified of the completion of text conversion by the received text conversion completion notification.
  • the communication control unit 211 receives text data returned from the processing server 10 in response to a request.
  • the display control unit 213 displays characters based on the received text data on a display as the output interface 24.
  • the storage control unit 212 of the communication terminals 20-1 to 20-3 stores the received text data in a RAM that is a volatile memory. And the display control part 213 displays the character based on the text data memorize
  • the communication terminals 20-1 to 20-m can display characters based on the text data on the display without storing the text data in the storage unit 22.
  • the display control unit 213 of the communication terminals 20-1 to 20-3 displays the received text conversion completion notification on the display. Then, the communication control unit 211 requests the processing server 10 to transmit the text data notified of the completion of text conversion when there is a character display request for displaying the text conversion completion notification. As a result, the communication terminals 20-1 to 20-m can display characters on the display only when character display corresponding to voice is necessary.
  • the communication control unit 211 of the communication terminals 20-1 to 20-3 is used when creating text data when there is a playback request for voice corresponding to characters displayed on the display.
  • the communication control unit 211 receives audio data returned from the processing server 10 in response to a request.
  • the reproduction control unit 214 reproduces sound based on the received sound data from the speaker.
  • the users of the communication terminals 20-1 to 20-m can listen to an actual call corresponding to the characters displayed on the display at an arbitrary timing. Further, even if there is an error in the characters displayed on the display, it is possible to confirm the correct content.
  • the correction control unit 216 of the communication terminal 20-1 has a request for correction of characters displayed on the display. Whether the character belongs to or not is determined.
  • the correction control unit 216 displays a correction form for inputting correction to the text data on the display, and displays the correction form. Text data is created based on the corrections input via. Then, the correction control unit 216 transmits the created text data to the processing server 10. Thereby, when there is an erroneous conversion in the text conversion process, the speaker can correct the characters displayed on the call terminal.
  • the communication control unit 211 of the communication terminals 20-2 and 20-3 receives an update notification to update the display. .
  • the communication control unit 211 requests the processing server 10 to transmit the corrected text data in response to the received update notification.
  • the communication control unit 211 receives text data returned from the processing server 10 in response to a request.
  • the display control unit 213 rewrites the characters based on the text data before correction displayed on the display with the characters based on the received corrected text data.
  • the communication terminals 20-1 to 20-m can reflect the correction of the text data by the communication terminal having the transmission right on the display of the display of the own terminal. Further, the communication terminals 20-1 to 20-m can display characters based on the corrected text data on the display without storing the text data in the storage unit 22.
  • the communication control unit 211 of the communication terminals 20-1 to 20-3 transmits information about the set language to the processing server 10.
  • the communication control unit 211 receives a translation completion notification indicating that the translation processing has been completed for the text data.
  • the communication control unit 211 requests the processing server 10 to transmit translation text data in response to the received translation completion notification.
  • the communication control unit 211 receives the translated text data returned from the processing server 10.
  • the display control unit 213 displays characters based on the received translated text data on the display.
  • the communication terminals 20-1 to 20-m can display automatically translated characters on the display when the language used by the user is different from the language of the communication terminal having the transmission right. It becomes.
  • the storage control unit 212 of the communication terminal 20-3 stores the received translated text data in a RAM that is a volatile memory.
  • the display control unit 213 displays characters on the display based on the translated text data stored in the volatile memory. Accordingly, the communication terminals 20-1 to 20-m can display characters based on the translated text data on the display without storing the text data in the storage unit 22.
  • the display control unit 213 of the communication terminal 20-3 displays the received translation completion notification on the display. Then, in response to the display of the translation completion notification, the communication control unit 211 requests the processing server 10 to transmit the translated text data notified of the translation completion when there is a character display request based on the translation text data. ing.
  • the communication terminals 20-1 to 20-m can display characters on the display only when it is necessary to display characters based on the translated text data.
  • the reading control unit 215 of the communication terminal 20 converts a character based on the translated text data into voice data when there is a reading request for the character based on the translated text data displayed on the display. To do. Then, the reading control unit 215 reproduces sound based on the converted sound data from the speaker. As a result, the communication terminals 20-1 to 20-m can reproduce the contents of the call in other languages.
  • the communication control unit 211 of the communication terminal 20-3 receives the translated text data for the corrected text data. Then, the display control unit 213 rewrites the characters based on the translated text data for the uncorrected text data displayed on the display with the characters based on the received translated text data for the corrected text data. .
  • the communication terminals 20-1 to 20-m can reflect the correction of the text data by the communication terminal having the transmission right to the characters based on the translated text data.
  • the storage control unit 114 when the preset amount of audio data is stored in the cache memory or when the transmission right is released before reaching the preset capacity, the storage control unit 114 performs the cache control.
  • call data is created based on a plurality of audio data stored in the memory has been described as an example. However, it is not limited to this.
  • the storage control unit 114 sequentially holds audio data transmitted from a communication terminal having a transmission right in a cache memory. Then, when the transmission right is released, the storage control unit 114 may create call data based on a plurality of voice data for one call held in the cache memory. Thereby, since one call is not divided into a plurality of parts, the text is made more accurate.
  • the users of the communication terminals 20-1 to 20-m can change the set language.
  • the set language can be changed, for example, by rejoining the talk group.
  • the users of the communication terminals 20-1 to 20-m may switch the set language while participating in the talk group.
  • the communication terminals 20-1 to 20-m deliver the translated text data translated in the switched language corresponding to the text data received so far.
  • the processing server 10 is notified of a request to do so.
  • This request notification includes, for example, the user ID of the requesting communication terminal, the language code for the language after switching, and the text ID of the text code for the character that needs to be displayed.
  • the storage control unit 114 of the processing server 10 When the storage control unit 114 of the processing server 10 receives the notification requesting the translated text data corresponding to the language after switching, the storage control unit 114 reads the translated text data including the desired text ID and language code from the storage unit 12. .
  • the communication control unit 113 of the processing server 10 transmits the translated text data read from the storage unit 12 to the requesting communication terminal.
  • the storage control unit 212 of the communication terminals 20-1 to 20-m When the storage control unit 212 of the communication terminals 20-1 to 20-m receives the translated text data translated in the language after the switching, it stores the received translated text data in the RAM. When the translated text data is stored in the RAM, the storage control unit 212 reads the text ID from the stored translated text data. The storage control unit 212 refers to the read text ID and deletes the translated text data including the same text ID stored in the past in the RAM.
  • the display control unit 213 of the communication terminals 20-1 to 20-m reads the translated text actual data from the translated text data newly stored in the RAM. The display control unit 213 displays characters based on the read translated text actual data together with characters based on the corresponding text actual data. Thereby, the character based on the translation text data before switching the language is rewritten with the character based on the received translation text data.
  • the storage control unit 212 of the communication terminals 20-1 to 20-m may not delete the translated text data including the same text ID from the RAM.
  • the display control unit 213 of the communication terminals 20-1 to 20-m reads the translated text actual data from the translated text data stored in the RAM.
  • the display control unit 213 displays characters based on the read translated text actual data together with characters based on the corresponding text actual data. Thereby, the characters based on the translated text data after the switching are displayed in accordance with the display before the language switching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Communication Control (AREA)

Abstract

信号処理装置は、複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する。信号処理装置は、送信権付与部、テキスト化処理部、及び通信制御部を備える。送信権付与部は、前記群に属する通信端末のいずれか１つに送信権を与える。テキスト化処理部は、前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成する。通信制御部は、作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する。

Description

信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム
　この発明は、信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラムに関する。
　半二重の音声通信方式であるＰＴＴ（Push To Talk）通信が、１対多のグループ一斉音声通信を実現する技術として知られている。ＰＴＴ通信では、例えば、トランシーバ、及び無線機等が端末として用いられる。ＰＴＴ通信では、端末に設けられている通話用のボタンをユーザが押している間、ユーザは、グループを構成する相手へ音声を送ることが可能となる。
　そして、近年、スマートフォン等の、複数の用途に対応可能な通信端末の普及に伴い、音声データを含むパケットを同報的に複数の装置へ送信するＰｏＣ（Push-to-Talk over Cellular）が注目を集めている。ＰｏＣでは、音声データを送信する送信権を、グループを構成する複数台の通信端末のうちの１台の通信端末が取得する。そして、送信権を取得した通信端末が他の通信端末へ同報的に音声データを送信する。
　１対多のグループ一斉音声通信を実現する通信システムでは、音声データの受信者による聞き間違え等に基づく情報の伝達ミスが起こり得る。そのため、この種の通信システムでは、情報の伝達ミスを低減可能な技術が望まれている。
　そこで、目的は、１対多のグループ一斉音声通信を実現する通信システムであって、情報の伝達ミスを低減可能な通信システム、この通信システムで用いられる信号処理装置、この信号処理装置で実施される方法、この信号処理装置で実行されるプログラム、このシステムで用いられる通信端末で実施される方法、及びこの通信端末で実行されるプログラムを提供することにある。
　本発明に係る信号処理装置は、複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する。信号処理装置は、送信権付与部、テキスト化処理部、及び通信制御部を備える。送信権付与部は、前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える。テキスト化処理部は、前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成し、前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知する。通信制御部は、前記テキスト化が完了した旨の通知の後に、前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する。
　また、本発明に係る通信システムは、複数の通信端末、及び信号処理装置を備える。信号処理装置は、前記複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する。信号処理装置は、送信権付与部、テキスト化処理部、及び通信制御部を有する。送信権付与部は、前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える。テキスト化処理部は、前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成し、前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知する。通信制御部は、前記テキスト化が完了した旨の通知の後に、前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する。
　また、本発明に係る通信方法は、複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置で実施される。通信方法は、前記群に属する複数の通信端末のうち、データを送信する権利である送信権が与えられた通信端末から送信される音声データに基づいてテキストデータを作成するステップと、前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知するステップと、前記テキスト化が完了した旨の通知の後に、前記作成したテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信するステップとを含む。
　また、本発明に係る通信方法は、複数の通信端末で対応付けられた群に属する複数の通信端末間で、１対多の通信を実施する通信端末で実施される。通信方法は、前記複数の通信端末のいずれかから送信された音声データのテキスト化が完了した旨のテキスト化完了通知を受信するステップと、前記受信したテキスト化完了通知に応じ、前記テキスト化により作成されたテキストデータの送信を要求する要求信号を送信するステップと、前記要求信号に応じて返信されるテキストデータを受信するステップと、前記受信したテキストデータに基づく文字を表示部に表示するステップとを含む。
図１は、本実施形態に係る通信システムの機能構成を示すブロック図である。 図２は、図１に示される処理サーバの機能構成を示すブロック図である。 図３は、図１に示される通信端末の機能構成を示すブロック図である。 図４は、図１に示される通信システムにおいて音声通信が実施される際の、処理サーバ、及び通信端末の動作を説明する図である。 図５は、図１に示される記憶部に記憶される管理テーブルを表す図である。 図６は、図１に示される記憶部に記憶される利用者管理テーブルを表す図である。 図７は、図３に示される処理部が作成する音声データの構造を表す図である。 図８は、図１に示される処理サーバがテキストデータ、及び翻訳テキストデータを作成する際の動作を説明する図である。 図９は、図２に示される記憶制御部が作成する通話データの構造を表す模式図である。 図１０は、図２に示されるテキスト化処理部が作成するテキストデータの構造を表す図である。 図１１は、図２に示される翻訳処理部が作成する翻訳テキストデータの構造を表す図である。 図１２は、図１に示される通信端末が音声と対応する文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。 図１３は、図１２に示される処理を経て表示される文字を表す図である。 図１４は、図１に示される通信端末がテキストデータ及び翻訳テキストデータに基づく文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。 図１５は、図１４に示される処理を経て通信端末に表示される文字を表す図である。 図１６は、図１に示される通信端末が音声と対応する文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。 図１７は、図１に示される通信端末に表示されるテキスト化完了通知を表す図である。 図１８は、図１に示される通信端末がテキストデータ及び翻訳テキストデータに基づく文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。 図１９は、図１に示される通信端末がディスプレイに表示している文字に対応する音声を再生させる際の処理サーバ、及び通信端末の動作を説明する図である。 図２０は、図１に示される通信端末が、ディスプレイに表示される文字を修正する際の処理サーバ、及び通信端末の動作を説明する図である。 図２１は、図１に示される通信端末が、修正された文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。 図２２は、図１に示される通信端末が、修正後に翻訳された文字をディスプレイに表示させる際の処理サーバ、及び通信端末の動作を説明する図である。
　以下、実施の形態について、図面を参照して説明する。
　図１は、本実施形態に係る通信システム１の機能構成の例を示すブロック図である。図１に示される通信システム１は、例えば、ＰｏＣ（Push-to-Talk over Cellular）を利用し、グループ単位での１対多の音声通信を実現する。図１に示される通信システム１は、例えば、処理サーバ１０、通信端末２０－１～２０－ｍ、及び基地局３０－１～３０－ｎを具備している。
　処理サーバ１０、及び基地局３０－１～３０－ｎは、インターネット、及び通信事業者が提供する通信網等のネットワークを介して接続している。通信端末２０－１～２０－ｍは、基地局３０－１～３０－ｎのうち、現在存在している位置を含んで無線エリアを形成している基地局と無線接続する。
　処理サーバ１０は、例えば、通信端末２０－１～２０－ｍのうち、送信権を有する通信端末から送信された音声データを、送信元の利用者と同一のトークグループに参加する複数の利用者が所持する通信端末へ同報的に送信するための制御を実施する信号処理装置である。本実施形態において、送信権とは、ＰｏＣにおいて、音声データを送信できる権利を意味する。
　図２は、図１に示される処理サーバ１０の機能構成の例を示すブロック図である。図２に示される処理サーバ１０は、例えば、処理部１１、記憶部１２、及び通信インタフェース１３を備える。処理部１１、記憶部１２、及び通信インタフェース１３は、例えば、バスを介して互いに通信可能に接続されている。
　処理部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＣＰＵが処理を実行する際に用いる第１のメモリ、及びＣＰＵと第１のメモリとの間に設けられる第２のメモリを備える。第１のメモリは、いわゆる主記憶装置であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により構成される。第２のメモリは、いわゆるキャッシュメモリであり、例えば、ＳＲＡＭ（Static RAM）により構成される。
　ＣＰＵは、例えば、記憶部１２に記憶されているアプリケーションプログラムを第１、及び第２のメモリに読み込む。ＣＰＵは、第１、及び第２のメモリに読み込まれたアプリケーションプログラムを実行する。これにより、処理部１１は、アプリケーションプログラムに対応する種々の機能を実現する。
　記憶部１２は、種々の情報を記憶するＨＤＤ（hard disk drive）、及びＳＳＤ（solid state drive）等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部１２は、ＣＤ－ＲＯＭ、ＤＶＤ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。記憶部１２は、本実施形態に係るアプリケーションプログラムを記憶している。
　また、記憶部１２は、処理部１１からの制御に従い、トークグループに参加する利用者に関する利用者情報を記憶する。また、記憶部１２は、処理部１１からの制御に従い、送信権を有する通信端末から送信される音声データに基づいて作成される通話データを記憶する。また、記憶部１２は、処理部１１からの制御に従い、通話データをテキスト化して得られるテキストデータ、及び送信権を有する通信端末により修正されたテキストデータを記憶する。また、記憶部１２は、処理部１１からの制御に従い、テキストデータを翻訳して得られる翻訳テキストデータを記憶する。
　通信インタフェース１３は、ネットワークと接続する回路である。通信インタフェース１３は、ネットワークを介し、基地局３０－１～３０－ｎと無線接続している通信端末２０－１～２０－ｍのうち少なくともいずれかへデータを送信する。また、通信インタフェース１３は、ネットワークを介し、基地局３０－１～３０－ｎと無線接続している通信端末２０－１～２０－ｍのうち少なくともいずれかから送信されるデータを受信する。
　図２に示される処理部１１は、記憶部１２に記憶されているアプリケーションプログラムを実行することで、当該アプリケーションプログラムに対応する機能を実現する。例えば、処理部１１は、アプリケーションプログラムを実行することで、登録処理部１１１、送信権付与部１１２、通信制御部１１３、記憶制御部１１４、テキスト化処理部１１５、及び翻訳処理部１１６の機能を実現する。
　図２に示される処理部１１は、複数のＣＰＵが組み合わされて形成されていても構わない。すなわち、図２に示される登録処理部１１１、送信権付与部１１２、通信制御部１１３、記憶制御部１１４、テキスト化処理部１１５、及び翻訳処理部１１６は、例えば、各ＣＰＵがアプリケーションプログラムを実行することで実現されても構わない。
　また、処理部１１は、登録処理部１１１、送信権付与部１１２、通信制御部１１３、記憶制御部１１４、テキスト化処理部１１５、及び翻訳処理部１１６の機能をそれぞれ有する専用のハードウェア構成により形成されていても構わない。また、処理部１１は、登録処理部１１１、送信権付与部１１２、通信制御部１１３、記憶制御部１１４、テキスト化処理部１１５、及び翻訳処理部１１６の機能をそれぞれ有する専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Gate Array：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により形成されていても構わない。
　登録処理部１１１は、１対多の音声通信を実施するトークグループに参加する利用者を登録する。具体的には、例えば、登録処理部１１１は、通信端末２０－１～２０－ｍからの要求に基づき、所定のトークグループへ参加する利用者についての情報である利用者情報を取得する。登録処理部１１１は、取得した利用者情報を、参加するトークグループと関連付けて記憶部１２、及び第１のメモリに記憶する。
　利用者情報には、例えば、トークグループのＩＤ、トークグループに参加する利用者のＩＤ、利用者が所持する通信端末のＩＰアドレス、利用者が設定した言語についての言語コード、利用者のログイン状態、及び利用者が所持する通信端末の位置情報等が含まれる。登録処理部１１１は、どのトークグループにどのユーザが参加するかの定義情報、すなわち、例えば、トークグループのＩＤ、及びトークグループに参加する利用者のＩＤを、記憶部１２に記憶する。また、登録処理部１１１は、通信端末２０の状態によって動的に変化する情報、すなわち、例えば、ＩＰアドレス、言語コード、ログイン状態、及び位置情報等を、第１のメモリへ記憶する。
　送信権付与部１１２は、所定のトークグループに参加している利用者が所持する通信端末のうちいずれかへ送信権を与える。
　通信制御部１１３は、トークグループに参加する利用者が所持する通信端末間で、１対多の音声通信が実現されるように通信を制御する。具体的には、例えば、通信制御部１１３は、送信権が与えられた通信端末から送信される音声データを、同一のトークグループに参加している利用者が所持する通信端末へ送信する。
　また、通信制御部１１３は、トークグループに参加する利用者が所持する通信端末へ、音声データから変換されるテキストデータを送信するように通信を制御する。具体的には、例えば、通信制御部１１３は、音声データがテキストデータへ変換されると、テキスト化が完了した旨を、トークグループに参加している利用者が所持する通信端末へ送信する。通信制御部１１３は、通信端末からテキストデータの送信が要求されると、テキストデータを要求元の通信端末へ送信する。
　また、通信制御部１１３は、翻訳を要する通信端末へ、テキストデータを所定の言語へ翻訳した翻訳テキストデータを送信するように通信を制御する。具体的には、例えば、通信制御部１１３は、テキストデータの翻訳が完了すると、翻訳が完了した旨を、トークグループに参加している利用者が所持する通信端末へ送信する。通信制御部１１３は、通信端末から翻訳テキストデータの送信が要求されると、翻訳テキストデータを要求元の通信端末へ送信する。
　また、通信制御部１１３は、送信権を有する通信端末によりテキストデータが修正された場合、トークグループに参加する利用者が所持する通信端末へ、修正されたテキストデータを送信するように通信を制御する。具体的には、例えば、通信制御部１１３は、送信権を有する通信端末によりテキストデータが修正されると、表示を更新する旨を、トークグループに参加している利用者が所持する通信端末へ送信する。通信制御部１１３は、通信端末から修正されたテキストデータの送信が要求されると、修正されたテキストデータを要求元の通信端末へ送信する。
　また、通信制御部１１３は、通話データの再生を要求する通信端末へ、通話データを送信するように通信を制御する。具体的には、例えば、通信制御部１１３は、トークグループに参加している利用者から通話データの再生が要求されると、記憶部１２に記憶される通話データを、要求元の通信端末へ送信する。
　記憶制御部１１４は、受信した音声データ、及び作成された各種データの記憶処理を制御する。具体的には、例えば、記憶制御部１１４は、送信権を有する通信端末から送信されてきた音声データをキャッシュメモリに保持する。また、例えば、記憶制御部１１４は、キャッシュメモリに保持されている所定容量の音声データをまとめ、通話データとして記憶部１２に記憶する。また、例えば、記憶制御部１１４は、テキスト化処理部１１５により取得されたテキストデータ、及び送信権を有する通信端末により修正されたテキストデータを記憶部１２に記憶する。また、例えば、記憶制御部１１４は、翻訳処理部１１６により作成される翻訳テキストデータを記憶部１２に記憶する。また、例えば、記憶制御部１１４は、記憶部１２に記憶されている通話データ、テキストデータ、及び翻訳テキストデータを、要求に応じて読み出し、要求元へ送信する。
　テキスト化処理部１１５は、送信権を有する通信端末から送信されてきた音声データを、テキストデータへ変換する。具体的には、例えば、テキスト化処理部１１５は、キャッシュメモリに保持されている所定容量の音声データを、文法に関する情報、言語構造に関する情報、音声データの組成に関する情報、及び記憶している単語情報等に基づいてテキストデータへ変換する。なお、テキスト化処理部１１５により採用される音声－テキスト変換処理は、既存の技術を利用しても構わない。
　翻訳処理部１１６は、テキスト化処理部１１５により変換されたテキストデータに対して翻訳処理を実施することで、翻訳テキストデータを作成する。具体的には、例えば、翻訳処理部１１６は、テキスト化処理部１１５により変換されたテキストデータを、トークグループに参加している利用者と関連付けられている言語コードに対応する言語のテキストデータへ翻訳する。なお、翻訳処理部１１６により採用される翻訳処理は、統計的機械翻訳、及びニューラル機械翻訳等、既存の技術を利用しても構わない。
　なお、処理サーバ１０は、入力インタフェースを有していてもよい。入力インタフェースは、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェースは、操作者からの入力指示を電気信号へ変換し、電気信号を処理部１１へ出力する。なお、入力インタフェースは、マウス、及びキーボード等の物理的な操作デバイスに限定されない。入力インタフェースには、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。
　また、処理サーバ１０は、出力インタフェースを有していてもよい。出力インタフェースは、例えば、表示機器、及び印刷機器等により実現される。表示機器としては、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、及びプラズマディスプレイ等、任意のディスプレイが利用可能である。表示機器は、表示対象についての画像データを表示する。印刷機器は、例えば、プリンタである。印刷機器は、印刷対象についての画像データを所定用紙に印刷する。なお、出力インタフェースは、表示機器、及び印刷機器等の物理的な出力装置に限定されない。出力インタフェースには、例えば、外部の出力装置へ画像データを送信する送信ポートが含まれてもよい。
　基地局３０－１～３０－ｎは、所定サイズのエリア毎に設けられ、所定の無線エリアを形成する。基地局３０－１～３０－ｎは、自装置が形成する無線エリア内に存在する通信端末２０－１～２０－ｍと無線接続する。
　通信端末２０－１～２０－ｍは、利用者が所持する端末であり、例えば、携帯電話、スマートフォン、タブレットＰＣ、及び所定の専用端末等である。通信端末２０－１～２０－ｍは、処理サーバ１０を介し、ＰｏＣを利用した１対多の音声通信を実施する。例えば、通信端末２０－１～２０－ｍは、利用者からの操作に従い、グループトークに参加する。通信端末２０－１～２０－ｍのいずれかは、利用者からの操作に従って送信権を取得する。送信権を取得した通信端末は、利用者から入力される音声を受け付け、受け付けた音声に基づく音声データを、処理サーバ１０を介して同一のグループトークに参加する他の通信端末へ送信する。また、通信端末２０－１～２０－ｍは、処理サーバ１０で音声に基づいて作成されるテキストデータを受信し、テキストデータに基づく文字を自装置のディスプレイに表示する。
　図３は、図１に示される通信端末２０の機能構成の例を示すブロック図である。図３に示される通信端末２０は、例えば、処理部２１、記憶部２２、入力インタフェース２３、出力インタフェース２４、通信インタフェース２５、及びＧＰＳ受信器２６を備える。なお、通信端末２０－１～２０－ｍの構成はそれぞれ同様であるため、図３の説明では、通信端末２０として説明をする。
　処理部２１は、例えば、ＣＰＵ、及びＣＰＵが処理を実行する際に用いる主記憶装置である、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリを備える。ＣＰＵは、例えば、記憶部２２に記憶されているアプリケーションプログラムをＲＡＭに読み込む。ＣＰＵは、ＲＡＭに読み込まれたアプリケーションプログラムを実行する。これにより、処理部２１は、アプリケーションプログラムに対応する種々の機能を実現する。
　記憶部２２は、ＮＡＮＤ型、又はＮＯＲ型フラッシュメモリ等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部２２は、ＳＤカード、及びマイクロＳＤカード等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。記憶部２２は、本実施形態に係るアプリケーションプログラムを記憶している。また、記憶部２２は、自端末が参加可能なグループトークについての情報が記憶されている。
　入力インタフェース２３は、例えば、ボタン、操作面へ触れることで指示が入力されるタッチパネル、及び音声を入力するマイク等により実現される。入力インタフェース２３は、操作者からの入力指示を電気信号へ変換し、電気信号を処理部２１へ出力する。
　出力インタフェース２４は、例えば、表示機器、及びスピーカにより実現される。表示機器としては、例えば、液晶ディスプレイ、及び有機ＥＬディスプレイ等である。表示機器は、表示対象についての画像データを表示する。スピーカは、音声通信に伴う音声データを再生する。
　通信インタフェース２５は、基地局３０－１～３０－ｎと無線接続する回路である。通信インタフェース２５は、例えば、アンテナ、及び無線部により実現される。アンテナは、到来してきた無線信号を受信する。また、無線部から出力される無線信号を送信する。無線部は、アンテナにより受信された無線信号を、予め設定される復調方式に則って変換し、変換したデータを処理部２１へ出力する。また、無線部は、処理部２１で作成されたデータを、予め設定される変調方式に則って無線信号へ変換し、変換した無線信号をアンテナへ出力する。
　ＧＰＳ受信器２６は、ＧＰＳ衛星から送信される信号を受信し、受信した信号に基づいて位置情報を作成する。
　図３に示される処理部２１は、記憶部２２に記憶されているアプリケーションプログラムを実行することで、当該アプリケーションプログラムに対応する機能を実現する。例えば、処理部２１は、アプリケーションプログラムを実行することで、通信制御部２１１、記憶制御部２１２、表示制御部２１３、再生制御部２１４、読み上げ制御部２１５、及び修正制御部２１６の機能を実現する。
　通信制御部２１１は、処理サーバ１０との通信を制御する。具体的には、例えば、送信権を有する通信端末２０の通信制御部２１１は、マイクから入力された音声を、ＴＣＰ／ＩＰベースの独自プロトコルに則って変換する。通信制御部２１１は、変換後の音声データを、ネットワーク及び基地局３０を介して処理サーバ１０へ送信する。また、送信権を有する通信端末２０の通信制御部２１１は、ネットワーク及び基地局３０を介して処理サーバ１０から送信されるテキストデータを受信する。
　また、例えば、送信権を有していない通信端末２０の通信制御部２１１は、処理サーバ１０から送信される音声データ、及びこの音声データがテキスト化されたテキストデータを受信する。また、送信権を有していない通信端末２０に設定されている言語が、送信権を有している通信端末２０に設定されている言語と異なる場合、通信制御部２１１は、テキストデータが設定されている言語に翻訳された翻訳テキストデータを、処理サーバ１０から受信する。
　記憶制御部２１２は、受信した種々の通知、テキストデータ、及び翻訳テキストデータの記憶処理を制御する。具体的には、例えば、記憶制御部２１２は、種々の通知、テキストデータ、及び翻訳テキストデータが受信されると、種々の通知、テキストデータ、及び翻訳テキストデータをＲＡＭ等の揮発性メモリに記憶させる。揮発性メモリに記憶された種々の通知、テキストデータ、及び翻訳テキストデータは、ＰｏＣを利用した１対多の音声通信を実行するアプリケーションプログラムの実行を終了した際、及び通信端末２０の電源をオフにした際等に、揮発性メモリから消去される。これにより、情報漏洩等の危険を回避することが可能となる。
　表示制御部２１３は、出力インタフェース２４であるディスプレイへの表示処理を制御する。具体的には、例えば、表示制御部２１３は、受信した種々の通知、並びに、受信したテキストデータ及び翻訳テキストデータに基づく文字を表示するように、ディスプレイを制御する。
　再生制御部２１４は、ディスプレイに表示されている、テキストデータに基づく文字に対応する音声の再生を制御する。具体的には、例えば、再生制御部２１４は、ディスプレイに表示されている、テキストデータに基づく文字に対応する通話データを再生するように、出力インタフェース２４であるスピーカを制御する。
　読み上げ制御部２１５は、ディスプレイに表示されている、翻訳テキストデータに基づく文字の読み上げを制御する。具体的には、例えば、読み上げ制御部２１５は、ディスプレイに表示されている、翻訳テキストデータに基づく文字に対する読み上げ要求がある場合、要求の対象となる文字を音声データへ変換する。そして、読み上げ制御部２１５は、変換した音声データを再生するように、出力インタフェース２４であるスピーカを制御する。なお、読み上げ制御部２１５は、例えば、ＯＳ（Operating System）により提供されているＡＰＩ（Application Program Interface）により実現されても構わない。
　修正制御部２１６は、ディスプレイに表示されている文字の修正処理を制御する。具体的には、例えば、修正制御部２１６は、ディスプレイに表示されている文字への修正要求に応じ、表示されている文字を修正する共に、修正されたテキストデータを処理サーバ１０へ送信する。
　次に、以上のように構成された通信システム１における処理サーバ１０、及び通信端末２０－１～２０－ｍの動作を説明する。なお、以下では、通信端末２０－１～２０－３がトークグループＧ１に参加し、音声通信を利用する場合を例に説明を進める。　
　図４は、図１に示される通信システム１において音声通信が実施される際の、処理サーバ１０、及び通信端末２０－１～２０－３の動作の例を説明する図である。なお、図４の説明において、通信端末２０－１～２０－３の記憶部２２には、トークグループＧ１についての情報が記憶されている。すなわち、通信端末２０－１～２０－３がトークグループＧ１に参加可能な状態となっている。
　まず、通信端末２０－１～２０－３の利用者は、通信端末２０－１～２０－３を操作し、ＰｏＣを利用した１対多の音声通信を実行するアプリケーションプログラムを立ち上げる（ステップＳ４１）。通信端末２０－１～２０－３の表示制御部２１３は、出力インタフェース２４であるディスプレイに、選択可能なトークグループとして、例えば、トークグループＧ１を表示する（ステップＳ４２）。なお、ディスプレイには、参加可能な複数のトークグループが表示されていても構わない。
　通信端末２０－１～２０－３の利用者は、ディスプレイに表示されるトークグループＧ１を選択する。なお、参加頻度、及び利用者の設定等に基づき、通信端末２０－１～２０－３の処理部２１が、参加するトークグループＧ１を自動的に選択しても構わない。トークグループＧ１が選択されると、通信端末２０－１～２０－３の表示制御部２１３は、本サービスにおいて、使用可能な言語のリストをディスプレイに表示させる。通信端末２０－１～２０－３の利用者は、ディスプレイに表示される複数の言語のうち、使用を希望する言語を選択する（ステップＳ４３）。また、トークグループＧ１が選択されると、通信端末２０－１～２０－３の処理部２１は、トークグループが選択された際の位置情報を、ＧＰＳ受信器２６に作成させる。
　通信端末２０－１～２０－３の通信制御部２１１は、トークグループ、及び使用言語が選択されると、選択されたトークグループのＩＤ（以下、トークグループＩＤと称する）、自端末に設定されているＩＤ（以下、ユーザＩＤと称する）、選択された言語についての情報（以下、言語コードと称する）、及び取得した位置情報等を含む情報データを作成する。情報データは、例えば、パケット構造を有する。通信端末２０－１，２０－２は、作成した情報データを、基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４４）。また、通信端末２０－３は、作成した情報データを、基地局３０－２、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４４）。
　処理サーバ１０の登録処理部１１１は、通信端末２０－１～２０－３から送信されてきた情報データに基づき、トークグループに参加する利用者を、参加するトークグループと関連付けて記憶部１２、及び処理部１１の第１のメモリに記憶する（ステップＳ４５）。具体的には、例えば、登録処理部１１１は、情報データに基づき、記憶部１２に記憶する、トークグループに参加する利用者を管理するための管理テーブルを更新する。図５は、図１に示される記憶部１２に記憶される管理テーブルの例を表す図である。図５に示される管理テーブルでは、３つのトークグループが管理されている。例えば、トークグループＩＤ：Ｇｒｏｕｐ０１のトークグループＧ１には、通信端末２０－１～２０－３の利用者である、ユーザＩＤ：Ｕｓｅｒ０１～０３が参加していることが記憶されている。
　また、登録処理部１１１は、通信端末２０－１～２０－３から送信されてきた情報データに基づき、トークグループに参加する利用者に関する情報を処理部１１の第１のメモリに記憶する。具体的には、例えば、登録処理部１１１は、情報データに基づき、第１のメモリに記憶する、動的に変化する利用者の情報を管理するための利用者管理テーブルを更新する。図６は、図１に示される処理部１１の第１のメモリに記憶される利用者管理テーブルの例を表す図である。図６に示される利用者管理テーブルでは、トークグループに参加している利用者に関する情報が管理されている。例えば、Ｕｓｅｒ０１には、通信端末２０－１のＩＰアドレス０１、例えば、日本語を表す言語コード０１、及び位置情報０１が関連付けられている。また、Ｕｓｅｒ０２には、通信端末２０－２のＩＰアドレス０２、言語コード０１、及び位置情報０２が関連付けられている。また、Ｕｓｅｒ０３には、通信端末２０－３のＩＰアドレス０３、例えば、英語を表す言語コード０２、及び位置情報０３が関連付けられている。
　なお、処理サーバ１０は、通信端末２０－１～２０－３の位置情報は必ずしも取得する必要はない。このとき、通信端末２０－１～２０－３は、位置情報を作成しなくても構わない。また、通信端末２０－１～２０－３から処理サーバ１０へ送信される情報データに、位置情報が含まれなくても構わない。
　通信端末２０－１～２０－３の表示制御部２１３は、トークグループ、及び使用言語が選択されると、ディスプレイにＰＴＴ通話開始要求ボタンを表示する（ステップＳ４６）。通信端末２０－１の利用者は、例えば、通信端末２０－１のディスプレイに表示されているＰＴＴ通話開始要求ボタンを押す（ステップＳ４７）。利用者がＰＴＴ通話開始要求ボタンを押すと、通信端末２０－１の通信制御部２１１は、基地局３０－１、及びネットワークＮＷを介して、処理サーバ１０へ送信権の取得を要求する送信権取得要求通知を、ユーザＩＤを付して送信する（ステップＳ４８）。なお、ＰＴＴ通話開始要求ボタンは、ディスプレイに表示されるものに限定されない。ＰＴＴ通話開始要求ボタンは、例えば、通信端末２０－１の入力インタフェース２３をコネクタとして接続する操作デバイスに設けられる物理ボタンであっても構わない。
　処理サーバ１０の送信権付与部１１２は、通信端末２０－１から送信される送信権取得要求通知を受信すると、通信端末２０－１へ送信権を付与する（ステップＳ４９）。通信端末２０－１の利用者は、送信権を取得すると、通信端末２０－１のマイクから音声を入力する（ステップＳ４１０）。通信端末２０－１の通信制御部２１１は、マイクから入力された音声に基づいて音声データを作成する（ステップＳ４１１）。音声データは、例えば、ＴＣＰ／ＩＰベースの独自プロトコルに則ったパケット構造を有する。
　図７は、図３に示される処理部２１が作成する音声データの構造の例を表す模式図である。図７に示される音声データは、トークグループＩＤを格納する領域、発話者ＩＤを格納する領域、タイムスタンプを格納する領域、データ長を格納する領域、及び実データを格納する領域を有する。通信端末２０－１の通信制御部２１１は、例えば、トークグループＩＤを格納する領域にＧｒｏｕｐ０１を格納し、発話者ＩＤを格納する領域にＵｓｅｒ０１を格納し、タイムスタンプを格納する領域に発話開始時刻を格納し、実データを格納する領域に、所定のフレーム数分の音声のデジタルデータを格納し、データ長を格納する領域に、音声のデジタルデータのデータ長を格納する。発話開始時刻は、通話が開始された時刻を表す。具体的には、通信制御部２１１は、例えば、利用者がＰＴＴ通話開始要求ボタンを押した時刻を、通話開始時刻として設定する。
　通信端末２０－１は、作成した音声データを基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４１２）。
　処理サーバ１０の通信制御部１１３は、送信権を有する通信端末２０－１から送信された音声データを受信すると、音声データを、グループトークＧ１に参加する通信端末２０－２，２０－３へ転送するための制御を実施する（ステップＳ４１３）。具体的には、例えば、通信端末２０－１から送信された音声データを受信すると、通信制御部１１３は、音声データに格納されている発話者ＩＤ：Ｕｓｅｒ０１と、送信権を付与したユーザＩＤ：Ｕｓｅｒ０１とが一致するか否かを判断する。音声データに格納されている発話者ＩＤと、送信権を付与したユーザＩＤとはＵｓｅｒ０１で一致するため、通信制御部１１３は、音声データを、グループトークＧ１に参加する利用者の人数に応じた数だけ複製する。通信制御部１１３は、複製した音声データを、通信端末２０－２，２０－３のＩＰアドレスを参照して送信する（ステップＳ４１４）。
　通信端末２０－２，２０－３の通信制御部２１１は、処理サーバ１０から送信される音声データを受信すると、受信した音声データを再生し、スピーカから音声として出力する（ステップＳ４１５）。これにより、ＰＴＴ通話、すなわちＰｏＣ通信が確立される。
　図８は、図１に示される処理サーバ１０がテキストデータ、及び翻訳テキストデータを作成する際の動作の例を説明する図である。
　通信端末２０－１から送信される音声データを受信すると、処理サーバ１０は、図４のステップＳ４１３で通信制御を実行すると共に、図８に示される処理を実行する。具体的には、処理サーバ１０の記憶制御部１１４は、通信端末２０－１から送信される音声データを受信すると、受信した音声データをキャッシュメモリに保持する（ステップＳ８１）。記憶制御部１１４は、通信端末２０－１から送信される音声データを順次キャッシュメモリに保持する。
　記憶制御部１１４は、予め設定された容量の音声データがキャッシュメモリに保持されると、又は予め設定された容量に到達する前に通話が終了すると、キャッシュメモリに保持している複数の音声データに基づいて通話データを作成する（ステップＳ８２）。本実施形態において、予め設定された容量とは、例えば、約２０秒の音声に相当する程度の容量である。
　図９は、図２に示される記憶制御部１１４が作成する通話データの構造の例を表す模式図である。図９に示される通話データは、トークグループＩＤを格納する領域、発話者ＩＤを格納する領域、音声ＩＤを格納する領域、通話ＩＤを格納する領域、タイムスタンプを格納する領域、データ長を格納する領域、及び実データを格納する領域を有する。音声ＩＤは、発話者が発した通話を識別するための固有のＩＤである。通話ＩＤは、発話者が発した通話が複数の通話データに跨がる場合に、１つの通話を構成する複数の通話データのうち、何番目の通話データであるかを識別するための固有のＩＤである。通話ＩＤには、作成されたのが早い通話データの順に、例えば、０、１、２、…が設定される。タイムスタンプは、発話開始時刻、及び発話終了時刻を含む。発話終了時刻は、発話者が発した通話が終了した時刻を表す。発話者が発した通話が複数の通話データに跨がる場合には、タイムスタンプには、発話終了時刻の代わりに、通話データ作成時刻が含まれる。通話データ作成時刻は、通話を区切ったときの時刻、例えば、複数の音声データに基づいて通話データを作成するときの時刻を表す。
　具体的には、例えば、記憶制御部１１４は、キャッシュメモリに保持されている、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である音声データの容量が予め設定した容量に達すると、音声ＩＤ：Ｔａｌｋ０１を設定する。また、記憶制御部１１４は、Ｔａｌｋ０１についての最初の通話データであることを表す通話ＩＤ：０を設定する。また、記憶制御部１１４は、音声データに含まれている、発話開始時刻を表すタイムスタンプに基づき、タイムスタンプ：ＴｉｍｅＳ１を設定する。また、記憶制御部１１４は、通話データを作成するときの時刻に基づき、タイムスタンプ：ＴｉｍｅＥ１を設定する。記憶制御部１１４は、対応するデータを所定の領域に格納することで通話データを作成する。すなわち、記憶制御部１１４は、Ｇｒｏｕｐ０１、Ｕｓｅｒ０１、Ｔａｌｋ０１、０、ＴｉｍｅＳ１、ＴｉｍｅＥ１、並びに、キャッシュメモリに保持されている所定容量の複数の音声データに含まれるデータ長及び実データを、対応する各領域に格納することで通話データを作成する。記憶制御部１１４は、作成した通話データを記憶部１２に記憶する。
　また、記憶制御部１１４は、キャッシュメモリに保持されている、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である音声データの容量が予め設定した容量に達する前に送信権が開放されると、音声ＩＤ、通話ＩＤ、及びタイムスタンプを設定する。送信権の開放は、送信権を有している通信端末２０－１において、利用者が、例えば、ＰＴＴ通話開始要求ボタンから指を離すことで実現される。例えば、利用者がＰＴＴ通話開始要求ボタンから指を離すと、通信端末２０－１から処理サーバ１０へ、送信権開放要求通知が送信される。処理サーバ１０の送信権付与部１１２は、送信権開放要求通知を受信すると、通信端末２０－１が有する送信権を開放する。なお、送信権を取得し、又は開放するための動作は、ＰＴＴ通話開始要求ボタンを押すこと、又はＰＴＴ通話開始要求ボタンを離すことに限定されない。
　処理サーバ１０の記憶制御部１１４は、例えば、送信権開放要求通知を受信すると、送信権開放要求通知を受信した時刻を発話終了時刻として設定する。記憶制御部１１４は、設定した発話終了時刻に基づき、タイムスタンプ：ＴｉｍｅＥ１を設定する。記憶制御部１１４は、キャッシュメモリから、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である複数の音声データを読み出す。記憶制御部１１４は、トークグループＩＤ、発話者ＩＤ、音声ＩＤ、通話ＩＤ、及びタイムスタンプを格納する領域にそれぞれデータを格納し、読み出した音声データに含まれるデータ長及び実データを所定の領域に格納することで通話データを作成する。記憶制御部１１４は、作成した通話データを記憶部１２に記憶する。通話データは発話開始時刻、及び発話終了時刻等を含むタイムスタンプが付加されて記憶されているため、利用者は、発話開始時刻、及び発話終了時刻等の時刻情報を、通話データを検索する際の検索キーとして利用することが可能となる。
　処理サーバ１０のテキスト化処理部１１５は、予め設定された容量の音声データがキャッシュメモリに保持されると、又は予め設定された容量に到達する前に通話が終了すると、キャッシュメモリに保持している複数の音声データに基づいてテキストデータを作成する（ステップＳ８３）。
　図１０は、図２に示されるテキスト化処理部１１５が作成するテキストデータの構造の例を表す模式図である。図１０に示されるテキストデータは、トークグループＩＤを格納する領域、テキストＩＤを格納する領域、音声ＩＤを格納する領域、通話ＩＤを格納する領域、及びテキスト実データを格納する領域を有する。音声ＩＤは、テキスト化処理が施された通話データと同一のＩＤが設定される。通話ＩＤは、テキスト化処理が施された通話データと同一のＩＤが設定される。
　具体的には、例えば、テキスト化処理部１１５は、キャッシュメモリに保持されている、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である音声データの容量が予め設定した容量に達すると、これらの音声データを読み出す。テキスト化処理部１１５は、読み出した音声データに含まれる実データを、図６においてＵｓｅｒ０１と関連付けられている言語コード０１、すなわち日本語についての、文法に関する情報、言語構造に関する情報、音声データの組成に関する情報、及び記憶している単語情報等に基づいてテキスト実データへ変換する。テキスト化処理部１１５は、実データをテキスト実データへ変換すると、テキストＩＤ：Ｔｅｘｔ０１を設定する。テキスト化処理部１１５は、対応するデータを所定の領域に格納することでテキストデータを作成する。すなわち、テキスト化処理部１１５は、Ｇｒｏｕｐ０１、Ｔｅｘｔ０１、Ｔａｌｋ０１、及びテキスト実データを、対応する各領域に格納することでテキストデータを作成する。
　また、テキスト化処理部１１５は、キャッシュメモリに保持されている、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である音声データの容量が予め設定した容量に達する前に送信権が開放されると、キャッシュメモリから、トークグループＩＤがＧｒｏｕｐ０１であり、かつ、発話者ＩＤがＵｓｅｒ０１である複数の音声データを読み出す。テキスト化処理部１１５は、読み出した音声データに含まれる実データに基づいてテキストデータを作成する。
　テキストデータを作成すると、テキスト化処理部１１５は、テキスト化が完了した旨を通信制御部１１３へ通知する（ステップＳ８４）。テキスト化が完了した旨の通知には、例えば、作成したテキストデータのテキストＩＤが含まれている。音声データ群のテキスト化が完了した旨の通知を受けると、通信制御部１１３は、テキスト化が完了した旨の通知を、トークグループＧ１に参加する通信端末２０－１～２０－３へネットワークＮＷ、及び基地局３０－１を介して送信する（ステップＳ８５）。なお、通信制御部１１３は、Ｕｓｅｒ０１と異なる言語コードが設定されているＵｓｅｒ０３が所持する通信端末２０－３へは、テキスト化が完了した旨の通知を、後述する翻訳が完了した旨の通知と併せて送信しても構わない。また、通信制御部１１３は、通信端末２０－３へは、テキスト化が完了した旨の通知を送信しなくても構わない。
　なお、図８の例では、トークグループＧ１に参加している通信端末２０－１～２０－３へテキスト化完了通知を送信する場合の処理を説明している。しかしながら、これに限定されない。テキスト化完了通知は、トークグループＧ１には参加していないが、トークグループＧ１に参加可能な通信端末へも送信されて構わない。このとき、処理サーバ１０の記憶部１２は、例えば、トークグループ毎に参加可能な利用者のリストを記憶している。処理サーバ１０の通信制御部１１３は、記憶部１２に記憶されているリストを参照し、トークグループＧ１に参加可能な利用者へテキスト化完了通知を送信する。
　また、テキスト化完了通知は、トークグループＧ１に参加可能な通信端末のうち、所定の条件を満たす通信端末へ送信されるようにしても構わない。所定の条件とは、例えば、記憶部１２に記憶されている通信端末の位置情報に基づき、送信権を有する通信端末から所定の距離内に位置すること、及び所定のフラグが付されていること、等である。
　作成されたテキストデータは、記憶制御部１１４、及び翻訳処理部１１６へ出力される（ステップＳ８６）。記憶制御部１１４は、テキスト化処理部１１５で作成されたテキストデータを記憶部１２に記憶する（ステップＳ８７）。
　翻訳処理部１１６は、テキスト化処理部１１５で作成されたテキストデータに対して翻訳処理を実施することで、翻訳テキストデータを作成する（ステップＳ８８）。
　図１１は、図２に示される翻訳処理部１１６が作成する翻訳テキストデータの構造の例を表す模式図である。図１１に示される翻訳テキストデータは、テキストＩＤを格納する領域、言語コードを格納する領域、及び翻訳テキスト実データを格納する領域を有する。言語コードは、翻訳テキスト実データと対応する言語を表す。テキストＩＤは、翻訳元のテキストデータと翻訳テキストデータとで同一のＩＤが設定される。
　具体的には、例えば、翻訳処理部１１６は、テキスト化処理部１１５で作成されたテキストデータからテキスト実データを読み出す。翻訳処理部１１６は、読み出したテキスト実データを、Ｕｓｅｒ０１の言語コードと異なる全ての言語コード、図６においては言語コード０２に対応する言語、すなわち、英語のテキスト実データへ翻訳する。翻訳処理部１１６は、対応するデータを所定の領域に格納することで翻訳テキストデータを作成する。すなわち、翻訳処理部１１６は、Ｔｅｘｔ０１、言語コード０２、及び翻訳テキスト実データを、対応する各領域に格納することで翻訳テキストデータを作成する。
　翻訳テキストデータを作成すると、翻訳処理部１１６は、翻訳が完了した旨を通信制御部１１３へ通知する（ステップＳ８９）。翻訳が完了した旨の通知には、例えば、作成した翻訳テキストデータのテキストＩＤ、及び言語コードが含まれている。翻訳が完了した旨の通知を受けると、通信制御部１１３は、Ｕｓｅｒ０１と異なる言語コードが設定されているＵｓｅｒ０３が所持する通信端末２０－３へ、翻訳が完了した旨の通知を、ネットワークＮＷ、及び基地局３０－３を介して送信する（ステップＳ８１０）。なお、ステップＳ８５において、テキスト化完了通知が、通信端末２０－３へ送信されていない場合には、翻訳完了通知と併せてテキスト化完了通知を通信端末２０－３へ送信しても構わない。作成された翻訳テキストデータは、記憶制御部１１４へ出力される（ステップＳ８１１）。記憶制御部１１４は、翻訳処理部１１６で作成された翻訳テキストデータを記憶部１２に記憶する（ステップＳ８１２）。ステップＳ８１～ステップＳ８１２に示される処理は、通話が終了するまで繰り返される。
　なお、図８に示される例では、テキスト化処理が完了する度にテキスト化完了通知が通信端末へ送信される場合を説明した。しかしながら、これに限定されない。トークグループには参加していないが、このトークグループに参加可能な通信端末へは、通話が終わった後に、１度だけテキスト化完了通知を送信するようにしても構わない。これにより、利用者は、通話に対応したテキストデータがあることを認識することが可能となる。
　続いて、通信端末２０－１～２０－３におけるテキストデータ及び翻訳テキストデータの表示について説明する。本実施形態において、通信端末２０－１～２０－３の表示形式には、例えば、第１の表示形式と、第２の表示形式とがある。第１の表示形式は、ＰＴＴ通話開始要求ボタンと、配信される音声と対応する文字とが共に表示される形式である。第２の表示形式は、ＰＴＴ通話開始要求ボタンが表示される一方で、音声と対応する文字は表示されない形式である。表示形式を第１の表示形式、又は第２の表示形式とするかは、利用者の設定に基づく。以下では、まず第１の表示形式について説明し、その後に、第２の表示形式について説明する。
　図１２は、図１に示される通信端末２０－１，２０－２が音声と対応する文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－１，２０－２の動作の例を説明する図である。なお、図１２では、第１の表示形式が設定されている場合を例に説明する。
　送信権を有する通信端末２０－１、及び通信端末２０－１と同一の言語コードが設定されている通信端末２０－２は、処理サーバ１０からテキスト化完了通知を受信する（ステップＳ１２１）。このとき、テキスト化完了通知には、テキスト化が完了したテキストデータについてのテキストＩＤが含まれている。図１２の説明では、図８での説明を引き継ぎ、テキストＩＤ：Ｔｅｘｔ０１がテキスト化完了通知に含まれているとする。
　テキスト化完了通知を受信すると、通信端末２０－１の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータを要求する旨のテキストデータ要求通知を、基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１２２）。このとき、テキストデータ要求通知には、要求元である通信端末２０－１のユーザＩＤ：Ｕｓｅｒ０１が付されている。また、通信端末２０－２の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータを要求する旨のテキストデータ要求通知を、通信端末２０－２のユーザＩＤ：Ｕｓｅｒ０２を付して、処理サーバ１０へ送信する（ステップＳ１２２）。
　テキストデータ要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータを、記憶部１２から読み出す（ステップＳ１２３）。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出されたテキストデータを、パケット形式のデータに変換する（ステップＳ１２４）。通信制御部１１３は、パケット形式に変換したデータを、テキストデータ要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１２５）。これにより、パケット形式に変換されたテキストデータが通信端末２０－１，２０－２へ送信される。
　処理サーバ１０から送信されたテキストデータを受信すると、通信端末２０－１，２０－２の記憶制御部２１２は、受信したテキストデータをＲＡＭに記憶する。通信端末２０－１，２０－２の表示制御部２１３は、ＲＡＭに記憶されているテキストデータからテキスト実データを読み出す。表示制御部２１３は、読み出したテキスト実データに基づく文字を、トークグループＩＤ：Ｇｒｏｕｐ０１により識別されるトークグループＧ１についての表示画面に、音声ＩＤ：Ｔａｌｋ０１に対応する文字として表示する（ステップＳ１２６）。
　このとき、通信端末２０－１の表示制御部２１３は、音声ＩＤ：Ｔａｌｋ０１に基づき、本通話が自装置が発信した通話であることを認識する。表示制御部２１３は、自装置が発信した通話であることが識別可能な態様で、文字をディスプレイに表示する。自装置が発信した通話であることが識別可能な態様としては、例えば、表示位置を変える、表示色を変える、及び字体を変える等、任意の手法を採用してよい。
　図１３は、図１２に示される処理を経て表示される文字の例を表す模式図である。図１３の左図は、送信権を有する通信端末２０－１のディスプレイの表示例を表す模式図である。図１３の右図は、受信者端末である通信端末２０－２のディスプレイの表示例を表す模式図である。図１３において、通信端末２０－１では、文字Ｌ１はディスプレイの右端に表示される。一方、通信端末２０－２では、文字Ｌ２はディスプレイの左端に表示される。なお、図１３では、ＰＴＴ通話開始要求ボタンＢ１がディスプレイの左下に表示される場合を例に示しているが、ＰＴＴ通話開始要求ボタンＢ１の表示位置はこれに限定されない。利用者が容易にタップ可能な位置ならば制限はない。
　図１４は、図１に示される通信端末２０－３がテキストデータ及び翻訳テキストデータに基づく文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－３の動作の例を説明する図である。なお、図１４では、第１の表示形式が設定されている場合を例に説明する。
　通信端末２０－１と異なる言語コードが設定されている通信端末２０－３は、処理サーバ１０からテキスト化完了通知、及び翻訳完了通知を受信する（ステップＳ１４１）。このとき、テキスト化完了通知には、テキスト化が完了したテキストデータについてのテキストＩＤが含まれている。また、翻訳完了通知には、翻訳が完了した翻訳テキストデータについてのテキストＩＤ、及び翻訳で用いられた言語コードが含まれている。図１４の説明では、図８での説明を引き継ぎ、テキストＩＤ：Ｔｅｘｔ０１がテキスト化完了通知に含まれているとする。また、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が翻訳完了通知に含まれているとする。
　テキスト化完了通知、及び翻訳完了通知を受信すると、通信端末２０－３の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータ、並びに、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が含まれている翻訳テキストデータを要求する旨の要求通知を、基地局３０－２、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１４２）。このとき、要求通知には、要求元である通信端末２０－３のユーザＩＤ：Ｕｓｅｒ０３が付されている。
　要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータと、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が含まれている翻訳テキストデータとを、記憶部１２から読み出す（ステップＳ１４３）。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出されたテキストデータ及び翻訳テキストデータを、パケット形式のデータに変換する（ステップＳ１４４）。通信制御部１１３は、パケット形式に変換したデータを、テキストデータ要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１４５）。これにより、パケット形式に変換されたテキストデータ及び翻訳テキストデータが通信端末２０－３へ送信される。
　処理サーバ１０から送信されたテキストデータ及び翻訳テキストデータを受信すると、通信端末２０－３の記憶制御部２１２は、受信したテキストデータ及び翻訳テキストデータをＲＡＭに記憶する。通信端末２０－３の表示制御部２１３は、ＲＡＭに記憶されているテキストデータ及び翻訳テキストデータから、テキスト実データ及び翻訳テキスト実データをそれぞれ読み出す。表示制御部２１３は、テキスト実データ及び翻訳テキスト実データに基づく文字を、トークグループＩＤ：Ｇｒｏｕｐ０１により識別されるトークグループＧ１についての表示画面に、音声ＩＤ：Ｔａｌｋ０１に対応する文字として表示する（ステップＳ１４６）。
　図１５は、図１４に示される処理を経て通信端末２０－３に表示される文字の例を表す模式図である。図１５において、受信者端末である通信端末２０－３では、文字Ｌ３はディスプレイの左端に表示される。また、文字Ｌ３には、テキスト実データに基づく文字、及び翻訳テキスト実データに基づく文字が含まれている。なお、テキスト実データに基づく文字、及び翻訳テキスト実データに基づく文字の表示は、１つの領域で表示されなくても構わない。例えば、これらの文字は、別々の領域で表示されても構わない。
　なお、図１４では、通信端末２０－３がテキスト化完了通知、及び翻訳完了通知を同時に受信する場合を例に説明した。しかしながら、図８の例で説明したように、翻訳完了通知がテキスト化完了通知から遅れて送信される場合がある。このような場合、通信端末２０－３の通信制御部２１１は、テキスト化完了通知の受信ではテキストデータの要求通知を処理サーバ１０へ送信せず、翻訳完了通知の受信を待ってテキストデータ、及び翻訳テキストデータの要求通知を送信してもよい。
　また、翻訳完了通知がテキスト化完了通知から遅れて送信される場合、通信端末２０－３の通信制御部２１１は、テキスト化完了通知の受信に応じてテキストデータの要求通知を処理サーバ１０へ送信し、翻訳完了通知の受信に応じて翻訳テキストデータの要求通知を処理サーバ１０へ送信してもよい。
　続いて、第２の表示形式が設定されている場合の動作について説明する。図１６は、図１に示される通信端末２０－１，２０－２が音声と対応する文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－１，２０－２の動作の例を説明する図である。
　送信権を有する通信端末２０－１、及び通信端末２０－１と同一の言語コードが設定されている通信端末２０－２は、処理サーバ１０からテキスト化完了通知を受信する（ステップＳ１６１）。図１６の説明においては、テキストＩＤ：Ｔｅｘｔ０６がテキスト化完了通知に含まれているとする。
　テキスト化完了通知を受信すると、通信端末２０－１，２０－２の表示制御部２１３は、テキスト化が完了した旨を、ディスプレイに表示されているＰＴＴ通話開始要求ボタンと重ならないように、ディスプレイに表示する（ステップＳ１６２）。図１７は、図１に示される通信端末２０－１，２０－２に表示されるテキスト化完了通知の例を表す模式図である。図１７によれば、テキスト化が完了した旨が、「未読のテキストがあります。」として通知されている。なお、テキスト化が完了した旨は、記号等により表されても構わない。なお、図１７では、ＰＴＴ通話開始要求ボタンＢ２がディスプレイの中央に表示される場合を例に示しているが、ＰＴＴ通話開始要求ボタンＢ２の表示位置はこれに限定されない。利用者が容易にタップ可能な位置ならば制限はない。
　通信端末２０－１，２０－２の利用者は、ディスプレイに表示されるテキスト化完了通知を視認すると、音声と対応する文字を表示させる必要があるか否かを判断する。文字を表示させる必要があると判断する場合、利用者は、文字の表示要求を入力インタフェース２３から入力する（ステップＳ１６３）。例えば、利用者は、ディスプレイに表示されるテキスト化完了通知の表示領域をタップする。
　利用者から文字表示要求が入力されると、通信端末２０－１の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータから文字表示の開始を要求する旨の表示開始要求通知を、基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する。このとき、表示開始要求通知には、要求元である通信端末２０－１のユーザＩＤ：Ｕｓｅｒ０１が付されている。また、利用者から文字表示要求が入力されると、通信端末２０－２の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータから文字表示の開始を要求する旨の表示開始要求通知を、通信端末２０－２のユーザＩＤ：Ｕｓｅｒ０２を付して、処理サーバ１０へ送信する（ステップＳ１６４）。
　表示開始要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータを記憶部１２から読み出し、読み出したテキストデータに含まれている、例えば、トークグループＩＤを取得する。記憶制御部１１４は、取得したトークグループＩＤと同一のトークグループＩＤが含まれているテキストデータを、予め設定されたデータ分だけ記憶部１２から読み出す（ステップＳ１６５）。このとき、予め設定されたデータ分とは、例えば、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータより以前に記憶された、予め設定された個数のテキストデータを表す。つまり、例えば、記憶部１２からは、テキストＩＤ：Ｔｅｘｔ０１～Ｔｅｘｔ０６が含まれているテキストデータが読み出される。
　処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された複数のテキストデータを、パケット形式のデータに順次変換する（ステップＳ１６６）。通信制御部１１３は、パケット形式に変換したデータを、表示開始要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１６７）。これにより、パケット形式に変換された複数のテキストデータが通信端末２０－１，２０－２へ送信される。
　処理サーバ１０から送信される複数のテキストデータを受信すると、通信端末２０－１，２０－２の記憶制御部２１２は、受信したテキストデータをＲＡＭに順次記憶する。通信端末２０－１，２０－２の表示制御部２１３は、ＲＡＭにテキストデータが記憶されると、テキストデータからテキスト実データを読み出す。表示制御部２１３は、読み出したテキスト実データに基づく文字を、所定のトークグループＩＤにより識別されるトークグループについての表示画面に表示する（ステップＳ１６８）。
　なお、図１６の例では、トークグループＧ１に参加している通信端末２０－１，２０－２がテキスト化完了通知を受信した際の処理を説明した。しかしながら、これに限定されない。テキスト化完了通知は、トークグループＧ１には参加していないが、トークグループＧ１に参加可能な通信端末へも送信され得る。テキスト化完了通知がトークグループＧ１に参加可能だが実際には参加していない通信端末へ送信される場合、通信端末では、トークグループＧ１でテキスト化が完了した旨が、例えば、「トークグループＧ１で未読のテキストがあります。」のように表示されてもよい。なお、トークグループＧ１でテキスト化が完了した旨は、通信端末のディスプレイ上の、トークグループＧ１に対応する位置に、記号等により表されても構わない。これにより、利用者は、トークグループに参加していない場合であっても、参加可能なトークグループにおける通話を文字で確認することが可能となる。なお、トークグループＧ１に参加していない利用者がトークグループＧ１の通話内容を文字で確認する場合、この利用者を、トークグループＧ１へ参加させるようにしてもよい。
　図１８は、図１に示される通信端末２０－３がテキストデータ及び翻訳テキストデータに基づく文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－３の動作の例を説明する図である。
　図１８において、通信端末２０－１と異なる言語コードが設定されている通信端末２０－３は、処理サーバ１０からテキスト化完了通知、及び翻訳完了通知を受信する（ステップＳ１８１）。図１８の説明においては、テキストＩＤ：Ｔｅｘｔ０６がテキスト化完了通知に含まれているとする。また、テキストＩＤ：Ｔｅｘｔ０６、及び言語コード：言語コード０２が翻訳完了通知に含まれているとする。
　テキスト化完了通知、及び翻訳完了通知を受信すると、通信端末２０－３の表示制御部２１３は、テキスト化、及び翻訳処理が完了した旨を、ディスプレイに表示されているＰＴＴ通話開始要求ボタンと重ならないように、ディスプレイに表示する（ステップＳ１８２）。
　なお、図８に示される例で説明したように、通信端末２０－３は、テキスト化完了通知及び翻訳完了通知を同時に受信する場合と、翻訳完了通知をテキスト化完了通知から遅れて受信する場合とがある。テキスト化完了通知及び翻訳完了通知を同時に受信する場合、通信端末２０－３の表示制御部２１３は、テキスト化完了通知及び翻訳完了通知の受信に応じ、テキスト化が完了した旨、及び翻訳処理が完了した旨を表示する。このとき、表示制御部２１３は、テキスト化が完了した旨の表示のみで、翻訳処理が完了したことも意味するようにしてもよい。
　また、翻訳完了通知がテキスト化完了通知より遅れて受信される場合、通信端末２０－３の表示制御部２１３は、テキスト化完了通知の受信に応じてテキスト化が完了した旨を表示し、翻訳完了通知の受信に応じて翻訳処理が完了した旨を表示してもよい。また、表示制御部２１３は、テキスト化完了通知の受信ではテキスト化が完了した旨の表示はせず、翻訳完了通知の受信に応じてテキスト化が完了した旨、及び翻訳処理が完了した旨を表示してもよい。このとき、表示制御部２１３は、テキスト化が完了した旨の表示のみで、翻訳処理が完了したことも意味するようにしてもよい。
　通信端末２０－３の利用者は、ディスプレイに表示されるテキスト化完了通知、及び翻訳完了通知を視認すると、音声と対応する文字、及びその文字を翻訳を表示させる必要があるか否かを判断する。文字及び翻訳を表示させる必要があると判断する場合、利用者は、文字及び翻訳の表示要求を入力インタフェース２３から入力する（ステップＳ１８３）。例えば、利用者は、ディスプレイに表示されるテキスト化完了通知、及び翻訳完了通知の表示領域をタップする。
　利用者から文字及び翻訳の表示要求が入力されると、通信端末２０－３の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータ、並びに、テキストＩＤ：Ｔｅｘｔ０６、及び言語コード：言語コード０２が含まれている翻訳テキストデータから文字表示の開始を要求する旨の表示開始要求通知を、基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１８４）。このとき、表示開始要求通知には、要求元である通信端末２０－３のユーザＩＤ：Ｕｓｅｒ０３が付されている。
　表示開始要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータを記憶部１２から読み出し、読み出したテキストデータに含まれている、例えば、トークグループＩＤを取得する。記憶制御部１１４は、取得したトークグループＩＤと同一のトークグループＩＤが含まれているテキストデータを、予め設定されたデータ分だけ記憶部１２から読み出す。このとき、予め設定されたデータ分とは、例えば、テキストＩＤ：Ｔｅｘｔ０６が含まれているテキストデータより以前に記憶された、予め設定された個数のテキストデータを表す。つまり、例えば、記憶部１２からは、テキストＩＤ：Ｔｅｘｔ０１～Ｔｅｘｔ０６が含まれているテキストデータが読み出される。また、記憶制御部１１４は、読み出した複数のテキストデータに含まれるテキストＩＤと同一のテキストＩＤと、言語コード：言語コード０２とを含む翻訳テキストデータを、記憶部１２から読み出す（ステップＳ１８５）。つまり、例えば、記憶部１２からは、テキストＩＤ：Ｔｅｘｔ０１～Ｔｅｘｔ０６、及び言語コード：言語コード０２が含まれている翻訳テキストデータが読み出される。
　処理サーバ１０の通信制御部１１３は、記憶部１２から読み出されたテキストデータ及び翻訳テキストデータを、パケット形式のデータに順次変換する（ステップＳ１８６）。通信制御部１１３は、パケット形式に変換したデータを、表示開始要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１８７）。これにより、パケット形式に変換された複数のテキストデータ及び翻訳テキストデータが通信端末２０－３へ送信される。
　処理サーバ１０から送信される複数のテキストデータ及び翻訳テキストデータを受信すると、通信端末２０－３の記憶制御部２１２は、受信したテキストデータ及び翻訳テキストデータをＲＡＭに順次記憶する。通信端末２０－３の表示制御部２１３は、ＲＡＭに記憶されている、同一のテキストＩＤが付されているテキストデータ及び翻訳テキストデータから、テキスト実データ及び翻訳テキスト実データをそれぞれ読み出す。表示制御部２１３は、読み出したテキスト実データ及び翻訳テキスト実データに基づく文字を、所定のトークグループＩＤにより識別されるトークグループについての表示画面に表示する（ステップＳ１８８）。
　なお、図１４及び図１８では、処理サーバ１０から、送信権を有する通信端末２０－１と異なる言語が設定されている通信端末２０－３へ、テキスト化完了通知及び翻訳完了通知が送信される場合を例に説明した。しかしながら、これに限定されない。処理サーバ１０から通信端末２０－３へは、翻訳完了通知のみが送信される場合もある。このような場合、通信端末２０－３のディスプレイには、翻訳テキストデータに基づく文字のみが表示されることになる。
　続いて、通信端末２０－１，２０－２のディスプレイに表示される文字に対応する音声の再生について説明する。　
　図１９は、図１に示される通信端末２０－１，２０－２がディスプレイに表示している文字に対応する音声を再生させる際の処理サーバ１０、及び通信端末２０－１，２０－２の動作の例を説明する図である。
　まず、通信端末２０－１，２０－２のディスプレイに文字が表示されている（ステップＳ１９１）。図１９の説明では、ディスプレイに表示されている文字についてのテキストデータには、音声ＩＤ：Ｔａｌｋ０１、及び通話ＩＤ：０が含まれているものとする。通信端末２０－１，２０－２の利用者は、ディスプレイに表示されている文字に対応する音声を再生したい場合、文字の再生要求を入力インタフェース２３から入力する（ステップＳ１９２）。例えば、利用者は、ディスプレイに表示される文字の表示領域をタップする。
　文字に対応する音声の再生要求が利用者から入力されると、通信端末２０－１の通信制御部２１１は、音声ＩＤ：Ｔａｌｋ０１、通話ＩＤ：０が含まれている通話データの再生を要求する旨の再生要求通知を、基地局３０－１、及びネットワークＮＷを介して処理サーバ１０へ送信する。このとき、再生要求通知には、要求元である通信端末２０－１のユーザＩＤ：Ｕｓｅｒ０１が付されている。また、文字に対応する音声の再生要求が利用者から入力されると、通信端末２０－２の通信制御部２１１は、音声ＩＤ：Ｔａｌｋ０１、通話ＩＤ：０が含まれている通話データの再生を要求する旨の再生要求通知を、通信端末２０－２のユーザＩＤ：Ｕｓｅｒ０２を付して、処理サーバ１０へ送信する（ステップＳ１９３）。
　再生要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、音声ＩＤ：Ｔａｌｋ０１、通話ＩＤ：０が含まれている通話データを記憶部１２から読み出す。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された通話データを、必要に応じて構造を変更すると共に、パケット形式のデータに変換する（ステップＳ１９５）。通信制御部１１３は、パケット形式に変換したデータを要求元に応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１９６）。これにより、パケット形式に変換された通話データが通信端末２０－１，２０－２へ送信される。
　処理サーバ１０から送信される通話データを受信すると、通信端末２０－１，２０－２の記憶制御部２１２は、受信した通話データをＲＡＭに記憶する。通信端末２０－１，２０－２の再生制御部２１４は、ＲＡＭに記憶されている通話データから実データを読み出し、読み出した実データに基づいてスピーカを制御する（ステップＳ１９７）。
　続いて、送信権を有する通信端末２０－１が、音声に対応する文字を修正する際の処理について説明する。　
　図２０は、図１に示される通信端末２０－１が、ディスプレイに表示される文字を修正する際の処理サーバ１０、及び通信端末２０－１の動作の例を説明する図である。
　まず、送信権を有する通信端末２０－１、及び通信端末２０－１と同一のトークグループＧ１に参加する通信端末２０－２，２０－３のディスプレイに文字が表示されている（ステップＳ２０１）。図２０の説明においては、文字は、トークグループＩＤ：Ｇｒｏｕｐ０１、テキストＩＤ：Ｔｅｘｔ０１を含むテキストデータに基づいて表示されているとする。
　通信端末２０－１の利用者は、ディスプレイに表示される文字を視認し、修正する必要があるか否かを判断する。文字を修正する必要があると判断する場合、利用者は、文字の修正要求を入力インタフェース２３から入力する（ステップＳ２０２）。例えば、利用者は、ディスプレイに表示される文字の表示領域をタップする。
　利用者から文字修正要求が入力されると、通信端末２０－１の修正制御部２１６は、テキスト実データを修正したテキストデータを作成する（ステップＳ２０３）。具体的には、例えば、利用者から文字修正要求が入力されると、修正制御部２１６は、文字修正要求が入力された文字が、自端末が送信権を有する通話に属する文字であるか否かを、テキストデータに含まれるトークグループＩＤに基づいて判断する。文字修正要求が入力された文字が、自端末が送信権を有する通話に属する文字である場合、修正制御部２１６は、文字の修正フォームをディスプレイに表示させる。修正制御部２１６は、修正フォームを介した入力に従い、ディスプレイに表示されている文字を修正する。修正制御部２１６は、修正したテキスト実データを、修正前の文字についてのテキストデータと同一のトークグループＩＤ、テキストＩＤ、音声ＩＤ、及び通話ＩＤを含むテキストデータに格納する。通信端末２０－１の通信制御部２１１は、修正したテキスト実データを含むテキストデータを、必要に応じて構造を変更すると共に、パケット形式のデータに変換し、処理サーバ１０へ送信する（ステップＳ２０４）。
　処理サーバ１０の通信制御部１１３は、通信端末２０－１から送信されたテキストデータを受信すると、受信したテキストデータに含まれるトークグループＩＤ：Ｇｒｏｕｐ０１、及びテキストＩＤ：Ｔｅｘｔ０１を読み出す。通信制御部１１３は、読み出したトークグループＩＤ：Ｇｒｏｕｐ０１により識別されるトークグループＧ１に参加しているＵｓｅｒ０２及びＵｓｅｒ０３がそれぞれ所持する通信端末２０－２，２０－３へ、テキストＩＤ：Ｔｅｘｔ０１が含まれるテキストデータに基づく文字の表示を更新する旨を通知する（ステップＳ２０５）。
　また、処理サーバ１０の記憶制御部１１４は、通信端末２０－１から送信されたテキストデータを受信すると、受信したテキストデータに含まれるテキストＩＤ：Ｔｅｘｔ０１を読み出す。記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１を含む記憶済みのテキストデータを記憶部１２から消去すると共に、受信したテキストデータを記憶部１２に記憶する（ステップＳ２０６）。
　また、処理サーバ１０の翻訳処理部１１６は、通信端末２０－１から送信されたテキストデータを受信すると、受信したテキストデータに対して、例えば、言語コード０２に対応する言語で翻訳処理を実施することで、翻訳テキストデータを作成する（ステップＳ２０７）。翻訳テキストデータを作成すると、翻訳処理部１１６は、翻訳が完了した旨を通信制御部１１３へ通知する（ステップＳ２０８）。翻訳が完了した旨の通知を受けると、通信制御部１１３は、Ｕｓｅｒ０１と異なる言語コードが設定されているＵｓｅｒ０３が所持する通信端末２０－３へ、翻訳が完了した旨の通知を送信する（ステップＳ２０９）。作成された翻訳テキストデータは、記憶制御部１１４へ出力される（ステップＳ２０１０）。記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２を含む記憶済みの翻訳テキストデータを記憶部１２から消去すると共に、翻訳処理部１１６で作成された翻訳テキストデータを記憶部１２に記憶する（ステップＳ２０１１）。
　図２１は、図１に示される通信端末２０－２が、通信端末２０－１により修正された文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－２の動作の例を説明する図である。なお、図２１では、第１の表示形式が設定されている場合を例に説明する。
　通信端末２０－１と同一の言語コードが設定されている通信端末２０－２は、処理サーバ１０から更新通知を受信する（ステップＳ２１１）。このとき、更新通知には、修正されたテキストデータについてのテキストＩＤが含まれている。図２１の説明では、図２０での説明を引き継ぎ、テキストＩＤ：Ｔｅｘｔ０１がテキスト化完了通知に含まれているとする。更新通知を受信すると、通信端末２０－２の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータを要求する旨のテキストデータ要求通知を、処理サーバ１０へ送信する（ステップＳ２１２）。このとき、テキストデータ要求通知には、要求元である通信端末２０－２のユーザＩＤ：Ｕｓｅｒ０２が付されている。
　テキストデータ要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータを、記憶部１２から読み出す（ステップＳ２１３）。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出されたテキストデータを、パケット形式のデータに変換する（ステップＳ２１４）。通信制御部１１３は、パケット形式に変換したデータを、テキストデータ要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ２１５）。これにより、パケット形式に変換されたテキストデータが通信端末２０－２へ送信される。
　処理サーバ１０から送信されたテキストデータを受信すると、通信端末２０－２の記憶制御部２１２は、受信したテキストデータをＲＡＭに記憶する。記憶制御部２１２は、ＲＡＭにテキストデータが記憶されると、記憶されたテキストデータからテキストＩＤ：Ｔｅｘｔ０１を読み出す。記憶制御部２１２は、読み出したテキストＩＤ：Ｔｅｘｔ０１を参照し、ＲＡＭに過去に記憶された、テキストＩＤ：Ｔｅｘｔ０１を含むテキストデータを削除する。これにより、修正前のテキストデータがＲＡＭから削除されることになる。通信端末２０－２の表示制御部２１３は、ＲＡＭに新たに記憶されたテキストデータからテキスト実データを読み出す。表示制御部２１３は、読み出したテキスト実データに基づく文字を、トークグループＩＤ：Ｇｒｏｕｐ０１により識別されるトークグループＧ１についての表示画面に、音声ＩＤ：Ｔａｌｋ０１に対応する文字として表示する（ステップＳ２１６）。これにより、修正前のテキストデータに基づいて表示されている文字が、受信したテキストデータに基づく文字で書き換えられることになる。
　図２２は、図１に示される通信端末２０－３が、通信端末２０－１により修正された文字をディスプレイに表示させる際の処理サーバ１０、及び通信端末２０－３の動作の例を説明する図である。なお、図２２では、第１の表示形式が設定されている場合を例に説明する。
　通信端末２０－１と異なる言語コードが設定されている通信端末２０－３は、処理サーバ１０から更新通知、及び翻訳完了通知を受信する（ステップＳ２２１）。このとき、更新通知には、修正されたテキストデータについてのテキストＩＤが含まれている。また、翻訳完了通知には、翻訳が完了した翻訳テキストデータについてのテキストＩＤ、及び言語コードが含まれている。図２２の説明では、図２０での説明を引き継ぎ、テキストＩＤ：Ｔｅｘｔ０１がテキスト化完了通知に含まれているとする。また、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が翻訳完了通知に含まれているとする。
　更新通知、及び翻訳完了通知を受信すると、通信端末２０－３の通信制御部２１１は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータ、並びに、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が含まれている翻訳テキストデータを要求する旨の要求通知を、処理サーバ１０へ送信する（ステップＳ２２２）。このとき、要求通知には、要求元である通信端末２０－３のユーザＩＤ：Ｕｓｅｒ０３が付されている。
　要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、テキストＩＤ：Ｔｅｘｔ０１が含まれているテキストデータと、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２が含まれている翻訳テキストデータとを、記憶部１２から読み出す（ステップＳ２２３）。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出されたテキストデータ及び翻訳テキストデータを、パケット形式のデータに変換する（ステップＳ２２４）。通信制御部１１３は、パケット形式に変換したデータを、テキストデータ要求通知に付されているユーザＩＤに応じた数だけ複製する。通信制御部１１３は、複製したデータを、ユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ２２５）。これにより、パケット形式に変換されたテキストデータ及び翻訳テキストデータが通信端末２０－３へ送信される。
　処理サーバ１０から送信されたテキストデータ及び翻訳テキストデータを受信すると、通信端末２０－３の記憶制御部２１２は、受信したテキストデータ及び翻訳テキストデータをＲＡＭに記憶する。記憶制御部２１２は、ＲＡＭにティストデータ及び翻訳テキストデータが記憶されると、記憶されたテキストデータ及び翻訳テキストデータから、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２を読み出す。記憶制御部２１２は、読み出したテキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２を参照し、ＲＡＭに過去に記憶された、テキストＩＤ：Ｔｅｘｔ０１を含むテキストデータと、テキストＩＤ：Ｔｅｘｔ０１、及び言語コード：言語コード０２を含む翻訳テキストデータとを削除する。これにより、修正前のテキストデータ、及び修正前のテキストデータについての翻訳テキストデータがＲＡＭから削除されることになる。通信端末２０－３の表示制御部２１３は、ＲＡＭに新たに記憶されたテキストデータ及び翻訳テキストデータから、テキスト実データ及び翻訳テキスト実データをそれぞれ読み出す。表示制御部２１３は、テキスト実データ及び翻訳テキスト実データに基づく文字を、トークグループＩＤ：Ｇｒｏｕｐ０１により識別されるトークグループＧ１についての表示画面に、音声ＩＤ：Ｔａｌｋ０１に対応する文字として表示する（ステップＳ２２６）。これにより、修正前のテキストデータ及び翻訳テキストデータに基づいて表示されている文字が、受信したテキストデータ及び翻訳テキストデータに基づく文字で書き換えられることになる。
　以上のように、本実施形態では、処理サーバ１０のテキスト化処理部１１５は、送信権を有する通信端末２０－１から送信される音声データに基づいてテキストデータを作成する。そして、処理サーバ１０の通信制御部１１３は、作成したテキストデータをトークグループＧ１に参加する通信端末２０－１～２０－３へ送信するようにしている。これにより、トークグループに参加する通信端末２０－１～２０－ｍの利用者は、通話をテキスト化した文字表示で通話の内容を確認することが可能となる。また、音声が聞き取りづらい環境下、及び音声が聞き取りづらい者であっても、通話の内容を確認することが可能となる。
　したがって、本実施形態に係る通信システム１、及び処理サーバ１０によれば、情報の伝達ミスを低減することができる。
　また、本実施形態では、処理サーバ１０のテキスト化処理部１１５は、キャッシュメモリに保持される複数の音声データに基づいてテキストデータを作成するようにしている。これにより、処理サーバ１０は、音声通信の品質を維持したまま、テキストデータを作成することが可能となる。
　また、本実施形態では、処理サーバ１０のテキスト化処理部１１５は、キャッシュメモリに予め設定された容量の音声データが保持されるか、又は、この容量に達する前に通信端末２０－１の送信権が開放されると、キャッシュメモリで保持される複数の音声データに基づいてテキストデータを作成するようにしている。すなわち、長時間の通話は、一定時間毎に区切ってテキスト化される。これにより、処理サーバ１０は、音声データとの遅延を最小化しつつ、テキストデータを作成することが可能となる。また、発話者が長時間発話している場合であっても、逐次音声データをテキスト化することが可能となる。
　また、本実施形態では、処理サーバ１０の記憶制御部１１４は、作成されたテキストデータを記憶部１２に記憶する。テキスト化処理部１１５は、テキストデータを作成するとテキスト化が完了した旨を、トークグループＧ１に参加する通信端末２０－１～２０－３へ通知する。そして、テキスト化が完了した旨を通知した通信端末からテキストデータを要求する旨の通知があると、通信制御部１１３は、記憶部１２に記憶されるテキストデータを、要求元の通信端末へ送信する。これにより、処理サーバ１０は、通信端末２０－１～２０－ｍの記憶部２２にテキストデータを記憶させなくても、テキストデータに基づく文字をディスプレイに表示させることが可能となる。このように、通信端末２０－１～２０－ｍではテキストデータが記憶されないため、情報の漏洩を防ぐことが可能となる。
　また、本実施形態では、処理サーバ１０の通信制御部１１３は、テキスト化が完了した旨を通知した通信端末から、テキストデータに基づく文字の表示開始を要求する通知がある場合、記憶部１２に記憶される過去の複数のテキストデータを、要求元の通信端末へ送信するようにしている。これにより、途中からトークグループに参加した場合、及び、音声の文字表示を通話の途中から始めた場合であっても、通信端末２０－１～２０－ｍの利用者は、通話の流れを文字で確認することが可能となる。
　また、本実施形態では、処理サーバ１０の記憶制御部１１４は、テキストデータを作成する際に用いた音声データを通話データとして記憶部１２に記憶する。通信制御部１１３は、テキストデータを送信した通信端末２０から、テキストデータと対応する音声の再生要求があると、記憶部１２に記憶されている通話データのうち、再生が要求されたテキストデータと対応する通話データを、再生要求のあった通信端末へ送信するようにしている。これにより、通信端末２０－１～２０－ｍの利用者は、ディスプレイに表示される文字に対応する実際の通話を、任意のタイミングで聞くことが可能となる。また、ディスプレイに表示される文字に誤りがあっても正しい内容を確認することが可能となる。
　また、本実施形態では、処理サーバ１０の通信制御部１１３は、送信権を有する通信端末２０－１でテキストデータが修正された場合、修正されたテキストデータをトークグループＧ１に参加する通信端末２０－２，２０－３へ送信するようにしている。これにより、テキスト化処理部１１５による通話データのテキスト化で誤変換があった場合であっても、発話者は、通話端末に表示される文字を修正し、修正した文字を他の通信端末へ反映させることが可能となる。
　また、本実施形態では、処理サーバ１０の通信制御部１１３は、送信権を有する通信端末２０－１でテキストデータが修正されると、表示を更新する旨を、トークグループＧ１に参加する通信端末２０－２，２０－３へ通知する。通信制御部１１３は、更新を通知した通信端末２０から、修正されたテキストデータの送信が要求されると、記憶部１２に記憶される修正されたテキストデータを、要求元の通信端末２０へ送信する。これにより、処理サーバ１０は、通信端末２０－１～２０－ｍの記憶部２２に修正されたテキストデータを記憶させなくても、修正されたテキストデータに基づく文字をディスプレイに表示させることが可能となる。
　また、本実施形態では、処理サーバ１０の翻訳処理部１１６は、テキスト化処理部１１５で作成されたテキストデータに対して翻訳処理を実施することで翻訳テキストデータを作成する。そして、通信制御部１１３は、作成された翻訳テキストデータを、トークグループＧ１に参加する通信端末２０－１～２０－３のうち、送信権を有する通信端末２０－１と異なる言語が設定されている通信端末２０－３へ送信するようにしている。これにより、トークグループに異なる言語を使用する利用者がいても、この利用者は、通話の内容を理解することが可能となる。すなわち、多言語間でのコミュニケーションを図ることが可能となる。
　また、本実施形態では、処理サーバ１０の記憶制御部１１４は、翻訳処理部１１６で作成された翻訳テキストデータを記憶部１２に記憶する。翻訳処理部１１６は、翻訳テキストデータを作成すると、翻訳処理が完了した旨を、トークグループＧ１に参加する通信端末２０－１～２０－３のうち、送信権を有する通信端末２０－１と異なる言語が設定されている通信端末２０－３へ送信する。そして、通信制御部１１３は、翻訳完了通知を送信した通信端末２０－３から、翻訳テキストデータの送信が要求されると、要求された翻訳テキストデータを記憶部１２から読み出し、読み出した翻訳テキストデータを、要求元の通信端末２０－３へ送信する。これにより、処理サーバ１０は、通信端末２０－１～２０－ｍの記憶部２２に翻訳テキストデータを記憶させなくても、翻訳テキストデータに基づく文字をディスプレイに表示させることが可能となる。このように、通信端末２０－１～２０－ｍでは翻訳テキストデータが記憶されないため、情報の漏洩を防ぐことが可能となる。
　また、本実施形態では、処理サーバ１０の通信制御部１１３は、翻訳処理が完了した旨を通知した通信端末２０－３から、翻訳テキストデータに基づく文字の表示開始を要求する通知がある場合、記憶部１２に記憶される過去の複数の翻訳テキストデータを、要求元の通信端末２０－３へ送信するようにしている。これにより、途中からトークグループに参加した場合、及び、音声の文字表示を通話の途中から始めた場合であっても、通信端末２０－１～２０－ｍの利用者は、翻訳された文字で通話の流れを確認することが可能となる。
　また、本実施形態では、処理サーバ１０の翻訳処理部１１６は、送信権を有する通信端末で修正されたテキストデータに対して翻訳処理を実施することで翻訳テキストデータを作成する。通信制御部１１３は、修正されたテキストデータについての翻訳テキストデータを、トークグループＧ１に参加する通信端末２０－１～２０－３のうち、送信権を有する通信端末２０－１と異なる言語が設定されている通信端末２０－３へ送信するようにしている。これにより、処理サーバ１０は、修正されたテキストデータを自動的に翻訳し、修正を反映させた翻訳テキストデータを、送信権を有する通信端末２０と異なる言語が設定されている通信端末２０へ配信することが可能となる。
　また、本実施形態では、処理サーバ１０の記憶制御部１１４は、送信権を有する通信端末２０－１で修正されたテキストデータについての翻訳テキストデータが作成されると、修正前のテキストデータについての翻訳テキストデータを記憶部１２から消去し、修正されたテキストデータについての翻訳テキストデータを記憶部１２に記憶する。翻訳処理部１１６は、通信端末２０－１で修正されたテキストデータについての翻訳テキストデータを作成すると、翻訳処理が完了した旨を、トークグループＧ１に参加する通信端末２０－１～２０－３のうち、送信権を有する通信端末２０－１と異なる言語が設定されている通信端末２０－３へ送信する。そして、通信制御部１１３は、翻訳完了通知を送信した通信端末２０－３から、翻訳テキストデータの送信が要求されると、要求された翻訳テキストデータを記憶部１２から読み出し、読み出した翻訳テキストデータを、要求元の通信端末２０－３へ送信するようにしている。これにより、処理サーバ１０は、通信端末２０－１～２０－ｍの記憶部２２に修正されたテキストデータについての翻訳テキストデータを記憶させなくても、翻訳テキストデータに基づく文字をディスプレイに表示させることが可能となる。
　また、本実施形態では、通信端末２０－１～２０－３の通信制御部２１１は、送信権を有する通信端末２０－１から送信された音声データのテキスト化が完了した旨のテキスト化完了通知を受信する。通信制御部２１１は、受信したテキスト化完了通知によりテキスト化完了が通知されたテキストデータの送信を処理サーバ１０に要求する。通信制御部２１１は、要求に応じて処理サーバ１０から返信されるテキストデータを受信する。そして、表示制御部２１３は、受信したテキストデータに基づく文字を出力インタフェース２４としてのディスプレイに表示するようにしている。これにより、トークグループに参加する通信端末２０－１～２０－ｍの利用者は、通話をテキスト化した文字表示で通話の内容を確認することが可能となる。また、音声が聞き取りづらい環境下、及び音声が聞き取りづらい者であっても、通話の内容を確認することが可能となる。
　また、本実施形態では、通信端末２０－１～２０－３の記憶制御部２１２は、受信したテキストデータを揮発性メモリであるＲＡＭに記憶する。そして、表示制御部２１３は、ＲＡＭに記憶されたテキストデータに基づく文字をディスプレイに表示するようにしている。これにより、通信端末２０－１～２０－ｍは、記憶部２２にテキストデータを記憶させなくても、テキストデータに基づく文字をディスプレイに表示させることが可能となる。
　また、本実施形態では、通信端末２０－１～２０－３の表示制御部２１３は、受信したテキスト化完了通知をディスプレイに表示する。そして、通信制御部２１１は、テキスト化完了通知の表示に対し、文字の表示要求があった場合、テキスト化完了が通知されたテキストデータの送信を処理サーバ１０に要求するようにしている。これにより、通信端末２０－１～２０－ｍは、音声に対応した文字表示が必要である場合にのみ、ディスプレイへ文字を表示することが可能となる。
　また、本実施形態では、通信端末２０－１～２０－３の通信制御部２１１は、ディスプレイで表示される文字に対応する音声の再生要求があった場合、テキストデータを作成する際に用いた音声データの送信を処理サーバ１０に要求する。通信制御部２１１は、要求に応じて処理サーバ１０から返信される音声データを受信する。そして、再生制御部２１４は、受信した音声データに基づく音声をスピーカから再生するようにしている。これにより、通信端末２０－１～２０－ｍの利用者は、ディスプレイに表示される文字に対応する実際の通話を、任意のタイミングで聞くことが可能となる。また、ディスプレイに表示される文字に誤りがあっても正しい内容を確認することが可能となる。
　また、本実施形態では、通信端末２０－１の修正制御部２１６は、ディスプレイで表示される文字に対して修正要求がある場合、修正を要求された文字が、自端末が送信権を有する通話に属する文字であるか否かを判断する。修正を要求された文字が、自端末が送信権を有する通話に属する文字である場合、修正制御部２１６は、テキストデータへの修正を入力するための修正フォームをディスプレイに表示し、修正フォームを介して入力された修正に基づいてテキストデータを作成する。そして、修正制御部２１６は、作成したテキストデータを処理サーバ１０へ送信する。これにより、テキスト化処理で誤変換があった場合、発話者は、通話端末に表示される文字を修正することが可能となる。
　また、本実施形態では、送信権を有する通信端末２０－１がテキストデータを修正すると、通信端末２０－２，２０－３の通信制御部２１１は、表示を更新する旨の更新通知を受信する。通信制御部２１１は、受信した更新通知に応じ、修正されたテキストデータの送信を処理サーバ１０に要求する。通信制御部２１１は、要求に応じて処理サーバ１０から返信されるテキストデータを受信する。そして、表示制御部２１３は、ディスプレイに表示されている修正前のテキストデータに基づく文字を、受信した修正後のテキストデータに基づく文字で書き換えるようにしている。これにより、通信端末２０－１～２０－ｍは、送信権を有する通信端末によるテキストデータの修正を自端末のディスプレイの表示に反映させることが可能となる。また、通信端末２０－１～２０－ｍは、記憶部２２にテキストデータを記憶させなくても、修正されたテキストデータに基づく文字をディスプレイに表示させることが可能となる。
　また、本実施形態では、通信端末２０－１～２０－３の通信制御部２１１は、端末で使用する言語が設定されると、設定された言語についての情報を処理サーバ１０へ送信する。通信制御部２１１は、テキストデータについて翻訳処理が完了した旨の翻訳完了通知を受信する。通信制御部２１１は、受信した翻訳完了通知に応じ、翻訳テキストデータの送信を処理サーバ１０に要求する。通信制御部２１１は、処理サーバ１０から返信される翻訳テキストデータを受信する。そして、表示制御部２１３は、受信した翻訳テキストデータに基づく文字をディスプレイに表示する。これにより、通信端末２０－１～２０－ｍは、利用者が使用する言語が送信権を有する通信端末の言語と異なる場合、音声が自動的に翻訳された文字をディスプレイに表示することが可能となる。
　また、本実施形態では、通信端末２０－３の記憶制御部２１２は、受信した翻訳テキストデータを揮発性メモリであるＲＡＭに記憶する。そして、表示制御部２１３は、揮発性メモリに記憶した翻訳テキストデータに基づく文字をディスプレイに表示するようにしている。これにより、通信端末２０－１～２０－ｍは、記憶部２２にテキストデータを記憶させなくても、翻訳テキストデータに基づく文字をディスプレイに表示させることが可能となる。
　また、本実施形態では、通信端末２０－３の表示制御部２１３は、受信した翻訳完了通知をディスプレイに表示する。そして、通信制御部２１１は、翻訳完了通知の表示に対し、翻訳テキストデータに基づく文字の表示要求があった場合、翻訳完了が通知された翻訳テキストデータの送信を処理サーバ１０に要求するようにしている。これにより、通信端末２０－１～２０－ｍは、翻訳テキストデータに基づく文字の表示が必要である場合にのみ、ディスプレイへ文字を表示することが可能となる。
　また、本実施形態では、通信端末２０の読み上げ制御部２１５は、ディスプレイで表示される、翻訳テキストデータに基づく文字に対して読み上げ要求があった場合、翻訳テキストデータに基づく文字を音声データに変換する。そして、読み上げ制御部２１５は、変換した音声データに基づく音声をスピーカから再生するようにしている。これにより、通信端末２０－１～２０－ｍは、通話の内容を、他の言語でも再生することが可能となる。
　また、本実施形態では、通信端末２０－３の通信制御部２１１は、修正されたテキストデータについての翻訳テキストデータを受信する。そして、表示制御部２１３は、ディスプレイに表示されている修正前のテキストデータについての翻訳テキストデータに基づく文字を、受信した修正後のテキストデータについての翻訳テキストデータに基づく文字で書き換えるようにしている。これにより、通信端末２０－１～２０－ｍは、送信権を有する通信端末によるテキストデータの修正を、翻訳テキストデータに基づく文字に反映させることが可能となる。
　なお、上記実施形態では、キャッシュメモリに予め設定された容量の音声データが保持されると、又は予め設定された容量に到達する前に送信権が開放されると、記憶制御部１１４が、キャッシュメモリに保持している複数の音声データに基づいて通話データを作成する場合を例に説明した。しかしながら、これに限定されない。例えば、記憶制御部１１４は、送信権を有する通信端末から送信される音声データをキャッシュメモリに順次保持する。そして、記憶制御部１１４は、送信権が開放されると、キャッシュメモリに保持されている１通話分の複数の音声データに基づいて通話データを作成するようにしても構わない。これにより、１つの通話が複数に分断されることがないため、テキスト化がより正確になされることになる。
　なお、送信権の開放通知に基づいて通話データが作成される場合、１通話分のデータが分断されることはないので、通話データでは、図９に示される通話ＩＤを格納する領域を確保する必要はない。そのため、テキストデータにおいても、図１０に示される通話ＩＤを格納する領域を確保する必要はない。
　また、上記実施形態では、通信端末２０－１～２０－ｍの利用者は、設定されている言語を変更することも可能である。設定されている言語は、例えば、トークグループに参加し直すことで、変更することが可能である。例えば、通信端末２０－１～２０－ｍの利用者は、トークグループに参加している途中で、設定されている言語を切り替えてもよい。通信端末２０－１～２０－ｍは、トークグループに参加している途中で言語が切り替えられると、今まで受信したテキストデータに対応する、切り替えた後の言語で翻訳された翻訳テキストデータを配信する旨の要求を処理サーバ１０へ通知する。この要求通知には、例えば、要求元である通信端末のユーザＩＤ、切り替え後の言語についての言語コード、及び表示を要する文字についてのテキストコードのテキストＩＤが含まれる。
　処理サーバ１０の記憶制御部１１４は、切り替え後の言語に対応する翻訳テキストデータを要求する通知を受信すると、所望のテキストＩＤ、及び言語コードが含まれている翻訳テキストデータを記憶部１２から読み出す。処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された翻訳テキストデータを、要求元の通信端末へ送信する。
　通信端末２０－１～２０－ｍの記憶制御部２１２は、切り替えた後の言語で翻訳された翻訳テキストデータを受信すると、受信した翻訳テキストデータをＲＡＭに記憶する。記憶制御部２１２は、ＲＡＭに翻訳テキストデータが記憶されると、記憶された翻訳テキストデータから、テキストＩＤを読み出す。記憶制御部２１２は、読み出したテキストＩＤを参照し、ＲＡＭに過去に記憶された、同一のテキストＩＤを含む翻訳テキストデータを削除する。通信端末２０－１～２０－ｍの表示制御部２１３は、ＲＡＭに新たに記憶された翻訳テキストデータから、翻訳テキスト実データを読み出す。表示制御部２１３は、読み出した翻訳テキスト実データに基づく文字を、対応するテキスト実データに基づく文字と共に表示する。これにより、言語を切り替える前の翻訳テキストデータに基づく文字が、受信した翻訳テキストデータに基づく文字で書き換えられることになる。
　なお、通信端末２０－１～２０－ｍの記憶制御部２１２は、同一のテキストＩＤを含む翻訳テキストデータをＲＡＭから削除しなくても構わない。通信端末２０－１～２０－ｍの表示制御部２１３は、ＲＡＭに記憶されている翻訳テキストデータから、翻訳テキスト実データを読み出す。表示制御部２１３は、読み出した翻訳テキスト実データに基づく文字を、対応するテキスト実データに基づく文字と共に表示する。これにより、言語を切り換える前の表示に合わせて、切り替えた後の翻訳テキストデータに基づく文字が表示されることになる。
　以上、本発明に係る実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。

Claims (42)

  1. 　複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置において、
    　前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える送信権付与部と、
    　前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成し、前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知するテキスト化処理部と、
    　前記テキスト化が完了した旨の通知の後に、前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信制御部と
    を具備する信号処理装置。
  2. 　複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置において、
    　前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える送信権付与部と、
    　前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成するテキスト化処理部と、
    　前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信制御部と
    を具備し、
    　前記テキスト化処理部は、前記送信権が開放されると、前記テキストデータを作成する信号処理装置。
  3. 　前記音声データを保持するメモリをさらに具備し、
    　前記テキスト化処理部は、前記メモリで保持される音声データに基づいて前記テキストデータを作成する請求項１又は２に記載の信号処理装置。
  4. 　前記音声データを保持するメモリをさらに具備し、
    　前記テキスト化処理部は、前記メモリに予め設定された容量の音声データが保持されるか、又は、前記容量に達する前に前記送信権が開放されると、前記メモリで保持される音声データに基づいて前記テキストデータを作成する請求項１記載の信号処理装置。
  5. 　前記テキスト化処理部は、前記送信権が開放されると、前記テキストデータを作成する請求項１記載の信号処理装置。
  6. 　前記テキスト化処理部は、前記テキスト化が完了した旨を、前記群に所属可能な通信端末へも通知する請求項１記載の信号処理装置。
  7. 　前記通信制御部は、前記テキスト化が完了した旨を通知した通信端末の少なくとも１つから送信される、前記テキストデータに基づく文字の表示を開始する開始要求に応じ、前記開始要求を送信した通信端末へ、前記テキストデータを送信する請求項１又は６に記載の信号処理装置。
  8. 　前記通信制御部は、前記テキストデータを送信した通信端末の少なくとも１つから送信される、前記テキストデータに対応する音声の再生要求に応じ、前記テキストデータと対応する通話データを、前記再生要求を送信した通信端末へ送信する請求項１乃至７のいずれかに記載の信号処理装置。
  9. 　前記通信制御部は、前記送信権を有する通信端末で修正されたテキストデータを受信すると、前記群に属する複数の通信端末へ表示を更新する旨を通知し、前記表示を更新する旨の通知の後に、前記修正されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する請求項１乃至８のいずれかに記載の信号処理装置。
  10. 　前記テキスト化処理部により作成されたテキストデータに対し、設定されている言語による翻訳処理を実施することで翻訳テキストデータを作成し、前記翻訳テキストデータを作成すると翻訳処理が完了した旨を、前記群に属する複数の通信端末のうち、前記言語が設定されている通信端末へ通知する翻訳処理部をさらに具備し、
    　前記通信制御部は、前記翻訳処理が完了した旨の通知の後に、前記翻訳テキストデータを送信する請求項１乃至９のいずれかに記載の信号処理装置。
  11. 　前記通信制御部は、前記翻訳処理が完了した旨を通知した通信端末の少なくとも１つから送信される、前記翻訳テキストデータに基づく文字の表示を開始する開始要求に応じ、前記開始要求を送信した通信端末へ、前記翻訳テキストデータを送信する請求項１０記載の信号処理装置。
  12. 　前記翻訳処理部は、前記送信権を有する通信端末で修正されたテキストデータに対し、設定されている言語による翻訳処理を実施することで翻訳テキストデータを作成し、前記翻訳テキストデータを作成すると翻訳処理が完了した旨を、前記群に属する複数の通信端末のうち、前記言語が設定されている通信端末へ通知する請求項１０又は１１に記載の信号処理装置。
  13. 　前記通信制御部は、前記群に属する複数の通信端末の少なくとも１つで、設定されている言語が切り替えられると、前記言語が切り替えられた通信端末へ、前記切り替えられた言語についての翻訳テキストデータを送信する請求項１０乃至１２のいずれかに記載の信号処理装置。
  14. 　複数の通信端末と、
    　前記複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置と
    を具備し、
    　前記信号処理装置は、
    　　前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える送信権付与部と、
    　　前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成し、前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知するテキスト化処理部と、
    　　前記テキスト化が完了した旨の通知の後に、前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信制御部と
    を備える通信システム。
  15. 　複数の通信端末と、
    　前記複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置と
    を具備し、
    　前記信号処理装置は、
    　　前記群に属する複数の通信端末のいずれか１つに、データを送信する権利である送信権を与える送信権付与部と、
    　　前記送信権を有する通信端末から送信された音声データに基づいてテキストデータを作成するテキスト化処理部と、
    　　前記作成されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信制御部と
    を備え、
    　前記テキスト化処理部は、前記送信権が開放されると、前記テキストデータを作成する通信システム。
  16. 　複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置で実施される方法であって、
    　前記群に属する複数の通信端末のうち、データを送信する権利である送信権が与えられた通信端末から送信される音声データに基づいてテキストデータを作成し、
    　前記テキストデータを作成するとテキスト化が完了した旨を、前記群に属する複数の通信端末へ通知し、
    　前記テキスト化が完了した旨の通知の後に、前記作成したテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信方法。
  17. 　複数の通信端末を対応付けて群とし、前記群に属するいずれか１つの通信端末から前記群に属するその他の通信端末への１対多の通信を提供する信号処理装置で実施される方法であって、
    　前記群に属する複数の通信端末のうち、データを送信する権利である送信権が与えられた通信端末から送信される音声データを受信し、
    　前記送信権が開放されると、前記受信した音声データに基づいてテキストデータを作成し、
    　前記作成したテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する通信方法。
  18. 　前記送信権を有する通信端末から送信される音声データをメモリに保持し、
    　前記メモリで保持される音声データに基づいて前記テキストデータを作成する請求項１６又は１７に記載の通信方法。
  19. 　前記送信権を有する通信端末から送信される音声データをメモリに保持し、
    　前記メモリに予め設定された容量の音声データが保持されるか、又は、前記容量に達する前に前記送信権が開放されると、前記メモリで保持される音声データに基づいて前記テキストデータを作成する請求項１６記載の通信方法。
  20. 　前記送信権が開放されると、前記テキストデータを作成する請求項１６記載の通信方法。
  21. 　前記テキスト化が完了した旨を、前記群に所属可能な通信端末へも通知する請求項１６記載の通信方法。
  22. 　前記テキスト化が完了した旨を通知した通信端末の少なくとも１つから送信される、前記テキストデータに基づく文字の表示を開始する開始要求に応じ、前記開始要求を送信した通信端末へ、前記テキストデータを送信する請求項１６又は２１に記載の通信方法。
  23. 　前記テキストデータを送信した通信端末の少なくとも１つから送信される、前記テキストデータに対応する音声の再生要求に応じ、前記テキストデータと対応する通話データを、前記再生要求を送信した通信端末へ送信する請求項１６乃至２２のいずれかに記載の通信方法。
  24. 　前記送信権を有する通信端末で修正されたテキストデータを受信すると、前記群に属する複数の通信端末へ表示を更新する旨を通知し、
    　前記表示を更新する旨の通知の後に、前記修正されたテキストデータを前記群に属する複数の通信端末の少なくとも１つへ送信する請求項１６乃至２３のいずれかに記載の通信方法。
  25. 　前記作成したテキストデータに対し、設定されている言語による翻訳処理を実施することで翻訳テキストデータを作成し、
    　前記翻訳テキストデータを作成すると翻訳処理が完了した旨を、前記群に属する複数の通信端末のうち、前記言語が設定されている通信端末へ通知し、
    　前記翻訳処理が完了した旨の通知の後に、前記翻訳テキストデータを送信する請求項１６乃至２４のいずれかに記載の通信方法。
  26. 　前記翻訳処理が完了した旨を通知した通信端末の少なくとも１つから送信される、前記翻訳テキストデータに基づく文字の表示を開始する開始要求に応じ、前記開始要求を送信した通信端末へ、前記翻訳テキストデータを送信する請求項２５記載の通信方法。
  27. 　前記送信権を有する通信端末で修正されたテキストデータに対し、設定されている言語による翻訳処理を実施することで翻訳テキストデータを作成し、
    　前記翻訳テキストデータを作成すると翻訳処理が完了した旨を、前記群に属する複数の通信端末のうち、前記言語が設定されている通信端末へ通知する請求項２５又は２６に記載の通信方法。
  28. 　前記群に属する複数の通信端末の少なくとも１つで、設定されている言語が切り替えられると、前記言語が切り替えられた通信端末へ、前記切り替えられた言語についての翻訳テキストデータを送信する請求項２５乃至２７のいずれかに記載の通信方法。
  29. 　請求項１乃至請求項１３のいずれかに記載の信号処理装置が備える前記各部としてコンピュータを機能させるプログラム。
  30. 　複数の通信端末で対応付けられた群に属する複数の通信端末間で、１対多の通信を実施する通信端末で実施される方法であって、
    　前記複数の通信端末のいずれかから送信された音声データのテキスト化が完了した旨のテキスト化完了通知を受信し、
    　前記受信したテキスト化完了通知に応じ、前記テキスト化により作成されたテキストデータの送信を要求する要求信号を送信し、
    　前記要求信号に応じて返信されるテキストデータを受信し、
    　前記受信したテキストデータに基づく文字を表示部に表示する通信方法。
  31. 　前記受信したテキストデータを揮発性メモリに記憶し、
    　前記揮発性メモリに記憶したテキストデータに基づく文字を前記表示部に表示する請求項３０記載の通信方法。
  32. 　前記受信したテキスト化完了通知を前記表示部に表示し、
    　前記テキスト化完了通知の表示に対する、前記テキスト化により作成されたテキストデータに基づく文字の表示要求を受け付け、
    　前記表示要求があった場合、前記要求信号を送信する請求項３０又は３１に記載の通信方法。
  33. 　前記表示部で表示される文字に対する、前記文字に対応する音声の再生要求を受け付け、
    　前記再生要求があった場合、前記テキストデータを作成する際に用いた音声データの送信を要求する音声要求信号を送信し、
    　前記音声要求信号に応じて返信される音声データを受信し、
    　前記受信した音声データに基づく音声をスピーカから再生する請求項３０乃至３２のいずれかに記載の通信方法。
  34. 　前記表示部で表示される文字に対する修正要求を受け付け、
    　前記修正要求が入力された文字が、自端末がデータを送信する権利である送信権を有する通話に属する文字であるか否かを判断し、
    　前記修正要求が入力された文字が、自端末が前記送信権を有する通話に属する文字である場合、前記テキストデータへの修正を入力するための修正フォームを前記表示部に表示し、
    　前記入力された修正に基づいてテキストデータを作成し、
    　前記作成したテキストデータを送信する請求項３０乃至３３のいずれかに記載の通信方法。
  35. 　前記テキストデータが前記複数の通信端末のいずれかにより修正されると、前記テキストデータについての表示を更新する旨の更新通知を受信し、
    　前記受信した更新通知に応じ、前記修正されたテキストデータの送信を要求する要求信号を送信し、
    　前記要求信号に応じて返信されるテキストデータを受信し、
    　前記表示部に表示されている修正前のテキストデータに基づく文字を、前記受信した修正後のテキストデータに基づく文字で書き換える請求項３０乃至３４のいずれかに記載の通信方法。
  36. 　使用する言語の設定を受け付け、
    　前記設定した言語についての情報を送信し、
    　前記作成されたテキストデータについての前記言語による翻訳処理が完了した旨の翻訳完了通知を受信し、
    　前記受信した翻訳完了通知に応じ、前記翻訳処理により作成された翻訳テキストデータの送信を要求する翻訳要求信号を送信し、
    　前記翻訳要求信号に応じて返信される翻訳テキストデータを受信し、
    　前記受信した翻訳テキストデータに基づく文字を前記表示部に表示する請求項３０乃至３５のいずれかに記載の通信方法。
  37. 　前記受信した翻訳テキストデータを揮発性メモリに記憶し、
    　前記揮発性メモリに記憶した翻訳テキストデータに基づく文字を前記表示部に表示する請求項３６記載の通信方法。
  38. 　前記受信した翻訳完了通知を前記表示部に表示し、
    　前記翻訳完了通知の表示に対する、前記翻訳処理により作成された翻訳テキストデータに基づく文字の表示要求を受け付け、
    　前記表示要求があった場合、前記翻訳要求信号を送信する請求項３６又は３７に記載の通信方法。
  39. 　前記表示部で表示される、前記翻訳テキストデータに基づく文字に対する読み上げ要求を受け付け、
    　前記読み上げ要求があった場合、前記翻訳テキストデータに基づく文字を音声データに変換し、
    　前記変換した音声データに基づく音声をスピーカから再生する請求項３６乃至３８のいずれかに記載の通信方法。
  40. 　修正されたテキストデータについての翻訳テキストデータを受信し、
    　前記表示部に表示されている修正前のテキストデータについての翻訳テキストデータに基づく文字を、前記受信した修正後のテキストデータについての翻訳テキストデータに基づく文字で書き換える請求項３６乃至３９のいずれかに記載の通信方法。
  41. 　使用する言語の設定の切り替えを受け付け、
    　切り替えた後の言語で翻訳された翻訳テキストデータの送信を要求する要求信号を送信し、
    　前記要求信号に応じて返信される翻訳テキストデータを受信し、
    　前記表示部に表示されている言語切り替え前の翻訳テキストデータに基づく文字と共に、又は書き換えて、前記受信した言語切り替え後の翻訳テキストデータに基づく文字を前記表示部に表示する請求項３６乃至４０のいずれかに記載の通信方法。
  42. 　請求項３０乃至請求項４１のいずれかに記載の処理をコンピュータに実施させるプログラム。
PCT/JP2018/021725 2017-06-16 2018-06-06 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム WO2018230414A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP18817755.4A EP3641287B1 (en) 2017-06-16 2018-06-06 Signal processing device, communication system, method implemented in signal processing device, program executed in signal processing device, method implemented in communication terminal, and program executed in communication terminal
KR1020197023457A KR102168913B1 (ko) 2017-06-16 2018-06-06 신호 처리 장치, 통신 시스템, 신호 처리 장치에서 실시되는 방법, 신호 처리 장치에서 실행되는 프로그램, 통신 단말에서 실시되는 방법, 및 통신 단말에서 실행되는 프로그램
EP22167127.4A EP4089994B1 (en) 2017-06-16 2018-06-06 Method performed by communication terminal and program executed by communication terminal
CN201880011278.5A CN110291769B (zh) 2017-06-16 2018-06-06 通信系统及方法、信号处理装置、以及可读存储介质
SG11201906536QA SG11201906536QA (en) 2017-06-16 2018-06-06 Signal processing apparatus, communication system, method performed by signal processing apparatus, program executed by signal processing apparatus, method performed by communication terminal, and program executed by communication terminal
US16/520,105 US11568154B2 (en) 2017-06-16 2019-07-23 Signal processing apparatus, communication system, method performed by signal processing apparatus, storage medium for signal processing apparatus, method performed by communication terminal, and storage medium for communication terminal to receive text data from another communication terminal in response to a unique texting completion notice
US18/090,618 US11836457B2 (en) 2017-06-16 2022-12-29 Signal processing apparatus, communication system, method performed by signal processing apparatus, storage medium for signal processing apparatus, method performed by communication terminal, and storage medium for communication terminal to receive text data from another communication terminal in response to a unique texting completion notice

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017119046A JP6318292B1 (ja) 2017-06-16 2017-06-16 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム
JP2017-119046 2017-06-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/520,105 Continuation US11568154B2 (en) 2017-06-16 2019-07-23 Signal processing apparatus, communication system, method performed by signal processing apparatus, storage medium for signal processing apparatus, method performed by communication terminal, and storage medium for communication terminal to receive text data from another communication terminal in response to a unique texting completion notice

Publications (1)

Publication Number Publication Date
WO2018230414A1 true WO2018230414A1 (ja) 2018-12-20

Family

ID=62069465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021725 WO2018230414A1 (ja) 2017-06-16 2018-06-06 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム

Country Status (7)

Country Link
US (2) US11568154B2 (ja)
EP (2) EP3641287B1 (ja)
JP (1) JP6318292B1 (ja)
KR (1) KR102168913B1 (ja)
CN (1) CN110291769B (ja)
SG (1) SG11201906536QA (ja)
WO (1) WO2018230414A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189289B2 (en) * 2016-12-05 2021-11-30 Sony Corporation Information processing device, information processing method, and information processing system
JP6318292B1 (ja) * 2017-06-16 2018-04-25 株式会社シアンス・アール 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム
US11397600B2 (en) * 2019-05-23 2022-07-26 HCL Technologies Italy S.p.A Dynamic catalog translation system
JP7284400B2 (ja) * 2019-08-29 2023-05-31 アイコム株式会社 音声通信システム、中継装置および音声中継方法
JP2021086264A (ja) * 2019-11-26 2021-06-03 凸版印刷株式会社 翻訳管理システム
CN111028837B (zh) * 2019-12-16 2022-10-04 深圳云之家网络有限公司 语音会话方法、语音识别系统及计算机存储介质
CN112272361B (zh) * 2020-10-29 2022-05-31 哈尔滨海能达科技有限公司 语音处理方法及系统
US20230385726A1 (en) * 2022-05-31 2023-11-30 Weavix, Inc. Automatic facility accident reporting augmented by worker event tracking and correlation
US20240040340A1 (en) * 2022-07-27 2024-02-01 Zoom Video Communications, Inc. Integrated push-to-talk communication
JP7396758B1 (ja) * 2023-06-27 2023-12-12 株式会社サイエンスアーツ 情報処理装置、情報処理方法および情報処理プログラム
JP7488625B1 (ja) 2023-11-15 2024-05-22 テレネット株式会社 情報処理システム、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083990A (ja) * 1999-09-09 2001-03-30 Toshiba Corp 音声認識装置および方法
JP2006050500A (ja) * 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2007165951A (ja) * 2005-12-09 2007-06-28 Mitsubishi Electric Corp 無線端末制御システムおよび無線端末
JP2008227592A (ja) * 2007-03-08 2008-09-25 Sanyo Electric Co Ltd 移動体通信機、通信システム、及び通信方法
JP2013009434A (ja) * 2011-05-24 2013-01-10 Ntt Docomo Inc サービスサーバ装置、サービス提供方法、サービス提供プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2364850B (en) * 2000-06-02 2004-12-29 Ibm System and method for automatic voice message processing
US7236580B1 (en) * 2002-02-20 2007-06-26 Cisco Technology, Inc. Method and system for conducting a conference call
US9710819B2 (en) * 2003-05-05 2017-07-18 Interactions Llc Real-time transcription system utilizing divided audio chunks
US20050144012A1 (en) * 2003-11-06 2005-06-30 Alireza Afrashteh One button push to translate languages over a wireless cellular radio
US20070088553A1 (en) * 2004-05-27 2007-04-19 Johnson Richard G Synthesized interoperable communications
JP3938379B2 (ja) * 2004-08-10 2007-06-27 富士通株式会社 電子音声会議における話者権についての情報処理方法及びプログラム、並びに無線通信携帯端末
US8660244B2 (en) * 2006-02-17 2014-02-25 Microsoft Corporation Machine translation instant messaging applications
EP1928189A1 (en) * 2006-12-01 2008-06-04 Siemens Networks GmbH & Co. KG Signalling for push-to-translate-speech (PTTS) service
US7826872B2 (en) 2007-02-28 2010-11-02 Sony Ericsson Mobile Communications Ab Audio nickname tag associated with PTT user
JP2008219297A (ja) 2007-03-01 2008-09-18 Sharp Corp １対多通信システム、送信権管理装置、送信権管理装置の制御方法、制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体
US20090135741A1 (en) * 2007-11-28 2009-05-28 Say2Go, Inc. Regulated voice conferencing with optional distributed speech-to-text recognition
US8204486B2 (en) * 2008-12-19 2012-06-19 Cox Communications, Inc. Dynamic messaging routing and audio-to-text linking for visual voicemail
JP5243646B2 (ja) 2011-05-24 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ サービスサーバ装置、サービス提供方法、サービス提供プログラム
US8886169B2 (en) * 2011-10-25 2014-11-11 At&T Intellectual Property I, Lp Apparatus and method for providing enhanced telephonic communications
US10875525B2 (en) * 2011-12-01 2020-12-29 Microsoft Technology Licensing Llc Ability enhancement
US9110891B2 (en) * 2011-12-12 2015-08-18 Google Inc. Auto-translation for multi user audio and video
US8838459B2 (en) * 2012-02-29 2014-09-16 Google Inc. Virtual participant-based real-time translation and transcription system for audio and video teleconferences
KR101907406B1 (ko) 2012-05-08 2018-10-12 삼성전자 주식회사 통신 서비스 운용 방법 및 시스템
JP6318292B1 (ja) * 2017-06-16 2018-04-25 株式会社シアンス・アール 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083990A (ja) * 1999-09-09 2001-03-30 Toshiba Corp 音声認識装置および方法
JP2006050500A (ja) * 2004-08-09 2006-02-16 Jfe Systems Inc 会議支援システム
JP2007165951A (ja) * 2005-12-09 2007-06-28 Mitsubishi Electric Corp 無線端末制御システムおよび無線端末
JP2008227592A (ja) * 2007-03-08 2008-09-25 Sanyo Electric Co Ltd 移動体通信機、通信システム、及び通信方法
JP2013009434A (ja) * 2011-05-24 2013-01-10 Ntt Docomo Inc サービスサーバ装置、サービス提供方法、サービス提供プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3641287A4 *

Also Published As

Publication number Publication date
SG11201906536QA (en) 2019-08-27
CN110291769A (zh) 2019-09-27
KR102168913B1 (ko) 2020-10-22
US11836457B2 (en) 2023-12-05
US20230153549A1 (en) 2023-05-18
CN110291769B (zh) 2021-04-20
JP2019004392A (ja) 2019-01-10
US11568154B2 (en) 2023-01-31
EP4089994B1 (en) 2024-08-14
KR20190105622A (ko) 2019-09-17
US20190347332A1 (en) 2019-11-14
EP3641287A4 (en) 2021-06-23
EP4089994A1 (en) 2022-11-16
JP6318292B1 (ja) 2018-04-25
EP3641287A1 (en) 2020-04-22
EP3641287B1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
JP6318292B1 (ja) 信号処理装置、通信システム、信号処理装置で実施される方法、信号処理装置で実行されるプログラム、通信端末で実施される方法、及び通信端末で実行されるプログラム
US11474662B2 (en) Information processing method, information processing apparatus, and information processing program
JP6236510B1 (ja) 情報処理システム、情報処理方法、および、プログラム
JPWO2016129008A1 (ja) 通信端末、メッセージ翻訳システム、メッセージ翻訳方法及びメッセージ翻訳用プログラム
US11490142B2 (en) One-to-many communication system
US9088875B2 (en) Communication terminal, communication method, and recording medium
JP7396758B1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2018074588A (ja) 情報処理システム、情報処理方法、および、プログラム
CN109583178B (zh) 一种会议协同参与方法及系统
JP7488625B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2007074233A (ja) Ｐｔｔ通信システム、ｐｔｔ通信端末、メッセージ処理サーバ及びメッセージ処理方法
JP6830933B2 (ja) 通信システム及び音声配信方法
JP7153841B2 (ja) インターカムシステム、インターカム端末、およびインターカム通話方法
JP6209665B1 (ja) 情報処理システム、情報処理方法、および、プログラム
TWI318841B (ja)
JP2021052412A (ja) 情報処理システム、情報処理方法、および、プログラム
JP2020096295A (ja) 呼制御システム
KR101948284B1 (ko) 다이렉트 음성 메시지 전송 시스템 및 방법
CN118696531A (zh) 信息处理终端、信息处理方法、信息处理程序
MX2013015382A (es) Procedimiento de recepcion de datos por una terminal movil de una red pmr.
JPS6112133A (ja) 無線呼出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18817755

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197023457

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018817755

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018817755

Country of ref document: EP

Effective date: 20200116