WO2022201820A1 - 翻訳通信システム及び端末装置 - Google Patents
翻訳通信システム及び端末装置 Download PDFInfo
- Publication number
- WO2022201820A1 WO2022201820A1 PCT/JP2022/002369 JP2022002369W WO2022201820A1 WO 2022201820 A1 WO2022201820 A1 WO 2022201820A1 JP 2022002369 W JP2022002369 W JP 2022002369W WO 2022201820 A1 WO2022201820 A1 WO 2022201820A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- language
- speech
- slot
- time slot
- translated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
- G10L21/043—Time compression or expansion by changing speed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/263—Language identification
Definitions
- the present invention relates to translation communication systems and terminal devices.
- Patent Literature 1 describes a translation communication system that can switch between the original language and the translated language in a voice call.
- the mobile phone on the receiving side receives the original language voice data in the first time slot and the translated voice data in the second time slot. Either the original speech data or the translated speech data is selected by the user's operation, and the selected speech is output from the speaker.
- the language when the calling mobile terminal is switched to another mobile terminal, the language may be switched to a language different from the language spoken up to that point.
- the user of the receiving mobile terminal manually operates the time slot according to the switching of the language in order to output the voice of the desired language from the speaker. There is a problem that it is necessary to switch selectively, and it takes time and effort.
- the present invention has been made in view of the above circumstances, and provides a technique that enables output of speech in the appropriate language between the original language speech and the translated speech without the need for manual switching of time slots. intended to provide
- a translation communication system includes a translation processing unit that generates translated speech from an original speech received by an uplink from a terminal device, and time-division multiplexed different time slots for the original speech and the translated speech.
- a slot control unit for generating slot language information indicating a language type assigned to each time slot;
- a management device communication unit that transmits in a slot and transmits the slot language information;
- a storage unit that stores information on a language used in advance in the terminal device; and the source language in the downlink.
- a terminal device communication unit that receives the voice, the translated voice, and the slot language information; a selection unit that selects the time slot corresponding to the set working language information based on the slot language information; and a terminal device including an audio output unit that outputs an audio signal of the selected time slot as audio.
- a terminal device includes a storage unit that stores information on a language used in advance, and receives an original speech and a translated speech of the original speech in different time-division multiplexed time slots.
- a communication unit that receives slot language information indicating the language type of each time slot from a management device; and a selection unit that selects the time slot corresponding to the set language information based on the slot language information.
- an audio output unit for outputting the audio signal of the selected time slot as audio.
- FIG. 1 is a diagram schematically showing a translation communication system according to an embodiment
- FIG. 2 is a diagram showing an overview of speech translation communication in the translation communication system of FIG. 1
- FIG. 2 is a diagram showing an overview of speech translation communication in the translation communication system of FIG. 1
- FIG. 2 is a diagram showing the hardware configuration and functional blocks of the mobile terminal in FIG. 1
- FIG. 2 is a diagram showing the hardware configuration and functional blocks of a management device in FIG. 1
- FIG. 5 is a diagram showing an example of a terminal management table in FIG. 4
- FIG. 10 is a sequence diagram illustrating registration processing in the translation communication system
- FIG. 10 is a sequence diagram illustrating communication processing between mobile terminals when a PTT ON operation is performed
- FIG. 4 is a diagram illustrating frame data transmitted on the downlink after header information is transmitted;
- FIG. 10 is a sequence diagram illustrating communication processing between mobile terminals when a PTT off operation is performed;
- FIG. 10 illustrates frame data transmitted on the downlink when a PTT off operation is performed;
- FIG. 10 is a sequence diagram illustrating communication processing between mobile terminals when a PTT ON operation is performed while a call channel is acquired;
- FIG. 10 is a diagram illustrating frame data transmitted on the downlink when a PTT ON operation is performed while a speech channel is released;
- FIG. 12 is a sequence diagram illustrating communication processing between mobile terminals in the second embodiment;
- FIG. 11 is a sequence diagram illustrating communication processing between mobile terminals in the third embodiment;
- FIG. 4 illustrates frame data transmitted on the downlink when sending a text message;
- FIG. 1 schematically shows a translation communication system 1 according to this embodiment.
- the translation communication system 1 includes a management device 12, a relay station 14, and three first to third mobile terminals 16A-16C, which may be collectively referred to as mobile terminals 16.
- FIG. Management device 12 and mobile terminal 16 are connected to each other via relay station 14 and communication network NW.
- the communication network NW is, for example, an IP (Internet Protocol) network.
- IP Internet Protocol
- FIG. 1 schematically shows a translation communication system 1 according to this embodiment.
- the translation communication system 1 includes a management device 12, a relay station 14, and three first to third mobile terminals 16A-16C, which may be collectively referred to as mobile terminals 16.
- FIG. Management device 12 and mobile terminal 16 are connected to each other via relay station 14 and communication network NW.
- the communication network NW is, for example, an IP (Internet Protocol) network.
- IP Internet Protocol
- the translation communication system 1 has one or more call channels. Communication in the translation communication system 1 is performed by a time division multiple access system (TDMA system). In particular, the translation communication system 1 performs downlink and uplink on different frequencies.
- the uplink and downlink each have multiple timeslots that are time division multiplexed. In this embodiment, the uplink and downlink each have two time slots, a first time slot and a second time slot.
- the mobile terminal 16 is also called an IP transceiver, PoC (Push-to-Talk over Cellular) transceiver, and performs voice communication.
- Voice communication is a push-to-talk method, and individual calls, group calls, and simultaneous calls are also possible.
- mobile terminals 16 are connected to relay stations 14 .
- half-duplex communication is used as the communication method between the relay station 14 and the mobile terminal 16 .
- the management device 12 executes sequence processing when making a call between the mobile terminals 16 .
- the management device 12 of this embodiment has a speech translation function.
- the user of the mobile terminal 16 executes a voice call with another user using another mobile terminal 16 by pressing the call button of the mobile terminal 16 .
- the call button of the mobile terminal 16 In half-duplex communication, in a plurality of mobile terminals 16 related to a certain voice call, while one of the users is pressing the call button and speaking, other users cannot speak even if they press the call button.
- FIGS. 2A and 2B show an overview of speech translation communication in the translation communication system 1.
- communication between three mobile terminals 16, that is, the first to third mobile terminals 16A to 16C is assumed, but communication between three or more mobile terminals 16 is also possible, and one-to-many group communication is possible. It may be communication.
- a first mobile terminal 16A serves a first user 18A
- a second mobile terminal 16B serves a second user 18B
- a third mobile terminal 16C serves a third user 18C.
- the first through third users 18A-18C may be collectively referred to as users 18.
- FIG. 2A shows an example of communication when the first user 18A is pressing the call button of the first mobile terminal 16A.
- FIG. 1 shows an example of communication when the first user 18A is pressing the call button of the first mobile terminal 16A.
- FIGS. 2A and 2B shows a communication example when the third user 18C presses the call button of the third mobile terminal 16C. Communication between each mobile terminal 16 and the management device 12 is performed via the relay station 14, but the relay station 14 is omitted in FIGS. 2A and 2B for simplicity of explanation.
- the original voice is transmitted from the first mobile terminal 16A to the management device 12 using an uplink frequency.
- Information on the language used by each mobile terminal 16 is registered in advance in the management device 12 .
- the management device 12 registers English as the working language of the first and second mobile terminals 16A and 16B, and Japanese as the working language of the third mobile terminal 16C.
- the management device 12 executes translation processing for translating the received original English voice into Japanese, which is the working language of the third mobile terminal 16C.
- the management device 12 transmits the original English speech and the translated Japanese speech in different time slots using the downlink frequency to the second and third mobile terminals 16B and 16C.
- the second mobile terminal 16B selects a time slot that uses the original English voice, which is the language used by the second mobile terminal 16B, from among the downlink time slots, and reproduces the original English voice, thereby outputting the voice of "Hello". do.
- the third mobile terminal 16C selects a time slot that uses the translated voice of Japanese, which is the language used by the third mobile terminal 16C, from the downlink time slots, and reproduces the translated voice of "Hello” in Japanese. Outputs the speech of "Hello” which is a translation of the word.
- the transmission start timing and end timing of the translated voice translated into Japanese at the third mobile terminal 16C are the same as the transmission start timing and end timing of the original language voice at the second mobile terminal 16B. It will be delayed compared to the timing.
- the voice is transmitted from the third mobile terminal 16C to the management device 12 using the uplink frequency.
- the management device 12 executes translation processing for translating the received voice into English, which is the language used by the first and second mobile terminals 16A and 16B.
- the management device 12 transmits the original Japanese speech and the translated English speech to the first and second mobile terminals 16A and 16B using downlink frequencies in different time slots.
- the first and second mobile terminals 16A and 16B select a time slot using the translated English voice, which is their own working language, from the downlink time slots, and reproduce the English translated voice to say, "Hello. ”, which is the English translation of “Hello”.
- FIG. 3 shows the hardware configuration and functional blocks of the mobile terminal 16.
- the mobile terminal 16 includes a CPU (Central Processing Unit) 110 , a user IF (Interface) 120 , a communication IF 130 , a voice IF 140 and a storage section 150 .
- CPU 110 , user IF 120 , communication IF 130 , audio IF 140 and storage unit 150 are connected by bus 160 .
- the user IF 120 is an interface for the user 18.
- the user IF 120 receives information from the user 18 and presents information to the user 18 .
- Communication IF 130 is connected to communication network NW and communicates with relay station 14 . Furthermore, the communication IF 130 communicates with the management device 12 via the relay station 14 .
- the storage unit 150 is a medium for storing information, and is, for example, a hard disk or an SSD (Solid State Drive).
- the CPU 110 includes a control unit 111 and a selection unit 112.
- User IF 120 includes input unit 121 and display unit 122 . Although omitted in FIG. 3, the user IF 120 may include a light-emitting device (light-emitting section) such as an LED.
- Communication IF 130 includes a communication unit 131 .
- the audio IF 140 is an interface for inputting and outputting call audio, and includes an audio input unit 141 and an audio output unit 142 .
- the voice input unit 141 is composed of, for example, a microphone
- the voice output unit 142 is composed of, for example, a speaker.
- the control unit 111 executes various controls in the mobile terminal 16 .
- the selection unit 112 selects a time slot using a language preset in the mobile terminal 16 based on slot language information, which will be described later, to determine which of the received original language speech and the translated speech is to be used. to select.
- the input unit 121 includes various buttons operated by the user 18 of the mobile terminal 16, an input device such as a touch panel, and a call button that is pressed when transmitting voice.
- the PTT Push-to-Talk
- the PTT ON state which is the transmission state
- the call button It returns to the PTT OFF state which is the receiving state.
- the operation of pressing the call button to turn on the PTT may be referred to as the PTT on operation
- the operation of releasing the call button to turn the PTT off may be referred to as the PTT off operation.
- the pressed state of the call button is detected by the input unit 121 and input to the control unit 111 .
- the display unit 122 is an interface, such as a display, for displaying the settings of the mobile terminal 16 and the call status.
- the communication unit 131 can communicate with other mobile terminals 16 using a mobile phone system, a wireless system for business use, a wireless LAN (Local Area Network) connected to the Internet, or the like.
- the communication unit 131 transmits and receives voice data to and from another mobile terminal 16 using a half-duplex communication method.
- the communication unit 131 of this embodiment is an example of a terminal device communication unit.
- the voice input unit 141 picks up voice based on the utterances of the user 18 of the mobile terminal 16 in order to make a voice call.
- the voice output unit 142 outputs call voice.
- the audio output unit 142 outputs the audio signal of the time slot selected by the selection unit 112 as audio.
- the storage unit 150 stores various programs for executing various controls in the control unit 111.
- the storage unit 150 stores the mobile terminal name, the individual ID for identifying the mobile terminal 16, the group ID for identifying the group to which the mobile terminal 16 belongs, and the languages used in the mobile terminal 16 (Japanese, English, Spanish, etc.). etc.).
- the mobile terminal name, individual ID, group ID and language information are set in advance.
- FIG. Management device 12 includes CPU 200 , communication IF 210 , and storage unit 220 .
- CPU 200 , communication IF 210 and storage unit 220 are connected by bus 230 .
- the CPU 200 executes processing in the management device 12.
- CPU 200 includes a control section 201 and a translation processing section 202 .
- Control section 201 includes communication control section 203 , channel control section 204 and slot control section 205 .
- the translation processing unit 202 generates translated speech by translating the original speech received from one of the plurality of mobile terminals 16 into a language different from the language used for the original speech.
- the communication control unit 203 executes various controls necessary for communication with the mobile terminal 16 in half-duplex communication.
- the channel control unit 204 executes control processing related to use of the communication channel (relay station 14).
- the slot control unit 205 allocates the original speech and the translation speech to different time slots multiplexed by time division.
- the slot control unit 205 of this embodiment allocates the original speech to the first time slot and the translated speech to the second time slot.
- Slot control section 205 also generates slot language information indicating the language type assigned to each time slot.
- the communication IF 210 is connected to the communication network NW and communicates with the relay station 14. Furthermore, communication IF 210 communicates with mobile terminal 16 via relay station 14 .
- Communication IF 210 includes a communication unit 211 that transmits and receives various data. For example, the communication unit 211 transmits source language speech on the uplink. In addition, the communication unit 211 transmits the original language speech and the translated speech in the time slots assigned to each, and also transmits the slot language information on the downlink.
- the communication unit 211 of this embodiment is an example of a management device communication unit.
- the storage unit 220 stores various programs for executing various controls and processes in the control unit 201 and the translation processing unit 202.
- the storage unit 220 is a medium for storing information, such as a hard disk or an SSD.
- Storage unit 220 includes terminal management table 221 .
- Various information about the mobile terminal 16 is recorded in the terminal management table 221 .
- FIG. 5 shows an example of the terminal management table 221.
- the terminal management table 151 stores the mobile terminal name, individual ID, group ID, and used language information for each mobile terminal 16 .
- the control unit 111 recognizes that the mobile terminal is located within the coverage of the relay station 14, and starts location registration processing. Start.
- the communication unit 131 transmits to the relay station 14 a location registration request message including the individual ID, group ID, and used language information of its own terminal (step S12).
- relay station 14 Upon receiving the location registration request message, relay station 14 transfers the received location registration request message to management device 12 in order to determine whether location registration is permitted (step S13).
- the communication control unit 203 of the management device 12 determines whether or not to permit the location registration of the first mobile terminal 16A, that is, whether or not to permit the first mobile terminal 16A to communicate in its own system (step S14). .
- communication unit 211 transmits a location registration permission response message to relay station 14 (step S15).
- the communication control unit 203 additionally registers in the storage unit 220 the individual ID, the group ID, and the used language information of the first mobile terminal 16A.
- the relay station 14 transfers the location registration permission response message to the first mobile terminal 16A (step S16).
- the control unit 111 of the first mobile terminal 16A that has received the location registration permission response message completes location registration (step S17). As a result, a call can be made in the coverage (site) of the wireless communication system. After that, the registration process S10 ends. By performing the same operation in the second and third mobile terminals 16B and 16C, it becomes possible to make calls at the same site.
- FIG. 7 shows an example in which the first mobile terminal 16A transmits an utterance.
- the downlink comprises a first time slot TSa and a second time slot TSb.
- Communication between each mobile terminal 16 and the management device 12 is performed via the relay station 14, but the relay station 14 is omitted in FIG. 7 to simplify the explanation.
- the relay station 14 is omitted.
- the first mobile terminal 16A When the first mobile terminal 16A detects a PTT ON operation from the input unit 121 (step S101), it starts a voice call (group call). Next, the communication unit 131 transmits a voice transmission start request message including the individual ID and group ID of its own terminal to the management device 12 to request acquisition of a communication channel (step S102).
- the communication control unit 203 of the management device 12 determines whether or not the communication is possible (step S103). When permitting communication (acquisition of a call channel), the channel control unit 204 starts transmission using the call channel (relay station 14) (step S104A). At the same time, the communication unit 211 sends the transmission start permission response message to the first mobile terminal 16A and the other mobile terminals 16 (second and third mobile terminals 16B and 16C) waiting with the group ID designated by the first mobile terminal 16A. (step S104B).
- This transmission start permission response message includes an OK message in response to the voice transmission start request message, the individual ID and group ID of the source mobile terminal 16 (first mobile terminal 16A), channel information indicating the frequency of the communication channel to be used, uplink uplink slot designation information for designating an uplink time slot for transmitting voice, and language information for each mobile terminal 16 .
- the control unit 111 of the first mobile terminal 16A determines an uplink time slot based on the uplink slot designation information (step S105).
- the other mobile terminals 16 within the same site that are on standby with the group ID specified by the first mobile terminal 16A recognize that a call request to their respective terminals has been sent upon receiving the transmission start permission response message. do.
- the control unit 111 of each mobile terminal 16 Upon receiving the transmission start permission response message, the control unit 111 of each mobile terminal 16 starts receiving (frequency switching) operation of the designated call channel based on the channel information (step S106). Since the call button continues to be pressed while the specified call channel is set, the communication unit 131 of the first mobile terminal 16A starts voice transmission in the specified call channel and time slot, and the header information is transmitted (step S107).
- This header information indicates that it is a voice transmission start message, and includes the individual ID and group ID of the first mobile terminal 16A that is the transmission source.
- the translation processing unit 202 of the management device 12 refers to the information of the language used set in the other mobile terminal 16 using the terminal management table 221, thereby obtaining the translated language.
- the type is determined (step S108).
- the translation processing unit 202 determines to translate into Japanese, which is the working language of the third mobile terminal 16C.
- the slot control unit 205 assigns the original language speech and the translated speech to different time slots based on this determination result, and generates slot language information indicating the language type assigned to each time slot (step S109).
- the slot control unit 205 designates the downlink first time slot TSa as the time slot for the original English speech, and designates the second time slot TSb as the time slot for the translated Japanese speech.
- the communication unit 211 adds slot language information to the received header information, and transmits this header information to each mobile terminal 16 in the first downlink time slot TSa, which is the time slot for original language speech (step S110). .
- slot language information is added to header information transmitted at the beginning of transmission, but the present invention is not limited to this.
- the time slot for transmitting the slot language information may be a time slot other than the time slot for the source language speech.
- each time indicated in the slot language information of the header information is received.
- the language used in the slot is compared with the language set in the own terminal.
- the selectors 112 of the second and third mobile terminals 16B and 16C select, as reception time slots, time slots that use a language that matches the set working language, and start reception operations in those reception time slots. (step S111).
- the communication unit 131 of the first mobile terminal 16A transmits the original English voice based on the speech of the first user 18A in FIG. 2A to the management device 12 in the uplink time slot (step S112).
- the translation processing unit 202 of the management device 12 translates the received original speech into the language determined in step S108 (step S113).
- the original English speech is translated into the translated Japanese speech.
- the communication unit 211 transmits the voice of each language to the second and third mobile terminals 16B and 16C in separate time slots for each language (step S114). Using the first time slot TSa, the communication unit 211 repeats (returns) the original English voice as it is (step S114A). The voice output unit 142 of the second mobile terminal 16B outputs English voice by reproducing the original voice received from the first time slot TSa determined as the receiving time slot. On the other hand, the third mobile terminal 16C discards the original speech received from the first time slot TSa different from the second time slot TSb determined as the receiving time slot.
- the communication unit 211 transmits an IDLE message containing no voice data in the second time slot TSb immediately after the start (step S114B).
- the communication unit 211 transmits the original language speech in English following step S114A in the first time slot TSa (step S114C).
- the communication unit 211 transmits the translated speech in the second time slot TSb (step S114D).
- the voice output unit 142 of the third mobile terminal 16C outputs Japanese voice by reproducing the translated voice received from the second time slot TSb.
- the second mobile terminal 16B discards the translated speech received from the second time slot TSb. Thereafter, the communication unit 211 transmits the original English voice and translated voice using the first and second time slots TSa and TSb, respectively, until the first user 18A finishes speaking and the PTT OFF operation is performed (step S114E, S114F, etc.) are repeated. This makes it possible to carry out group communication using multiple languages over a call channel.
- FIG. 8 illustrates frame data transmitted on the downlink after the header information is transmitted in step S110.
- the frame data of FIG. 8 includes a first time slot TSa and a second time slot TSb.
- the frame data in FIG. 8 includes header information, slot language information Slot, IDLE message, original speech, IDLE message, original speech, translated speech (hereinafter, repetition of original speech and translated speech) in order from the beginning of the time slot.
- slot language information Slot slot language information Slot
- IDLE message original speech
- IDLE message original speech
- original speech original speech
- translated speech hereinafter, repetition of original speech and translated speech
- the communication unit 131 manages the transmission end signal. It is transmitted to the device 12 (step S202).
- the communication unit 211 of the management device 12 first transmits a call end message for notifying the end of the call using the first time slot TSa for the source language voice for which voice data transmission has been completed (step S203).
- the control unit 111 of the second mobile terminal 16B that has received the end-of-call message determines the end of reception and puts the speaker into a mute state.
- the communication unit 211 continues transmission of the translated voice in the second time slot TSb of the different language (step S203). subsequent step S114). While the transmission of the translated speech continues, the communication unit 211 sets an IDLE message in the first time slot TSa and transmits it to the first and second mobile terminals 16A and 16B (step S204).
- the communication unit 211 transmits the end-of-call message in the second time slot TSb for translated voice (step S205).
- the control unit 111 of the third mobile terminal 16C that has received the end-of-call message determines the end of reception and puts the speaker into a mute state. This ends the call in all time slots.
- the call channel acquisition state is continued for a certain period of time.
- the communication unit 211 transmits an IDLE message to each mobile terminal 16 (step S206).
- the IDLE message notification state in which the call in all time slots has ended is a state in which all mobile terminals 16 can start voice transmission (call channel acquisition state).
- the first mobile terminal 16A When the first mobile terminal 16A performs the PTT off operation, the first mobile terminal 16A transmits an end-of-call message (end-of-call MSG) on the uplink.
- the management device 12 When receiving the end-of-call message, the management device 12 transmits the end-of-call message in the first downlink time slot TSa that appears most recently. Thereafter, an IDLE message is transmitted in the first time slot TSa.
- the translated voice A is transmitted until the translation processing of the original voice A from the first mobile terminal 16A is completed. Thereafter, an IDLE message is transmitted in the second time slot TSb.
- FIG. 11 begins with each mobile terminal 16 acquiring a call channel.
- Steps S302 to S309 are basically the same as steps S107 to S114 in FIG. 7, except for points to be specifically mentioned, and thus description thereof may be omitted.
- the communication unit 131 of the third mobile terminal 16C outputs voice as a response to the speech of the first mobile terminal 16A.
- Transmission is started (step S302).
- the third mobile terminal 16C uses Japanese, which is a language different from the language used by the first mobile terminal 16A.
- Voice transmission by the third mobile terminal 16C uses header information at the beginning of the transmission data, as in voice transmission by the first mobile terminal 16A.
- the management device 12 executes translation language determination processing (step S303), time slot designation processing for each language (step S304), and header information transmission processing to which language information for each time slot is added (step S305).
- step S304 the slot control unit 205 designates the downlink first time slot TSa as the time slot for the original Japanese speech, and designates the second time slot TSb as the time slot for the translated English speech.
- the control units 111 of the first and second mobile terminals 16A and 16B determine the second time slot TSb as the receiving time slot based on the slot language information (step S306).
- the communication unit 131 of the third mobile terminal 16C transmits the original Japanese voice based on the speech of the third user 18C in FIG. 2B to the management device 12 in the uplink time slot (step S307).
- the translation processing unit 202 of the management device 12 executes translation processing for translating the original Japanese speech into the translated English speech (step S308).
- the communication unit 211 executes transmission processing of the original language speech and the translated speech (step S309).
- the communication unit 211 repeats (returns) the original speech as it is using the first time slot TSa (steps 309A and 309C).
- both the first and second mobile terminals 16A and 16B select the second time slot TSb as the receiving time slot. Therefore, the first and second mobile terminals 16A and 16B discard the original speech.
- the communication unit 211 transmits the IDLE message in the second time slot TSb when the translation processing is not completed (step S309B).
- the communication section 211 transmits the translated voice in the second time slot TSb (step 309D).
- the speech output units 142 of the first and second mobile terminals 16A and 16B output English speech by reproducing the translated speech received from the second time slot TSb.
- the communication unit 211 repeats transmission of the original language voice and the translated voice.
- each time the mobile terminal 16 that performs the PTT ON operation and speaks is switched the languages assigned to the downlink first and second time slots TSa and TSb may differ.
- slot language information is transmitted to each mobile terminal 16 in steps S110 and S305. This makes it possible to grasp the language used in each time slot based on the slot language information. Therefore, each mobile terminal 16 can determine an appropriate reception time slot without requiring an operation such as manually switching the reception time slot.
- the third mobile terminal 16C When the third mobile terminal 16C performs the PTT ON operation in the speech channel acquisition state, the third mobile terminal 16C transmits its own header information (header information C) on the uplink.
- the management device 12 that has received the header information C determines the time slots to be used for each language. In the state where the communication channel is acquired, the management device 12 continues to use the first time slot TSa that has been used for the source language speech A until then for the original language speech, and moves the first time slot TSa to the third position. It is determined as the time slot for the language voice (original voice C) of the terminal 16C.
- the management device 12 transmits the header information C and the slot language information Slot on the downlink using the first time slot TSa. After that, the management device 12 transmits the original language speech C in the first time slot TSa and the translated speech (translated speech C) in the second time slot TSb, as described above with reference to FIG.
- each mobile terminal 16 can confirm and select the time slot it should receive by referring to the slot language information. It should be noted that even when a call channel is newly acquired, the same time slot allocation as the previous communication may continue to be used without switching the time slots for the original language speech and the translated speech. Even in this case, it is possible to select an appropriate time slot by referring to the slot language information.
- the management device 12 transmits slot language information indicating the language type assigned to each time slot to the mobile terminal 16 . Therefore, based on the slot language information, the mobile terminal 16 can automatically select the reception time slot corresponding to the language information preset in the mobile terminal 16, and output the desired voice from the selected time slot. do. According to this configuration, it is possible to output speech in an appropriate language between the original language speech and the translated speech without requiring manual switching of time slots.
- the communication unit 131 of the mobile terminal 16 transmits language information including information on the language set in the mobile terminal 16 to the management device 12 , and the translation processing unit 202 receives the language information transmitted from the terminal device 16 . Based on the used language information obtained, the type of language after translation is determined. According to this configuration, since the type of language after translation is predetermined in the translation processing unit 202, it is possible to easily determine the type of language after translation.
- the transmission/reception timing of the translated voice is basically delayed compared to the transmission/reception timing of the original voice. Therefore, for example, it is predicted that the following disadvantages (1) and (2) will occur.
- the translation processing unit 202 speeds up the reproduction speed of the translation language voice data after the transmission of the original language voice is completed. This makes it possible to reduce the delay until the reception of the translated speech is completed.
- Steps S401 to S403 and S405 to S407 are basically the same as steps S201 to S203 and S204 to S206 in FIG. 9 described above, except for points that are specifically mentioned, and thus description thereof may be omitted.
- the translation processing unit 202 of the management device 12 reduces the playback speed of the translated speech generated in the translation process from the playback speed of the translated speech that was transmitted before the transmission of the original speech ended. also faster. For example, the translation processing unit 202 speeds up the playback speed of the translated voice as long as the called party can hear it. For example, when the transmission end signal is received in step S402 and the end of transmission of the original language speech is confirmed, the translation processing unit 202 speeds up the reproduction speed of the translated speech.
- the translation processing unit 202 may detect the beginning and end of sentences and words and adjust the timing at which the playback speed of the translated speech changes so that the increase in playback speed does not make it difficult to hear.
- the transmission/reception timing of the translated speech is basically delayed with respect to the transmission/reception timing of the original language speech.
- the time slot for the original speech is no longer used, and the IDLE message is sent in the time slot for the original speech.
- the original-language time slots that are no longer used after the original-language transmission ends are effectively utilized, and while the delayed translated voice is being transmitted, the original-language time slots are used to replace IDLE messages. send a text message to By viewing the text message in addition to the translated voice, it is possible to increase the recipient's recognition and understanding of the translated language.
- a text reception request for requesting reception of text data is added to the location registration request message in step S12 of FIG. .
- the management device 12 Upon receiving this text reception request, the management device 12 additionally registers the text reception request when notifying the relay station 14 of the location registration permission response message in step S15.
- Step S501 to S503 are basically the same as steps S201 to S203 in FIG. 9 described above, except for points to be specifically mentioned, and thus description thereof may be omitted.
- the translation processing unit 202 of the management device 12 converts the translation result into text data (step S504).
- the first and second time slots TSa and TSb are in use for transmission of the original language speech and translated speech, respectively.
- the management device 12 uses the free first time slot TSa to transmit text data in the translation language.
- the slot control unit 205 sets both the first and second time slots TSa and TSb to Japanese time slots, and changes the corresponding language of the first time slot TSa (step S505).
- the slot control unit 205 designates the first time slot TSa as a time slot for Japanese text data, and designates the second time slot TSb as a time slot for translation speech (Japanese speech).
- the slot control unit 205 regenerates slot language information indicating that both the first and second time slots TSa and TSb are Japanese time slots.
- the slot control unit 205 designates the first time slot TSa as the time slot for translation voice (Japanese voice), and designates the second time slot TSb may be designated as a time slot for Japanese text data.
- the communication unit 211 transmits this regenerated slot language information in the first time slot TSa (step S506).
- the control unit 111 of the third mobile terminal 16C that has received this slot language information recognizes that the transmission of text data of the translated speech will start in the first time slot TSa.
- the selection unit 112 selects both the first and second time slots TSa and TSb as reception time slots based on the received slot language information (step S507). That is, the third mobile terminal 16C, which has been receiving only the translated voice in one time slot, switches to receiving operation in two time slots. The third mobile terminal 16C continues to receive the translated speech in the second time slot TSb and newly receives the text data in the first time slot TSa.
- the communication unit 211 transmits text data in the first time slot TSa (steps S508A and S508B). When the transmission of the translated voice and text data is completed, the communication unit 211 transmits a call end message (step S509).
- the display unit 122 of the third mobile terminal 16C displays the text data when the reception of all the text data is completed (step S510).
- the slot language information Slot2 is transmitted in the next first time slot TSa.
- This slot language information Slot2 indicates that the first time slot TSa is a Japanese text time slot and the second time slot TSb is a Japanese voice time slot.
- the translated language is transmitted in the second time slot TSb, and the text data TEXT is transmitted in the first time slot TSa.
- the end-of-call message is transmitted in the second time slot TSb. Thereafter, both the first and second time slots TSa and TSb are in the IDLE state.
- the translation processing unit 202 of the management device 12 generates text data of translated speech.
- the slot control unit 205 regenerates slot language information in which the time slot used for original language speech is used as the time slot for text data.
- the communication unit 211 transmits the text data and the translated voice in different time slots, and also transmits the regenerated slot language information.
- the selector 112 of the mobile terminal 16 selects time slots for the text data and the translated voice based on the regenerated slot language information. Display unit 112 displays the received text data. According to this configuration, it is possible to improve the degree of recognition and understanding of the translation language by the user 18 by referring to the text data.
- the downlink has two time slots, a first time slot and a second time slot, but is not so limited. For example, more than two timeslots may be used in the downlink.
- voices in two languages English and Japanese are communicated in two downlink time slots, but this is not the only option.
- audio in more than two languages may be communicated in more than two downlink timeslots.
- the slot language information is communicated in the first time slot TSa in the embodiment, it is not limited to this, and may be communicated in the second time slot TSb, for example.
- the present invention relates to translation communication systems and terminal devices.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mobile Radio Communication Systems (AREA)
- Machine Translation (AREA)
Abstract
翻訳通信システム(1)は、原語音声の翻訳音声を生成する翻訳処理部と、各タイムスロットに割り当てた言語種別を示すスロット言語情報を生成するスロット制御部と、ダウンリンクで、原語音声及び翻訳音声をそれぞれ割り当てられたタイムスロットで送信するとともに、スロット言語情報を送信する管理装置通信部と、を含む管理装置(12)と、端末装置(16)に予め設定された使用言語の情報を記憶する記憶部と、ダウンリンクで原語音声、翻訳音声及びスロット言語情報を受信する端末装置通信部と、スロット言語情報に基づいてタイムスロットを選択する選択部と、選択されたタイムスロットの音声信号を音声として出力する音声出力部と、を含む端末装置(16)と、を備える。
Description
本発明は、翻訳通信システム及び端末装置に関する。
複数の端末装置間で通話するグループ通信において、各々の端末装置から異なる言語で送信された音声を翻訳装置が翻訳して他の端末装置に送信する翻訳通信システムが開発されている。例えば、特許文献1には、音声通話において、原語と翻訳された言語のいずれにも切替えることができる翻訳通信システムが記載される。特許文献1に開示された翻訳通信システムでは、着呼側の携帯電話機は、第1のタイムスロットにより原語の音声データを受信し、第2のタイムスロットにより翻訳音声データを受信する。ユーザの操作により原語の音声データ及び翻訳音声データのいずれかが選択されて、その音声がスピーカから出力される。
翻訳通信システムでは、発呼する移動端末が別の移動端末に切り替わるのに伴い、それまでに発話されていた言語とは異なる言語に切り替わる場合がある。この場合、上述したような従来の翻訳通信システムでは、着呼する移動端末において、ユーザは所望の言語の音声をスピーカから出力させるために、言語が切り替わったことに合わせてタイムスロットを手動動作で選択的に切り替える必要があり、その手間がかかるという問題があった。
本発明は、上述の事情に鑑みてなされたものであり、タイムスロットを手動で切り替える手間を要せずに、原語音声と翻訳音声とのうち適切な言語の音声の出力を可能にする技術を提供することを目的とする。
本発明のある態様の翻訳通信システムは、端末装置からアップリンクで受信した原語音声の翻訳音声を生成する翻訳処理部と、時分割多重された異なるタイムスロットに前記原語音声と前記翻訳音声とを割り当て、各タイムスロットに割り当てた言語種別を示すスロット言語情報を生成するスロット制御部と、前記アップリンクとは異なる周波数のダウンリンクで、前記原語音声と前記翻訳音声とをそれぞれ割り当てられた前記タイムスロットで送信するとともに、前記スロット言語情報を送信する管理装置通信部と、を含む管理装置と、前記端末装置に予め設定された使用言語の情報を記憶する記憶部と、前記ダウンリンクで前記原語音声と前記翻訳音声、及び前記スロット言語情報を受信する端末装置通信部と、前記スロット言語情報に基づいて、前記設定された使用言語の情報に対応する前記タイムスロットを選択する選択部と、前記選択されたタイムスロットの音声信号を音声として出力する音声出力部と、を含む端末装置と、を備える。
本発明の別の態様の端末装置は、予め設定された使用言語の情報を記憶する記憶部と、時分割多重された異なるタイムスロットで原語音声と、前記原語音声の翻訳音声とを受信するとともに、各タイムスロットの言語種別を示すスロット言語情報を、管理装置から受信する通信部と、前記スロット言語情報に基づいて、前記設定された使用言語の情報に対応する前記タイムスロットを選択する選択部と、前記選択されたタイムスロットの音声信号を音声として出力する音声出力部と、を備える。
なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、タイムスロットを手動で切り替える手間を要せずに、原語音声と翻訳音声とのうち適切な言語の音声を出力することが可能になる。
以下、本発明の実施の形態について、図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(第1実施形態)
図1は、本実施形態に係る翻訳通信システム1を模式的に示す。翻訳通信システム1は、管理装置12と、中継局14と、移動端末16と総称する場合がある3台の第1~第3移動端末16A~16Cと、を含む。管理装置12及び移動端末16は、中継局14及び通信ネットワークNWを介して互いに接続されている。通信ネットワークNWは、例えば、IP(Internet Protocol)ネットワークである。なお、図1の例では、簡略化のため、1台の中継局14のみが示されているが、2台以上の中継局が設けられてもよい。同様に、図1の例では、3台の移動端末16A~16Cが示されているが、2台以上の移動端末16が設けられてもよい。本実施形態の移動端末16は、端末装置の一例である。
図1は、本実施形態に係る翻訳通信システム1を模式的に示す。翻訳通信システム1は、管理装置12と、中継局14と、移動端末16と総称する場合がある3台の第1~第3移動端末16A~16Cと、を含む。管理装置12及び移動端末16は、中継局14及び通信ネットワークNWを介して互いに接続されている。通信ネットワークNWは、例えば、IP(Internet Protocol)ネットワークである。なお、図1の例では、簡略化のため、1台の中継局14のみが示されているが、2台以上の中継局が設けられてもよい。同様に、図1の例では、3台の移動端末16A~16Cが示されているが、2台以上の移動端末16が設けられてもよい。本実施形態の移動端末16は、端末装置の一例である。
翻訳通信システム1は、1チャネル以上の通話チャネルを有する。翻訳通信システム1での通信は、時分割多元接続方式(TDMA方式)で行なわれる。特に、翻訳通信システム1は、ダウンリンク及びアップリンクをそれぞれ異なる周波数で行う。アップリンク及びダウンリンクは、時分割多重された複数のタイムスロットをそれぞれ有する。本実施形態では、アップリンク及びダウンリンクは、第1タイムスロット及び第2タイムスロットの2つのタイムスロットをそれぞれ有する。
移動端末16は、IPトランシーバ、PoC(Push-to-Talk over Cellular)トランシーバとも呼ばれ、音声通信を実行する。音声通信はプッシュ・ツー・トーク方式であり、個別呼出、グループ呼出、一斉呼出も可能である。このような音声通信を実行するために、移動端末16は中継局14に接続される。本実施形態では、中継局14と移動端末16との間における通信方式として、半二重通信が使用される。管理装置12は、移動端末16間で通話する際のシーケンス処理を実行する。また、本実施形態の管理装置12は、音声の翻訳機能を有する。
このような構成において、移動端末16のユーザは、移動端末16の通話ボタンを押下することによって、他の移動端末16を使用する他のユーザとの音声通話を実行する。半二重通信では、ある音声通話に係る複数の移動端末16において、いずれかのユーザが通話ボタンを押下し発話している間にわたって、他のユーザは通話ボタンを押しても発話できない。
図2A及び図2Bは、翻訳通信システム1における音声翻訳通信の概要を示す。ここでは、第1~第3移動端末16A~16Cという3台の移動端末16間の通信を前提とするが、3台以上の移動端末16間の通信であってもよく、1対多のグループ通信であってもよい。第1移動端末16Aは第1ユーザ18Aに使用され、第2移動端末16Bは第2ユーザ18Bに使用され、第3移動端末16Cは第3ユーザ18Cに使用される。第1~第3ユーザ18A~18Cは、ユーザ18と総称される場合がある。図2Aは第1ユーザ18Aが第1移動端末16Aの通話ボタンを押下しているときの通信例を示す。図2Bは第3ユーザ18Cが第3移動端末16Cの通話ボタンを押下しているときの通信例を示す。なお、各移動端末16と管理装置12との間の通信は、中継局14を経由して行われるが、説明を簡潔にするため、図2A及び図2Bにおいて中継局14を省略している。
図2Aに示すように、第1ユーザ18Aが例えば「Hello」などの英語の音声を発話すると、その原語音声がアップリンク周波数を用いて第1移動端末16Aから管理装置12に送信される。管理装置12には、各移動端末16の使用言語の情報が予め登録されている。例えば、管理装置12は、第1及び第2移動端末16A及び16Bの使用言語を英語で登録し、第3移動端末16Cの使用言語を日本語で登録している。管理装置12は、受信した英語の原語音声に対し、第3移動端末16Cの使用言語である日本語に翻訳するための翻訳処理を実行する。管理装置12は、英語の原語音声と翻訳後の日本語の翻訳音声とを異なるタイムスロットでダウンリンク周波数を用いて第2及び第3移動端末16B及び16Cに送信する。第2移動端末16Bは、ダウンリンクのタイムスロットのうち自身の使用言語である英語の原語音声を使用するタイムスロットを選択し、英語の原語音声を再生することにより、「Hello」の音声を出力する。第3移動端末16Cは、ダウンリンクのタイムスロットのうち自身の使用言語である日本語の翻訳音声を使用するタイムスロットを選択し、日本語の翻訳音声を再生することにより、「Hello」の日本語による翻訳である「こんにちは」の音声を出力する。この場合、翻訳には時間を要するため、第3移動端末16Cでの日本語に翻訳された翻訳音声の送信開始タイミング及び終了タイミングは、第2移動端末16Bでの原語音声の送信開始タイミング及び終了タイミングに比べると遅れることになる。
図2Bに示すように、第3ユーザ18Cが例えば「こんにちは」などの日本語の音声を発話すると、その音声がアップリンク周波数を用いて第3移動端末16Cから管理装置12に送信される。管理装置12は、受信した音声に対し、第1及び第2移動端末16A及び16Bの使用言語である英語に翻訳するための翻訳処理を実行する。管理装置12は、日本語の原語音声と翻訳後の英語の音声とを異なるタイムスロットでダウンリンク周波数を用いて第1及び第2移動端末16A及び16Bに送信する。第1及び第2移動端末16A及び16Bは、ダウンリンクのタイムスロットのうち自身の使用言語である英語の翻訳音声を使用するタイムスロットを選択し、英語の翻訳音声を再生することにより、「こんにちは」の英語による翻訳である「Hello」の音声を出力する。
図3は、移動端末16のハードウェア構成および機能ブロックを示す。移動端末16は、CPU(Central Processing Unit)110、ユーザIF(Interface)120、通信IF130、音声IF140、記憶部150を含む。CPU110、ユーザIF120、通信IF130、音声IF140、記憶部150は、バス160によって接続される。
ユーザIF120は、ユーザ18に対するインターフェースである。ユーザIF120は、ユーザ18からの情報を受けつけたり、ユーザ18に情報を提示したりする。通信IF130は、通信ネットワークNWと接続され、中継局14と通信する。さらに、通信IF130は、中継局14経由で管理装置12と通信する。記憶部150は、情報を記憶する媒体であり、例えば、ハードディスク、SSD(Solid State Drive)である。
CPU110は、制御部111と、選択部112と、を含む。ユーザIF120は入力部121及び表示部122を含む。なお、図3では省略しているが、ユーザIF120はLED等の発光デバイス(発光部)を含んでいてもよい。通信IF130は、通信部131を含む。音声IF140は通話音声を入出力するためのインターフェースであり、音声入力部141及び音声出力部142を含む。音声入力部141は、例えばマイクロフォン(マイク)で構成されており、音声出力部142は、例えばスピーカで構成されている。
制御部111は、移動端末16における各種制御を実行する。選択部112は、後述のスロット言語情報に基づいて、その移動端末16で事前に設定された使用言語を使用するタイムスロットを選択することにより、受信した原語音声及び翻訳音声のいずれを使用するかを選択する。
入力部121は、移動端末16のユーザ18が操作するための各種ボタン、タッチパネル等の入力デバイス、音声を送信する際に押下される通話ボタンを含む。例えば、受信状態であるPTT(Push-to-Talk)オフ状態で通話ボタンが押下されると、押下され続けている期間に渡り送信状態であるPTTオン状態となり、通話ボタンが解放されると、受信状態であるPTTオフ状態に戻る。以下、通話ボタンを押下してPTTオン状態にする操作をPTTオン操作といい、通話ボタンを解放してPTTオフ状態にする操作をPTTオフ操作という場合がある。通話ボタンの押下状態は、入力部121において検出され、制御部111に入力される。表示部122は、移動端末16の設定、通話状態を表示するインターフェースであり、例えばディスプレイである。
通信部131は、携帯電話システム、業務用無線システム、インターネット接続された無線LAN(Local Area Network)などを利用して、他の移動端末16と通信可能である。通信部131は、半二重通信方式で他の移動端末16との間で音声データを送受信する。本実施形態の通信部131は、端末装置通信部の一例である。
音声入力部141は、音声通話を行うために移動端末16のユーザ18の発話に基づく音声を収音する。音声出力部142は、通話音声を出力する。音声出力部142は、選択部112によって選択されたタイムスロットの音声信号を音声として出力する。
記憶部150は、制御部111における各種制御を実行するための各種プログラムを記憶している。記憶部150は、移動端末名、移動端末16を識別するための個別IDと、移動端末16が属するグループを識別するためのグループIDと、移動端末16における使用言語(日本語、英語、スペイン語等)の情報を含む使用言語情報とを記憶している。移動端末名、個別ID、グループID及び使用言語情報は、予め設定されている。
図4は、管理装置12のハードウェア構成および機能ブロックを示す。管理装置12は、CPU200、通信IF210、記憶部220を含む。CPU200、通信IF210、記憶部220は、バス230によって接続される。
CPU200は、管理装置12における処理を実行する。CPU200は、制御部201と、翻訳処理部202と、を含む。制御部201は、通信制御部203と、チャネル制御部204と、スロット制御部205と、を含む。翻訳処理部202は、複数の移動端末16のうちのいずれかから受信した原語音声を原語音声の使用言語とは異なる言語で翻訳した翻訳音声を生成する。通信制御部203は、半二重通信方式での移動端末16との間の通信に必要な各種制御を実行する。チャネル制御部204は、通話用のチャネル(中継局14)の使用に関する制御処理を実行する。スロット制御部205は、時分割多重された異なるタイムスロットに原語音声と翻訳音声とを割り当てる。本実施形態のスロット制御部205は、第1タイムスロットに原語音声を割り当て、第2タイムスロットに翻訳音声を割り当てる。また、スロット制御部205は、各タイムスロットに割り当てた言語種別を示すスロット言語情報を生成する。
通信IF210は、通信ネットワークNWと接続され、中継局14と通信する。さらに、通信IF210は、中継局14経由で移動端末16と通信する。通信IF210は、各種データを送受信する通信部211を含む。例えば、通信部211は、アップリンクで原語音声を送信する。また、通信部211は、ダウンリンクで、原語音声と翻訳音声とをそれぞれ割り当てられたタイムスロットで送信するとともに、スロット言語情報を送信する。本実施形態の通信部211は、管理装置通信部の一例である。
記憶部220は、制御部201及び翻訳処理部202における各種制御及び処理を実行するための各種プログラムを記憶している。記憶部220は、情報を記憶する媒体であり、例えば、ハードディスク、SSDである。記憶部220は、端末管理テーブル221を含む。この端末管理テーブル221には、移動端末16についての各種情報が記録される。図5は、端末管理テーブル221の一例を示す。例えば、端末管理テーブル151には、移動端末名、個別ID、グループID、使用言語情報が各移動端末16について記憶されている。
次に、本実施形態において移動端末16と管理装置12の間で行われるシーケンス処理を説明する。まず、図6を用いて、翻訳通信システム1における登録処理S10について説明する。本例では、説明の簡潔化のため、第1移動端末16Aに関する登録処理について説明する。
第1移動端末16Aの通信部131が中継局14から報知信号を受信すると(ステップS11)、制御部111は、自端末が中継局14のカバレッジ内に位置することを認識し、位置登録処理を開始する。通信部131は、自端末の個別ID、グループID及び使用言語情報を含む位置登録要求メッセージを中継局14に送信する(ステップS12)。位置登録要求メッセージを受信した中継局14は、位置登録許可判定を行うため、管理装置12に受信した位置登録要求メッセージを転送する(ステップS13)。
管理装置12の通信制御部203は、第1移動端末16Aの位置登録を許可するか否か、すなわち第1移動端末16Aによる自システムでの通信を許可するか否かを判断する(ステップS14)。位置登録を許可する場合、通信部211は、位置登録許可応答メッセージを中継局14へ送信する(ステップS15)。このとき、通信制御部203は、第1移動端末16Aの個別ID、グループID及び使用言語情報を記憶部220に追加登録する。位置登録許可応答メッセージを受けた中継局14は、第1移動端末16Aに対し、位置登録許可応答メッセージを転送する(ステップS16)。
位置登録許可応答メッセージを受信した第1移動端末16Aの制御部111は、位置登録を完了する(ステップS17)。これにより、その無線通信システムのカバレッジ(サイト)での通話が可能となる。その後、登録処理S10は終了する。第2及び第3移動端末16B及び16Cにおいても同様の動作を行うことで、同一サイトでの通話が可能となる。
次に、図7を用いて、PTTオン操作がなされたときの移動端末間の通信処理S100について説明する。図7では、第1移動端末16Aが発話を送信する例を示す。本例では、第1~第3移動端末16A~16Cの位置登録は完了しているものとする、第1~第3移動端末16A~16Cの使用言語は端末管理テーブル221においてそれぞれ英語、英語、日本語で設定されている。本例では、ダウンリンクは、第1タイムスロットTSa及び第2タイムスロットTSbを含む。なお、各移動端末16と管理装置12との間の通信は、中継局14を経由して行われるが、説明を簡潔にするため、図7において中継局14を省略している。以下の図9、図11、図13及び図14においても同様に、中継局14を省略している。
第1移動端末16Aは、入力部121からPTTオン操作を検出すると(ステップS101)、音声通話(グループコール)を開始する。次いで、通信部131は、自端末の個別ID及びグループIDを含む音声送信開始要求メッセージを管理装置12に送信し、通話チャネルの獲得を要求する(ステップS102)。
音声送信開始要求メッセージを受けた管理装置12の通信制御部203は、その通信可否を判断する(ステップS103)。チャネル制御部204は、通信(通話チャネルの獲得)を許可する場合、通話用のチャネル(中継局14)を使用して送信を開始させる(ステップS104A)。同時に、通信部211は、送信開始許可応答メッセージを第1移動端末16Aと第1移動端末16Aが指定したグループIDで待ち受けている他の移動端末16(第2及び第3移動端末16B及び16C)とに送信する(ステップS104B)。この送信開始許可応答メッセージは、音声送信開始要求メッセージに対するOKメッセージ、送信元の移動端末16(第1移動端末16A)の個別ID及びグループID、使用する通話チャネルの周波数を示すチャネル情報、アップリンクで音声を送信するためのアップリンク用タイムスロットを指定するアップリンク用スロット指定情報、各移動端末16についての使用言語情報を含む。
第1移動端末16Aの制御部111は、送信開始許可応答メッセージを受信すると、アップリンク用スロット指定情報に基づいて、アップリンク用タイムスロットを決定する(ステップS105)。第1移動端末16Aが指定したグループIDで待ち受けている、同一サイト内に存在する他の移動端末16は、送信開始許可応答メッセージを受信すると、各自端末への通話要求が送信されたことを認識する。
各移動端末16の制御部111は、送信開始許可応答メッセージを受信すると、チャネル情報に基づいて、指定された通話チャネルの受信(周波数切り替え)動作を開始する(ステップS106)。指定された通話チャネルに設定した状態で通話ボタンの押下が継続されているため、第1移動端末16Aの通信部131は、指定された通話チャネル及びタイムスロットでの音声送信を開始し、ヘッダ情報を送信する(ステップS107)。このヘッダ情報は、音声送信の開始メッセージであることを示すとともに、送信元の第1移動端末16Aの個別ID及びグループIDを含む。
管理装置12の翻訳処理部202は、ヘッダ情報のグループIDに基づいて、端末管理テーブル221を用いて他の移動端末16に設定された使用言語の情報を参照することにより、翻訳後の言語の種類を決定する(ステップS108)。ここでは、翻訳処理部202は、第3移動端末16Cの使用言語である日本語に翻訳すると決定する。スロット制御部205は、この決定結果に基づいて、異なるタイムスロットに原語音声と翻訳音声とを割り当て、各タイムスロットに割り当てられた言語種別を示すスロット言語情報を生成する(ステップS109)。ここでは、スロット制御部205は、ダウンリンクの第1タイムスロットTSaを英語の原語音声用のタイムスロットとして指定し、第2タイムスロットTSbを日本語の翻訳音声用のタイムスロットとして指定する。通信部211は、受信したヘッダ情報にスロット言語情報を付加し、原語音声用のタイムスロットであるダウンリンクの第1タイムスロットTSaで、このヘッダ情報を各移動端末16に送信する(ステップS110)。本例では、送話の始めに送信されるヘッダ情報にスロット言語情報を付加する例を示すがこれに限定されない。例えば、後述する音声データを含まないIDLEメッセージにスロット言語情報を付加して送信することも可能である。さらには、スロット言語情報を送信するタイムスロットも原語音声用のタイムスロット以外であってもよい。
第2及び第3移動端末16B及び16Cの選択部112は、原語音声用のタイムスロットであるダウンリンクの第1タイムスロットTSaのヘッダ情報を受信すると、ヘッダ情報のスロット言語情報において示される各タイムスロットの使用言語と自端末において設定された使用言語と照らし合わせる。第2及び第3移動端末16B及び16Cの選択部112は、設定された使用言語と合致する言語を使用するタイムスロットを受信用タイムスロットとして選択し、その受信用タイムスロットでの受信動作を開始する(ステップS111)。第1移動端末16Aの通信部131は、図2Aの第1ユーザ18Aの発話に基づく英語の原語音声を、アップリンク用タイムスロットで管理装置12に送信する(ステップS112)。
管理装置12の翻訳処理部202は、受信した原語音声をステップS108で決定された言語での翻訳処理を実行する(ステップS113)。本実施形態では、英語の原語音声が日本語の翻訳音声に翻訳される。
通信部211は、言語毎に別々のタイムスロットで各言語の音声を第2及び第3移動端末16B及び16Cに送信する(ステップS114)。通信部211は、第1タイムスロットTSaを用いて英語の原語音声をそのままリピート(折り返し)送信する(ステップS114A)。第2移動端末16Bの音声出力部142は、受信用タイムスロットとして決定した第1タイムスロットTSaから受信した原語音声を再生することにより、英語の音声を出力する。一方、第3移動端末16Cは、受信用タイムスロットとして決定した第2タイムスロットTSbとは異なる第1タイムスロットTSaから受信した原語音声を破棄する。
上述した翻訳処理は時間を要するため、翻訳処理の開始直後では翻訳音声がまだ生成されていない場合がある。この場合、通信部211は、開始直後の第2タイムスロットTSbで音声データを含まないIDLEメッセージを送信する(ステップS114B)。一方、通信部211は、第1タイムスロットTSaでステップS114Aの続きの英語による原語音声を送信する(ステップS114C)。次に、翻訳処理が完了して翻訳音声が生成された場合、通信部211は、第2タイムスロットTSbで翻訳音声を送信する(ステップS114D)。第3移動端末16Cの音声出力部142は、第2タイムスロットTSbから受信した翻訳音声を再生することにより、日本語の音声を出力する。一方、第2移動端末16Bは、第2タイムスロットTSbから受信した翻訳音声を破棄する。以降、通信部211は、第1ユーザ18Aの発話が終了してPTTオフ操作がなされるまで、第1及び第2タイムスロットTSa及びTSbをそれぞれ用いた英語の原語音声及び翻訳音声の送信(ステップS114E、S114F等)を繰り返す。これにより、通話チャネル上で複数の言語を使用するグループの通信を実行することが可能となる。
図8は、ステップS110のヘッダ情報送信以降にダウンリンクで送信されるフレームデータを例示する。図8のフレームデータは、第1タイムスロットTSa及び第2タイムスロットTSbを含む。図8のフレームデータは、タイムスロットの先頭から、ヘッダ情報及びスロット言語情報Slot、IDLEメッセージ、原語音声、IDLEメッセージ、原語音声、翻訳音声(以降、原語音声と翻訳音声との繰り返し)を順に含む。図8の例では、原語音声は先頭から3番目の第1タイムスロットTSaに配置されるが、翻訳音声は、翻訳処理の遅延のため、先頭から6番目の第2タイムスロットTSbに配置される。翻訳音声が生成されるまでの間、第2タイムスロットTSbには、先頭から2番目及び4番目の第2タイムスロットTSbのように、IDLEメッセージが配置される。
次に、図9を用いて、PTTオフ操作をしたときの移動端末間の通信処理S200について説明する。図9は、図7の音声送信のステップS114から継続しているものとする。
通話チャネル上で複数の言語を使用するグループの通信が実行されている状態から、第1移動端末16AのPTTオフ操作が検出されると(ステップS201)、通信部131は、送信終了信号を管理装置12に送信する(ステップS202)。管理装置12の通信部211は、まず、音声データ送信が完了している原語音声用の第1タイムスロットTSaを用いて、終話を通知するための終話メッセージを送信する(ステップS203)。終話メッセージを受信した第2移動端末16Bの制御部111は、受信の終了を判断し、スピーカをミュート状態にする。このとき、別言語への翻訳処理又は翻訳音声の送信が完了していない場合、通信部211は、別言語の第2タイムスロットTSbでの翻訳音声の送信は継続することとなる(ステップS203の後続のステップS114)。通信部211は、翻訳音声の送信が継続されている間、第1タイムスロットTSaにIDLEメッセージを設定して第1及び第2移動端末16A及び16Bに送信する(ステップS204)。
翻訳音声の送信が完了すると、通信部211は、翻訳音声用の第2タイムスロットTSbで終話メッセージを送信する(ステップS205)。終話メッセージを受信した第3移動端末16Cの制御部111は、受信の終了を判断し、スピーカをミュート状態にする。これにより、全てのタイムスロットでの通話が終了する。この後、継続して同じ周波数を使った各移動端末16からのPTTオン操作による送信を待ち受けるため、通話チャネルの獲得状態を一定時間継続する。その間、通信部211は、IDLEメッセージを各移動端末16に送信する(ステップS206)。全てのタイムスロットでの通話が終了したIDLEメッセージ報知状態は、全ての移動端末16が音声送信を開始することが可能な状態である(通話チャネル獲得状態)。
図10を用いて、ステップS201でPTTオフ操作がなされたときにダウンリンクで送信されるフレームデータの例について説明する。第1移動端末16AでPTTオフ操作がなされると、第1移動端末16Aはアップリンクで終話メッセージ(終話MSG)を送信する。管理装置12は、終話メッセージを受信すると、直近に現れるダウンリンクの第1タイムスロットTSaで終話メッセージを送信する。以降、第1タイムスロットTSaではIDLEメッセージが送信される。ダウンリンクの第2タイムスロットTSbでは、第1移動端末16Aからの原語音声Aの翻訳処理が完了するまで翻訳音声Aが送信され、翻訳処理が完了すると終話メッセージが送信される。以降、第2タイムスロットTSbではIDLEメッセージが送信される。
次に、図11を用いて、通話チャネル獲得状態でPTTオン操作がなされたときの移動端末間の通信処理S300について説明する。図11は、図9のIDLEメッセージ送信のステップS206から継続しているものとする。したがって、図11は、各移動端末16が通話チャネルを獲得している状態から開始する。ステップS302~S309は、特に言及する点を除いて、図7のステップS107~S114と基本的に同様であるため、その説明を省略する場合がある。
IDLEメッセージ報知中に(ステップS206)、第3移動端末16CがPTTオン操作を行うと(ステップS301)、第3移動端末16Cの通信部131は、第1移動端末16Aの発話に対する応答となる音声送信を開始する(ステップS302)。ここで、第3移動端末16Cは、第1移動端末16Aの使用言語とは異なる言語である日本語を使用する。第3移動端末16Cでの音声送信は、第1移動端末16Aでの音声送信と同様に、その送信データの先頭をヘッダ情報とする。
管理装置12は、翻訳言語の決定処理(ステップS303)、言語毎のタイムスロットの指定処理(ステップS304)、タイムスロット毎の言語情報を付加したヘッダ情報の送信処理(ステップS305)を実行する。ステップS304では、スロット制御部205は、ダウンリンクの第1タイムスロットTSaを日本語の原語音声用のタイムスロットとして指定し、第2タイムスロットTSbを英語の翻訳音声用のタイムスロットとして指定する。
第1及び第2移動端末16A及び16Bの制御部111は、スロット言語情報に基づいて、第2タイムスロットTSbを受信用タイムスロットとして決定する(ステップS306)。第3移動端末16Cの通信部131は、図2Bの第3ユーザ18Cの発話に基づく日本語の原語音声を、アップリンク用タイムスロットで管理装置12に送信する(ステップS307)。
管理装置12の翻訳処理部202は、日本語の原語音声を英語の翻訳音声に翻訳する翻訳処理を実行する(ステップS308)。通信部211は、原語音声及び翻訳音声の送信処理(ステップS309)を実行する。通信部211は、第1タイムスロットTSaを用いて原語音声をそのままリピート(折り返し)送信する(ステップ309A、C)。このとき、第1及び第2移動端末16A及び16Bのいずれも第2タイムスロットTSbを受信用タイムスロットとして選択している。そのため、第1及び第2移動端末16A及び16Bは原語音声を破棄する。通信部211は、翻訳処理が完了していない状態では、第2タイムスロットTSbでIDLEメッセージを送信する(ステップS309B)。通信部211は、翻訳音声が生成されると、第2タイムスロットTSbで翻訳音声を送信する(ステップ309D)。第1及び第2移動端末16A及び16Bの音声出力部142は、第2タイムスロットTSbから受信した翻訳音声を再生することにより、英語の音声を出力する。以降、通信部211は、原語音声及び翻訳音声の送信を繰り返す。その後、第3ユーザ18Cの発話が終了して第3移動端末16CのPTTオフ操作がなされると、図9で上述した、PTTオフ操作(S201)を第3移動端末16Cで実行されたものとした同様の処理が実行される。
ここで、図7の音声送信では、第1及び第2タイムスロットTSa及びTSbにそれぞれ日本語及び英語が割り当てられる。一方で、図11の音声送信では、第1及び第2タイムスロットTSa及びTSbにそれぞれ英語及び日本語が割り当てられる。このように、PTTオン操作をして発話をする移動端末16が切り替わる毎に、ダウンリンクの第1及び第2タイムスロットTSa及びTSbにそれぞれ割り当てられる言語が異なる場合がある。しかし、各移動端末16には、ステップS110、S305においてスロット言語情報が送信される。これにより、スロット言語情報に基づいて各タイムスロットで使用される言語を把握することができる。そのため、各移動端末16は、受信用タイムスロットを手動で切り替えるなどの操作を要せずに、適切な受信用タイムスロットを決定することが可能となる。
図10を再び参照し、ステップS301でPTTオン操作がなされたときにダウンリンクで送信されるフレームデータの例について説明する。通話チャネル獲得状態で、第3移動端末16CでPTTオン操作がなされると、第3移動端末16Cはアップリンクで自身のヘッダ情報(ヘッダ情報C)を送信する。ヘッダ情報Cを受信した管理装置12は、言語毎に使用するタイムスロットを決定する。通話チャネルが獲得されている状態では、管理装置12は、それまで原語音声A用に使用していた第1タイムスロットTSaを原語音声用に継続使用して、第1タイムスロットTSaを第3移動端末16Cの言語音声(原語音声C)用のタイムスロットとして決定する。管理装置12は、ダウンリンクで第1タイムスロットTSaを用いてヘッダ情報C及びスロット言語情報Slotを送信する。その後、管理装置12は、図8で上述したように、第1タイムスロットTSaで原語音声Cを送信し、第2タイムスロットTSbで翻訳音声(翻訳音声C)を送信する。
図12を参照して、通話チャネルが解放されている状態で、PTTオン操作がなされたときにダウンリンクで送信されるフレームデータの例について説明する。各移動端末16に終話メッセージが送信された後、各移動端末16によるPTTオン操作による通話(送信)があらかじめ設定された一定時間経を過後してもなされない場合、通話チャネルが切断(Disconnect)され、通話チャネルが解放(チャネル解放)される。その後、例えば第3移動端末16CによってPTTオン操作がなされた場合、通話チャネルを改めて獲得することになる。この場合、システムの状況によっては、図12に示すようにこれまで翻訳音声用に使用されていた第2タイムスロットTSbが原語音声用のタイムスロットに切り替わることがある。このような場合でも、各移動端末16は、スロット言語情報を参照することにより、自端末が受信すべきタイムスロットを確認して選択することが可能となる。なお、通話チャネルを改めて獲得した場合でも、原語音声用及び翻訳音声用のタイムスロットが切り替わらずに、前回の通信と同じタイムスロットの割り当てが継続使用されることもある。この場合であっても同様に、スロット言語情報を参照することにより、適切なタイムスロットを選択することが可能となる。
本実施形態の作用及び効果について説明する。異なる言語を使用する複数のユーザが、翻訳機能を備えた通信システムにおいて、原語音声と翻訳音声とをタイムスロットに分けて受信するグループ間通話では、発呼者により移動端末16から送信される言語が切り替わることがある。これに伴い、原語音声と翻訳音声のタイムスロットも切り替わることがあり、着呼側の移動端末16において所望の言語の音声を出力するために手動でタイムスロットを切り替える必要がある。そのため、その切り替え操作に手間がかかるという問題があった。
本実施形態では、管理装置12は、各タイムスロットに割り当てられた言語種別を示すスロット言語情報を移動端末16に送信する。そのため、移動端末16は、スロット言語情報に基づいて、移動端末16に予め設定された使用言語の情報に対応する受信タイムスロットを自動的に選択でき、選択されたタイムスロットから所望の音声を出力する。本構成によると、タイムスロットを手動で切り替える手間を要せずに、原語音声と翻訳音声とのうち適切な言語の音声を出力することが可能となる。
本実施形態では、移動端末16の通信部131は、移動端末16に設定された使用言語の情報を含む使用言語情報を管理装置12に送信し、翻訳処理部202は、端末装置16から送信された使用言語情報に基づいて、翻訳後の言語の種類を決定する。本構成によると、翻訳処理部202は翻訳後の言語の種類が予め定められているため、翻訳後の言語の種類を容易に決定することが可能となる。
(第2実施形態)
以下、本発明の第2実施形態を説明する。第2実施形態の図面および説明では、第1実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
以下、本発明の第2実施形態を説明する。第2実施形態の図面および説明では、第1実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
音声データの翻訳には時間がかかるため、翻訳音声の送受信タイミングは原語音声の送受信タイミングに対して基本的に遅延する。そのため、例えば下記(1)及び(2)のデメリットが発生してしまうことが予測される。(1)このように遅延した翻訳音声の送信により、通話チャネルの使用時間が長くなってしまう。(2)翻訳音声を受信している移動端末16と、原語言語を受信している移動端末16とで受信が完了してから応答するまでのタイミングがずれてしまう可能性がある。
上記デメリットを解消・軽減するために、本実施形態では、翻訳処理部202は、原語音声の送信終了後、翻訳言語の音声データの再生速度を早くする。これにより、翻訳音声の受信完了までの遅延を低減することが可能になる。
図13を用いて、本実施形態における移動端末間の通信処理S400について説明する。図13は、図7の音声送信のステップS114から継続しているものとする。ステップS401~S403、S405~S407は、特に言及する点を除いて、上述の図9のステップS201~S203、S204~S206と基本的に同様であるため、その説明を省略する場合がある。
ステップS401~S403の後、管理装置12の翻訳処理部202は、翻訳処理において生成された翻訳音声の再生速度を、原語音声の送信の終了する前までに送信していた翻訳音声の再生速度よりも早くする。例えば、翻訳処理部202は、着呼者が聞き取れる範囲で翻訳音声の再生速度を通常よりも早くする。例えば、翻訳処理部202は、ステップS402において送信終了信号を受信して原語音声の送信終了が確定した時点で、翻訳音声の再生速度を早くする。再生速度の増加によって聞き取りにくくならないように、翻訳処理部202は、文章や単語の前後を検出し、翻訳音声の再生速度が変化するタイミングを調整してもよい。
(第3実施形態)
以下、本発明の第3実施形態を説明する。第3実施形態の図面および説明では、第1実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
以下、本発明の第3実施形態を説明する。第3実施形態の図面および説明では、第1実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第1実施形態と重複する説明を適宜省略し、第1実施形態と相違する構成について重点的に説明する。
上述したように、翻訳音声の送受信タイミングは原語音声の送受信タイミングに対して基本的に遅延する。また、管理装置12による原語音声の送信終了後には、原語音声用のタイムスロットは使用されなくなり、原語音声用のタイムスロットにおいてIDLEメッセージが送信される。本実施形態では、原語音声の送信終了後に使用されなくなる原語音声用のタイムスロットを有効活用し、遅延した翻訳音声を送信している間、この原語音声用のタイムスロットを用いてIDLEメッセージの代わりにテキストメッセージを送信する。翻訳音声に加え、テキストメッセージを閲覧することにより、着呼者による翻訳言語の認識度及び理解度を高めることが可能となる。
本実施形態における翻訳通信システム1における登録処理S10について、第1実施形態と異なる点を説明する。本実施形態では、図6のステップS12での位置登録要求メッセージに、送信終了信号を受信して原語音声の送信終了が確定した以降にテキストデータの受信を要求するためのテキスト受信要求を付加する。このテキスト受信要求を受信した管理装置12は、ステップS15で位置登録許可応答メッセージを中継局14へ通知する際に、テキスト受信要求をさらに追加登録する。
図14を用いて、本実施形態における移動端末間の通信処理S500について説明する。図14は、図7の音声送信のステップS114から継続しているものとする。ステップS501~S503は、特に言及する点を除いて、上述の図9のステップS201~S203と基本的に同様であるため、その説明を省略する場合がある。
ステップS501~S503の後、管理装置12の翻訳処理部202は、翻訳結果をテキストデータに変換する(ステップS504)。ここで、ステップS503の終話メッセージの送信以前においては、原語音声及び翻訳音声の各々の送信用に、第1及び第2タイムスロットTSa及びTSbが使用中の状態となっている。一方で、ステップS503の終話メッセージの送信後には、翻訳言語用の第2タイムスロットTSbのみが使用されている状態となり、第1タイムスロットTSaはIDLE状態となっている。本実施形態では、管理装置12は、この空いている第1タイムスロットTSaを使用して、翻訳言語のテキストデータの送信を行う。
スロット制御部205は、第1及び第2タイムスロットTSa及びTSbの両方を日本語用のタイムスロットとして、第1タイムスロットTSaの対応言語を変更する(ステップS505)。また、スロット制御部205は、第1タイムスロットTSaを日本語のテキストデータ用のタイムスロットとして指定し、第2タイムスロットTSbをそのまま翻訳音声用(日本語音声)のタイムスロットとして指定する。スロット制御部205は、第1及び第2タイムスロットTSa及びTSbがいずれも日本語用のタイムスロットであることを示すスロット言語情報を再生成する。なお、音声データの連続性を考慮する必要はあるが、ステップS505において、スロット制御部205は、第1タイムスロットTSaを翻訳音声用(日本語音声)のタイムスロットとして指定し、第2タイムスロットTSbを日本語のテキストデータ用のタイムスロットとして指定してもよい。通信部211は、第1タイムスロットTSaでこの再生成したスロット言語情報を送信する(ステップS506)。このスロット言語情報を受信した第3移動端末16Cの制御部111は、第1タイムスロットTSaで翻訳音声のテキストデータの送信が開始されることを認識する。
選択部112は、受信したスロット言語情報に基づいて、第1及び第2タイムスロットTSa及びTSbの両方を受信用タイムスロットとして選択する(ステップS507)。すなわち、第3移動端末16Cは、これまでは1つのタイムスロットで翻訳音声のみを受信していたが、2つのタイムスロットでの受信動作に切り替える。第3移動端末16Cは、第2タイムスロットTSbで翻訳音声の受信をそのまま継続しつつ、第1タイムスロットTSaでテキストデータを新たに受信することになる。
通信部211は、第1タイムスロットTSaでテキストデータを送信する(ステップS508A及びS508B)。翻訳音声及びテキストデータの送信が完了すると、通信部211は、終話メッセージを送信する(ステップS509)。第3移動端末16Cの表示部122は、全てのテキストデータの受信が完了したタイミングでテキストデータを表示する(ステップS510)。
図15を参照して、テキストメッセージを送信するときにダウンリンクで送信されるフレームデータの例について説明する。第1移動端末16AによってPTTオフ操作がなされ、第1タイムスロットTSaにおいて終話メッセージが送信されると、次の第1タイムスロットTSaでスロット言語情報Slot2が送信される。このスロット言語情報Slot2は、第1タイムスロットTSaが日本語テキスト(Japanese Text)であり、第2タイムスロットTSbが日本語音声(Japanese)のタイムスロットであることを示す。その後、第2タイムスロットTSbにおいて翻訳言語が送信されるとともに、第1タイムスロットTSaにおいてテキストデータTEXTが送信される。第1タイムスロットTSaでのテキストデータTEXTの送信が完了すると、第2タイムスロットTSbにおいて終話メッセージが送信される。以降、第1及び第2タイムスロットTSa及びTSbがいずれもIDLE状態となる。
このように、本実施形態では、原語音声の送信が終了した後、以下の処理が実行される。すなわち、管理装置12の翻訳処理部202は、翻訳音声のテキストデータを生成する。スロット制御部205は、原語音声用に使用していたタイムスロットをテキストデータ用のタイムスロットとするスロット言語情報を再生成する。通信部211は、テキストデータと翻訳音声とを異なるタイムスロットで送信するとともに、再生成したスロット言語情報を送信する。移動端末16の選択部112は、再生成されたスロット言語情報に基づいて、テキストデータと翻訳音声のタイムスロットを選択する。表示部112は、受信したテキストデータを表示する。本構成によると、テキストデータを参照することにより、ユーザ18による翻訳言語の認識度及び理解度を高めることが可能となる。
(変形例)
実施形態では、ダウンリンクは、第1タイムスロット及び第2タイムスロットの2つのタイムスロットを有するが、これに限定されない。例えば、ダウンリンクにおいて3つ以上のタイムスロットが用いられてもよい。
実施形態では、ダウンリンクは、第1タイムスロット及び第2タイムスロットの2つのタイムスロットを有するが、これに限定されない。例えば、ダウンリンクにおいて3つ以上のタイムスロットが用いられてもよい。
実施形態では、英語と日本語の2つの言語の音声を2つのダウンリンク用タイムスロットで通信したが、これに限定されない。例えば、3つ以上の言語の音声を3つ以上のダウンリンク用タイムスロットで通信してもよい。
実施形態では、スロット言語情報は第1タイムスロットTSaで通信されたが、これに限定されず、例えば第2タイムスロットTSbで通信されてもよい。
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
本発明は、翻訳通信システム及び端末装置に関する。
1…翻訳通信システム、12…管理装置、14…中継局、16…移動端末、18…ユーザ、110…CPU、111…制御部、112…選択部、120…ユーザIF、121…入力部、122…表示部、130…通信IF、131…通信部、140…音声IF、141…音声入力部、142…音声出力部、150…記憶部、160…バス、200…CPU、201…制御部、202…翻訳処理部、203…通信制御部、204…チャネル制御部、205…スロット制御部、210…通信IF、211…通信部、220…記憶部、221…端末管理テーブル、230…バス。
Claims (5)
- 端末装置からアップリンクで受信した原語音声の翻訳音声を生成する翻訳処理部と、
時分割多重された異なるタイムスロットに前記原語音声と前記翻訳音声とを割り当て、各タイムスロットに割り当てた言語種別を示すスロット言語情報を生成するスロット制御部と、
前記アップリンクとは異なる周波数のダウンリンクで、前記原語音声と前記翻訳音声とをそれぞれ割り当てられた前記タイムスロットで送信するとともに、前記スロット言語情報を送信する管理装置通信部と、
を含む管理装置と、
前記端末装置に予め設定された使用言語の情報を記憶する記憶部と、
前記ダウンリンクで前記原語音声と前記翻訳音声、及び前記スロット言語情報を受信する端末装置通信部と、
前記スロット言語情報に基づいて、前記設定された使用言語の情報に対応する前記タイムスロットを選択する選択部と、
前記選択されたタイムスロットの音声信号を音声として出力する音声出力部と、
を含む端末装置と、
を備える翻訳通信システム。 - 前記端末装置の前記端末装置通信部は、前記設定された使用言語の情報を含む使用言語情報を前記管理装置に送信し、
前記管理装置の前記翻訳処理部は、前記端末装置から送信された前記使用言語情報に基づいて、翻訳後の言語の種類を決定する、請求項1に記載の翻訳通信システム。 - 前記管理装置による前記原語音声の送信が終了した後、
前記管理装置の前記翻訳処理部は、前記翻訳音声のテキストデータを生成し、
前記スロット制御部は、前記原語音声用に使用していたタイムスロットを前記テキストデータ用のタイムスロットとする前記スロット言語情報を再生成し、
前記管理装置の前記管理装置通信部は、前記テキストデータと前記翻訳音声とを異なるタイムスロットで送信するとともに、前記再生成したスロット言語情報を送信し、
前記端末装置の前記選択部は、前記再生成した前記スロット言語情報に基づいて、前記テキストデータと前記翻訳音声のタイムスロットを選択し、
前記端末装置は、受信した前記テキストデータを表示する表示部をさらに備える、請求項1又は2に記載の翻訳通信システム。 - 前記管理装置の前記翻訳処理部は、前記原語音声の送信を終了した後、
前記翻訳音声の再生速度を、前記原語音声の送信を終了する前の再生速度よりも早くする、請求項1から3のいずれか1項に記載の翻訳通信システム。 - 予め設定された使用言語の情報を記憶する記憶部と、
時分割多重された異なるタイムスロットで原語音声と、前記原語音声の翻訳音声とを受信するとともに、各タイムスロットの言語種別を示すスロット言語情報を、管理装置から受信する通信部と、
前記スロット言語情報に基づいて、前記設定された使用言語の情報に対応する前記タイムスロットを選択する選択部と、
前記選択されたタイムスロットの音声信号を音声として出力する音声出力部と、
を備えることを特徴とする端末装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/472,311 US12450445B2 (en) | 2021-03-24 | 2023-09-22 | Translation communication device and translation communication method that perform voice translation in group communication |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021050643A JP7666054B2 (ja) | 2021-03-24 | 2021-03-24 | 翻訳通信システム |
| JP2021-050643 | 2021-03-24 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/472,311 Continuation US12450445B2 (en) | 2021-03-24 | 2023-09-22 | Translation communication device and translation communication method that perform voice translation in group communication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022201820A1 true WO2022201820A1 (ja) | 2022-09-29 |
Family
ID=83395425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/002369 Ceased WO2022201820A1 (ja) | 2021-03-24 | 2022-01-24 | 翻訳通信システム及び端末装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12450445B2 (ja) |
| JP (1) | JP7666054B2 (ja) |
| WO (1) | WO2022201820A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025070213A1 (ja) * | 2023-09-26 | 2025-04-03 | 株式会社Jvcケンウッド | 管理装置および通信制御方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023063569A1 (ko) * | 2021-10-15 | 2023-04-20 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| JP7245383B1 (ja) * | 2022-09-20 | 2023-03-23 | 参天製薬株式会社 | ジクアホソルまたはその塩を含有する眼科用組成物のpHの低下を抑制する方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08102790A (ja) * | 1994-09-30 | 1996-04-16 | Fujitsu Ltd | 情報案内システム |
| JP2000206983A (ja) * | 1999-01-19 | 2000-07-28 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| JP2003143299A (ja) * | 2001-10-30 | 2003-05-16 | Denso Corp | 電話システム、電話機およびコンピュータプログラム |
| JP2003141116A (ja) * | 2001-10-29 | 2003-05-16 | Nec System Technologies Ltd | 翻訳システム、翻訳方法、および、翻訳プログラム |
| JP2005079852A (ja) * | 2003-08-29 | 2005-03-24 | Kyocera Corp | 翻訳通信システム及び通信端末装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2425442B (en) * | 2002-08-15 | 2007-03-21 | Iml Ltd | Translation System |
| US20060130007A1 (en) * | 2004-12-01 | 2006-06-15 | International Business Machines Corporation | Computer method and apparatus for automating translation to a modeling language |
| US20140067398A1 (en) * | 2012-08-30 | 2014-03-06 | Tony Verna | Method, system and processor-readable media for automatically vocalizing user pre-selected sporting event scores |
| US9342505B2 (en) * | 2013-06-02 | 2016-05-17 | Jianqing Wu | Translation protocol for large discovery projects |
| JP6226321B2 (ja) * | 2013-10-23 | 2017-11-08 | 株式会社サン・フレア | 翻訳支援システム、翻訳支援システムのサーバー、翻訳支援システムのクライアント、翻訳支援システムの制御方法、及びそのプログラム |
| WO2016018004A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method, apparatus, and system for providing translated content |
| US10489516B2 (en) * | 2016-07-13 | 2019-11-26 | Fujitsu Social Science Laboratory Limited | Speech recognition and translation terminal, method and non-transitory computer readable medium |
| JP6569926B2 (ja) * | 2016-08-17 | 2019-09-04 | パナソニックIpマネジメント株式会社 | 音声入力装置、翻訳装置、音声入力方法、及び音声入力プログラム |
| US10388186B2 (en) * | 2017-04-17 | 2019-08-20 | Facebook, Inc. | Cutaneous actuators with dampening layers and end effectors to increase perceptibility of haptic signals |
| US11328130B2 (en) * | 2017-11-06 | 2022-05-10 | Orion Labs, Inc. | Translational bot for group communication |
| US20200272699A1 (en) * | 2019-02-21 | 2020-08-27 | Qualcomm Incorporated | Augmented reality language translation |
| JP7284400B2 (ja) * | 2019-08-29 | 2023-05-31 | アイコム株式会社 | 音声通信システム、中継装置および音声中継方法 |
| EP3847546B1 (en) * | 2019-11-27 | 2024-08-14 | Google LLC | Interfacing with applications via dynamically updating natural language processing |
-
2021
- 2021-03-24 JP JP2021050643A patent/JP7666054B2/ja active Active
-
2022
- 2022-01-24 WO PCT/JP2022/002369 patent/WO2022201820A1/ja not_active Ceased
-
2023
- 2023-09-22 US US18/472,311 patent/US12450445B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08102790A (ja) * | 1994-09-30 | 1996-04-16 | Fujitsu Ltd | 情報案内システム |
| JP2000206983A (ja) * | 1999-01-19 | 2000-07-28 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| JP2003141116A (ja) * | 2001-10-29 | 2003-05-16 | Nec System Technologies Ltd | 翻訳システム、翻訳方法、および、翻訳プログラム |
| JP2003143299A (ja) * | 2001-10-30 | 2003-05-16 | Denso Corp | 電話システム、電話機およびコンピュータプログラム |
| JP2005079852A (ja) * | 2003-08-29 | 2005-03-24 | Kyocera Corp | 翻訳通信システム及び通信端末装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025070213A1 (ja) * | 2023-09-26 | 2025-04-03 | 株式会社Jvcケンウッド | 管理装置および通信制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240013010A1 (en) | 2024-01-11 |
| JP7666054B2 (ja) | 2025-04-22 |
| JP2022148817A (ja) | 2022-10-06 |
| US12450445B2 (en) | 2025-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12450445B2 (en) | Translation communication device and translation communication method that perform voice translation in group communication | |
| US6308079B1 (en) | Method and apparatus for a talkgroup call in a wireless communication system | |
| US4821310A (en) | Transmission trunked radio system with voice buffering and off-line dialing | |
| CN100361117C (zh) | 数字网络系统中用于控制终端设备的传输的方法 | |
| EP2571298A1 (en) | Method, server and system for processing emergency call in push to talk over cellular (poc) service | |
| KR100400423B1 (ko) | 무선 통신 시스템에서의 토크그룹 호출을 위한 방법 및장치 | |
| WO1986004199A1 (en) | Dispatch trunked radio system | |
| KR20080094099A (ko) | 무선 디바이스를 호출할 때 조기 통지를 제공하는 시스템 및 방법 | |
| JPH04504191A (ja) | Tdm準2重システム | |
| USRE46704E1 (en) | Method for establishing packet-switched connection, and cellular network utilizing the method, and cellular terminal | |
| CN1778130A (zh) | 用于至少一个无线电通信设备晚参加或者重新参加一个已在进行的即按即说小组讨论的方法、无线电通信设备、交换单元以及无线电通信网络 | |
| CN101233784B (zh) | 通信装置 | |
| EP1747691B1 (en) | Push-to-talk reverse channel establishment | |
| CN114727232B (zh) | 在直通模式dmo通信中的双工组呼的方法及装置 | |
| JPWO2007040056A1 (ja) | Push−to−Talk端末、サーバ装置及び発言権取得端末の通知方法 | |
| JP2019135812A (ja) | 通信システム、通信装置、通信制御プログラム、中継装置、中継プログラム | |
| JP2019047240A (ja) | 端末装置および通信方法 | |
| JP2006033430A (ja) | デジタル移動無線システム | |
| CA2555631A1 (en) | Method and apparatus to allow two way radio users to access voice-enabled applications | |
| CN117296293A (zh) | 通话系统、通话主机以及通话终端 | |
| WO2023166939A1 (ja) | 無線通信システム | |
| HK1000240B (en) | Transmission trunked radio system with voice buffering and off-line dialing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22774622 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22774622 Country of ref document: EP Kind code of ref document: A1 |