WO2017122657A1 - Speech translation device, speech translation method, and speech translation program - Google Patents
Speech translation device, speech translation method, and speech translation program Download PDFInfo
- Publication number
- WO2017122657A1 WO2017122657A1 PCT/JP2017/000564 JP2017000564W WO2017122657A1 WO 2017122657 A1 WO2017122657 A1 WO 2017122657A1 JP 2017000564 W JP2017000564 W JP 2017000564W WO 2017122657 A1 WO2017122657 A1 WO 2017122657A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- content
- input
- user
- history
- speech
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims description 22
- 238000013461 design Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Definitions
- the present invention relates to a speech translation device, a speech translation method, and a speech translation program.
- a speech translation technique has been proposed in which the text content is machine-translated into the language of the other party and displayed on the screen, or the text content is played back using speech synthesis technology (for example, a patent). Reference 1).
- a speech translation application that operates on an information terminal such as a smartphone that embodies such speech translation technology has been put into practical use (see, for example, Non-Patent Document 1).
- An object of the present invention is to provide a speech translation device, a speech translation method, and a speech translation program that can prevent the occurrence of speech.
- a speech translation apparatus first includes an input unit for inputting a user's speech, a storage unit for storing the content of the input speech, and the content of the input speech.
- a translation unit that translates the content into different languages, an output unit that outputs the translated content (parallel translation) in voice and / or text, and a history display unit that displays the history of the input content are provided.
- storage part distinguishes and stores specific input content from other input content from a log
- examples of the “specific input contents” include frequent phrases (commonly used phrases) used by the user in conversation and contents of fixed phrases.
- the speech translation device further includes an information acquisition unit that acquires information on user attributes (for example, gender, occupation, type of business, business type, etc.), and the storage unit stores the specific input content to the user. You may comprise so that it may be linked
- the history display unit may switch the display of the history according to the attribute of the user.
- the speech translation apparatus may further include a library creation unit that creates a library for each attribute from specific input content stored in association with the user's attribute.
- the library for each attribute can be shared by the user and other users (that is, among a plurality of users).
- a speech translation method uses a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit, and inputs the user's speech and the content of the input speech Storing the content of the input speech, translating the content of the input speech into content in a different language, outputting the content of the translation in speech and / or text, and displaying the history of the input content.
- the specific input content is stored separately from the other input content from the history based on the user's instruction or based on the input frequency.
- the step of displaying the history the specific input content is displayed so that the user can select it.
- the step of translating when a specific input content is selected, the specific input content is translated into a different language content.
- a speech translation program includes a computer (not limited to a single type or a single type, and may be a plurality or a plurality of types; the same applies hereinafter), an input unit for inputting a user's voice, As a storage unit for storing the content, a translation unit for translating the content of the input speech into content in different languages, an output unit for outputting the translation content in speech and / or text, and a history display unit for displaying the history of the input content Make it work. Then, the speech translation program according to an aspect of the present disclosure causes the storage unit to store specific input content separately from other input content from the history based on a user instruction or based on the input frequency. Further, specific input contents are displayed on the history display section so that the user can select them. Further, when the specific input content is selected, the translation unit causes the specific input content to be translated into different language content.
- a user who uses a service related to a speech translation apparatus or a user who installs and uses an application which is a speech translation program in a computer such as an information terminal is used. Examples include filling in an information registration screen and answering a question questionnaire regarding attributes when using a speech translation device.
- a history of input contents of speech uttered by the user is stored, from which specific input contents such as frequent phrases are stored, and the specific input contents are displayed so that the user can select them. Then, by selecting a desired phrase from the specific input contents, it is possible to save the trouble of uttering frequent phrases and the like, and as a result, it is possible to reduce the burden on the user and improve convenience. it can. In addition, the occurrence of mistranslation can be prevented, so that the accuracy of speech translation can be improved easily and effectively. In addition, as described above, it is possible to improve the accuracy of speech translation by preventing the occurrence of mistranslations, which speeds up processing, saves memory, reduces the amount of communication data, and ensures processing reliability. Can increase the sex.
- FIG. 1 is a system block diagram schematically illustrating a preferred embodiment such as a network configuration related to a speech translation apparatus according to the present disclosure.
- FIG. It is a system block diagram showing roughly an example of composition of a user apparatus (information terminal) in a speech translation device by this indication. It is a system block diagram showing roughly an example of composition of a server in a speech translation device by this indication. It is a flowchart which shows an example of the flow (a part) of the process in the speech translation apparatus by this indication.
- or (D) are top views which show an example of the transition of the display screen in an information terminal.
- FIG. 1 is a system block diagram schematically illustrating a preferred embodiment such as a network configuration according to a speech translation apparatus according to the present disclosure.
- the speech translation apparatus 100 includes a server 20 that is electronically connected via a network N to an information terminal 10 (user apparatus) used by a user (speaker or other speaker) (however, this Not limited to).
- the information terminal 10 employs a user interface such as a touch panel and a display with high visibility, for example.
- the information terminal 10 here is a portable tablet terminal device including a mobile phone represented by a smartphone having a communication function with the network N.
- the information terminal 10 further includes a processor 11, a storage resource 12, a voice input / output device 13, a communication interface 14, an input device 15, a display device 16, and a camera 17.
- the information terminal 10 is operated by the installed speech translation application software (at least a part of the speech translation program according to the embodiment of the present disclosure), so that a part of the speech translation device according to the embodiment of the present disclosure or It functions as a whole.
- the processor 11 includes an arithmetic logic unit and various registers (program counter, data register, instruction register, general-purpose register, etc.). Further, the processor 11 interprets and executes speech translation application software, which is the program P10 stored in the storage resource 12, and performs various processes.
- the speech translation application software as the program P10 can be distributed from the server 20 through the network N, for example, and may be installed and updated manually or automatically.
- the network N includes, for example, a wired network (a short-range communication network (LAN), a wide-area communication network (WAN), a value-added communication network (VAN), etc.) and a wireless network (mobile communication network, satellite communication network, Bluetooth ( Bluetooth (registered trademark), WiFi (Wireless Fidelity), HSDPA (High Speed Downlink Packet Access, etc.).
- a wired network a short-range communication network (LAN), a wide-area communication network (WAN), a value-added communication network (VAN), etc.
- LAN short-range communication network
- WAN wide-area communication network
- VAN value-added communication network
- wireless network mobile communication network
- satellite communication network satellite communication network
- Bluetooth Bluetooth (registered trademark)
- WiFi Wireless Fidelity
- HSDPA High Speed Downlink Packet Access
- the storage resource 12 is a logical device provided by a storage area of a physical device (for example, a computer-readable recording medium such as a semiconductor memory), and an operating system program, a driver program, various data, etc. used for processing of the information terminal 10 Is stored.
- a driver program include an input / output device driver program for controlling the audio input / output device 13, an input device driver program for controlling the input device 15, an output device driver program for controlling the display device 16, and the like.
- the voice input / output device 13 is, for example, a general microphone and a sound player capable of reproducing sound data.
- the communication interface 14 provides, for example, a connection interface with the server 20 and includes a wireless communication interface and / or a wired communication interface.
- the input device 15 provides an interface for accepting an input operation by a tap operation such as an icon, a button, or a virtual keyboard displayed on the display device 16, and is externally attached to the information terminal 10 in addition to the touch panel.
- a tap operation such as an icon, a button, or a virtual keyboard displayed on the display device 16
- Various input devices can be exemplified.
- the display device 16 provides various information as an image display interface to a user or a conversation partner as necessary, and examples thereof include an organic EL display, a liquid crystal display, and a CRT display.
- the camera 17 is for capturing still images and moving images of various subjects.
- the server 20 is constituted by, for example, a host computer having a high arithmetic processing capability, and expresses a server function by operating a predetermined server program in the host computer, for example, a speech recognition server, a translation server, And a single or a plurality of host computers functioning as a speech synthesis server (in the drawing, it is indicated by a single, but is not limited thereto).
- Each server 20 includes a processor 21, a communication interface 22, and a storage resource 23 (storage unit).
- the processor 21 is composed of an arithmetic and logic unit for processing arithmetic operations, logical operations, bit operations and the like and various registers (program counter, data register, instruction register, general-purpose register, etc.), and is stored in the storage resource 23. P20 is interpreted and executed, and a predetermined calculation processing result is output.
- the communication interface 22 is a hardware module for connecting to the information terminal 10 via the network N.
- the communication interface 22 is a modulation / demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, or a soft modem.
- the storage resource 23 is a logical device provided by, for example, a storage area of a physical device (a computer-readable recording medium such as a disk drive or a semiconductor memory). Each of the storage resources 23 includes one or more programs P20, various modules L20, various types. A database D20 and various models M20 are stored.
- the program P10 is the above-described server program that is the main program of the server 20.
- the various modules L20 perform a series of information processing related to requests and information transmitted from the information terminal 10, so that they are appropriately called and executed during the operation of the program P10 (moduleized subprograms). ).
- Examples of the module L20 include a speech recognition module, a translation module, and a speech synthesis module.
- the various databases D20 include various corpora required for speech translation processing (for example, in the case of Japanese and English speech translation, a Japanese speech corpus, an English speech corpus, a Japanese character (vocabulary) corpus, an English character) (Vocabulary) corpus, Japanese dictionary, English dictionary, Japanese-English bilingual dictionary, Japanese-English bilingual corpus, etc.), a speech database described later, a management database for managing information related to users, and the like.
- examples of the various models M20 include an acoustic model and a language model used for speech recognition described later.
- FIG. 4 is a flowchart showing an example of a process flow (part) in the speech translation apparatus 100 of the present embodiment.
- 5A to 5D are plan views illustrating an example of display screen transition in the information terminal 10.
- a conversation (but not limited to this).
- a customer language selection screen is displayed on the display device 16 (FIG. 5A; step SJ1).
- This language selection screen includes a Japanese text T21 for inquiring the language to the customer, an English text T22 for that purpose, and a plurality of typical languages (again, English, Chinese (for example, typeface) 2), a language button 61 indicating Korean) is displayed.
- the Japanese text T21 and the English text T22 are divided by the processor 11 and the display device 16 into different areas on the screen of the display device 16 of the information terminal 10, and Are displayed in opposite directions (different directions; upside down in the figure).
- the user can easily confirm the Japanese text T21, while the customer can easily confirm the English text T22.
- the text T21 and the text T22 are displayed separately, there is an advantage that they can be clearly distinguished and further confirmed.
- the user can present the display of the text T22 on the language selection screen to the customer and have the customer tap the English button, or can select the language of the customer himself.
- a standby screen for voice input in Japanese and English is displayed as the home screen (FIG. 5B; step SJ2).
- the standby screen includes a text T23 asking which of the user's or customer's language is to be spoken, a Japanese input button 62a for inputting Japanese speech, and an English input button for inputting English speech. 62b is displayed.
- the standby screen includes a history button 63 for displaying a history of input contents, a language selection button 64 for returning to the language selection screen and switching the language of the customer (reselecting the language), and the application software.
- a setting button 65 for performing various settings is also displayed.
- FIG. 4 shows a flow of the case classification (step SU2) when paying attention to whether or not the user taps the history button 63, but in normal speech translation processing, the standby shown in FIG. Voice input can be performed from the screen.
- the flow of speech translation processing in that case that is, “No” in step SU2) will be described first.
- the processor 21 of the server 20 receives the voice signal through the communication interface 22 and performs voice recognition processing (step SJ4). At this time, the processor 21 calls the necessary module L20, database D20, and model M20 (speech recognition module, Japanese speech corpus, acoustic model, language model, etc.) from the storage resource 23, and obtains “sound” of the input speech. Convert to "reading" (character). As described above, the processor 21 or the server 20 functions as a “voice recognition server” as a whole.
- the processor 21 shifts to a multilingual translation process for translating the “reading” (characters) of the recognized speech into another language (step SJ5).
- the processor 21 calls the necessary module L20 and database D20 (translation module, Japanese character corpus, Japanese dictionary, English dictionary, Japanese-English bilingual dictionary, Japanese-English bilingual corpus, etc.) from the storage resource 23 and recognizes them.
- the resulting input speech “reading” (character string) is properly sorted and converted into Japanese phrases, clauses, sentences, etc., the English corresponding to the conversion result is extracted, and these are sorted according to the English grammar.
- the processor 21 also functions as a “translation unit”, and the server 20 also functions as a “translation server” as a whole. If the input voice is not recognized well, the voice can be re-input (screen display is not shown).
- the processor 21 stores the content of the recognized input voice in the storage resource 23.
- the processor 21 proceeds to speech synthesis processing (step SJ6).
- the processor 21 calls the necessary module L20, database D20, and model M20 (speech synthesis module, English speech corpus, acoustic model, language model, etc.) from the storage resource 23, and the English phrase that is the translation result, Convert clauses, sentences, etc. to natural speech.
- the processor 21 also functions as a “speech synthesizer”
- the server 20 also functions as a “speech synthesizer” as a whole.
- the processor 21 generates a voice signal for voice output based on the synthesized voice, and transmits the voice signal to the information terminal 10 through the communication interface 22 and the network N.
- the processor 11 of the information terminal 10 receives the audio signal through the communication interface 14 and performs an audio output process (step SJ7).
- a display order selection button 66 for switching the order of the list of the contents of the input speech between, for example, “latest order” and “frequency order” is displayed above the list where the text is displayed as a list.
- the user can appropriately switch between the “latest order” list and the “frequency order” list by tapping the display order selection button 66 as appropriate.
- a pin-shaped design P is additionally displayed in the text of the contents of each input voice.
- the content of each input voice displayed on the history display screen is selected from the content that the user frequently utters or the content of the fixed phrase, so to speak, the pin By doing so, you can “clip”.
- the user taps the pin shape design P of the input contents (specific input contents) displayed in the texts T31, T32, and T33 among the input contents listed in FIG. 5C (in step SU3, “ Yes ").
- the processor 11 of the information terminal 10 moves the input contents of the texts T31, T32, T33 to the upper area R1 of the screen and displays them together, while moving the other input contents to the lower area R2 of the screen and collects them. And visually distinguish them from each other (step SJ4). Further, in the vicinity of the upper region R1, a text T23 indicating that the input content is clipped with a pin is clearly shown.
- the processor 11 of the information terminal 10 transmits to the server 20 a command signal indicating that the input contents of the texts T31, T32, and T33 have been selected by the user.
- the processor 21 of the server 20 sets a flag on the input contents (specific input contents) of the texts T31, T32, and T33 held in the storage resource 23, so as to distinguish them from other input contents.
- the input contents of the texts T31, T32, and T33 clipped with pins are additionally displayed as x mark designs 67 instead of the pin shape designs P. .
- the user can unpin the texts T31, T32, and T33 by tapping the cross mark 67 as necessary.
- the processor 21 of the server 20 removes the flag from the input content stored in the storage resource 23 with a flag, for example, in response to a command signal from the processor 11 of the information terminal 10.
- the user can select desired input contents from the texts T31, T32, and T33 clipped with pins instead of uttering questions to the customer.
- the command signal is transmitted from the processor 11 of the information terminal 10 to the server 20.
- the processor 21 of the server 20 that has received the command signal sequentially executes multilingual translation processing (step SJ5), speech synthesis processing (step SJ6), and speech output processing (step SJ7) for the contents of the selected text T31. To do. Thereby, the user can output a parallel translation of a desired phrase or the like (specific input contents) without performing voice input.
- step SU3 when the input content to be clipped with the pin is not selected in step SU3 (“No” in step SU3), or when the specific input content is not selected instead of the utterance in step SU4 (in step SU4) “No”), the processor 21 of the server 20 sequentially executes the normal speech translation processing shown in steps SJ3 to SJ7 described above. Specifically, when the user taps the close button 68 on the history display screen shown in FIG. 5C or FIG. 5D, the standby screen shown in FIG. Displayed and can be reverted to normal speech translation processing.
- a standby screen for selecting a target language for speech translation is displayed on the display device 16 of the information terminal 10.
- an information registration screen for inputting information related to the user is displayed on the display device 16 of the information terminal 10.
- Attribute information such as a profession of a user (or a user's store), a business type, a business type, age, sex, a birthplace, a residence, is contained.
- the processor 11 of the information terminal 10 when the user inputs user information, the processor 11 of the information terminal 10 generates an information signal based on the information input, and transmits the information signal to the server 20 through the communication interface 14 and the network N.
- the information terminal 10 itself or the processor 11 also functions as an “information acquisition unit”.
- the processor 21 of the server 20 When the processor 21 of the server 20 receives the information signal through the communication interface 22, the process temporarily shifts to the process after step SJ2 shown in FIG. Then, when the user selects the input content displayed in, for example, the texts T31, T32, and T33 to be clipped in step SU3 (“Yes” in step SU3), as in the first embodiment or the second embodiment, FIG. A history display screen shown in FIG. 5 (C) or FIG. 5 (D) is displayed. On the other hand, the processor 21 of the server 20 distinguishes it from other input contents by flagging the input contents (specific input contents) of the texts T31, T32, and T33 held in the storage resource 23, and the like. Is associated with the user attribute and stored again.
- the processor 21 extracts or narrows down specific input contents based on any of the user's attributes (especially the user's (or user's store) occupation, business type, and business type). .
- the processor 21 may collect the specific input contents extracted or narrowed down by the user attribute and the corresponding translation contents as a library for each attribute and store them in the storage resource 23. . It is more useful if the library for each attribute created in this way is shared among a plurality of users.
- the speech translation method using the speech translation device, and the speech translation program a specific phrase such as a frequent phrase or a fixed sentence is identified from the history of the input content of speech uttered by the user.
- the input content can be clipped and stored. Therefore, the user can easily call up frequent phrases, fixed phrases, etc., and the user can save time and effort to utter them each time.
- the burden on the user can be reduced and the convenience can be improved, and the occurrence of mistranslation can be effectively prevented, so that the accuracy of speech translation can be improved easily and effectively. realizable.
- the clipped specific input content is stored in association with the user attribute, and is displayed on the history display screen, so that frequent phrases, fixed phrases, etc. corresponding to the user attribute can be efficiently selected. Is possible.
- frequent phrases and fixed phrases necessary for the user can be easily found, so that the burden on the user can be further reduced and convenience can be further improved.
- frequent phrases etc. are expected to be further standardized, and based on the occupation, type of business, and business type as the user attribute
- each of the above embodiments is an example for explaining the present invention, and the present invention is not limited to the embodiment.
- the present disclosure can be variously modified without departing from the gist thereof.
- those skilled in the art can replace the resources (hardware resources or software resources) described in the embodiments with equivalents, and such replacements are also included in the scope of the present disclosure.
- each process of speech recognition, translation, and speech synthesis is executed by the server 20
- these processes may be executed in the information terminal 10.
- the module L20 used for these processes may be stored in the storage resource 12 of the information terminal 10 or may be stored in the storage resource 23 of the server 20.
- the database D20 of the voice database and / or the model M20 such as an acoustic model may be stored in the storage resource 12 of the information terminal 10, or may be stored in the storage resource 23 of the server 20.
- the speech translation apparatus may not include the network N and the server 20.
- the frequency of the specific input content May be extracted by the processor 21 of the server 20, and a database or library obtained by clipping them may be automatically generated.
- the input content extracted based on the input frequency by the processor 21 may be displayed on the screen in which the display order selection button 66 shown in FIG. 5C or FIG. it can.
- a translation result of a predetermined language executed once may be stored together with the specific input content clipped (in association with the specific input content). For example, in the flow shown in FIG. 4, when the user taps and selects the portion of the text T31 (“Yes” in step SU4), the multilingual translation process (step SJ5) is skipped and the speech synthesis process (step SJ6) is performed. You may make it perform.
- the information terminal 10 is not limited to a portable device, and may be a desktop personal computer, a notebook personal computer, a tablet personal computer, a laptop personal computer, or the like.
- the speech translation apparatus is as follows: An input unit for inputting the user's voice; A storage unit for storing the contents of the input voice; A translation unit that translates the content of the input speech into content of a different language; An output unit that outputs the translated content in audio and / or text; A history display unit for displaying the history of the input content; With The history display unit displays a design indicating that the user can select a specific input content from the history, attached to each input content in the history, The storage unit stores the specific input content separately from other input content when the user selects the specific input content from the history using the design, The history display unit visually displays the specific input content and the other input content, and the user can select a desired one from the specific input content displayed visually. Display the input contents selectable, The translation unit may translate the desired input content into different language content when the desired input content is selected by the user.
- the history display unit visually distinguishes and displays the specific input content and the other input content, the user can remove unnecessary input content from the specific input content.
- the design shown may be displayed along with the specific input content.
- an information acquisition unit that acquires information about the user's attributes
- the storage unit stores the specific input content in association with the attribute of the user
- the history display unit may switch the display of the history according to the attribute of the user.
- a library creation unit that creates a library for each attribute from the specific input content stored in association with the attribute of the user may be further provided.
- the library for each attribute may be shared by the user and other users.
- the speech translation method is: Using a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit, Inputting the user's voice; Storing the contents of the input voice; Translating the content of the input speech into content of a different language; Outputting the translated content in audio and / or text; Displaying a history of the input content; Including In the step of displaying the history, a design indicating that the user can select a specific input content from the history is displayed along with each input content in the history, In the storing step, when the user selects the specific input content from the history using the design, the specific input content is stored separately from other input content, In the step of displaying the history, the specific input content and the other input content are visually distinguished and displayed, and the user can visually distinguish the specific input content. Display the desired input content from In the step of translating, when the desired input content is selected by the user, the desired input content may be translated into different language content.
- the speech translation program is Computer An input unit for inputting the user's voice; A storage unit for storing the contents of the input voice; A translation unit that translates the content of the input speech into content of a different language; An output unit that outputs the translated content in audio and / or text; A history display unit for displaying the history of the input content; To function, In the history display unit, a design indicating that the user can select specific input contents from the history is displayed along with each input content in the history, When the user selects the specific input content from the history using the design, the storage unit stores the specific input content separately from other input content, The history display unit visually displays the specific input content and the other input content, and the user selects a desired one from the specific input content displayed visually. Display the input contents selectable, When the desired input content is selected by the user, the translation unit may translate the desired input content into different language content.
- the burden on the user in speech translation processing can be reduced and convenience can be improved, and the accuracy of speech translation can be improved easily and effectively by preventing the occurrence of mistranslation.
- the present invention can be widely used for activities such as designing, manufacturing, providing, and selling programs, apparatuses, systems, and methods in the field of providing services related to conversations between people who cannot understand each other's languages.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
A speech translation device according to an embodiment of the present invention is equipped with: an input part for inputting a user's speech; a storage part for storing the content of the input speech; a translation part for translating the content of the input speech into a different language; an output part for outputting the translated content (parallel translation) in the form of speech and/or text; and a history display part for displaying the history of input content entries. In addition, the storage part stores a specific input content entry in the history separately from the other input content entries in response to an instruction given by the user or on the basis of the input frequency thereof. Furthermore, when the specific input content is selected, the translation part translates the specific input content into a different language.
Description
本出願は、2016年1月13日に出願された日本特許出願番号2016-004337に基づくもので、ここにその記載内容を援用する。
This application is based on Japanese Patent Application No. 2016-004337 filed on January 13, 2016, the contents of which are incorporated herein by reference.
本発明は、音声翻訳装置、音声翻訳方法、及び音声翻訳プログラムに関する。
The present invention relates to a speech translation device, a speech translation method, and a speech translation program.
互いの言語を理解できない人同士の会話、例えば店員(飲食店等の店舗の販売員)と顧客(海外からの観光客等)との会話を可能ならしめるべく、話者の発話音声をテキスト化し、そのテキストの内容を相手の言語に機械翻訳した上で画面に表示したり、或いは、音声合成技術を用いてそのテキストの内容を音声再生したりする音声翻訳技術が提案されている(例えば特許文献1参照)。また、かかる音声翻訳技術を具現化したスマートフォン等の情報端末で動作する音声翻訳アプリケーションも実用化されている(例えば非特許文献1参照)。
In order to enable conversation between people who cannot understand each other's language, for example, conversation between a store clerk (sales clerk at a restaurant, etc.) and a customer (tourist from abroad, etc.) A speech translation technique has been proposed in which the text content is machine-translated into the language of the other party and displayed on the screen, or the text content is played back using speech synthesis technology (for example, a patent). Reference 1). In addition, a speech translation application that operates on an information terminal such as a smartphone that embodies such speech translation technology has been put into practical use (see, for example, Non-Patent Document 1).
ところで、例えば店員と顧客の会話では、頻繁に使用されるフレーズ(質問事項、案内事項、説明等)や定型的な内容を発話することが多くある。例えば、飲食店であれば、店員が顧客の注文の内容を尋ねたり、料理の素材を説明したりする際に、同じ言い回し又は同じ内容のフレーズが出現し得る。しかし、上記従来の音声翻訳装置では、そういった頻出フレーズであっても、ユーザ(店員)が、その都度(毎回)発話する必要がある。また、そもそも、入力された音声の内容が、その言語の基本的な文型になっていないと、翻訳エンジンによる機械翻訳において、誤訳が生じてしまう可能性が高くなる傾向にある。よって、実質的に同じ内容のフレーズであっても、例えば発話した語順等が若干異なっただけでも、誤訳が生じてしまい、たとえ頻出フレーズであっても、発話をし直さなければならない事態も起こり得る。それらの結果、ユーザ(利用者、発話者)の負担の増加や利便性の低下を招いてしまうおそれがある。
By the way, in a conversation between a clerk and a customer, for example, frequently used phrases (question items, guidance items, explanations, etc.) and typical contents are often uttered. For example, in the case of a restaurant, when the clerk asks about the contents of the customer's order or explains the material of the dish, the same wording or the phrase with the same contents may appear. However, in the above-described conventional speech translation apparatus, even with such frequent phrases, the user (clerk) needs to utter each time (every time). In the first place, if the input speech content is not in the basic sentence pattern of the language, there is a high possibility that mistranslation will occur in machine translation by the translation engine. Therefore, even if the phrases have substantially the same contents, for example, even if the spoken word order is slightly different, mistranslation occurs, and even if it is a frequent phrase, it may be necessary to re-speak. obtain. As a result, there is a risk of increasing the burden on the user (user, speaker) or reducing convenience.
そこで、本発明は、かかる事情に鑑みてなされたものであり、会話によく出現するフレーズを発話する手間を省くことにより、ユーザの負担を軽減し且つ利便性を向上させることができるとともに、誤訳の発生を防止することができる音声翻訳装置、音声翻訳方法、及び音声翻訳プログラムを提供することを目的とする。
Therefore, the present invention has been made in view of such circumstances, and by reducing the trouble of speaking a phrase that often appears in a conversation, the burden on the user can be reduced and convenience can be improved. An object of the present invention is to provide a speech translation device, a speech translation method, and a speech translation program that can prevent the occurrence of speech.
上記課題を解決するため、本開示の一態様による音声翻訳装置は、まず、ユーザの音声を入力するための入力部と、その入力音声の内容を記憶する記憶部と、その入力音声の内容を異なる言語の内容に翻訳する翻訳部と、その翻訳内容(対訳)を音声及び/又はテキストで出力する出力部と、入力内容の履歴を表示する履歴表示部とを備える。そして、記憶部が、ユーザの指示により、又は、入力頻度に基づいて、履歴のなかから、特定の入力内容を他の入力内容と区別して記憶する。さらに、翻訳部が、特定の入力内容が選択されたときに、その特定の入力内容を異なる言語の内容に翻訳する。ここで、「特定の入力内容」としては、会話において、ユーザが使用する頻出フレーズ(よく使う言い回し)や定型文の内容を例示することができる。
In order to solve the above problems, a speech translation apparatus according to an aspect of the present disclosure first includes an input unit for inputting a user's speech, a storage unit for storing the content of the input speech, and the content of the input speech. A translation unit that translates the content into different languages, an output unit that outputs the translated content (parallel translation) in voice and / or text, and a history display unit that displays the history of the input content are provided. And a memory | storage part distinguishes and stores specific input content from other input content from a log | history by a user's instruction | indication or based on input frequency. Further, when a specific input content is selected, the translation unit translates the specific input content into a different language content. Here, examples of the “specific input contents” include frequent phrases (commonly used phrases) used by the user in conversation and contents of fixed phrases.
また、本開示の一態様による音声翻訳装置は、ユーザの属性(例えば性別、職業、業種、業態等)に関する情報を取得する情報取得部を更に備え、記憶部が、特定の入力内容を、ユーザの属性に関連付けて記憶するように構成してもよい。この場合、履歴表示部が、ユーザの属性に応じて、履歴の表示を切り替えるようにしてもよい。
In addition, the speech translation device according to an aspect of the present disclosure further includes an information acquisition unit that acquires information on user attributes (for example, gender, occupation, type of business, business type, etc.), and the storage unit stores the specific input content to the user. You may comprise so that it may be linked | related and memorize | stored in the attribute. In this case, the history display unit may switch the display of the history according to the attribute of the user.
また、本開示の一態様による音声翻訳装置は、ユーザの属性に関連付けて記憶された特定の入力内容から、属性毎のライブラリを作成するライブラリ作成部を更に備えてもよい。このとき、属性毎のライブラリを、ユーザと他のユーザ(つまり複数のユーザ間)で共有可能なものとすることもできる。
The speech translation apparatus according to an aspect of the present disclosure may further include a library creation unit that creates a library for each attribute from specific input content stored in association with the user's attribute. At this time, the library for each attribute can be shared by the user and other users (that is, among a plurality of users).
また、本開示の一態様による音声翻訳方法は、入力部、記憶部、翻訳部、出力部、及び履歴表示部を備える音声翻訳装置を用い、ユーザの音声を入力するステップと、入力音声の内容を記憶するステップと、入力音声の内容を異なる言語の内容に翻訳するステップと、翻訳内容を音声及び/又はテキストで出力するステップと、入力内容の履歴を表示するステップとを含む。そして、記憶するステップにおいては、ユーザの指示により、又は、入力頻度に基づいて、履歴のなかから、特定の入力内容を他の入力内容と区別して記憶する。また、履歴を表示するステップにおいては、特定の入力内容をユーザが選択可能に表示する。さらに、翻訳するステップにおいては、特定の入力内容が選択されたときに、その特定の入力内容を異なる言語の内容に翻訳する。
In addition, a speech translation method according to an aspect of the present disclosure uses a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit, and inputs the user's speech and the content of the input speech Storing the content of the input speech, translating the content of the input speech into content in a different language, outputting the content of the translation in speech and / or text, and displaying the history of the input content. In the storing step, the specific input content is stored separately from the other input content from the history based on the user's instruction or based on the input frequency. In the step of displaying the history, the specific input content is displayed so that the user can select it. Further, in the step of translating, when a specific input content is selected, the specific input content is translated into a different language content.
また、本開示の一態様による音声翻訳プログラムは、コンピュータ(単数又は単一種に限られず、複数又は複数種でもよい;以下同様)を、ユーザの音声を入力するための入力部と、入力音声の内容を記憶する記憶部と、入力音声の内容を異なる言語の内容に翻訳する翻訳部と、翻訳内容を音声及び/又はテキストで出力する出力部と、入力内容の履歴を表示する履歴表示部として機能させる。そして、本開示の一態様による音声翻訳プログラムは、記憶部に、ユーザの指示により、又は、入力頻度に基づいて、履歴のなかから、特定の入力内容を他の入力内容と区別して記憶させる。また、履歴表示部に、特定の入力内容をユーザが選択可能に表示させる。さらに、翻訳部に、特定の入力内容が選択されたときに、特定の入力内容を異なる言語の内容に翻訳させる。
A speech translation program according to an aspect of the present disclosure includes a computer (not limited to a single type or a single type, and may be a plurality or a plurality of types; the same applies hereinafter), an input unit for inputting a user's voice, As a storage unit for storing the content, a translation unit for translating the content of the input speech into content in different languages, an output unit for outputting the translation content in speech and / or text, and a history display unit for displaying the history of the input content Make it work. Then, the speech translation program according to an aspect of the present disclosure causes the storage unit to store specific input content separately from other input content from the history based on a user instruction or based on the input frequency. Further, specific input contents are displayed on the history display section so that the user can select them. Further, when the specific input content is selected, the translation unit causes the specific input content to be translated into different language content.
なお、「属性」に関する情報を取得する方法としては、ユーザが音声翻訳装置に係るサービスを使用する際、又は、音声翻訳プログラムであるアプリケーションを情報端末等のコンピュータにインストールして使用する際のユーザ情報の登録画面に記入してもらったり、音声翻訳装置を利用する際に属性に関する質問アンケートに回答してもらったりといった例が挙げられる。
In addition, as a method of acquiring information related to “attributes”, a user who uses a service related to a speech translation apparatus or a user who installs and uses an application which is a speech translation program in a computer such as an information terminal is used. Examples include filling in an information registration screen and answering a question questionnaire regarding attributes when using a speech translation device.
本発明によれば、ユーザが発話した音声の入力内容の履歴を保持し、そのなかから、頻出フレーズ等の特定の入力内容を記憶し、その特定の入力内容をユーザが選択可能に表示する。そして、その特定の入力内容のなかから所望のフレーズを選択することにより、頻出フレーズ等を都度発話する手間を省くことができ、その結果、ユーザの負担を軽減し且つ利便性を向上させることができる。しかも、誤訳の発生を防止することが可能となるので、音声翻訳の精度を簡易に且つ効果的に向上させることもできる。また、このとおり、誤訳の発生を防止して音声翻訳の精度を向上させることができるので、処理が速くなり、メモリを節約でき、かつ、通信のデータ量を減らすことができるとともに、処理の信頼性を高めることができる。
According to the present invention, a history of input contents of speech uttered by the user is stored, from which specific input contents such as frequent phrases are stored, and the specific input contents are displayed so that the user can select them. Then, by selecting a desired phrase from the specific input contents, it is possible to save the trouble of uttering frequent phrases and the like, and as a result, it is possible to reduce the burden on the user and improve convenience. it can. In addition, the occurrence of mistranslation can be prevented, so that the accuracy of speech translation can be improved easily and effectively. In addition, as described above, it is possible to improve the accuracy of speech translation by preventing the occurrence of mistranslations, which speeds up processing, saves memory, reduces the amount of communication data, and ensures processing reliability. Can increase the sex.
以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本開示は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。
Hereinafter, embodiments of the present invention will be described in detail. The following embodiments are examples for explaining the present invention, and are not intended to limit the present invention only to the embodiments. Further, the present disclosure can be variously modified without departing from the gist thereof. Furthermore, those skilled in the art can employ embodiments in which the elements described below are replaced with equivalent ones, and such embodiments are also included in the scope of the present invention. Furthermore, positional relationships such as up, down, left, and right shown as needed are based on the display shown unless otherwise specified. Furthermore, various dimensional ratios in the drawings are not limited to the illustrated ratios.
(装置構成)
図1は、本開示による音声翻訳装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。この例において、音声翻訳装置100は、ユーザ(発話者、他の発話者)が使用する情報端末10(ユーザ装置)にネットワークNを介して電子的に接続されるサーバ20を備える(但し、これに限定されない)。
(Device configuration)
FIG. 1 is a system block diagram schematically illustrating a preferred embodiment such as a network configuration according to a speech translation apparatus according to the present disclosure. In this example, thespeech translation apparatus 100 includes a server 20 that is electronically connected via a network N to an information terminal 10 (user apparatus) used by a user (speaker or other speaker) (however, this Not limited to).
図1は、本開示による音声翻訳装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。この例において、音声翻訳装置100は、ユーザ(発話者、他の発話者)が使用する情報端末10(ユーザ装置)にネットワークNを介して電子的に接続されるサーバ20を備える(但し、これに限定されない)。
(Device configuration)
FIG. 1 is a system block diagram schematically illustrating a preferred embodiment such as a network configuration according to a speech translation apparatus according to the present disclosure. In this example, the
情報端末10は、例えば、タッチパネル等のユーザインターフェイス及び視認性が高いディスプレイを採用する。また、ここでの情報端末10は、ネットワークNとの通信機能を有するスマートフォンに代表される携帯電話を含む可搬型のタブレット型端末装置である。さらに、情報端末10は、プロセッサ11、記憶資源12、音声入出力デバイス13、通信インターフェイス14、入力デバイス15、表示デバイス16、及びカメラ17を備えている。また、情報端末10は、インストールされた音声翻訳アプリケーションソフト(本開示の一実施形態による音声翻訳プログラムの少なくとも一部)が動作することにより、本開示の一実施形態による音声翻訳装置の一部又は全部として機能するものである。
The information terminal 10 employs a user interface such as a touch panel and a display with high visibility, for example. The information terminal 10 here is a portable tablet terminal device including a mobile phone represented by a smartphone having a communication function with the network N. The information terminal 10 further includes a processor 11, a storage resource 12, a voice input / output device 13, a communication interface 14, an input device 15, a display device 16, and a camera 17. In addition, the information terminal 10 is operated by the installed speech translation application software (at least a part of the speech translation program according to the embodiment of the present disclosure), so that a part of the speech translation device according to the embodiment of the present disclosure or It functions as a whole.
プロセッサ11は、算術論理演算ユニット及び各種レジスタ(プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等)から構成される。また、プロセッサ11は、記憶資源12に格納されているプログラムP10である音声翻訳アプリケーションソフトを解釈及び実行し、各種処理を行う。このプログラムP10としての音声翻訳アプリケーションソフトは、例えばサーバ20からネットワークNを通じて配信可能なものであり、手動的に又は自動的にインストール及びアップデートされてもよい。
The processor 11 includes an arithmetic logic unit and various registers (program counter, data register, instruction register, general-purpose register, etc.). Further, the processor 11 interprets and executes speech translation application software, which is the program P10 stored in the storage resource 12, and performs various processes. The speech translation application software as the program P10 can be distributed from the server 20 through the network N, for example, and may be installed and updated manually or automatically.
なお、ネットワークNは、例えば、有線ネットワーク(近距離通信網(LAN)、広域通信網(WAN)、又は付加価値通信網(VAN)等)と無線ネットワーク(移動通信網、衛星通信網、ブルートゥース(Bluetooth:登録商標)、WiFi(Wireless Fidelity)、HSDPA(High Speed Downlink Packet Access)等)が混在して構成される通信網である。
The network N includes, for example, a wired network (a short-range communication network (LAN), a wide-area communication network (WAN), a value-added communication network (VAN), etc.) and a wireless network (mobile communication network, satellite communication network, Bluetooth ( Bluetooth (registered trademark), WiFi (Wireless Fidelity), HSDPA (High Speed Downlink Packet Access, etc.).
記憶資源12は、物理デバイス(例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体)の記憶領域が提供する論理デバイスであり、情報端末10の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等を格納する。ドライバプログラムとしては、例えば、音声入出力デバイス13を制御するための入出力デバイスドライバプログラム、入力デバイス15を制御するための入力デバイスドライバプログラム、表示デバイス16を制御するための出力デバイスドライバプログラム等が挙げられる。さらに、音声入出力デバイス13は、例えば、一般的なマイクロフォン、及びサウンドデータを再生可能なサウンドプレイヤである。
The storage resource 12 is a logical device provided by a storage area of a physical device (for example, a computer-readable recording medium such as a semiconductor memory), and an operating system program, a driver program, various data, etc. used for processing of the information terminal 10 Is stored. Examples of the driver program include an input / output device driver program for controlling the audio input / output device 13, an input device driver program for controlling the input device 15, an output device driver program for controlling the display device 16, and the like. Can be mentioned. Furthermore, the voice input / output device 13 is, for example, a general microphone and a sound player capable of reproducing sound data.
通信インターフェイス14は、例えばサーバ20との接続インターフェイスを提供するものであり、無線通信インターフェイス及び/又は有線通信インターフェイスから構成される。また、入力デバイス15は、例えば、表示デバイス16に表示されるアイコン、ボタン、仮想キーボード等のタップ動作による入力操作を受け付けるインターフェイスを提供するものであり、タッチパネルの他、情報端末10に外付けされる各種入力装置を例示することができる。
The communication interface 14 provides, for example, a connection interface with the server 20 and includes a wireless communication interface and / or a wired communication interface. The input device 15 provides an interface for accepting an input operation by a tap operation such as an icon, a button, or a virtual keyboard displayed on the display device 16, and is externally attached to the information terminal 10 in addition to the touch panel. Various input devices can be exemplified.
表示デバイス16は、画像表示インターフェイスとして各種の情報をユーザや、必要に応じて会話の相手方に提供するものであり、例えば、有機ELディスプレイ、液晶ディスプレイ、CRTディスプレイ等が挙げられる。また、カメラ17は、種々の被写体の静止画や動画を撮像するためのものである。
The display device 16 provides various information as an image display interface to a user or a conversation partner as necessary, and examples thereof include an organic EL display, a liquid crystal display, and a CRT display. The camera 17 is for capturing still images and moving images of various subjects.
サーバ20は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現するものであり、例えば、音声認識サーバ、翻訳サーバ、及び音声合成サーバとして機能する単数又は複数のホストコンピュータから構成される(図示においては単数で示すが、これに限定されない)。そして、各サーバ20は、プロセッサ21、通信インターフェイス22、及び記憶資源23(記憶部)を備える。
The server 20 is constituted by, for example, a host computer having a high arithmetic processing capability, and expresses a server function by operating a predetermined server program in the host computer, for example, a speech recognition server, a translation server, And a single or a plurality of host computers functioning as a speech synthesis server (in the drawing, it is indicated by a single, but is not limited thereto). Each server 20 includes a processor 21, a communication interface 22, and a storage resource 23 (storage unit).
プロセッサ21は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット及び各種レジスタ(プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等)から構成され、記憶資源23に格納されているプログラムP20を解釈及び実行し、所定の演算処理結果を出力する。また、通信インターフェイス22は、ネットワークNを介して情報端末10に接続するためのハードウェアモジュールであり、例えば、ISDNモデム、ADSLモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
The processor 21 is composed of an arithmetic and logic unit for processing arithmetic operations, logical operations, bit operations and the like and various registers (program counter, data register, instruction register, general-purpose register, etc.), and is stored in the storage resource 23. P20 is interpreted and executed, and a predetermined calculation processing result is output. The communication interface 22 is a hardware module for connecting to the information terminal 10 via the network N. For example, the communication interface 22 is a modulation / demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, or a soft modem.
記憶資源23は、例えば、物理デバイス(ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体等)の記憶領域が提供する論理デバイスであり、それぞれ単数又は複数の、プログラムP20、各種モジュールL20、各種データベースD20、及び各種モデルM20が格納されている。
The storage resource 23 is a logical device provided by, for example, a storage area of a physical device (a computer-readable recording medium such as a disk drive or a semiconductor memory). Each of the storage resources 23 includes one or more programs P20, various modules L20, various types. A database D20 and various models M20 are stored.
プログラムP10は、サーバ20のメインプログラムである上述したサーバ用プログラム等である。また、各種モジュールL20は、情報端末10から送信されてくる要求及び情報に係る一連の情報処理を行うため、プログラムP10の動作中に適宜呼び出されて実行されるソフトウェアモジュール(モジュール化されたサブプログラム)である。かかるモジュールL20としては、音声認識モジュール、翻訳モジュール、音声合成モジュール等が挙げられる。
The program P10 is the above-described server program that is the main program of the server 20. In addition, the various modules L20 perform a series of information processing related to requests and information transmitted from the information terminal 10, so that they are appropriately called and executed during the operation of the program P10 (moduleized subprograms). ). Examples of the module L20 include a speech recognition module, a translation module, and a speech synthesis module.
また、各種データベースD20としては、音声翻訳処理のために必要な各種コーパス(例えば、日本語と英語の音声翻訳の場合、日本語音声コーパス、英語音声コーパス、日本語文字(語彙)コーパス、英語文字(語彙)コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等)、後述する音声データベース、ユーザに関する情報を管理するための管理用データベース等が挙げられる。また、各種モデルM20としては、後述する音声認識に使用する音響モデルや言語モデル等が挙げられる。
The various databases D20 include various corpora required for speech translation processing (for example, in the case of Japanese and English speech translation, a Japanese speech corpus, an English speech corpus, a Japanese character (vocabulary) corpus, an English character) (Vocabulary) corpus, Japanese dictionary, English dictionary, Japanese-English bilingual dictionary, Japanese-English bilingual corpus, etc.), a speech database described later, a management database for managing information related to users, and the like. In addition, examples of the various models M20 include an acoustic model and a language model used for speech recognition described later.
以上のとおり構成された音声翻訳装置100における、音声翻訳処理の操作及び動作の一例について、以下に更に説明する。
An example of operations and operations of speech translation processing in the speech translation apparatus 100 configured as described above will be further described below.
(第1実施形態)
図4は、本実施形態の音声翻訳装置100における処理の流れ(一部)の一例を示すフローチャートである。また、図5(A)乃至(D)は、情報端末10における表示画面の遷移の一例を示す平面図である。ここでは、情報端末10のユーザが日本語を話す飲食店の店員であり、会話の相手が英語を話す顧客である場合の会話、すなわち、入力言語が日本語であり、翻訳言語が英語である会話を想定する(但し、これに限定されない)。 (First embodiment)
FIG. 4 is a flowchart showing an example of a process flow (part) in thespeech translation apparatus 100 of the present embodiment. 5A to 5D are plan views illustrating an example of display screen transition in the information terminal 10. Here, the conversation when the user of the information terminal 10 is a restaurant clerk who speaks Japanese and the conversation partner is a customer who speaks English, that is, the input language is Japanese and the translation language is English. Assume a conversation (but not limited to this).
図4は、本実施形態の音声翻訳装置100における処理の流れ(一部)の一例を示すフローチャートである。また、図5(A)乃至(D)は、情報端末10における表示画面の遷移の一例を示す平面図である。ここでは、情報端末10のユーザが日本語を話す飲食店の店員であり、会話の相手が英語を話す顧客である場合の会話、すなわち、入力言語が日本語であり、翻訳言語が英語である会話を想定する(但し、これに限定されない)。 (First embodiment)
FIG. 4 is a flowchart showing an example of a process flow (part) in the
まず、ユーザ(店員)が当該アプリケーションを起動する(ステップSU1)と、表示デバイス16に、顧客の言語選択画面が表示される(図5(A);ステップSJ1)。この言語選択画面には、顧客に言語を尋ねる旨の日本語のテキストT21、その旨の英語のテキストT22、及び、想定される複数の代表的な言語(ここでも、英語、中国語(例えば書体により2種類)、ハングル語)を示す言語ボタン61が表示される。
First, when the user (clerk) starts the application (step SU1), a customer language selection screen is displayed on the display device 16 (FIG. 5A; step SJ1). This language selection screen includes a Japanese text T21 for inquiring the language to the customer, an English text T22 for that purpose, and a plurality of typical languages (again, English, Chinese (for example, typeface) 2), a language button 61 indicating Korean) is displayed.
このとき、図5(A)に示す如く、日本語のテキストT21及び英語のテキストT22は、プロセッサ11及び表示デバイス16により、情報端末10の表示デバイス16の画面において、異なる領域によって区分けされ、且つ、互いに逆向き(互いに異なる向き;図示において上下逆向き)に表示される。これにより、ユーザと顧客が対面している状態で会話を行う場合、ユーザは日本語のテキストT21を確認し易い一方、顧客は、英語のテキストT22を確認し易くなる。また、テキストT21とテキストT22が区分けして表示されるので、両者を明別して更に確認し易くなる利点がある。
At this time, as shown in FIG. 5A, the Japanese text T21 and the English text T22 are divided by the processor 11 and the display device 16 into different areas on the screen of the display device 16 of the information terminal 10, and Are displayed in opposite directions (different directions; upside down in the figure). Thereby, when a conversation is performed in a state where the user and the customer face each other, the user can easily confirm the Japanese text T21, while the customer can easily confirm the English text T22. Further, since the text T21 and the text T22 are displayed separately, there is an advantage that they can be clearly distinguished and further confirmed.
ユーザは、その言語選択画面のテキストT22の表示を顧客に提示し、顧客に英語(English)のボタンをタップしてもらうことにより、又は、自ら顧客の言語を選択することができる。こうして顧客の言語が選択されると、ホーム画面として、日本語と英語の音声入力の待機画面が表示される(図5(B);ステップSJ2)。この待機画面には、ユーザと顧客の言語の何れを発話するかを問うテキストT23、並びに、日本語の音声入力を行うための日本語入力ボタン62a及び英語の音声入力を行うための英語入力ボタン62bが表示される。また、この待機画面には、入力内容の履歴を表示するための履歴ボタン63、言語選択画面に戻って顧客の言語を切り替える(言語選択をやり直す)ための言語選択ボタン64、及び当該アプリケーションソフトの各種設定を行うための設定ボタン65も表示される。
The user can present the display of the text T22 on the language selection screen to the customer and have the customer tap the English button, or can select the language of the customer himself. When the customer's language is thus selected, a standby screen for voice input in Japanese and English is displayed as the home screen (FIG. 5B; step SJ2). The standby screen includes a text T23 asking which of the user's or customer's language is to be spoken, a Japanese input button 62a for inputting Japanese speech, and an English input button for inputting English speech. 62b is displayed. The standby screen includes a history button 63 for displaying a history of input contents, a language selection button 64 for returning to the language selection screen and switching the language of the customer (reselecting the language), and the application software. A setting button 65 for performing various settings is also displayed.
次いで、図4には、ユーザが履歴ボタン63をタップするか否かに着目した場合分け(ステップSU2)のフローを示したが、通常の音声翻訳処理においては、図5(B)に示す待機画面から音声入力を行うことができる。ここでは、その場合(つまり、ステップSU2において「No」)の音声翻訳処理の流れについて先に説明する。
Next, FIG. 4 shows a flow of the case classification (step SU2) when paying attention to whether or not the user taps the history button 63, but in normal speech translation processing, the standby shown in FIG. Voice input can be performed from the screen. Here, the flow of speech translation processing in that case (that is, “No” in step SU2) will be described first.
[通常の音声翻訳処理]
すなわち、この待機画面において、ユーザ(店員)が日本語入力ボタン62aをタップして日本語の音声入力を選択すると音声入力が可能な状態となる。この状態で、ユーザが顧客への伝達事項等を発話すると、音声入出力デバイス13を通して音声入力が行われる(ステップSJ3)。情報端末10のプロセッサ11は、その音声入力に基づいて音声信号を生成し、その音声信号を通信インターフェイス14及びネットワークNを通してサーバ20へ送信する。このとおり、情報端末10自体、又はプロセッサ11及び音声入出力デバイス13が「入力部」として機能する。 [Normal speech translation processing]
That is, on this standby screen, when the user (clerk) taps theJapanese input button 62a and selects Japanese voice input, voice input is enabled. In this state, when the user utters a message to be transmitted to the customer, voice input is performed through the voice input / output device 13 (step SJ3). The processor 11 of the information terminal 10 generates an audio signal based on the audio input, and transmits the audio signal to the server 20 through the communication interface 14 and the network N. As described above, the information terminal 10 itself, or the processor 11 and the voice input / output device 13 function as an “input unit”.
すなわち、この待機画面において、ユーザ(店員)が日本語入力ボタン62aをタップして日本語の音声入力を選択すると音声入力が可能な状態となる。この状態で、ユーザが顧客への伝達事項等を発話すると、音声入出力デバイス13を通して音声入力が行われる(ステップSJ3)。情報端末10のプロセッサ11は、その音声入力に基づいて音声信号を生成し、その音声信号を通信インターフェイス14及びネットワークNを通してサーバ20へ送信する。このとおり、情報端末10自体、又はプロセッサ11及び音声入出力デバイス13が「入力部」として機能する。 [Normal speech translation processing]
That is, on this standby screen, when the user (clerk) taps the
サーバ20のプロセッサ21は、通信インターフェイス22を通してその音声信号を受信し、音声認識処理を行う(ステップSJ4)。このとき、プロセッサ21は、記憶資源23から、必要なモジュールL20、データベースD20、及びモデルM20(音声認識モジュール、日本語音声コーパス、音響モデル、言語モデル等)を呼び出し、入力音声の「音」を「読み」(文字)へ変換する。このとおり、プロセッサ21、又は、サーバ20が全体として「音声認識サーバ」として機能する。
The processor 21 of the server 20 receives the voice signal through the communication interface 22 and performs voice recognition processing (step SJ4). At this time, the processor 21 calls the necessary module L20, database D20, and model M20 (speech recognition module, Japanese speech corpus, acoustic model, language model, etc.) from the storage resource 23, and obtains “sound” of the input speech. Convert to "reading" (character). As described above, the processor 21 or the server 20 functions as a “voice recognition server” as a whole.
ここで、入力音声が認識された場合、プロセッサ21は、認識された音声の「読み」(文字)を他の言語に翻訳する多言語翻訳処理へ移行する(ステップSJ5)。このとき、プロセッサ21は、記憶資源23から、必要なモジュールL20及びデータベースD20(翻訳モジュール、日本語文字コーパス、日本語辞書、英語辞書、日英対訳辞書、日英対訳コーパス等)を呼び出し、認識結果である入力音声の「読み」(文字列)を適切に並び替えて日本語の句、節、文等へ変換し、その変換結果に対応する英語を抽出し、それらを英文法に従って並び替えて自然な英語の句、節、文等へと変換する。このとおり、プロセッサ21は、「翻訳部」としても機能し、サーバ20は、全体として「翻訳サーバ」としても機能する。なお、入力音声がうまく認識されなかった場合には、音声の再入力を行うことができる(画面表示を図示せず)。
Here, when the input speech is recognized, the processor 21 shifts to a multilingual translation process for translating the “reading” (characters) of the recognized speech into another language (step SJ5). At this time, the processor 21 calls the necessary module L20 and database D20 (translation module, Japanese character corpus, Japanese dictionary, English dictionary, Japanese-English bilingual dictionary, Japanese-English bilingual corpus, etc.) from the storage resource 23 and recognizes them. The resulting input speech “reading” (character string) is properly sorted and converted into Japanese phrases, clauses, sentences, etc., the English corresponding to the conversion result is extracted, and these are sorted according to the English grammar. To natural English phrases, clauses, sentences, etc. As described above, the processor 21 also functions as a “translation unit”, and the server 20 also functions as a “translation server” as a whole. If the input voice is not recognized well, the voice can be re-input (screen display is not shown).
また、プロセッサ21は、認識された入力音声の内容を記憶資源23に記憶する。次に、多言語翻訳処理、及び、入力音声の内容の記憶処理が完了すると、プロセッサ21は、音声合成処理へ移行する(ステップSJ6)。このとき、プロセッサ21は、記憶資源23から、必要なモジュールL20、データベースD20、及びモデルM20(音声合成モジュール、英語音声コーパス、音響モデル、言語モデル等)を呼び出し、翻訳結果である英語の句、節、文等を自然な音声に変換する。このとおり、プロセッサ21は、「音声合成部」としても機能し、サーバ20は、全体として「音声合成サーバ」としても機能する。
Further, the processor 21 stores the content of the recognized input voice in the storage resource 23. Next, when the multilingual translation processing and the input speech content storage processing are completed, the processor 21 proceeds to speech synthesis processing (step SJ6). At this time, the processor 21 calls the necessary module L20, database D20, and model M20 (speech synthesis module, English speech corpus, acoustic model, language model, etc.) from the storage resource 23, and the English phrase that is the translation result, Convert clauses, sentences, etc. to natural speech. As described above, the processor 21 also functions as a “speech synthesizer”, and the server 20 also functions as a “speech synthesizer” as a whole.
次いで、プロセッサ21は、合成された音声に基づいて音声出力用の音声信号を生成し、通信インターフェイス22及びネットワークNを通して、情報端末10へ送信する。情報端末10のプロセッサ11は、通信インターフェイス14を通してその音声信号を受信し、音声出力処理を行う(ステップSJ7)。
Next, the processor 21 generates a voice signal for voice output based on the synthesized voice, and transmits the voice signal to the information terminal 10 through the communication interface 22 and the network N. The processor 11 of the information terminal 10 receives the audio signal through the communication interface 14 and performs an audio output process (step SJ7).
[履歴表示からの翻訳処理]
一方、図5(B)に示す待機画面において、ユーザが履歴ボタンをタップしてそれまでの入力音声の履歴表示を選択する(ステップSU2において「Yes」)と、情報端末10のプロセッサ11は、履歴を表示するための指令信号をサーバ20へ送信する。その指令信号を受信したサーバ20のプロセッサ21は、記憶資源23に記憶保持された入力音声の内容を読み出し、例えば図5(C)に示す履歴表示画面を表示デバイス16に表示する(ステップSJ8)。この履歴表示画面には、それまでに音声入力されて翻訳処理が行われた内容が例えばフレーズ単位でテキスト表示される。また、その画面において、テキストが一覧表示されたリストの上方には、入力音声の内容のリストの順番を、例えば「最新順」と「頻度順」で切り替えるための表示順選択ボタン66が表示される。ユーザは、その表示順選択ボタン66を適宜タップすることにより、「最新順」のリストと「頻度順」のリストを所望に切り替えることができる。 [Translation processing from the history display]
On the other hand, when the user taps the history button on the standby screen shown in FIG. 5B and selects the history display of the input voice so far (“Yes” in step SU2), theprocessor 11 of the information terminal 10 A command signal for displaying the history is transmitted to the server 20. Upon receiving the command signal, the processor 21 of the server 20 reads the contents of the input voice stored and held in the storage resource 23 and displays, for example, a history display screen shown in FIG. 5C on the display device 16 (step SJ8). . On this history display screen, the contents that have been input by speech and subjected to translation processing are displayed as text, for example, in units of phrases. Also, on the screen, a display order selection button 66 for switching the order of the list of the contents of the input speech between, for example, “latest order” and “frequency order” is displayed above the list where the text is displayed as a list. The The user can appropriately switch between the “latest order” list and the “frequency order” list by tapping the display order selection button 66 as appropriate.
一方、図5(B)に示す待機画面において、ユーザが履歴ボタンをタップしてそれまでの入力音声の履歴表示を選択する(ステップSU2において「Yes」)と、情報端末10のプロセッサ11は、履歴を表示するための指令信号をサーバ20へ送信する。その指令信号を受信したサーバ20のプロセッサ21は、記憶資源23に記憶保持された入力音声の内容を読み出し、例えば図5(C)に示す履歴表示画面を表示デバイス16に表示する(ステップSJ8)。この履歴表示画面には、それまでに音声入力されて翻訳処理が行われた内容が例えばフレーズ単位でテキスト表示される。また、その画面において、テキストが一覧表示されたリストの上方には、入力音声の内容のリストの順番を、例えば「最新順」と「頻度順」で切り替えるための表示順選択ボタン66が表示される。ユーザは、その表示順選択ボタン66を適宜タップすることにより、「最新順」のリストと「頻度順」のリストを所望に切り替えることができる。 [Translation processing from the history display]
On the other hand, when the user taps the history button on the standby screen shown in FIG. 5B and selects the history display of the input voice so far (“Yes” in step SU2), the
さらに、図5(C)に示す履歴表示画面においては、各入力音声の内容のテキストに、例えばピン形状図案Pが付帯的に表示される。ユーザがこのピン形状図案Pをタップすることにより、履歴表示画面に表示されている各入力音声の内容のなかから、ユーザが頻繁に発話する内容や定型文的な内容を選択して、言わばピンすることによって「クリップ」しておくことができる。
Furthermore, on the history display screen shown in FIG. 5C, for example, a pin-shaped design P is additionally displayed in the text of the contents of each input voice. When the user taps the pin shape design P, the content of each input voice displayed on the history display screen is selected from the content that the user frequently utters or the content of the fixed phrase, so to speak, the pin By doing so, you can “clip”.
例えば、ユーザが、図5(C)にリストされた入力内容のうち、テキストT31,T32,T33で表示された入力内容(特定の入力内容)のピン形状図案Pをタップする(ステップSU3において「Yes」)。そうすると、情報端末10のプロセッサ11は、テキストT31,T32,T33の入力内容を画面の上方領域R1に移動してまとめて表示する一方、他の入力内容を画面の下方領域R2に移動してまとめて表示し、両者を視覚的に区別する(ステップSJ4)。また、上方領域R1の近傍には、ピンでクリップされた入力内容であることを示すテキストT23が明示される。
For example, the user taps the pin shape design P of the input contents (specific input contents) displayed in the texts T31, T32, and T33 among the input contents listed in FIG. 5C (in step SU3, “ Yes "). Then, the processor 11 of the information terminal 10 moves the input contents of the texts T31, T32, T33 to the upper area R1 of the screen and displays them together, while moving the other input contents to the lower area R2 of the screen and collects them. And visually distinguish them from each other (step SJ4). Further, in the vicinity of the upper region R1, a text T23 indicating that the input content is clipped with a pin is clearly shown.
さらに、このとき、情報端末10のプロセッサ11は、ユーザによりテキストT31,T32,T33の入力内容が選択されたことを示す指令信号をサーバ20へ送信する。その指令信号を受信したサーバ20のプロセッサ21は、記憶資源23に保持されているテキストT31,T32,T33の入力内容(特定の入力内容)にフラグを立てる等して、他の入力内容と区別して改めて記憶する。
Further, at this time, the processor 11 of the information terminal 10 transmits to the server 20 a command signal indicating that the input contents of the texts T31, T32, and T33 have been selected by the user. Upon receiving the command signal, the processor 21 of the server 20 sets a flag on the input contents (specific input contents) of the texts T31, T32, and T33 held in the storage resource 23, so as to distinguish them from other input contents. Separately remember.
また、図5(D)に示す履歴表示画面において、ピンでクリップされた各テキストT31,T32,T33の入力内容には、ピン形状図案Pに代えて×印図案67が付帯的に表示される。ユーザは、必要に応じて、その×印図案67をタップすることにより、各テキストT31,T32,T33のピンを外すことができる。その場合、サーバ20のプロセッサ21は、情報端末10のプロセッサ11からの指令信号により、記憶資源23に例えばフラグを立てて記憶されている入力内容から、そのフラグを外す。
In addition, on the history display screen shown in FIG. 5D, the input contents of the texts T31, T32, and T33 clipped with pins are additionally displayed as x mark designs 67 instead of the pin shape designs P. . The user can unpin the texts T31, T32, and T33 by tapping the cross mark 67 as necessary. In that case, the processor 21 of the server 20 removes the flag from the input content stored in the storage resource 23 with a flag, for example, in response to a command signal from the processor 11 of the information terminal 10.
次に、ユーザは、顧客に対する質問事項等を発話することに代えて、ピンでクリップしたテキストT31,T32,T33のなかから所望の入力内容を選択することができる。例えば、ユーザがテキストT31の部分をタップして選択する(ステップSU4において「Yes」)と、情報端末10のプロセッサ11からその指令信号がサーバ20へ送信される。その指令信号を受信したサーバ20のプロセッサ21は、選択されたテキストT31の内容について、多言語翻訳処理(ステップSJ5)、音声合成処理(ステップSJ6)、及び音声出力処理(ステップSJ7)を順次実行する。これにより、ユーザは、音声入力を行うことなく、所望のフレーズ等(特定の入力内容)の対訳を出力させることができる。
Next, the user can select desired input contents from the texts T31, T32, and T33 clipped with pins instead of uttering questions to the customer. For example, when the user selects a part of the text T31 by tapping (“Yes” in step SU4), the command signal is transmitted from the processor 11 of the information terminal 10 to the server 20. The processor 21 of the server 20 that has received the command signal sequentially executes multilingual translation processing (step SJ5), speech synthesis processing (step SJ6), and speech output processing (step SJ7) for the contents of the selected text T31. To do. Thereby, the user can output a parallel translation of a desired phrase or the like (specific input contents) without performing voice input.
一方、ステップSU3においてピンでクリップすべき入力内容が選択されなかった場合(ステップSU3において「No」)、又は、ステップSU4において発話に代えて特定の入力内容が選択されなかった場合(ステップSU4において「No」)、サーバ20のプロセッサ21は、前述したステップSJ3~SJ7に示す通常の音声翻訳処理を順次実行する。具体的には、図5(C)又は図5(D)に示す履歴表示画面において、ユーザが閉じるボタン68をタップすることにより、表示デバイス16には図5(B)に示す待機画面が再表示され、通常の音声翻訳処理に戻入することができる。
On the other hand, when the input content to be clipped with the pin is not selected in step SU3 (“No” in step SU3), or when the specific input content is not selected instead of the utterance in step SU4 (in step SU4) “No”), the processor 21 of the server 20 sequentially executes the normal speech translation processing shown in steps SJ3 to SJ7 described above. Specifically, when the user taps the close button 68 on the history display screen shown in FIG. 5C or FIG. 5D, the standby screen shown in FIG. Displayed and can be reverted to normal speech translation processing.
(第2実施形態)
ユーザが、頻出フレーズや定型文といった何らかの特定の入力内容を一旦ピンしてクリップすると、図5(B)に示す待機画面において履歴ボタン63を選択した場合、図5(C)に示す履歴表示画面の表示がなされずに、図5(D)に示す履歴表示画面が表示されるように構成してもよい。この場合、図4に示すフローにおいては、ステップSU2が実効されると、ステップSJ8,SU3がスキップされて、ステップSJ9が実行されることとなる。 (Second Embodiment)
Once the user has pinned and clipped some specific input content such as frequent phrases or fixed phrases, when thehistory button 63 is selected on the standby screen shown in FIG. 5B, the history display screen shown in FIG. The history display screen shown in FIG. 5D may be displayed without being displayed. In this case, in the flow shown in FIG. 4, when step SU2 is executed, steps SJ8 and SU3 are skipped and step SJ9 is executed.
ユーザが、頻出フレーズや定型文といった何らかの特定の入力内容を一旦ピンしてクリップすると、図5(B)に示す待機画面において履歴ボタン63を選択した場合、図5(C)に示す履歴表示画面の表示がなされずに、図5(D)に示す履歴表示画面が表示されるように構成してもよい。この場合、図4に示すフローにおいては、ステップSU2が実効されると、ステップSJ8,SU3がスキップされて、ステップSJ9が実行されることとなる。 (Second Embodiment)
Once the user has pinned and clipped some specific input content such as frequent phrases or fixed phrases, when the
(第3実施形態)
本実施形態では、ユーザが音声翻訳アプリケーションを起動(図4に示すステップSU1)すると、例えば、音声翻訳の対象言語を選択する待機画面(図5(B))が情報端末10の表示デバイス16に表示される前に、或いは、対象言語を選択した後に、ユーザに関する情報を入力してもらうための情報登録画面が、情報端末10の表示デバイス16に表示される。ユーザに関する情報としては特に制限されないが、ユーザ(又はユーザの店舗)の職業、業種、業態、年齢、性別、出身地、居住地等の属性情報が含まれる。 (Third embodiment)
In this embodiment, when the user activates the speech translation application (step SU1 shown in FIG. 4), for example, a standby screen (FIG. 5B) for selecting a target language for speech translation is displayed on thedisplay device 16 of the information terminal 10. Before being displayed or after selecting a target language, an information registration screen for inputting information related to the user is displayed on the display device 16 of the information terminal 10. Although it does not restrict | limit especially as information regarding a user, Attribute information, such as a profession of a user (or a user's store), a business type, a business type, age, sex, a birthplace, a residence, is contained.
本実施形態では、ユーザが音声翻訳アプリケーションを起動(図4に示すステップSU1)すると、例えば、音声翻訳の対象言語を選択する待機画面(図5(B))が情報端末10の表示デバイス16に表示される前に、或いは、対象言語を選択した後に、ユーザに関する情報を入力してもらうための情報登録画面が、情報端末10の表示デバイス16に表示される。ユーザに関する情報としては特に制限されないが、ユーザ(又はユーザの店舗)の職業、業種、業態、年齢、性別、出身地、居住地等の属性情報が含まれる。 (Third embodiment)
In this embodiment, when the user activates the speech translation application (step SU1 shown in FIG. 4), for example, a standby screen (FIG. 5B) for selecting a target language for speech translation is displayed on the
この状態で、ユーザがユーザ情報を入力すると、情報端末10のプロセッサ11は、その情報入力に基づいて情報信号を生成し、その情報信号を通信インターフェイス14及びネットワークNを通してサーバ20へ送信する。このとおり、情報端末10自体又はプロセッサ11が「情報取得部」としても機能する。
In this state, when the user inputs user information, the processor 11 of the information terminal 10 generates an information signal based on the information input, and transmits the information signal to the server 20 through the communication interface 14 and the network N. As described above, the information terminal 10 itself or the processor 11 also functions as an “information acquisition unit”.
サーバ20のプロセッサ21は、通信インターフェイス22を通してその情報信号を受信すると、処理を一旦、図4に示すステップSJ2以降の処理へ移行する。それから、ユーザが、ステップSU3においてクリップしたい例えばテキストT31,T32,T33で表示された入力内容を選択する(ステップSU3において「Yes」)と、第1実施形態又は第2実施形態と同様に、図5(C)又は図5(D)に示す履歴表示画面が表示される。一方、サーバ20のプロセッサ21は、記憶資源23に保持されているテキストT31,T32,T33の入力内容(特定の入力内容)にフラグを立てる等して、他の入力内容と区別するとともに、それらをユーザの属性に関連付けて改めて記憶する。
When the processor 21 of the server 20 receives the information signal through the communication interface 22, the process temporarily shifts to the process after step SJ2 shown in FIG. Then, when the user selects the input content displayed in, for example, the texts T31, T32, and T33 to be clipped in step SU3 (“Yes” in step SU3), as in the first embodiment or the second embodiment, FIG. A history display screen shown in FIG. 5 (C) or FIG. 5 (D) is displayed. On the other hand, the processor 21 of the server 20 distinguishes it from other input contents by flagging the input contents (specific input contents) of the texts T31, T32, and T33 held in the storage resource 23, and the like. Is associated with the user attribute and stored again.
ここで、音声翻訳アプリケーションを複数のユーザが利用する場合、記憶資源23には、各ユーザの属性に関連付けられてクリップされた特定の入力内容が順次蓄積されていくこととなる。そこで、本実施形態では、情報端末10からユーザの属性情報が入力され、且つ、履歴ボタン63がタップされた場合、プロセッサ11,21は、そのユーザの属性の一部(又は全部)と一致する属性に関連付けてクリップされた特定の入力内容を、図5(C)又は図5(D)に示す履歴表示画面に表示する。
Here, when a plurality of users use the speech translation application, specific input contents clipped in association with the attributes of each user are sequentially stored in the storage resource 23. Therefore, in the present embodiment, when user attribute information is input from the information terminal 10 and the history button 63 is tapped, the processors 11 and 21 match some (or all) of the user attributes. The specific input content clipped in association with the attribute is displayed on the history display screen shown in FIG. 5C or 5D.
このとき、プロセッサ21により、ユーザの属性のうち、特にユーザ(又はユーザの店舗)の職業、業種、及び業態の何れかに基づいて、特定の入力内容を抽出又は絞り込むようにすると特に有用である。また、プロセッサ21は、そのようにして、ユーザの属性によって抽出又は絞り込まれた特定の入力内容とそれに対応する翻訳内容を、属性毎のライブラリとしてまとめ、記憶資源23に記憶するようにしてもよい。このようにして作成された属性毎のライブラリは、複数のユーザ間で共有するようにすると、更に有用である。
At this time, it is particularly useful if the processor 21 extracts or narrows down specific input contents based on any of the user's attributes (especially the user's (or user's store) occupation, business type, and business type). . In addition, the processor 21 may collect the specific input contents extracted or narrowed down by the user attribute and the corresponding translation contents as a library for each attribute and store them in the storage resource 23. . It is more useful if the library for each attribute created in this way is shared among a plurality of users.
以上のように構成された音声翻訳装置100及びそれを用いた音声翻訳方法並びに音声翻訳プログラムによれば、ユーザが発話した音声の入力内容の履歴のなかから、頻出フレーズや定型文等の特定の入力内容をいわばクリップして記憶することができる。よって、ユーザが、頻出フレーズや定型文等を簡易に呼び出すことができ、ユーザがそれらを都度発話する手間を省くことができる。その結果、ユーザの負担を軽減し且つ利便性を向上させることが可能になるとともに、誤訳の発生を有効に防止することもできるので、音声翻訳の精度を簡易に且つ効果的に向上させることも実現できる。
According to the speech translation device 100 configured as described above, the speech translation method using the speech translation device, and the speech translation program, a specific phrase such as a frequent phrase or a fixed sentence is identified from the history of the input content of speech uttered by the user. The input content can be clipped and stored. Therefore, the user can easily call up frequent phrases, fixed phrases, etc., and the user can save time and effort to utter them each time. As a result, the burden on the user can be reduced and the convenience can be improved, and the occurrence of mistranslation can be effectively prevented, so that the accuracy of speech translation can be improved easily and effectively. realizable.
さらに、クリップされた特定の入力内容を、ユーザの属性に関連付けて記憶し、また、履歴表示画面に表示することにより、そのユーザの属性に応じた頻出フレーズや定型文等を効率よく選択することが可能となる。その結果、ユーザにとって必要な頻出フレーズや定型文等を見つけやすくなるので、ユーザの負担を更に軽減し且つ利便性を更に向上させることができる。特に、ユーザが店員であり、業務において顧客と会話する場合、頻出フレーズ等が更に定型化されることが予想されるところ、ユーザの属性として職業、業種、及び業態の何れかに基づいて、特定の入力内容を抽出又は絞り込むことにより、ユーザの利便性を更に一層高め、且つ、音声翻訳の更なる高精度化及び高効率化を実現することができる。
Furthermore, the clipped specific input content is stored in association with the user attribute, and is displayed on the history display screen, so that frequent phrases, fixed phrases, etc. corresponding to the user attribute can be efficiently selected. Is possible. As a result, frequent phrases and fixed phrases necessary for the user can be easily found, so that the burden on the user can be further reduced and convenience can be further improved. In particular, when the user is a store clerk and is talking to a customer in the business, frequent phrases etc. are expected to be further standardized, and based on the occupation, type of business, and business type as the user attribute By extracting or narrowing down the input contents, it is possible to further improve the convenience for the user and further improve the accuracy and efficiency of speech translation.
なお、上述したとおり、上記の各実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本開示は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース(ハードウェア資源又はソフトウェア資源)を均等物に置換することが可能であり、そのような置換も本開示の範囲に含まれる。
As described above, each of the above embodiments is an example for explaining the present invention, and the present invention is not limited to the embodiment. The present disclosure can be variously modified without departing from the gist thereof. For example, those skilled in the art can replace the resources (hardware resources or software resources) described in the embodiments with equivalents, and such replacements are also included in the scope of the present disclosure.
また、上記各実施形態では、音声認識、翻訳、及び音声合成の各処理をサーバ20によって実行する例について記載したが、これらの処理を情報端末10において実行するように構成してもよい。この場合、それらの処理に用いるモジュールL20は、情報端末10の記憶資源12に保存されていてもよいし、サーバ20の記憶資源23に保存されていてもよい。さらに、音声データベースのデータベースD20、及び/又は、音響モデル等のモデルM20も、情報端末10の記憶資源12に保存されていてもよいし、サーバ20の記憶資源23に保存されていてもよい。このとおり、音声翻訳装置は、ネットワークN及びサーバ20を備えなくてもよい。
In each of the above-described embodiments, an example in which each process of speech recognition, translation, and speech synthesis is executed by the server 20 has been described. However, these processes may be executed in the information terminal 10. In this case, the module L20 used for these processes may be stored in the storage resource 12 of the information terminal 10 or may be stored in the storage resource 23 of the server 20. Furthermore, the database D20 of the voice database and / or the model M20 such as an acoustic model may be stored in the storage resource 12 of the information terminal 10, or may be stored in the storage resource 23 of the server 20. As described above, the speech translation apparatus may not include the network N and the server 20.
さらに、例えば図5(C)又は図5(D)に示す履歴表示画面に表示された特定の入力内容から、ユーザが手動操作によってピンすることに代えて、例えば、その特定の入力内容の頻度が所定の頻度よりも高いものをサーバ20のプロセッサ21が抽出し、それらをクリップしたデータベースやライブラリを自動で生成してもよい。この場合、図5(C)又は図5(D)に示す表示順選択ボタン66を「頻度順」に切り替えた画面に、プロセッサ21によって入力頻度に基づいて抽出された入力内容を表示することができる。またさらに、クリップされた特定の入力内容とともに、一度実行された所定言語の翻訳結果を併せて(特定の入力内容に関連付けて)記憶してもよい。例えば図4に示すフローにおいて、ユーザがテキストT31の部分をタップして選択した場合(ステップSU4において「Yes」)、多言語翻訳処理(ステップSJ5)をスキップして音声合成処理(ステップSJ6)を実行するようにしてもよい。
Further, for example, instead of the user manually pinning from the specific input content displayed on the history display screen shown in FIG. 5C or FIG. 5D, for example, the frequency of the specific input content May be extracted by the processor 21 of the server 20, and a database or library obtained by clipping them may be automatically generated. In this case, the input content extracted based on the input frequency by the processor 21 may be displayed on the screen in which the display order selection button 66 shown in FIG. 5C or FIG. it can. Furthermore, a translation result of a predetermined language executed once may be stored together with the specific input content clipped (in association with the specific input content). For example, in the flow shown in FIG. 4, when the user taps and selects the portion of the text T31 (“Yes” in step SU4), the multilingual translation process (step SJ5) is skipped and the speech synthesis process (step SJ6) is performed. You may make it perform.
また、情報端末10とネットワークNとの間には、両者間の通信プロトコルを変換するゲートウェイサーバ等が介在してももちろんよい。また、情報端末10は、携帯型装置に限らず、例えば、デスクトップ型パソコン、ノート型パソコン、タブレット型パソコン、ラップトップ型パソコン等でもよい。
Of course, a gateway server for converting the communication protocol between the information terminal 10 and the network N may be interposed. The information terminal 10 is not limited to a portable device, and may be a desktop personal computer, a notebook personal computer, a tablet personal computer, a laptop personal computer, or the like.
また、発開示による音声翻訳装置は、
ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
を備え、
前記履歴表示部は、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示し、
前記記憶部は、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶し、
前記履歴表示部は、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示し、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示し、
前記翻訳部は、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳してもよい。 In addition, the speech translation apparatus according to the disclosure is as follows:
An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
With
The history display unit displays a design indicating that the user can select a specific input content from the history, attached to each input content in the history,
The storage unit stores the specific input content separately from other input content when the user selects the specific input content from the history using the design,
The history display unit visually displays the specific input content and the other input content, and the user can select a desired one from the specific input content displayed visually. Display the input contents selectable,
The translation unit may translate the desired input content into different language content when the desired input content is selected by the user.
ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
を備え、
前記履歴表示部は、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示し、
前記記憶部は、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶し、
前記履歴表示部は、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示し、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示し、
前記翻訳部は、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳してもよい。 In addition, the speech translation apparatus according to the disclosure is as follows:
An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
With
The history display unit displays a design indicating that the user can select a specific input content from the history, attached to each input content in the history,
The storage unit stores the specific input content separately from other input content when the user selects the specific input content from the history using the design,
The history display unit visually displays the specific input content and the other input content, and the user can select a desired one from the specific input content displayed visually. Display the input contents selectable,
The translation unit may translate the desired input content into different language content when the desired input content is selected by the user.
さらに、前記履歴表示部は、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示するときに、前記ユーザが該特定の入力内容から不要な入力内容を除去可能であることを示す図案を、該特定の入力内容に付帯して表示してもよい。
Further, when the history display unit visually distinguishes and displays the specific input content and the other input content, the user can remove unnecessary input content from the specific input content. The design shown may be displayed along with the specific input content.
また、前記ユーザの属性に関する情報を取得する情報取得部を更に備え、
前記記憶部は、前記特定の入力内容を前記ユーザの属性に関連付けて記憶し、
前記履歴表示部は、前記ユーザの属性に応じて、前記履歴の表示を切り替えてもよい。 In addition, an information acquisition unit that acquires information about the user's attributes,
The storage unit stores the specific input content in association with the attribute of the user,
The history display unit may switch the display of the history according to the attribute of the user.
前記記憶部は、前記特定の入力内容を前記ユーザの属性に関連付けて記憶し、
前記履歴表示部は、前記ユーザの属性に応じて、前記履歴の表示を切り替えてもよい。 In addition, an information acquisition unit that acquires information about the user's attributes,
The storage unit stores the specific input content in association with the attribute of the user,
The history display unit may switch the display of the history according to the attribute of the user.
さらに、前記ユーザの属性に関連付けて記憶された前記特定の入力内容から、前記属性毎のライブラリを作成するライブラリ作成部を更に備えてもよい。
Furthermore, a library creation unit that creates a library for each attribute from the specific input content stored in association with the attribute of the user may be further provided.
或いは、前記属性毎のライブラリは、前記ユーザと他のユーザが共有可能なものであってもよい。
Alternatively, the library for each attribute may be shared by the user and other users.
また、本開示による音声翻訳方法は、
入力部、記憶部、翻訳部、出力部、及び履歴表示部を備える音声翻訳装置を用い、
ユーザの音声を入力するステップと、
入力音声の内容を記憶するステップと、
前記入力音声の内容を異なる言語の内容に翻訳するステップと、
翻訳内容を音声及び/又はテキストで出力するステップと、
前記入力内容の履歴を表示するステップと、
を含み、
前記履歴を表示するステップにおいては、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示し、
前記記憶するステップにおいては、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶し、
前記履歴を表示するステップにおいては、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示し、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示し、
前記翻訳するステップにおいては、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳してもよい。 Also, the speech translation method according to the present disclosure is:
Using a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit,
Inputting the user's voice;
Storing the contents of the input voice;
Translating the content of the input speech into content of a different language;
Outputting the translated content in audio and / or text;
Displaying a history of the input content;
Including
In the step of displaying the history, a design indicating that the user can select a specific input content from the history is displayed along with each input content in the history,
In the storing step, when the user selects the specific input content from the history using the design, the specific input content is stored separately from other input content,
In the step of displaying the history, the specific input content and the other input content are visually distinguished and displayed, and the user can visually distinguish the specific input content. Display the desired input content from
In the step of translating, when the desired input content is selected by the user, the desired input content may be translated into different language content.
入力部、記憶部、翻訳部、出力部、及び履歴表示部を備える音声翻訳装置を用い、
ユーザの音声を入力するステップと、
入力音声の内容を記憶するステップと、
前記入力音声の内容を異なる言語の内容に翻訳するステップと、
翻訳内容を音声及び/又はテキストで出力するステップと、
前記入力内容の履歴を表示するステップと、
を含み、
前記履歴を表示するステップにおいては、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示し、
前記記憶するステップにおいては、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶し、
前記履歴を表示するステップにおいては、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示し、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示し、
前記翻訳するステップにおいては、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳してもよい。 Also, the speech translation method according to the present disclosure is:
Using a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit,
Inputting the user's voice;
Storing the contents of the input voice;
Translating the content of the input speech into content of a different language;
Outputting the translated content in audio and / or text;
Displaying a history of the input content;
Including
In the step of displaying the history, a design indicating that the user can select a specific input content from the history is displayed along with each input content in the history,
In the storing step, when the user selects the specific input content from the history using the design, the specific input content is stored separately from other input content,
In the step of displaying the history, the specific input content and the other input content are visually distinguished and displayed, and the user can visually distinguish the specific input content. Display the desired input content from
In the step of translating, when the desired input content is selected by the user, the desired input content may be translated into different language content.
また、本開示による音声翻訳プログラムは、
コンピュータを、
ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
して機能させ、
前記履歴表示部に、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示させ、
前記記憶部に、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶させ、
前記履歴表示部に、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示させ、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示させ、
前記翻訳部に、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳させてもよい。 The speech translation program according to the present disclosure is
Computer
An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
To function,
In the history display unit, a design indicating that the user can select specific input contents from the history is displayed along with each input content in the history,
When the user selects the specific input content from the history using the design, the storage unit stores the specific input content separately from other input content,
The history display unit visually displays the specific input content and the other input content, and the user selects a desired one from the specific input content displayed visually. Display the input contents selectable,
When the desired input content is selected by the user, the translation unit may translate the desired input content into different language content.
コンピュータを、
ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
して機能させ、
前記履歴表示部に、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示させ、
前記記憶部に、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶させ、
前記履歴表示部に、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示させ、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示させ、
前記翻訳部に、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳させてもよい。 The speech translation program according to the present disclosure is
Computer
An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
To function,
In the history display unit, a design indicating that the user can select specific input contents from the history is displayed along with each input content in the history,
When the user selects the specific input content from the history using the design, the storage unit stores the specific input content separately from other input content,
The history display unit visually displays the specific input content and the other input content, and the user selects a desired one from the specific input content displayed visually. Display the input contents selectable,
When the desired input content is selected by the user, the translation unit may translate the desired input content into different language content.
本発明によれば、音声翻訳処理におけるユーザの負担を軽減し且つ利便性を向上させることができ、しかも、誤訳の発生を防止して音声翻訳の精度を簡易に且つ効果的に向上させ得るので、例えば、互いの言語を理解できない人同士の会話に関連するサービスを提供する分野における、プログラム、装置、システム、及び方法の設計、製造、提供、販売等の活動に広く利用することができる。
According to the present invention, the burden on the user in speech translation processing can be reduced and convenience can be improved, and the accuracy of speech translation can be improved easily and effectively by preventing the occurrence of mistranslation. For example, the present invention can be widely used for activities such as designing, manufacturing, providing, and selling programs, apparatuses, systems, and methods in the field of providing services related to conversations between people who cannot understand each other's languages.
10 情報端末
11 プロセッサ
12 記憶資源
13 音声入出力デバイス
14 通信インターフェイス
15 入力デバイス
16 表示デバイス
17 カメラ
20 サーバ
21 プロセッサ
22 通信インターフェイス
23 記憶資源
61 言語ボタン
62a 日本語入力ボタン
62b 英語入力ボタン
63 履歴ボタン
64 言語選択ボタン
65 設定ボタン
66 表示順選択ボタン
67 ×印図案
68 閉じるボタン
100 音声翻訳装置
D20 データベース
L20 モジュール
M20 モデル
N ネットワーク
P ピン形状図案
P10 プログラム
P20 プログラム
R1 上方領域
R2 下方領域
T21,T22,T23 テキスト
T31,T32,T33 テキスト(特定の入力内容) 10Information terminal 11 Processor 12 Storage resource 13 Voice input / output device 14 Communication interface 15 Input device 16 Display device 17 Camera 20 Server 21 Processor 22 Communication interface 23 Storage resource 61 Language button 62a Japanese input button 62b English input button 63 History button 64 Language selection button 65 Setting button 66 Display order selection button 67 X mark design 68 Close button 100 Speech translation device D20 Database L20 Module M20 Model N Network P Pin shape design P10 Program P20 Program R1 Upper region R2 Lower region T21, T22, T23 Text T31, T32, T33 Text (specific input contents)
11 プロセッサ
12 記憶資源
13 音声入出力デバイス
14 通信インターフェイス
15 入力デバイス
16 表示デバイス
17 カメラ
20 サーバ
21 プロセッサ
22 通信インターフェイス
23 記憶資源
61 言語ボタン
62a 日本語入力ボタン
62b 英語入力ボタン
63 履歴ボタン
64 言語選択ボタン
65 設定ボタン
66 表示順選択ボタン
67 ×印図案
68 閉じるボタン
100 音声翻訳装置
D20 データベース
L20 モジュール
M20 モデル
N ネットワーク
P ピン形状図案
P10 プログラム
P20 プログラム
R1 上方領域
R2 下方領域
T21,T22,T23 テキスト
T31,T32,T33 テキスト(特定の入力内容) 10
Claims (8)
- ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
を備え、
前記記憶部は、前記ユーザの指示により、又は、入力頻度に基づいて、前記履歴のなかから、特定の入力内容を他の入力内容と区別して記憶し、
前記履歴表示部は、前記特定の入力内容を前記ユーザが選択可能に表示し、
前記翻訳部は、前記特定の入力内容が選択されたときに、該特定の入力内容を異なる言語の内容に翻訳する、
音声翻訳装置。 An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
With
The storage unit stores specific input content separately from other input content from the history based on the user's instruction or based on the input frequency,
The history display unit displays the specific input content so that the user can select,
The translation unit translates the specific input content into different language content when the specific input content is selected.
Speech translation device. - 前記ユーザの属性に関する情報を取得する情報取得部を更に備え、
前記記憶部は、前記特定の入力内容を前記ユーザの属性に関連付けて記憶する、
請求項1記載の音声翻訳装置。 An information acquisition unit for acquiring information related to the attribute of the user;
The storage unit stores the specific input content in association with the attribute of the user.
The speech translation apparatus according to claim 1. - 前記履歴表示部は、前記ユーザの属性に応じて、前記履歴の表示を切り替える、
請求項1記載の音声翻訳装置。 The history display unit switches the display of the history according to the attribute of the user.
The speech translation apparatus according to claim 1. - 前記ユーザの属性に関連付けて記憶された前記特定の入力内容から、前記属性毎のライブラリを作成するライブラリ作成部を更に備える、
請求項2記載の音声翻訳装置。 A library creating unit for creating a library for each attribute from the specific input content stored in association with the user attribute;
The speech translation apparatus according to claim 2. - 前記属性毎のライブラリは、前記ユーザと他のユーザが共有可能なものである、
請求項4記載の音声翻訳装置。 The library for each attribute can be shared by the user and other users.
The speech translation apparatus according to claim 4. - ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
を備え、
前記履歴表示部は、前記ユーザが前記履歴のなかから特定の入力内容を選択可能であることを示す図案を、前記履歴における各入力内容に付帯して表示し、
前記記憶部は、前記ユーザが前記図案を用いて前記履歴のなかから前記特定の入力内容を選択したときに、該特定の入力内容を他の入力内容と区別して記憶し、
前記履歴表示部は、前記特定の入力内容と前記他の入力内容を視覚的に区別して表示し、かつ、前記ユーザが該視覚的に区別して表示された前記特定の入力内容のなかから所望の入力内容を選択可能に表示し、
前記翻訳部は、前記ユーザにより前記所望の入力内容が選択されたときに、該所望の入力内容を異なる言語の内容に翻訳する、
音声翻訳装置。 An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
With
The history display unit displays a design indicating that the user can select a specific input content from the history, attached to each input content in the history,
The storage unit stores the specific input content separately from other input content when the user selects the specific input content from the history using the design,
The history display unit visually displays the specific input content and the other input content, and the user can select a desired one from the specific input content displayed visually. Display the input contents selectable,
The translation unit translates the desired input content into different language content when the desired input content is selected by the user.
Speech translation device. - 入力部、記憶部、翻訳部、出力部、及び履歴表示部を備える音声翻訳装置を用い、
ユーザの音声を入力するステップと、
入力音声の内容を記憶するステップと、
前記入力音声の内容を異なる言語の内容に翻訳するステップと、
翻訳内容を音声及び/又はテキストで出力するステップと、
前記入力内容の履歴を表示するステップと、
を含み、
前記記憶するステップにおいては、前記ユーザの指示により、又は、入力頻度に基づいて、前記履歴のなかから、特定の入力内容を、他の入力内容と区別して記憶し、
前記履歴を表示するステップにおいては、前記特定の入力内容を前記ユーザが選択可能に表示し、
前記翻訳するステップにおいては、前記特定の入力内容が選択されたときに、該特定の入力内容を異なる言語の内容に翻訳する、
音声翻訳方法。 Using a speech translation device including an input unit, a storage unit, a translation unit, an output unit, and a history display unit,
Inputting the user's voice;
Storing the contents of the input voice;
Translating the content of the input speech into content of a different language;
Outputting the translated content in audio and / or text;
Displaying a history of the input content;
Including
In the storing step, specific input content is stored separately from other input content from the history according to the user's instruction or based on the input frequency,
In the step of displaying the history, the specific input content is displayed so that the user can select,
In the step of translating, when the specific input content is selected, the specific input content is translated into different language content;
Speech translation method. - コンピュータを、
ユーザの音声を入力するための入力部と、
入力音声の内容を記憶する記憶部と、
前記入力音声の内容を異なる言語の内容に翻訳する翻訳部と、
翻訳内容を音声及び/又はテキストで出力する出力部と、
前記入力内容の履歴を表示する履歴表示部と、
して機能させ、
前記記憶部に、前記ユーザの指示により、又は、入力頻度に基づいて、前記履歴のなかから、特定の入力内容を他の入力内容と区別して記憶させ、
前記履歴表示部に、前記特定の入力内容を前記ユーザが選択可能に表示させ、
前記翻訳部に、前記特定の入力内容が選択されたときに、該特定の入力内容を異なる言語の内容に翻訳させる、
音声翻訳プログラム。 Computer
An input unit for inputting the user's voice;
A storage unit for storing the contents of the input voice;
A translation unit that translates the content of the input speech into content of a different language;
An output unit that outputs the translated content in audio and / or text;
A history display unit for displaying the history of the input content;
To function,
In the storage unit, according to the user's instruction or based on the input frequency, from the history, specific input content is stored separately from other input content,
The history display unit displays the specific input content so that the user can select,
When the specific input content is selected, the translation unit causes the specific input content to be translated into different language content.
Speech translation program.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016004337A JP5998298B1 (en) | 2016-01-13 | 2016-01-13 | Speech translation device, speech translation method, and speech translation program |
JP2016-004337 | 2016-09-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017122657A1 true WO2017122657A1 (en) | 2017-07-20 |
Family
ID=56997641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/000564 WO2017122657A1 (en) | 2016-01-13 | 2017-01-11 | Speech translation device, speech translation method, and speech translation program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5998298B1 (en) |
WO (1) | WO2017122657A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072568A (en) * | 2016-10-28 | 2018-05-10 | 株式会社リクルートライフスタイル | Voice input unit, voice input method and voice input program |
JP6243071B1 (en) * | 2017-04-03 | 2017-12-06 | 旋造 田代 | Communication content translation processing method, communication content translation processing program, and recording medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110420A (en) * | 2007-10-31 | 2009-05-21 | Sharp Corp | Electronic equipment, control method and computer program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3926365B2 (en) * | 2001-01-24 | 2007-06-06 | 松下電器産業株式会社 | Audio converter |
JP5019367B2 (en) * | 2007-05-01 | 2012-09-05 | シャープ株式会社 | Electronic device and control method thereof |
-
2016
- 2016-01-13 JP JP2016004337A patent/JP5998298B1/en not_active Expired - Fee Related
-
2017
- 2017-01-11 WO PCT/JP2017/000564 patent/WO2017122657A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110420A (en) * | 2007-10-31 | 2009-05-21 | Sharp Corp | Electronic equipment, control method and computer program |
Non-Patent Citations (1)
Title |
---|
OZAKI, SHUN ET AL.: "Development of Mobile Multilingual Medical Communication Support System and Its Introduction for Medical Field", IPSJ SIG NOTES 2012 (HEISEI 24) NENDO 5, 15 February 2013 (2013-02-15), pages 1 - 8 * |
Also Published As
Publication number | Publication date |
---|---|
JP5998298B1 (en) | 2016-09-28 |
JP2017126152A (en) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200410174A1 (en) | Translating Languages | |
US9355094B2 (en) | Motion responsive user interface for realtime language translation | |
US9484034B2 (en) | Voice conversation support apparatus, voice conversation support method, and computer readable medium | |
CN107632982B (en) | Method and device for voice-controlled foreign language translation equipment | |
JP6141483B1 (en) | Speech translation device, speech translation method, and speech translation program | |
JP6290479B1 (en) | Speech translation device, speech translation method, and speech translation program | |
JP5998298B1 (en) | Speech translation device, speech translation method, and speech translation program | |
WO2017135214A1 (en) | Speech translation system, speech translation method, and speech translation program | |
JP6310950B2 (en) | Speech translation device, speech translation method, and speech translation program | |
JP6676093B2 (en) | Interlingual communication support device and system | |
JP6353860B2 (en) | Speech translation device, speech translation method, and speech translation program | |
JP2018163581A (en) | Voice translation device, voice translation method, and voice translation program | |
JP6198879B1 (en) | Speech translation device, speech translation method, and speech translation program | |
JP6110539B1 (en) | Speech translation device, speech translation method, and speech translation program | |
JP6383748B2 (en) | Speech translation device, speech translation method, and speech translation program | |
JP6334589B2 (en) | Fixed phrase creation device and program, and conversation support device and program | |
JP2004295578A (en) | Translation device | |
JP6174746B1 (en) | Speech translation device, speech translation method, and speech translation program | |
Sharma et al. | Exploration of speech enabled system for English | |
JP2018173910A (en) | Voice translation system and voice translation program | |
JP6298806B2 (en) | Speech translation system, control method therefor, and speech translation program | |
JP2002288170A (en) | Support system for communications in multiple languages | |
Jeevitha et al. | A study on innovative trends in multimedia library using speech enabled softwares | |
JP2008102422A (en) | Language processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17738411 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17738411 Country of ref document: EP Kind code of ref document: A1 |