KR20040016692A - The translator for portability and real time and it's method - Google Patents

The translator for portability and real time and it's method Download PDF

Info

Publication number
KR20040016692A
KR20040016692A KR1020020048975A KR20020048975A KR20040016692A KR 20040016692 A KR20040016692 A KR 20040016692A KR 1020020048975 A KR1020020048975 A KR 1020020048975A KR 20020048975 A KR20020048975 A KR 20020048975A KR 20040016692 A KR20040016692 A KR 20040016692A
Authority
KR
South Korea
Prior art keywords
voice
language
output
text
translator
Prior art date
Application number
KR1020020048975A
Other languages
Korean (ko)
Inventor
유봉선
고성찬
홍광석
Original Assignee
(주)디지텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)디지텍 filed Critical (주)디지텍
Priority to KR1020020048975A priority Critical patent/KR20040016692A/en
Publication of KR20040016692A publication Critical patent/KR20040016692A/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • G06F40/47Machine-assisted translation, e.g. using translation memory
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

PURPOSE: A portable simultaneous interpretation device and a method thereof are provided to reproduce a voice as the second national language as a voice by recognizing the voice being inputted by the first national language. CONSTITUTION: A multilingual translation is executed using a natural language voice recognition method. A multilingual interpretation is executed using a natural language voice recognition method and a multilingual translation method simultaneously. A mountable/dismountable memory card method is used for the above procession. A database is constructed based on a multilingual dictionary and the multilingual dictionary is mounted in a memory card. A user selects a reproduction voice being outputted through a speaker.

Description

휴대용 동시 통역 장치 및 그 방법{The translator for portability and real time and it's method}Portable translator and its method {The translator for portability and real time and it's method}

본 발명이 나오기 이전의 특허 기술들은 1)통역자가 있는 경우와 2) 통역자가 없는 경우로 크게 나누어지며, 이를 간단히 설명하면 다음과 같다.Prior to the present invention, patented technologies are broadly divided into 1) an interpreter and 2) an interpreter, which are briefly described as follows.

1) 통역자가 근거리에 있는 경우와 원거리에 있는 경우에 대하여 특허 제안이 되어 있다. 이 중 통역자가 근거리에 있는 경우에는 유·무선 통신변조방식을 이용하여 통역자가 각 국어를 이용하는 사람에게 각각 직접 통역을 해주는 방식이며, 통역자가 원거리에 있는 경우에는 유 무선 음성전화방식를 이용하여 통역자와 전화 연결한 후, 통역자가 각 국어를 이용하는 사람에게 각각 직접 통역을 하여 음성전화방식으로 재 전달하는 방식이다.1) Patent proposals have been made for cases where the interpreter is near and far. If the interpreter is located at a short distance, the interpreter uses the wired / wireless communication modulation method to interpret each person directly to the person who speaks each language. After the telephone connection, the interpreter interprets each person directly to the people who speak each language and re-delivers it by voice telephone method.

2) 통역자 없이 통역을 할 수 있는 방식으로 특허 제안을 낸 경우를 간단히 설명하면, 다음과 같다.2) A brief description of a case where a patent proposal is made in such a way that an interpreter can be performed without an interpreter is as follows.

2-1. 일단 통역 영역을 세분화하여 세분화한 영역 안에서 사람이 얘기할 수 있는 모든 내용의 정보들을 제 1, 2 국어 각각으로 음성파일로 데이타베이스화 해놓은 후, 이 장치에 사람이 말을 하면, 말한 내용과 가장 가까운 문장을 데이타베이스에서 검색하여 검색한 wave 파일을 스피커로 출력시키는 방식과 관련하여 기존에 특허 제안되어 있으며,2-1. Once the interpretation area has been subdivided and the information of all the contents that can be spoken by the person in the subdivided area is made into a voice file in the first and second languages, and the person speaks to this device, A patent has been proposed regarding a method of outputting a searched wave file to a speaker by searching a sentence in a database.

2-2. 현재 시점에 이르러서는 networking을 이용하여 원거리에 있는 통역자 대신 외국어 번역기를 server에 탑재시키는 방식을 이용한다. 즉, 유 무선 통신 방식을 이용하여 외국어 번역기를 탑재한 server에 연결한 후, 각각 필요한 외국어로 번역하여 번역한 문장을 음성합성부를 이용하여 각각의 외국어 음성으로 재생 출력시키는 방식과 관련 하여 특허 제안되어 있다.2-2. At this point in time, networking is used to mount foreign language translators on servers instead of remote interpreters. That is, a patent has been proposed in connection with a method of connecting to a server equipped with a foreign language translator using a wired / wireless communication method, and then reproducing and outputting a sentence translated into a foreign language required for each foreign language using a voice synthesis unit. have.

이에 본 발명에서는 2-1방식으로 특허 제안된 방식의 문제점, 즉 녹음된 음성파일 이외의 문장은 출력시킬 수 없다는 단점과 녹음된 음성만을 speaker을 통해 출력시킬 수밖에 없다는 단점을 보안하였을 뿐만 아니라, 2-2 방식으로 특허 제안된 방식에서의 문제점, 즉 통화료와 server 사용료를 없애기 위해 server의 역할을 embedded system에 탑재하여 가능한 한 실시간으로 타 특허 기술 보다 빠르게 통역할 수 있도록 구현할 수 있다는 것이 큰 장점이다.Therefore, the present invention not only secured the disadvantages of the method proposed in the 2-1 method, that is, it is impossible to output the sentences other than the recorded voice file and the disadvantage of only outputting the recorded voice through the speaker. It is a big advantage that the -2 method can be implemented to interpret faster than other patent technologies in real time as possible by mounting the role of the server in the embedded system to eliminate the problems in the patented method, that is, the call charges and server fees.

본 발명은 상기와 같은 문제점을 해결하기 위하여 제안하는 것으로 본 발명의 목적은 세계 각국의 언어 중 통역을 원하는 언어를 선택하여 제 1 국어를 사용하는 사람이 말을 하면, 자국어 음성인식부에서는 음성인식을 하여 인식된 자국어 Text를 출력시킨다. 출력된 Text는 이어 외국어 번역기 I에 입력되기 전에 에러 없이 번역이 잘 되도록 하기 위해 외국어 번역기 I의 Format으로 제 1 번역부에 의해 일단 변형되며, 그 결과를 LCD 모니터에 출력시킨다( LCD 모니터 출력은 선택 사항임.). LCD 모니터에 출력된 Text가 사용자가 의도한 말과 의미가 같으면 사용자는 번역허가를 하고, 의미가 다르면 번역허가를 하지 않든지 아니면 Text가 틀린 부분만을 블로킹하여 사용자가 원하는 Text로 변환한다. 이후 사용자가 의도하는 Text가 외국어 번역기 I에 입력되면, 외국어 번역기 I은 제 2 국어 Text을 출력시키고, 출력된 제 2 국어 Text는 음성 합성부 B에 의해 제 2 국어 음성으로 재생된다. 이때 재생되어 출력되는 음성은 사용자가 원하는 사람, 예를 들어 연예인 음성으로 출력되길 원할 때 주어진 연예인 이름 중 한 사람을 선택하여 그 연예인 음성으로 출력시키도록 구성한다. 이어 재생된 음성은 speaker를 통해 출력됨과 동시에 LCD 모니터에 출력된다.The present invention proposes to solve the above problems, and the object of the present invention is to select a language to be interpreted among the languages of the countries of the world when a person using the first language speaks, the speech recognition unit of the native language speech recognition unit To print the recognized native language text. The output text is then transformed once by the first translation unit into the format of the foreign language translator I so that the translation can be made without error before being input into the foreign language translator I, and the result is displayed on the LCD monitor. ). If the text printed on the LCD monitor has the same meaning as the user intended, the user permits the translation. If the meaning is different, the user does not permit the translation or blocks only the wrong part of the text and converts it to the desired text. Then, when the text intended by the user is input to the foreign language translator I, the foreign language translator I outputs the second language text, and the output second language text is reproduced as the second language voice by the speech synthesis unit B. At this time, the voice reproduced and output is configured to select one of the given celebrity names and output the celebrity voice when the user wants to output the desired person, for example, the celebrity voice. The reproduced voice is then output through the speaker and output to the LCD monitor.

한편, 출력된 제 2 국어 음성을 들은 제 2 국어 언어민이 자국어로 mic에 말을 하면, 제 2 국어 음성인식부 II에서는 그 말을 인식한 후, 위에서 설명한 과정을 걸쳐 제 1 국어 음성으로 재생되어 speaker을 통해 출력된다.On the other hand, when a second language speaker who listens to the output second language voice speaks mic in his native language, the second language speech recognition unit II recognizes the word and then reproduces the first language voice through the above-described process. Output through speaker.

상기 LCD 모니터는 그 동작을 온, 오프하기 위한 온, 오프 스위치가 구비되어 있으며, 각종 언어 번역 및 통역 장치는 각 종 언어별로 분리하여 Flash 메모리 카드에 저장하도록 하여 필요에 따라 착탈하여 사용할 수 있도록 구성한다.The LCD monitor is provided with on and off switches for turning on and off the operation, and various language translation and interpretation devices are configured to be detached and used as needed by separating them for each language and storing them in a flash memory card. do.

-음성인식부 A는 제 1 국어를 사용하는 사람의 음성을 인식하여 인식한 Text를 출력시킴.-The voice recognition unit A recognizes the voice of the person who speaks the first language and outputs the recognized text.

-제 1 번역부는 음성인식부 A에서 출력된 Text를 에러 없이 번역하기 위하여 외국어 번역기 I format으로 변환시켜 외국어 번역기 I에 입력시킴.-The first translator converts the text output from the voice recognition unit A into a foreign language translator I format and inputs the foreign language translator I to translate the text without error.

-외국어 번역기 I는 제 1 번역부에서 출력된 Text를 제 2 국어로 번역하여 번역된 Text 문장을 출력시킴.-The foreign language translator I translates the text output from the first translation unit into a second language and outputs the translated text sentence.

-음성 합성부 B는 외국어 번역기 I에서 출력된 Text를 음성 합성하여 제 2 국어 음성으로 재생한 후, 사용자가 선택한 음성을 speaker로 출력시킴.-The speech synthesizer B synthesizes the text output from the foreign language translator I as a second language voice and outputs the voice selected by the user to the speaker.

-음성 인식부 B는 제 2 국어를 사용하는 사람의 음성을 인식하여 인식된 Text를 출력시킴.The speech recognizer B recognizes a voice of a person who speaks a second language and outputs the recognized text.

-제 2 번역부는 음성 인식부 B에서 출력된 Text를 에러 없이 번역하기 위하여 외국어 번역기 II의 format으로 변환시켜 외국어 번역기 II에 입력시킴.-The second translator converts the text output from the speech recognizer B into the format of the foreign language translator II and inputs the foreign language translator II.

-외국어 번역기 II는 제 2 번역부에서 출력된 Text를 제 1 국어로 번역하여 번역된 Text 문장을 출력시킴.-The foreign language translator II translates the text output from the second translation unit into the first language and outputs the translated text sentence.

-음성 합성부 A는 외국어 번역기 II에서 출력된 Text를 음성 합성하여 제 1 국어 음성으로 재생한 후, 사용자가 선택한 음성을 speaker로 출력시킴.-The speech synthesizer A synthesizes the text output from the foreign language translator II as a first language voice, and then outputs the voice selected by the user to the speaker.

도 2는 동시 통역 장치의 System Block Diagram이다.2 is a system block diagram of a simultaneous interpretation device.

우선 도2의 구성도와 같이 Embedded System을 구성한 후, Flash Memory에 bootloader만을 fusing한다. 이어 system이 구동되면, Flash memory에 의해 시스템이 booting됨과 동시에 Memory Card에 탑재되어 있는 RTOS인 kernel 및 device driver, 그리고 동시 통역 응용 프로그램(음성인식엔진 A, B, 제 1, 2 번역부, 그리고 외국어 번역기 I, II)를 access 하도록 구성한다.First, after configuring the embedded system as shown in FIG. 2, only the bootloader is fusing to the flash memory. When the system is started, the system is booted by flash memory and the RTOS kernel and device driver loaded on the memory card, and simultaneous interpretation applications (voice recognition engines A, B, 1st and 2nd translation unit, and foreign languages). Configure translators I and II to access.

다음은 동시 통역 응용 프로그램의 동작을 간단히 설명하면 다음과 같다.The following briefly describes the operation of the simultaneous interpretation application.

제 1 국어 음성이 Mic를 통해 입력되면, 음성인식부 A에서는 음성인식 알고리즘 (DTW, HMM, ANN 등)에 의해 음성 인식을 하게 되며, 그 결과로 Text 1을 출력시킨다. 음성 인식 결과로 출력된 Text 1은 제 2 국어 번역기에 입력되기 전에 에러 없이 번역이 잘 되도록 하기 위하여, 제 1 번역부에 입력되어 외국어 번역기 I의 문장 Format으로 변형되고, 이 출력 Text 2를 LCD 모니터에 출력시켜 사용자가 말한 내용과 의미가 같은가를 확인할 수 있도록 구성한다. 이어 변형된 Text 2는 외국어 번역기 I에 입력되어 제 2 국어로 번역됨과 동시에 이 출력 Text 3을 다시 LCD 모니터에 출력된다. 제 2 국어로 번역된 Text 3은 음성 합성부 B에 입력되어 제 2 국어 음성으로 재생되며, 재생되어 출력되는 음성은 사용자가 원하는 사람, 예를 들어 연예인 음성으로 출력되길 원할 때 주어진 연예인 이름 중 한 사람을 선택하여 그 연예인 음성으로 출력시키도록 구성한다. 이어 재생된 음성은 speaker를 통해 출력됨과 동시에 LCD 모니터에 출력 된다.When the first Korean voice is input through Mic, the voice recognition unit A performs voice recognition by a voice recognition algorithm (DTW, HMM, ANN, etc.), and as a result, Text 1 is output. Text 1 output as a result of speech recognition is converted into the sentence format of the foreign language translator I, which is inputted to the first translation unit, so that translation can be performed without error before input to the second language translator. It outputs to and configures so that the meaning of what the user says is the same. Subsequently, the modified Text 2 is inputted into the foreign language translator I, is translated into the second language, and at the same time, the output Text 3 is again output on the LCD monitor. Text 3 translated into the second language is inputted to the speech synthesizer B to be reproduced as the second language voice, and the reproduced and output voice is one of the celebrity names given when the user wants to output the voice as a celebrity voice. The person is selected and configured to output the celebrity voice. The reproduced voice is then output through the speaker and output to the LCD monitor.

제 2 국어를 사용하는 사람이 Speaker에서 말하는 말을 듣고, 그 응답을 Mic에 입력시키면, 음성 인식부 B는 이를 음성 인식하여 인식 결과, 즉 Text 4를 출력시킨다. 음성 인식 결과로 출력된 Text 4는 제 1 국어 번역기, 즉 외국어 번역기 II에 입력되기 전에 에러 없이 번역이 잘 되도록 하기 위하여, 제 2 번역부에 입력되어 외국어 번역기 II의 문장 Format으로 변형된다. 이와 동시에 변형된 출력 Text 5는 제 2 국어로 말한 사람에게 본인이 말한 내용과 의미가 같은가를 확인시키기 위해 LCD 모니터에 출력된다. 이어 변형된 Text 5는 외국어 번역기 II에 입력되어 제 1 국어로 번역됨과 동시에 이 출력을 다시 LCD 모니터에 출력된다. 제 1 국어로 번역된 Text 6은 음성 합성부 A에 입력되어 제 1 국어 음성으로 재생되며, 재생되어 출력되는 음성은 사용자가 원하는 사람, 예를 들어 연예인 음성으로 출력되길 원할 때 주어진 연예인 이름 중 한 사람을 선택하여 그 연예인 음성으로 출력시키도록 구성한다. 이어 재생된 음성은 speaker를 통해 출력됨과 동시에 LCD 모니터에 출력된다.When a person who speaks a second language hears a word spoken by a speaker and inputs a response into Mic, the voice recognition unit B recognizes the voice and outputs a recognition result, that is, Text 4. The text 4 output as a result of speech recognition is inputted to the second translation unit and transformed into the sentence format of the foreign language translator II in order to ensure that the translation is performed without error before being input to the first language translator, that is, the foreign language translator II. At the same time, the modified output Text 5 is output on the LCD monitor to confirm that the person speaking the second language has the same meaning as what he said. Subsequently, the modified Text 5 is inputted into the foreign language translator II, translated into the first language, and simultaneously outputted to the LCD monitor. Text 6 translated into the first language is input to the voice synthesizer A to be reproduced as the first language voice, and the reproduced and output voice is one of the celebrity names given when the user wants to output the voice as a celebrity voice. The person is selected and configured to output the celebrity voice. The reproduced voice is then output through the speaker and output to the LCD monitor.

도 3은 지금 설명한 내용을 흐름도로 나타낸 그림이다.3 is a flowchart illustrating the presently described contents.

이에 본 발명에서는 현재 시점까지 동시 통역 관련하여 공개된 특허 기술 중 2-1방식으로 특허 공개된 방식의 문제점, 즉 녹음된 음성파일 이외의 문장은 출력시킬수 없다는 단점과 녹음된 음성만을 speaker을 통해 출력시킬 수밖에 없다는 단점을 보안하였을 뿐만 아니라, 2-2 방식으로 특허 공개된 방식에서의 문제점, 즉 통화료와 server 사용료를 없애기 위해 server의 역할을 embedded system에 탑재하여 가능한 한 실시간으로 타 특허 기술 보다 빠르게 실행될 수 있도록 구현할 수 있다는 것과 휴대 가능하다는 점이 큰 장점이다.Therefore, the present invention has the disadvantage of the method disclosed in the patented method 2-1 of the published patent technology related to simultaneous interpretation up to the present point, that is, it is not possible to output sentences other than the recorded voice file and only the recorded voice is output through the speaker In addition to securing the shortcomings, it is not only secured, but also solves the problem of the method disclosed in the 2-2 method, that is, the role of the server is embedded in the embedded system in order to eliminate call charges and server charges, so that it executes faster than other patent technologies in real time as possible. The big advantage is that it can be implemented and portable.

또한 외장형 Memory Card만을 바꿔 사용하면, 다국어 동시 통역 뿐만 아니라 번역까지 할 수 있다는 것이 큰 장점이다.In addition, by changing only the external memory card, it is possible to not only multi-language simultaneous interpretation but also translation.

Claims (5)

자연어 음성인식방식을 이용하여 다국어 번역을 하기 위한 Embedded SystemEmbedded System for Multilingual Translation Using Natural Language Speech Recognition 자연어 음성 인식 방식과 다국어 번역 방식으로 다국어 동시 통역을 하는 Embedded SystemEmbedded system for simultaneous interpretation of multiple languages using natural language speech recognition and multilingual translation 제 1항 및 제 2항을 만족하기 위한 착탈식 Memory Card방식을 이용하는 Embedded SystemEmbedded system using a removable memory card method to satisfy the claims 1 and 2 다국어 사전을 데이터베이스화하여 Memory Card에 탑재하는 방식Multi-language dictionary is databased and mounted on memory card Speaker를 통해 출력되는 재생 음성을 사용자가 선택하는 방식User selects playback voice output through Speaker
KR1020020048975A 2002-08-19 2002-08-19 The translator for portability and real time and it's method KR20040016692A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020048975A KR20040016692A (en) 2002-08-19 2002-08-19 The translator for portability and real time and it's method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020048975A KR20040016692A (en) 2002-08-19 2002-08-19 The translator for portability and real time and it's method

Publications (1)

Publication Number Publication Date
KR20040016692A true KR20040016692A (en) 2004-02-25

Family

ID=37322618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020048975A KR20040016692A (en) 2002-08-19 2002-08-19 The translator for portability and real time and it's method

Country Status (1)

Country Link
KR (1) KR20040016692A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707727B1 (en) * 2004-07-15 2007-04-16 주식회사 현원 A portable file player

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100707727B1 (en) * 2004-07-15 2007-04-16 주식회사 현원 A portable file player

Similar Documents

Publication Publication Date Title
US8290775B2 (en) Pronunciation correction of text-to-speech systems between different spoken languages
US6917920B1 (en) Speech translation device and computer readable medium
US8055495B2 (en) Apparatus and method for translating input speech sentences in accordance with information obtained from a pointing device
JP3920812B2 (en) Communication support device, support method, and support program
TWI281146B (en) Apparatus and method for synthesized audible response to an utterance in speaker-independent voice recognition
JP4468264B2 (en) Methods and systems for multilingual name speech recognition
US20040153306A1 (en) Recognition of proper nouns using native-language pronunciation
EP1463031A1 (en) Front-end architecture for a multi-lingual text-to-speech system
EP1089193A2 (en) Translating apparatus and method, and recording medium used therewith
CN109543021B (en) Intelligent robot-oriented story data processing method and system
CN107632982B (en) Method and device for voice-controlled foreign language translation equipment
JP2011504624A (en) Automatic simultaneous interpretation system
US20060190260A1 (en) Selecting an order of elements for a speech synthesis
EP3550449A1 (en) Search method and electronic device using the method
CN113380222A (en) Speech synthesis method, speech synthesis device, electronic equipment and storage medium
JP2005249829A (en) Computer network system performing speech recognition
JPH08278972A (en) Speech input translation device
Schröder et al. XML representation languages as a way of interconnecting TTS modules
US20090055167A1 (en) Method for translation service using the cellular phone
JP3411198B2 (en) Interpreting apparatus and method, and medium storing interpreting apparatus control program
KR20040016692A (en) The translator for portability and real time and it's method
KR20150014235A (en) Apparatus and method for automatic interpretation
KR100399574B1 (en) A system and method for interpreting automatically a telephony guidance for a foreigner
KR20050052943A (en) Key-word based speech translation system for travelers and the method
KR20010008073A (en) Potable multi-language translator

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application