KR20050052943A - Key-word based speech translation system for travelers and the method - Google Patents
Key-word based speech translation system for travelers and the method Download PDFInfo
- Publication number
- KR20050052943A KR20050052943A KR1020030086526A KR20030086526A KR20050052943A KR 20050052943 A KR20050052943 A KR 20050052943A KR 1020030086526 A KR1020030086526 A KR 1020030086526A KR 20030086526 A KR20030086526 A KR 20030086526A KR 20050052943 A KR20050052943 A KR 20050052943A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- language
- translation
- user
- mobile terminal
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000006854 communication Effects 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000010295 mobile communication Methods 0.000 abstract description 4
- 238000009499 grossing Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2242/00—Special services or facilities
- H04M2242/12—Language recognition, selection or translation arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 서로 상대방의 언어를 모르는 대면 상황에서 이동통신 단말기를 이용하여 최소한의 키워드를 발성한 다음, 그 화면에 출력되는 자국어 문자인식 결과와 상대국 언어로 번역된 문자를 서로 확인함으로써 여행자의 의사소통을 원활하게 하는 키워드 기반 음성번역 시스템 및 그 방법에 관한 것이다. The present invention communicates with travelers by uttering a minimum keyword using a mobile communication terminal in a face-to-face situation where the other party does not know each other's language, and then confirms the native language character recognition result displayed on the screen and the translated characters in the other country's language. It relates to a keyword-based speech translation system and a method for smoothing the.
본 발명의 방법은 두 화자의 언어인 제 1언어와 제 2언어를 각각 설정하는 단계와, 사용자로부터 제 1언어 키워드 음성을 입력받아 음성번역 서버로 전송하는 단계와, 서버에서 그 음성 데이터를 인식하여 제 1언어 문자로 변환하고 이를 이동 단말기로 전송하는 단계와, 이동 단말기에 제 1언어 문자로 출력 표시된 음성인식 결과의 정/오 여부를 확인하는 단계와, 음성번역 서버는 인식 결과의 제 1언어 문자를 제 2언어 문자로 번역하고, 이동 단말기는 그 번역 결과를 수신하여 제 2언어 문자로 출력 표시하는 단계로 이루어진다. The method of the present invention comprises the steps of: setting a first language and a second language, which are languages of two speakers, receiving a first language keyword voice from a user, and transmitting the first language keyword voice to a voice translation server; Converting the first language character into a first language character and transmitting the same to the first language character, and confirming whether or not the voice recognition result displayed on the mobile terminal as the first language character is correct, Translating the language text into the second language text, and the mobile terminal receives the translation result and outputs the second text.
Description
본 발명은 여행자용 음성번역 시스템 및 방법에 관한 것이며, 보다 상세히는 여행자가 외국을 여행하는 과정에서 상대방의 언어를 서로 모르는 화자와 대면한 상황(face-to-face)에서, 휴대폰, PDA 등의 이동통신 단말기를 이용하여 최소한의 키워드를 발성한 다음, 그 화면에 출력되는 자국어 문자인식 결과와 상대국 언어로 번역된 문자를 서로 확인하도록 함으로써 여행자의 의사소통을 원활하게 하는 여행자용 키워드 기반 음성번역 시스템 및 그 방법에 관한 것이다. The present invention relates to a voice translation system and method for a traveler, and more particularly, in a face-to-face situation in which a traveler does not know each other's languages in the course of traveling abroad, a mobile phone, a PDA, or the like. A keyword-based speech translation system for travelers that facilitates the communication of travelers by making a minimum number of keywords using a mobile communication terminal and then confirming the results of the national character recognition on the screen and the translated characters in the language of the other country. And to a method thereof.
자동 통역시스템의 경우 일반적으로 음성인식 및 음성합성 기술을 활용하고 있으며, 최근에는 서로 다른 언어를 매개하기 위한 중간언어를 정의하고 이를 통해 자동 통역을 해 주는 기술이 시도되고 있다. 이러한 자동 통역 시스템은 음성인식, 문장해석 및 중간언어로의 변환, 대상언어의 생성 및 음성합성 등의 과정을 거치게 된다. In the case of an automatic interpretation system, speech recognition and speech synthesis techniques are generally used. Recently, an attempt has been made to define an intermediate language for mediating different languages and to provide automatic interpretation. The automatic interpretation system undergoes processes such as speech recognition, sentence interpretation and translation into intermediate languages, generation of target language and speech synthesis.
하지만, 이러한 기존의 시스템은 대규모의 어휘를 구축하여 인식해야 하기 때문에 그 음성 인식률이 만족스럽지 못하게 되고 이를 기반으로 통역되는 결과 또한 신뢰성을 갖지 못하게 된다. However, since the existing system has to construct and recognize a large vocabulary, the speech recognition rate is not satisfactory, and the result of interpretation based on this is also unreliable.
또한, 실시간성을 추구하는 자동 통역의 특성상 인식 에러가 발생할 경우 그 에러 여부를 확인할 수 없고 재 발성하여 교정할 수도 없게 된다. 즉, 대면한 상황에서의 의사 소통을 위해 사용하기에는 종래 자동 통역시스템은 비효율적이고, 불필요한 통신비용의 낭비를 초래하는 문제점이 있다.In addition, if the recognition error occurs due to the nature of the automatic interpretation in pursuit of real-time can not determine whether the error can be reproducible and corrected. That is, the conventional automatic interpretation system is inefficient to use for communication in the face-to-face situation, and there is a problem that causes unnecessary waste of communication costs.
한편, 휴대 단말장치에 발성 대상 문장을 내장한 후 도메인 인식, 문장 인식, 및 대상문장 출력 과정을 수행하는 방법이 시도될 수 있으나, 이 방법 또한 음성인식 오류의 한계를 벗어날 수 없고, 상호간 의사 소통을 위해서는 많은 후보 문장들 가운데에서 원하는 문장을 다시 선택해야 하는 등 소통 과정이 오히려 복잡해지는 문제가 있다. Meanwhile, a method of performing domain recognition, sentence recognition, and outputting a target sentence after embedding a speech target sentence in a portable terminal device may be attempted, but this method also cannot escape the limitation of speech recognition error, and communicate with each other. For this problem, the communication process becomes rather complicated, such as reselecting a desired sentence among many candidate sentences.
또한, 음성인식 오류의 위험을 피하고 내외국인 간의 의사소통을 지원하기 위한 방법의 일환으로 call center에 별도의 통역사를 두어 내 외국인의 중간에서 직접 서비스하는 방법이 제안된 바 있지만, 이는 그 절차가 번거로울 뿐만 아니라 통역사 고용 등으로 인해 많은 인적, 물적 비용이 수반되는 문제점이 있다. In addition, as a way to avoid the risk of voice recognition errors and to support communication between Koreans and foreigners, a separate interpreter has been proposed at the call center to provide direct service in the middle of foreigners, but this procedure is cumbersome. In addition, there are many human and material costs associated with the use of interpreters.
따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 최소한의 키워드(Key-word)만으로 의사소통을 할 수 있도록 하여 음성인식 대상의 어휘 수를 획기적으로 줄이고 그 결과 종래의 대규모 어휘 검색으로 인한 음성인식의 오류를 줄일 뿐만 아니라 의사소통 과정에서의 모호성을 극복할 수 있는 여행자용 키워드 기반 음성번역 시스템 및 그 방법을 제공하는데 있다. Accordingly, the present invention is to solve the above-mentioned problems, the object of the present invention is to enable communication with a minimum of keywords (Key-word) to significantly reduce the number of vocabulary of speech recognition targets as a result It is to provide a tourist keyword-based speech translation system and method for overcoming ambiguity in communication as well as reducing errors in speech recognition due to large-scale vocabulary search.
본 발명의 또 다른 목적은 그 음성번역 결과를 문자로 표시함으로써 발화와 발화 사이의 시간을 줄이고, 영역선택 기능의 삽입을 통해 음성인식 및 번역 대상 어휘를 줄일 뿐만 아니라 고유명사 등 번역이 불필요한 어휘를 배제하면서도 사용자간의 지능과 상황지식을 활용함으로써 의사전달의 효과를 높일 수 있는 여행자용 키워드 기반 음성번역 시스템 및 그 방법을 제공하는데 있다. Another object of the present invention is to reduce the time between speech and speech by displaying the voice translation results in letters, and to reduce the speech recognition and translation target vocabulary by inserting a region selection function, as well as to eliminate vocabulary such as proper nouns. The present invention provides a keyword-based speech translation system and method for travelers that can enhance communication by excluding and utilizing intelligence and situational knowledge among users.
상기 본 발명의 목적을 달성하기 위한 여행자용 키워드 기반 음성번역 시스템은, 음성으로 입력되는 제 1언어와 문자로 번역 표시될 제 2언어를 각각 설정하는 언어설정 모듈과, 사용자의 제 1언어 키워드 음성을 입력받고, 그 특징정보를 추출하여 음성인식 전처리 과정을 거친 후 그 결과 데이터를 상기 음성번역 서버로 전송하는 음성입력 모듈과, 상기 음성번역 서버의 음성인식 결과는 제 1언어 문자로 표시하고, 그 번역 결과는 제 2언어 문자로 출력 표시하는 문자표시 모듈을 포함하는 이동 단말기; 및 상기 이동 단말기로부터의 사용자 음성 데이터를 인식하여 제 1언어 문자로 변환하는 음성인식 모듈과, 그 인식 결과의 제 1언어 문자를 제 2언어 문자로 번역하는 번역 모듈과, 상기 음성인식 결과의 제 1언어 문자와 상기 번역 결과의 제 2언어 문자 데이터를 상기 이동 단말기로 송출하는 문자송출 모듈을 포함하는 음성번역 서버;로 구성된다. The keyword-based voice translation system for travelers for achieving the object of the present invention, a language setting module for setting the first language input by voice and the second language to be translated and displayed by the text, and the user's first language keyword voice After inputting and extracting the feature information through the voice recognition pre-processing process, the voice input module for transmitting the result data to the voice translation server, the voice recognition result of the voice translation server is displayed in a first language character, The translation result is a mobile terminal including a character display module for outputting and displaying the second language characters; And a speech recognition module for recognizing user speech data from the mobile terminal and converting the user speech data into a first language character, a translation module for translating the first language character of the recognition result into a second language character, and the first speech recognition result. And a voice translation server including a text sending module configured to send one language text and second language text data of the translation result to the mobile terminal.
또한, 상기 본 발명의 목적을 달성하기 위한 여행자용 키워드 기반 음성번역 방법은, 음성으로 입력되는 제 1언어와 문자로 번역 표시될 제 2언어를 각각 설정하는 단계; 상기 이동 단말기를 통해 사용자의 제 1언어 키워드 음성을 입력받고, 그 음성 데이터를 상기 음성번역 서버로 전송하는 단계; 상기 음성번역 서버에서 상기 사용자의 음성 데이터를 인식하여 제 1언어 문자로 변환하고, 그 인식 결과 데이터를 이동 단말기로 전송하는 단계; 이동 단말기상에 제 1언어 문자로 상기 음성인식 결과를 출력 표시하고, 사용자로부터 그 음성인식의 정/오 여부를 확인 받는 단계; 및 상기 음성번역 서버는 상기 인식 결과의 제 1언어 문자를 제 2언어 문자로 번역하고, 이동 단말기는 그 번역 결과 데이터를 수신하여 제 2언어 문자로 출력 표시하는 단계;로 이루어지는 것을 특징으로 한다. In addition, a keyword-based speech translation method for travelers to achieve the object of the present invention, comprising: setting a first language input by voice and a second language to be translated and displayed by text; Receiving a first language keyword voice of a user through the mobile terminal and transmitting the voice data to the voice translation server; Recognizing the voice data of the user by the voice translation server, converting the voice data into a first language character, and transmitting the recognition result data to the mobile terminal; Outputting and displaying the voice recognition result as a first language character on a mobile terminal, and confirming whether or not the voice recognition is correct by a user; And the voice translation server translating the first language character of the recognition result into a second language character, and the mobile terminal receiving the translation result data and outputting the second language character to output the second language character.
일반적으로 서로 대면하는 상황에서의 대화는 제스처, 표정 등의 paralinguistic feature를 활용할 수 있기 때문에 적은 어휘만으로도 서로 다른 언어 사용자간에 의사전달이 가능하게 된다. 즉, 명사 또는 명사구, 용언 또는 용언구, 및 지시부사, 의문부사 등과 같이 대화내용의 핵심 어휘의 의미가 상호 전달될 수 있다면 의사전달이 용이하게 이뤄질 수 있을 것이다. 본 발명에서 Key-word란 이와 같은 핵심 어휘를 지칭한다. In general, conversations in face-to-face situations can utilize paralinguistic features such as gestures and facial expressions, allowing communication between users of different languages with a small vocabulary. In other words, if the meanings of the core vocabulary of the conversation such as nouns or noun phrases, verbs or verbs, and instructional adverbs and interrogative adverbs can be communicated with each other, communication can be easily achieved. In the present invention, the key-word refers to such a core vocabulary.
본 발명은 기존의 여행자용 코퍼스 중에서 고유명사를 제외한 일부의 명사와 동사, 지시부사 등으로만 Key-word를 구성할 수 있으므로 대 규모의 어휘검색에 따른 음성인식 오류를 획기적으로 줄일 수 있다. According to the present invention, since a key-word can be formed only of some nouns, verbs, and indication adverbs except proper proper names among the existing tourist corpus, speech recognition errors due to large-scale lexical search can be drastically reduced.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 키워드에 기반한 음성번역 시스템의 블록 구성 및 그 처리 절차를 개략적으로 도시하고 있다. 1 schematically illustrates a block configuration and processing procedure of a voice translation system based on keywords according to the present invention.
본 발명의 여행자용 Key-word 음성번역 시스템은 이동 단말기(100)를 이용하여 원시언어(source language: 예, A국어)의 음성을 원시언어의 문자로 인식하여 사용자에게 표시하고, 이를 대상언어(예, B국어)의 문자로 번역하여 나타내 주는 시스템으로서, 도 1에 도시된 바와 같이, 크게 이동 단말기(100)와, 통신 네트워크 및 음성번역 서버(200)로 이루어진다. The tourist key-word speech translation system of the present invention recognizes the source language (eg, A language) as a character of the source language by using the mobile terminal 100 and displays it to the user, and the target language ( For example, as a system for translating into a letter of B language), as shown in FIG. 1, the mobile terminal 100 is largely comprised of a communication network and a voice translation server 200.
여기에서, 상기 이동 단말기(100)는 무선 데이터 송수신 기능을 갖춘 단말기로서, 본 발명의 음성번역 서비스를 위한 전용 단말기로 구현될 수 있고, 또한 휴대폰이나 PDA 등과 같은 이동통신 단말기에 본 발명을 위한 기능 모듈들이 하드웨어 또는 소프트웨어적으로 추가되는 형태로 구현될 수 있다. Here, the mobile terminal 100 is a terminal having a wireless data transmission and reception function, can be implemented as a dedicated terminal for the voice translation service of the present invention, and also functions for the present invention in a mobile communication terminal such as a mobile phone or PDA Modules may be implemented in the form of hardware or software addition.
본 발명에 있어서, 상기 이동 단말기(100)는 사용자로부터 원시언어의 음성을 입력받아 이를 통신 네트워크를 통해 상기 음성번역 서버(200)로 전달하고, 서버로부터 그 인식결과를 수신하여 원시언어의 문자로 출력 표시한다. 또한, 서버로부터 인식 결과에 대한 번역 데이터를 수신하여 대상언어(B 국어)의 문자로 출력 표시한다. 또한, 상기 이동 단말기(100)는 숫자나 특수문자의 경우는 키 버튼을 사용하여 직접 표시하도록 한다. In the present invention, the mobile terminal 100 receives the voice of the original language from the user and transmits it to the voice translation server 200 through a communication network, and receives the recognition result from the server to the text of the source language Display the output. Further, translation data of the recognition result is received from the server, and output is displayed in characters of the target language (B language). In addition, the mobile terminal 100 to display directly by using a key button in the case of numbers or special characters.
이를 위하여, 상기 이동통신 단말기는, 하드웨어 또는 소프트웨어적으로 언어설정 모듈, 영역선택 모듈, 음성입력 및 음성인식 전처리 모듈, 키입력 모듈, 정/오 확인 모듈, 문자표시 모듈 등을 구비한다. To this end, the mobile communication terminal includes a language setting module, a region selection module, a voice input and voice recognition preprocessing module, a key input module, a positive / false check module, a character display module, and the like in hardware or software.
여기에서, 상기 언어설정 모듈은 사용자로부터 대화자 양쪽의 언어를 설정받는다. 즉, 사용자는 이를 통해 원시언어와 대상언어가 각각 어떤 언어인지를 지정하게 된다. 또한, 사용자의 간단한 키 조작을 통해 원시언어와 대상언어를 상호 전환할 수 있도록 한다. 예를 들면, 원시언어를 '한국어'로 하고 대상언어를 '영어'로 지정하여 한국어 사용자의 Key-word 음성을 영어 문자로 표시하고, 또한 상대방의 음성 입력이 필요한 경우는 간단한 언어 전환키를 통해 원시언어와 대상언어를 상호 바꾸어 줌으로써 상대방의 영어 음성을 한국어 문자로 번역 표시할 수 있도록 한다. Here, the language setting module receives the language of both the dialogues from the user. That is, the user can designate which language is the source language and the target language. In addition, the user can switch between the source language and the target language through simple key manipulation of the user. For example, if the source language is set to 'Korean' and the target language is set to 'English', the Korean user's key-word voice is displayed in English characters. By translating the source language and the target language, the English voice of the other party can be translated into Korean characters.
상기 영역선택 모듈은 사용자로부터 현재 대화가 이뤄지고 있는 상황을 선택받는 모듈로서, 음식점, 공항, 상점, 관광지 등과 같은 대화장소 또는 거래, 관광안내, 숙박 등과 같은 대화내용을 선택받는다. 이러한 영역선택 모듈은 사용자에 의해 수동으로 대화영역을 선택하거나 자동 영역선택 기능을 수행할 수 있다. The area selection module is a module for selecting a situation where a current conversation is being made by a user, and selecting a conversation place such as a restaurant, an airport, a shop, a tourist attraction, or a conversation content such as a transaction, a tour guide, and a lodging. Such an area selection module may manually select a conversation area by a user or perform an automatic area selection function.
또한, 상기 음성입력 및 음성인식 전처리 모듈은 마이크 수단 등을 통해 사용자의 원시언어 음성을 입력받고, 그 음성 데이터의 특징을 추출하여 음성인식을 위한 전처리 과정을 수행하고 그 결과 데이터를 음성번역 서버(200)로 전송한다. 이때, 음성인식 전처리 과정은 이동 단말기가 아닌 음성번역 서버에서 수행할 수도 있다. In addition, the voice input and voice recognition preprocessing module receives a user's native language voice through a microphone means, and extracts the features of the voice data to perform a preprocessing process for voice recognition, and the resulting data to the voice translation server ( 200). In this case, the speech recognition preprocessing may be performed by the voice translation server, not the mobile terminal.
상기 키입력 모듈은 금액이나 거리 등을 표시하기 위한 숫자나 특수문자를 사용자의 키버튼 선택에 의해 입력받고 별도의 번역과정 없이 단말기상에 직접 출력 표시한다. The key input module receives a number or a special character for displaying an amount or a distance by the user's key button selection and outputs the result directly on the terminal without a separate translation process.
또한, 상기 정/오 확인 모듈은 원시언어에 대한 음성인식 결과가 정확한지 여부를 사용자로부터 확인받는 모듈이고, 상기 문자표시 모듈은 음성인식 결과 및 번역 결과에 따른 문자 데이터를 해당 언어의 문자로 표시하기 위한 모듈이다. In addition, the correct / false confirmation module is a module for confirming whether the voice recognition result is correct for the primitive language from the user, the character display module to display the text data according to the voice recognition result and the translation result in the character of the language Module.
한편, 상기 음성번역 서버(200)는 통신 네트워크를 통해 사용자의 이동 단말기(100)와의 인터페이스 기능을 수행하는 네트워크 인터페이스 모듈(210), 음성인식 모듈(220), 번역 모듈(230), 및 문자송출 모듈(240) 등을 포함한다. Meanwhile, the voice translation server 200 transmits a network interface module 210, a voice recognition module 220, a translation module 230, and text transmission to perform an interface function with a user's mobile terminal 100 through a communication network. Module 240 and the like.
상기 음성인식 모듈(220)은 상기 이동 단말기(100)로부터 수신되는 언어설정 정보와 사용자 Key-word 음성의 특징정보를 통해 사용자 음성을 인식하고 그 인식 결과를 원시언어 문자로 출력한다. 동음이의어와 같이 다수의 의미로 인식되는 경우 그 인식 결과들을 모두 사용자에게 표시함으로써 사용자가 정확한 인식 문자를 선택할 수 있도록 한다. The voice recognition module 220 recognizes a user's voice through language setting information received from the mobile terminal 100 and feature information of the user's key-word voice, and outputs the recognition result as a source language character. In the case of a homonym, the recognition results are displayed to the user so that the user can select the correct recognition character.
상기 번역 모듈(230)은, 상기 인식 결과인 원시언어 문자를 사용자가 지정한 대상언어의 문자로 번역한다. 본 발명은 명사 또는 명사구, 용언 또는 용언구, 및 지시 부사, 의문 부사 등과 같이 대화 내용에 있어 핵심요소인 단어나 구를 대상으로 하기 때문에 상이한 언어구조를 갖는 언어간에도 용이하게 정확한 번역을 수행할 수 있다. The translation module 230 translates the source language character that is the recognition result into the character of the target language designated by the user. The present invention targets words or phrases that are key elements in conversational content, such as nouns or noun phrases, verbs or verbs, and instructional adverbs and interrogative adverbs, so that accurate translation can be easily performed even between languages having different language structures. have.
또한, 상기 문자송출 모듈(240)은 상기 음성인식 결과인 원시언어 문자나 상기 번역결과인 대상언어 문자를 사용자 이동 단말기(100)로 송출하는 기능을 수행한다. In addition, the text transmission module 240 transmits the source language text that is the voice recognition result or the target language text that is the translation result to the user mobile terminal 100.
다음은 도 1을 참조하면서 본 발명에 따른 음성번역 처리절차에 대해 간단히 살펴보도록 한다. Next, a brief description will be made of a voice translation processing procedure according to the present invention with reference to FIG.
먼저, 사용자는 언어설정 및 영역 선택을 한 후 자신의 원시언어로 대화에 필요한 핵심어를 발성한다. 이에 따라 이동 단말기(100)는 사용자의 음성신호의 특징정보를 추출하는 등 음성인식을 위한 전처리 과정을 수행한 다음 그 결과 데이터를 상기 언어설정 및 영역 선택 정보와 함께 음성번역 서버(200)로 전송한다. First, the user sets up a language and selects a region, and then speaks key words necessary for dialogue in his or her native language. Accordingly, the mobile terminal 100 performs a preprocessing process for speech recognition such as extracting feature information of the user's voice signal, and then transmits the data to the voice translation server 200 together with the language setting and region selection information. do.
상기 음성번역 서버(200)에서는 언어설정 및 대화영역 정보를 확인하고, 음성인식 모듈(220)을 통해 사용자의 음성을 해당 원시언어의 문자로 인식한 후 그 인식 결과 데이터를 이동 단말기(100)로 송출한다. 이에 따라 이동 단말기(100)는 그 인식 결과를 원시언어 문자로 사용자에게 표시하고 사용자는 그 표시된 인식결과의 오류여부를 상기 서버측으로 전송한다. 이때, 인식 결과에 오류가 있을 경우 사용자는 재발성 과정을 거치게 된다. The voice translation server 200 checks the language setting and the conversation area information, recognizes the user's voice as a character of the original language through the voice recognition module 220, and then transfers the recognition result data to the mobile terminal 100. Send it out. Accordingly, the mobile terminal 100 displays the recognition result to the user in original language characters, and the user transmits an error of the displayed recognition result to the server. At this time, if there is an error in the recognition result, the user goes through a recurrence process.
음성인식 결과 그 의미가 대동소이한 경우(예, 존칭어, 시제의 불일치)에는 의미 전달에는 무리가 없기 때문에 그 의미가 완전히 다를 경우에 한해 재발성 과정을 수행하는 것이 바람직하다. If the meaning of the speech recognition is very similar (eg, inconsistency between the terminology and the tense), it is advisable to carry out the recurrence process only when the meaning is completely different.
한편, 음성번역 서버(200)는 상기 인식된 원시언어 Key-Word 문자를 사용자가 설정한 해당 대상언어의 문자로 번역하고 그 번역 결과 데이터를 이동 단말기(100)로 전송한다. 그리고, 이동 단말기상에는 번역된 대상언어의 문자가 출력 표시되며, 상대방은 이를 보고 사용자 Key-word 음성의 의미를 확인할 수 있게 된다. Meanwhile, the voice translation server 200 translates the recognized source language Key-Word character into the character of the target language set by the user and transmits the translation result data to the mobile terminal 100. The translated text of the target language is displayed on the mobile terminal, and the counterpart can check the meaning of the user key-word voice by looking at it.
도 2는 본 발명에 따른 여행자용 키워드 기반 음성번역 과정을 보여주는 흐름도이다. 2 is a flowchart illustrating a keyword-based voice translation process for travelers according to the present invention.
도 2를 참조하면, 먼저 단말기상에서 원시언어와 대상언어를 설정하고 현재 대화상황 및 장소에 따른 대화영역을 선택한다.(S201) Referring to FIG. 2, first, a source language and a target language are set on a terminal, and a conversation area according to a current conversation situation and a place is selected.
이때, 대화영역은 '공항', '식당', '상점', '관광지', '숙박' 등과 같은 여행자에게 자주 발생되는 상황 또는 장소로 분류된다. At this time, the conversation area is classified into a situation or a place that is frequently generated by a traveler such as an airport, a restaurant, a store, a tourist destination, a lodging, and the like.
그리고, 문자 또는 음성에 대한 입력모드를 선택한다.(S202) Then, an input mode for text or voice is selected (S202).
이때, 숫자나 특수문자를 표시하고자 할 경우 사용자는 문자입력 모드를 선택하고, 금액이나 거리 등에 대한 해당 숫자 또는 특수문자를 키 선택을 통해 입력함으로써 단말기상에 직접 표시하게 된다.(S209) In this case, when the user wants to display a number or a special character, the user selects a character input mode and directly displays the number or a special character on the terminal by selecting a number or a special character for an amount or distance through key selection (S209).
한편, 주요 핵심어 음성에 대한 번역이 필요할 경우, 사용자는 음성입력 모드를 선택한 후 자신의 원시언어로 Key-word 음성을 발성하여 입력 하고, 이동 단말기(100)는 이에 대해 음성인식 전처리 과정을 수행한 후 그 결과 데이터를 상기 음성번역 서버(200)로 전달한다.(S203) On the other hand, if translation of the key word speech is required, the user selects a voice input mode and then inputs a key-word voice in his or her native language, and the mobile terminal 100 performs a voice recognition preprocessing process. After that, the result is transmitted to the voice translation server 200. (S203)
또한, 상기 음성번역 서버(200)는 상기 음성인식 모듈(220)을 통해 수신된 음성 데이터를 인식하여 사용자가 설정한 원시언어의 문자로 변환한다.(S204) Also, the voice translation server 200 recognizes the voice data received through the voice recognition module 220 and converts the voice data into text of a source language set by the user (S204).
그리고, 그 인식 결과 데이터를 사용자의 이동 단말기(100)로 송출하고, 이동 단말기(100)는 이를 해당 원시언어 문자로 출력 표시하게 된다.(S205) Then, the recognition result data is sent to the mobile terminal 100 of the user, and the mobile terminal 100 outputs and displays it in the corresponding original language character (S205).
사용자는 표시된 핵심어 문자를 보고 자신이 발성한 음성이 정확하게 인식되었는지 여부를 확인하고, 사용자의 핵심어가 전혀 다른 의미로 인식되었을 경우 사용자는 재발성 과정을 수행한다.(S206) The user checks the displayed key word character to see whether the voice spoken by him or her is correctly recognized, and if the key word of the user is recognized in a completely different meaning, the user performs a recurrence process (S206).
한편, 인식결과에 오류가 없을 경우, 상기 음성번역 서버(200)는 상기 번역 모듈(230)을 통해 상기 원시언어 문자로 인식된 결과 데이터를 해당 대상언어 문자로 번역하고, 그 번역 결과 데이터를 사용자의 이동 단말기(100)로 전송한다.(S207) On the other hand, if there is no error in the recognition result, the voice translation server 200 translates the result data recognized as the source language character through the translation module 230 to the target language character, and the translation result data Is transmitted to the mobile terminal 100. (S207)
이에 따라, 이동 단말기(100)는 상기 번역 결과를 대상언어(즉, 상대방 언어)의 문자로 출력 표시하고 상대방은 이를 보고 사용자의 의사를 파악하게 된다.(S208) Accordingly, the mobile terminal 100 outputs the translation result as a character of the target language (ie, the counterpart language), and the counterpart recognizes the user's intention by looking at it (S208).
또한, 의사의 상호 교환을 위해 상대방의 음성입력이 필요할 경우, 간단한 키 조작(예, 단축키 사용)을 통해 원시언어와 대상언어를 상호 전환한 후, 상기 S202 내지 S208 과정을 수행함으로써 상대방의 Key-word 음성입력에 대한 사용자 언어의 문자를 출력 표시하게 된다.(S210) In addition, if the voice input of the other party is necessary for mutual exchange of doctors, the source language and the target language are switched through simple key manipulation (eg, by using a hot key), and then the processes of steps S202 to S208 are performed. Word displays the character of the user language for the voice input output (S210).
상술한 바와 같이 본 발명에 따른 여행자용 키워드 기반 음성번역 시스템 및 그 방법은, 음성합성을 거치지 않고 문자로 번역 결과를 보여 주기 때문에 통신망 사용에 대한 비용을 절감할 수 있고 대화 순서(turn) 간의 지연 시간을 현격히 줄여줌으로써 자연스런 의사 소통이 가능하도록 한다. As described above, the keyword-based speech translation system for travelers and the method according to the present invention can reduce the cost of using the communication network and delay the turn between conversations because the translation results are shown in text without undergoing speech synthesis. Significantly reduce your time for natural communication.
또한, 화자가 발성한 단어의 인식 결과를 문자 메시지를 통해 확인할 수 있기 때문에 인식의 오류로 인한 번역 오류를 사전에 방지할 수 있고, 문장이 아닌 key-word를 번역 대상으로 삼기 때문에 인식 및 번역 대상 어휘를 현격히 줄여주는 효과가 있다. In addition, the recognition result of the speaker's spoken word can be confirmed through a text message, so that translation errors due to recognition errors can be prevented in advance, and key-words, not sentences, are translated and recognized. There is a significant reduction in vocabulary.
이상에서 설명한 것은 본 발명에 따른 여행자용 키워드 기반 음성번역 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다. What has been described above is just one embodiment for implementing the keyword-based speech translation system and method for travelers according to the present invention, the present invention is not limited to the above-described embodiment, it is claimed in the claims Without departing from the gist of the present invention, any person having ordinary knowledge in the field of the present invention will have the technical spirit of the present invention to the extent that various modifications can be made.
도 1은 본 발명에 따른 키워드 기반 음성번역 시스템에 대한 블록 구성도. 1 is a block diagram of a keyword-based speech translation system according to the present invention.
도 2는 본 발명에 따른 키워드 기반 음성번역 과정을 도시한 흐름도. 2 is a flowchart illustrating a keyword-based speech translation process according to the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100: 이동 단말기 200: 음성번역 서버100: mobile terminal 200: voice translation server
220: 음성인식 모듈 230: 번역 모듈220: speech recognition module 230: translation module
240: 문자송출 모듈 240: character transmission module
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030086526A KR20050052943A (en) | 2003-12-01 | 2003-12-01 | Key-word based speech translation system for travelers and the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030086526A KR20050052943A (en) | 2003-12-01 | 2003-12-01 | Key-word based speech translation system for travelers and the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050052943A true KR20050052943A (en) | 2005-06-07 |
Family
ID=37248756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030086526A KR20050052943A (en) | 2003-12-01 | 2003-12-01 | Key-word based speech translation system for travelers and the method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050052943A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101233655B1 (en) * | 2009-12-11 | 2013-02-15 | 한국전자통신연구원 | Apparatus and method of interpreting an international conference based speech recognition |
| CN103530285A (en) * | 2013-10-09 | 2014-01-22 | 百度在线网络技术（北京）有限公司 | Method and device for translating messages |
| WO2015023138A1 (en) * | 2013-08-14 | 2015-02-19 | Kim Kyung-Cheol | System and method for providing speech recognition-based messaging interpretation service |
| US9910851B2 (en) | 2013-12-25 | 2018-03-06 | Beijing Baidu Netcom Science And Technology Co., Ltd. | On-line voice translation method and device |
| KR20180066316A (en) * | 2016-12-07 | 2018-06-19 | 안동대학교 산학협력단 | Realtime service integration platform operating method for deaf |
| CN112784614A (en) * | 2021-03-03 | 2021-05-11 | 北京雅信诚医学信息科技有限公司 | Computer language translation system |
-
2003
- 2003-12-01 KR KR1020030086526A patent/KR20050052943A/en not_active Application Discontinuation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101233655B1 (en) * | 2009-12-11 | 2013-02-15 | 한국전자통신연구원 | Apparatus and method of interpreting an international conference based speech recognition |
| WO2015023138A1 (en) * | 2013-08-14 | 2015-02-19 | Kim Kyung-Cheol | System and method for providing speech recognition-based messaging interpretation service |
| CN103530285A (en) * | 2013-10-09 | 2014-01-22 | 百度在线网络技术（北京）有限公司 | Method and device for translating messages |
| US9910851B2 (en) | 2013-12-25 | 2018-03-06 | Beijing Baidu Netcom Science And Technology Co., Ltd. | On-line voice translation method and device |
| KR20180066316A (en) * | 2016-12-07 | 2018-06-19 | 안동대학교 산학협력단 | Realtime service integration platform operating method for deaf |
| CN112784614A (en) * | 2021-03-03 | 2021-05-11 | 北京雅信诚医学信息科技有限公司 | Computer language translation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10073843B1 (en) | Method and apparatus for cross-lingual communication | |
| KR100411439B1 (en) | Speech translation service method and speech translation server | |
| US9063931B2 (en) | Multiple language translation system | |
| KR101694286B1 (en) | Apparatus and method for providing two-way automatic interpretation and tranlating service | |
| KR100769029B1 (en) | Method and system for voice recognition of names in multiple languages | |
| US20060206309A1 (en) | Interactive conversational speech communicator method and system | |
| US20060247932A1 (en) | Conversation aid device | |
| US20120330645A1 (en) | Multilingual Bluetooth Headset | |
| US20080270128A1 (en) | Text Input System and Method Based on Voice Recognition | |
| KR101959439B1 (en) | Method for interpreting | |
| KR102214562B1 (en) | Translation system for global communicate in online communication space | |
| KR100949353B1 (en) | Communication assistance apparatus for the deaf-mutism and the like | |
| JPH07129594A (en) | Automatic interpretation system | |
| KR20050052943A (en) | Key-word based speech translation system for travelers and the method | |
| KR100367579B1 (en) | Internet utilization system using voice | |
| KR20210068790A (en) | Sign language interpretation system | |
| US20070244687A1 (en) | Dialog supporting device | |
| JP3411198B2 (en) | Interpreting apparatus and method, and medium storing interpreting apparatus control program | |
| KR102479026B1 (en) | QUERY AND RESPONSE SYSTEM AND METHOD IN MPEG IoMT ENVIRONMENT | |
| JP2001251429A (en) | Voice translation system using portable telephone and portable telephone | |
| KR19990037776A (en) | Auto translation and interpretation apparatus using awareness of speech | |
| KR102496398B1 (en) | A voice-to-text conversion device paired with a user device and method therefor | |
| WO2021218750A1 (en) | System and method for translating sign language | |
| EP3035207A1 (en) | Speech translation device | |
| JP2016151718A (en) | Simple interpretation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |