KR20110065916A - Interpretation system for error correction and auto scheduling - Google Patents

Interpretation system for error correction and auto scheduling Download PDF

Info

Publication number
KR20110065916A
KR20110065916A KR1020090122608A KR20090122608A KR20110065916A KR 20110065916 A KR20110065916 A KR 20110065916A KR 1020090122608 A KR1020090122608 A KR 1020090122608A KR 20090122608 A KR20090122608 A KR 20090122608A KR 20110065916 A KR20110065916 A KR 20110065916A
Authority
KR
South Korea
Prior art keywords
error
user
recognition result
unit
language
Prior art date
Application number
KR1020090122608A
Other languages
Korean (ko)
Inventor
전재훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090122608A priority Critical patent/KR20110065916A/en
Publication of KR20110065916A publication Critical patent/KR20110065916A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction

Abstract

PURPOSE: An interpreting system is provided to supply other interpretation procedure according to the speaking of an opponent and a user. CONSTITUTION: A speaker determining unit(200) compartmentalizes a case which a user speaks and a case which opponent speaks. If the determined speaker is the opponent, a speech confirming unit(220) exhibits a voice recognition result recognized as a object language from a voice recognition processing unit to the opponent.

Description

통역오류 정정 및 오류 자동추출 절차를 수행하는 통역시스템{Interpretation System for error correction and auto scheduling}Interpretation System for error correction and auto scheduling

한 언어로 된 음성을 입력하여 다른 언어로 된 음성으로 번역하여 출력하는 자동 통역시스템에서 화자별 최적화된 통역, 통역 오류 정정, 사용자의 편의성에 맞춘 오류 자동 추론을 수행하는 통역시스템에 관한 것이다.The present invention relates to an interpretation system that performs optimized interpretation for each speaker, interpretation error correction, and error inference according to the user's convenience in an automatic interpretation system that inputs a voice in one language and translates the output into a voice in another language.

자동 통역시스템은 음성인식을 통해 발화자의 음성을 텍스트로 변환하고 기계번역을 통해 통역대상이 되는 언어로 변환하며 음성합성을 통해 소통하려는 상대에게 들려줌으로써 구현된다. 일반적으로 자동 통역 시스템은 음성 인식기, 자동 번역기, 음성 합성기를 포함한다.The automatic interpretation system is realized by converting the voice of the talker into text through voice recognition, converting it into the language to be interpreted through machine translation, and telling the person to communicate through voice synthesis. Automated interpretation systems generally include speech recognizers, automatic translators, and speech synthesizers.

음성인식, 자연어 처리, 음성합성, 잡음처리 기술의 비약적인 발전으로 소프트웨어적으로 자동 통역기능을 구현가능하게 되었다. 특히, 이러한 자동 통역기능은 일반 핸드폰, 네비게이션, DMB 등의 임베디드 기기에 설치되고 컴퓨터, TV, 웹 어플레케이션 등 광범위한 분야에서 활용되어 중요도가 커지고 있다.Rapid advances in speech recognition, natural language processing, speech synthesis, and noise processing technology have made it possible to implement automatic interpretation functions in software. In particular, such automatic interpretation function is installed in embedded devices such as general mobile phones, navigation, DMB, and is used in a wide range of fields, such as computers, TV, web applications, and the importance is increasing.

대부분의 자동 통역 시스템은 화자에 관계없이 음성인식, 번역, 음성합성의 획일화된 과정을 거친 후 결과처리를 하게 되며, 인식오류나 번역오류를 보정하지 못하거나 사용자에게 직접 오류에 대한 보정을 요구하는 과정을 통하여 오류를 정정하게 된다.Most of the automatic interpretation systems process the result after the uniform process of speech recognition, translation, and speech synthesis regardless of the speaker, and do not correct the recognition error or translation error or require the user to correct the error directly. The process will correct the error.

사용자 편의성에 따른 화자별 최적화된 통역 절차를 보유하고, 실시간 통역 오류 정정 및 사용자의 개입을 최대한 배제한 오류 자동 추론 알고리즘을 수행하는 통역시스템을 제공하고자 한다.This study aims to provide an interpreter system that has an optimized interpretation process for each speaker according to user convenience and performs error automatic inference algorithm that eliminates real-time interpretation error correction and user intervention as much as possible.

본 발명의 일 양상에 따른 화자에 따라 개별 절차를 수행하는 통역시스템은 사용자가 발화하는 사용언어와 사용자와 대화하는 상대방이 발화하는 대상언어를 상호 번역하는 통역 시스템에 있어서, 상기 사용자가 발화하는 경우와 상기 상대방이 발화하는 경우를 구분하여 화자를 판단하는 화자판단부, 상기 판단된 화자에 따라 상기 사용언어 또는 대상언어로 발화된 음성을 인식하는 음성인식 처리부, 상기 판단된 화자가 상기 상대방인 경우, 상기 음성인식 처리부에서 상기 대상언어로 인식된 음성인식 결과를 상기 상대방에게 제시하여 확인받는 음성인식 확인부 및 상기 음성인식 처리부에서 상기 사용언어로 인식된 음성인식 결과를 상기 대상언어로 번역하거나, 상기 음성인식 확인부에서 확인된 음성인식 결과를 상기 사용언어로 번역하는 번역변환부를 포함할 수 있다. An interpretation system for performing an individual procedure according to a speaker according to an aspect of the present invention is an interpretation system for translating a language used by a user and a target language spoken by a counterpart talking with the user, when the user speaks. And a speaker determination unit for discriminating a speaker by distinguishing a case in which the other party speaks, a speech recognition processor for recognizing a voice spoken in the language used or the target language according to the determined speaker, and when the determined speaker is the other party. The voice recognition processing unit may recognize the speech recognition result recognized by the target language by presenting the speech recognition result recognized by the target language to the counterpart and translate the speech recognition result recognized by the language used by the speech recognition processing unit into the target language, The time for translating the voice recognition result confirmed by the voice recognition confirmation unit into the language used It may include a transformation.

또한, 상기 음성인식 확인부는 상기 번역변환부에서 상기 대상언어로 번역된 번역결과를 상기 사용자에게 제시하여 확인받을 수 있다. In addition, the voice recognition confirmation unit may be confirmed by presenting the translation result translated into the target language by the translation conversion unit to the user.

또한, 상기 음성인식 확인부는 상기 상대방에게 확인한 음성인식 결과에 오류가 있거나 상기 사용자에게 확인한 번역결과에 오류가 있는 경우, 상기 화자에게 재발화를 요청할 수 있다.In addition, when there is an error in the voice recognition result confirmed to the counterpart or the translation result confirmed to the user, the voice recognition confirmation unit may request the speaker to speak again.

본 발명의 일 양상에 따른 통역오류 정정 절차를 수행하는 통역시스템은 사용자가 사용언어로 발화하는 음성을 인식하여 대상언어로 번역하는 통역시스템에 있어서, 사용자의 사용언어로 발화된 음성을 인식한 음성인식 결과에 대하여 상기 사용언어의 언어학적인 특성에 따라 오류를 검출하는 오류판단부, 상기 오류판단부에서 오류가 검출된 경우, 상기 검출된 오류에 대한 정정가능 후보를 추출하는 오류정정부 및 상기 오류정정부에서 추출된 정정가능 후보 중 상기 사용자로부터 번역하고자 하는 후보를 선택받는 인식결과 선택부를 포함할 수 있다.In the interpretation system for performing an interpretation error correction procedure according to an aspect of the present invention, in the interpretation system for recognizing the voice spoken by the user in a language and translating it into a target language, the voice recognized the spoken voice in the user's language An error determination unit for detecting an error according to the linguistic characteristics of the language used for the recognition result; an error correction unit for extracting a correctable candidate for the detected error if an error is detected in the error determination unit; It may include a recognition result selection unit for receiving a candidate to be translated from the user among the correctable candidates extracted by the correction unit.

또한, 상기 오류판단부는 상기 사용언어의 문법적인 검증, 어순 검증, 맞춤법 검증을 통하여 오류를 검출할 수 있으며, 상기 오류판단부에서 오류가 검출되지 않은 경우, 상기 음성인식 결과를 바로 번역할 수 있고, 상기 사용자로부터 후보를 선택받지 못한 경우, 상기 사용자에게 재발화를 요청할 수 있다.In addition, the error determination unit may detect an error through grammatical verification, word order verification, spelling verification of the language used, and if the error is not detected in the error determination unit, the voice recognition result may be immediately translated. If a candidate is not selected by the user, the user may request re-ignition.

또한, 상기 사용자의 발화된 음성을 인식하는 음성인식 처리부 및 상기 음성인식 결과 또는 상기 인식결과 선택부에서 선택받은 후보를 번역하는 번역변환부를 더 포함할 수 있다.The apparatus may further include a voice recognition processor for recognizing the spoken voice of the user and a translation converter for translating the candidate selected by the voice recognition result or the recognition result selection unit.

본 발명의 일 양상에 따른 오류 자동추출 절차를 수행하는 통역시스템은 사용자가 사용언어로 발화하는 음성을 인식하여 대상언어로 번역하는 통역시스템에 있어서, 사용자의 사용언어의 언어학적인 특성에 따라 상기 사용자의 발화된 음성을 인식한 음성인식 결과 후보를 추출하는 음성인식 결과 추출부 및 상기 음성인식 결과 후보 중 특정 음성인식 결과로부터 상기 사용언어의 언어학적인 특성에 따라 오류율을 산출하고, 상기 산출된 오류율이 상기 사용언어의 언어학적인 특성에 따라 기설정된 임계값 범위에 속하는지 판별하는 임계값 판별부를 포함할 수 있다.In the interpretation system for performing the error automatic extraction procedure according to an aspect of the present invention, in the interpretation system for recognizing the speech spoken by the user in the language used to translate into the target language, the user according to the linguistic characteristics of the user's language From the speech recognition result extraction unit for extracting the speech recognition result candidate that recognizes the spoken speech and the specific speech recognition results among the speech recognition result candidates, an error rate is calculated according to the linguistic characteristics of the language used, and the calculated error rate is It may include a threshold determination unit for determining whether to fall within a predetermined threshold range according to the linguistic characteristics of the language used.

또한, 상기 임계값 판별부는 상기 특정 음성인식 결과로부터 상기 사용언어의 문법적인 판별, 어순 판별, 맞춤법 판별을 통하여 각각의 오류율을 산출하는 오류산출부 및 상기 평가오류율이 상기 사용언어의 문법적인 임계값, 어순 임계값, 맞춤법 임계값 범위에 속하는지 판별하는 임계값 비교부를 포함할 수 있다.In addition, the threshold determination unit may be an error calculation unit for calculating each error rate through the grammatical determination, word order determination, spelling determination of the language used from the specific speech recognition result and the evaluation error rate is the grammatical threshold value of the language used; It may include a threshold comparison unit for determining whether it belongs to the word order threshold value, spelling threshold range.

또한, 상기 임계값 판별부는 기 특정 음성인식 결과로부터 상기 사용언어의 문법적인 판별, 어순 판별, 맞춤법 판별을 통하여 각각의 오류율을 산출하고, 상기 각각의 오류율에 상기 각각의 오류율의 상대적인 중요도에 따라 기설정된 가중치를 두어 하나의 오류율로 합친 평가오류율을 산출하는 오류산출부 및 기 평가오류율이 상기 사용언어의 문법적인 임계값, 어순 임계값, 맞춤법 임계값을 하나의 임계값으로 합친 평가임계값 범위에 속하는지 판별하는 임계값 비교부를 포함할 수 있다.In addition, the threshold value determination unit calculates each error rate through grammatical determination, word order determination, and spelling determination of the language used, based on a specific speech recognition result, and is determined according to the relative importance of each error rate. An error calculating unit that calculates an evaluation error rate summed with one error rate by setting a weighted value and a previous evaluation error rate are in the evaluation threshold range in which the grammatical threshold value, word order threshold value, and spelling threshold value of the language used are combined into one threshold value. It may include a threshold comparison unit for determining whether to belong.

또한, 상기 사용자의 발화된 음성을 인식하는 음성인식 처리부 및 기 임계값 판별부에서 상기 임계값 범위에 속하는 것으로 판별된 음성인식 결과를 번역하는 번역변화부를 포함할 수 있다.The apparatus may include a voice recognition processor for recognizing the spoken voice of the user and a translation changer for translating the voice recognition result determined as belonging to the threshold value range by the threshold determination unit.

사용자와 대화 상대방의 발화에 따라 서로 다른 통역 절차를 제공한다. 또한, 화자별로 다른 통역 절차에 따라 통역시스템의 번역부담을 줄이고, 신뢰성이 높은 통역이 이루어지도록 하는 것이 가능하다.Different interpretation procedures are provided depending on the utterance of the user and the conversation partner. In addition, it is possible to reduce the translation burden of the interpretation system according to different interpretation procedures for each speaker, and to ensure a reliable translation.

또한, 발화되는 언어의 특성에 따라 오류를 검출하고 검출된 오류를 정정할 수 있으며, 오류율을 측정하여 사용자의 검토없이 사용자의 관점에서 시스템 스스로 판단하여 오류를 추론/정정하는 것이 가능하다.In addition, it is possible to detect an error and correct the detected error according to the characteristics of the spoken language, and it is possible to infer / correct the error by measuring the error rate and judging by the system itself from the user's point of view without the user's review.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.Hereinafter, specific examples for carrying out the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 통역시스템의 UI(User Interface) 외관 및 화자구분키 구성을 도시한다.1 illustrates the appearance of a user interface (UI) and a speaker classification key of an interpreter system according to an embodiment of the present invention.

통역시스템은 음성인식, 기계번역, 음성합성 기능을 가지는 장치를 통하여 구현된다. 도 1에 도시된 화자에 따른 키 구성도는 화자별로 통역 절차를 달리하기 위한 구성이며, 제시된 바와 같이 사용자가 키 버튼을 누름으로써 화자를 구별하는 것도 가능하나, 발화자의 음성을 인식함으로써 시스템이 직접 화자를 구분하도록 구현하는 것도 가능하다.Interpretation system is implemented through a device with voice recognition, machine translation, and speech synthesis. The key configuration diagram according to the speaker shown in FIG. 1 is a configuration for different interpretation procedures for each speaker, and it is also possible for the user to distinguish the speaker by pressing a key button as shown, but the system directly recognizes the speaker's voice. It is also possible to implement to distinguish between speakers.

도 2는 본 발명의 일 실시예에 따른 화자에 따라 개별 절차를 수행하는 통역시스템의 블록도이다.2 is a block diagram of an interpretation system for performing an individual procedure according to a speaker according to an embodiment of the present invention.

도 2를 참조하면 통역시스템은 화자판단부(200), 음성인식 처리부(210), 음성인식 확인부(220), 번역변환부(230), 음성합성부(240)를 포함한다.Referring to FIG. 2, the interpreter system includes a speaker determination unit 200, a voice recognition processor 210, a voice recognition checker 220, a translation converter 230, and a voice synthesizer 240.

화자판단부(200)에서 통역시스템을 사용자 자신이 발화하는 경우와 사용자와 대화하는 상대방이 발화하는 경우를 구분하여 화자를 판단하고, 음성인식 처리부(210)는 구분된 화자의 발화된 음성을 인식하여 텍스트로 변환한다.The speaker judging unit 200 determines the speaker by distinguishing a case in which the user speaks the interpretation system and a case in which the person speaking with the user speaks, and the voice recognition processor 210 recognizes the divided speaker's spoken voice. To text.

음성인식 확인부(220)는 사용자와 대화하는 상대방이 발화한 경우 상대방의 발화된 음성인식 결과를 표시하여 상대방이 자신의 발화 내용이 맞는지를 확인하도록 한다. 자신의 발화 내용이 맞다면 번역변환부(230)를 통하여 사용자가 이해할 수 있는 언어로 번역을 수행하게 되고, 자신의 발화 내용이 아니라면 재발화를 상대방에게 요청하게 된다.When the counterpart talking with the user speaks, the voice recognition checker 220 displays the spoken voice recognition result of the counterpart to determine whether the counterpart is correct. If his utterance is correct, the translation is performed in a language understood by the user through the translation converter 230, and if the utterance is not his utterance, the counterpart is requested to the counterpart.

또한, 번역변환부(230)는 사용자가 발화한 경우에는 음성인식 처리부(210)로부터 음성인식 결과를 전달받아 상대방이 이해할 수 있는 언어로 번역을 수행하고 음성인식 확인부(200)에 번역결과를 전송한다.In addition, when the user speaks, the translation converter 230 receives the voice recognition result from the voice recognition processor 210 to perform a translation in a language that the other party can understand and transmits the translation result to the voice recognition confirmation unit 200. send.

음성인식 확인부(200)는 번역결과를 전송받으면 음성인식 결과 및 번역결과를 표시하여 사용자에게 자신의 발화 내용이 맞는지 확인하도록 한다. 만약, 자신의 발화 내용이 아니라면 사용자에게 재발화를 요청하게 된다.When the speech recognition unit 200 receives the translation result, the speech recognition unit 200 displays the speech recognition result and the translation result to confirm whether the user's speech content is correct. If it is not the contents of his utterance, the user is requested to respeak.

음성합성부(240)는 번역변환부(230)에서 번역된 번역결과를 사용자 또는 상대방이 이해할 수 있는 음성형태로 음성 합성을 수행한다.The speech synthesis unit 240 performs the speech synthesis in the form of a speech that can be understood by the user or the counterpart by the translation converter 230.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 통역시스템의 화자별 개별 절차를 도시한다.3A and 3B illustrate a speaker-specific individual procedure of an interpretation system according to an embodiment of the present invention.

보다 상세하게는, 도 3a는 도 2의 각각의 구성과 대비하여 화자별로 진행되는 통역절차를 나타내며, 도 3b는 통역시스템에서 구체적으로 디스플레이되는 형태로 화자별로 진행되는 통역절차를 나타낸다.More specifically, FIG. 3A shows an interpreting procedure conducted for each speaker in comparison with the respective components of FIG. 2, and FIG. 3B shows an interpreting procedure for each speaker in a form specifically displayed in an interpretation system.

도 3a에서 사용자(ME), 사용자와 대화하는 상대방(YOU)로 화자를 구분(도 3에서는 사용자의 키 누름을 통하여 화자를 구분하는 것으로 구현되어 있으나 음성인식을 통하여 자동으로 화자를 구분하는 등으로 화자구분에 대한 구현은 여러가지 형태를 고려할 수 있을 것임)한다(301, 311).In FIG. 3A, the speaker is divided into the user ME and the counterpart YOU who is talking to the user. In FIG. 3, the speaker is distinguished by pressing the user's key. However, the speaker is automatically distinguished by voice recognition. The implementation of the speaker classification may take various forms into account (301, 311).

상대방(YOU)이 발화한 경우, 음성인식을 수행하여 텍스트 형태로 음성인식 결과를 표시(302)한다. 이로부터 상대방(YOU)은 표시된 내용이 자신이 발화한 내용이 맞는지 확인한다(303). When the other party (YOU) is spoken, the voice recognition is performed to display the voice recognition result in text form (302). From this, the other party (YOU) checks whether the displayed contents are the contents spoken by him (303).

상대방(YOU)의 발화내용과 다르면, 다시 상대방(YOU)으로부터 발화할 수 있는 상태로 전이된다(304). 상대방(YOU)이 발화한 내용이 맞으면 음성인식 결과 그대로 사용자(ME)가 이해할 수 있는 언어로 번역을 수행한다(305). 번역된 번역결과는 사용자(ME)가 이해할 수 있는 음성으로 합성되어 사용자에게 출력된다(306). 음성출력이 완료되면 사용자(ME) 발화상태로 전이된다(307).If it is different from the utterance of the other party (YOU), the state transitions to the state capable of speaking again from the other party (YOU) (304). If the content spoken by the other party (YOU) is correct, the translation is performed in a language that the user (ME) can understand as it is (step 305). The translated translation result is synthesized into a voice understood by the user ME and output to the user (306). When the voice output is completed, the voice transition to the user (ME) speech state (307).

사용자 자신(ME)이 발화한 경우, 음성인식을 수행하여 텍스트 형태로 음성인식 결과를 도출한다(312). 음성인식 결과를 상대방(YOU)이 이해할 수 있는 언어로 번역을 수행한다(314).When the user ME speaks, voice recognition is performed to derive a voice recognition result in text form (312). The voice recognition result is translated into a language that the other party can understand (YOU) (314).

음성인식 결과 및 번역결과를 표시하여 사용자(ME)로부터 자신의 발화내용이 맞는지 확인받는다(313). 자신의 발화내용과 맞지 않으면 다시 사용자(ME)로부터 발화할 수 있는 상태로 전이된다(314). The voice recognition result and the translation result are displayed to confirm whether the user's speech is correct (313). If it does not match his / her speech, the user transitions to a state capable of speaking from the user ME (314).

자신의 발화내용이 맞으면 번역결과를 상대방(YOU)이 이해할 수 있는 음성으로 합성하여 사용자에게 출력한다(315). 음성출력이 완료되면 상대방(YOU)의 발화상태로 전이된다(316).If his utterance is correct, the translation result is synthesized into a voice that can be understood by the other party (YOU) and output to the user (315). When the voice output is completed, the state is transferred to the spoken state of the other party (YOU) (316).

도 3b에서 화자가 상대방(YOU)인 경우 상대방(YOU)의 발화(351)에 대하여 상대방(YOU)의 발화된 음성을 인식하여 텍스트로 처리한다(352). 음성인식 결과를 통 역시스템의 디스플레이에 표시하여 상대방(YOU)이 자신의 발화내용이 맞는지 확인하여 맞지않는 경우에는 상대방(YOU)이 재발화할 수 있는 상태로 전이하고(353), 발화내용이 맞는 경우, 음성인식 결과를 사용자(ME)가 이해할 수 있는 언어로 번역한다(354).In FIG. 3B, when the speaker is the other party (YOU), the spoken voice of the other party (YOU) is recognized with respect to the utterance 351 of the other party (YOU) and processed as text (352). The voice recognition result is displayed on the display of the interpretation system, and the other party (YOU) checks whether his or her speech is correct. If the answer is not correct, the other party transitions to a state where the other party can recur (353). In operation 354, the voice recognition result is translated into a language understood by the user ME.

화자가 사용자(ME)인 경우 사용자(ME)의 발화(361)에 대하여 사용자(ME)의 발화된 음성을 인식하고 음성인식 결과를 상대방(YOU)이 이해할 수 있는 언어로 번역한다. 음성인식 결과 및 번역결과를 통역시스템의 디스플레이에 표시하여 사용자(ME)가 자신의 발화내용이 맞는지 확인한다(362). 발화내용이 맞지않는 경우 사용자(ME)가 재발화할 수 있는 상태로 전이한다(363).When the speaker is the user ME, the spoken voice 361 of the user ME is recognized and the voice recognition result is translated into a language that the other party can understand. The voice recognition result and the translation result are displayed on the display of the interpretation system, and the user (ME) checks whether his speech is correct (362). If the utterance does not match, the user (ME) transitions to a state capable of re-ignition (363).

도 3a 및 도 3b에 도시된 화자별 개별 절차는 화자별 통역 절차를 달리한 통역 서비스를 수행하기 위한 방법론이라 할 수 있다. 사용자 자신(ME)의 경우 적응된 프로세스(모델)를 이용하므로 사용자 관점에서 인식, 번역을 수행한 후 결과를 확인, 출력하는 단계로 이어진다. 상대방(YOU)의 경우 다수의 다른 발성일 수 있으므로 인식결과를 번역 전에 미리 확인하는 과정이 필요하다.The speaker-specific individual procedures illustrated in FIGS. 3A and 3B may be referred to as methodologies for performing an interpreter service having different speaker-to-speaker interpretation procedures. In the case of the user himself (ME), an adaptive process (model) is used, which leads to a step of recognizing and outputting the result after recognition and translation from the user's point of view. In the case of the other party (YOU), there may be a number of different voices, so it is necessary to check the recognition result before translation.

다시 말해, 사용자 자신(ME)은 발화 후 음성인식되고 번역된 결과를 한꺼번에 확인하게 되나, 상대방(YOU)은 발화 후 음성인식 결과를 바로 확인하고, 음성인식 결과에 이상이 없으면 번역 실행 단계로 넘어가고, 오류가 있으면 재발화를 할 수 있도록 한다.In other words, the user (ME) confirms the speech recognition and translated results at once after the utterance, but the other party (YOU) immediately checks the speech recognition result after the utterance, and if there is no abnormality in the speech recognition result, the translation proceeds to the execution step. If there is an error, go back to fire.

도 4는 본 발명의 일 실시예에 따른 통역오류 정정 절차를 수행하는 통역시스템의 블록도이다.4 is a block diagram of an interpretation system for performing an interpretation error correction procedure according to an embodiment of the present invention.

도 4를 참조하면, 통역시스템은 음성인식 처리부(400), 오류판단부(410), 표준 DB(420), 오류정정부(430), 인식결과 선택부(440), 번역변환부(450)를 포함한다.Referring to FIG. 4, the interpretation system includes a speech recognition processor 400, an error determination unit 410, a standard DB 420, an error correction unit 430, a recognition result selection unit 440, and a translation converter 450. It includes.

음성인식 처리부(400)는 사용자의 사용언어로 발화된 음성을 텍스트 형태로 인식한다.The speech recognition processor 400 recognizes the speech spoken in the user's language as a text.

오류판단부(410)는 음성인식 결과에 대하여 사용언어의 언어학적인 특성에 따라 여러가지 검증방법을 통하여 오류 여부를 판단한다. 언어학적인 특성에 따른 여러가지 검증방법에 관하여는 표준 DB(420)에 기록되며, 이러한 검증방법의 일 예로는 문법적인 검증, 맞춤법(철자) 검증, 어순 검증 등이 포함될 수 있다.The error determining unit 410 determines the error through various verification methods according to the linguistic characteristics of the language used for the speech recognition result. Various verification methods according to linguistic characteristics are recorded in the standard DB 420. Examples of such verification methods may include grammatical verification, spelling (spelling) verification, and word order verification.

문법적인 검증에서는 호응관계, 문장성분 생략, 부당한 공유, 수식어의 결함, 조사와 어미의 사용, 피동표현, 동일표현 반복, 정서법 표현 여부 등의 확인이 포함될 수 있다. 맞춤법 검증은 맞춤법, 표준어, 띄어쓰기 여부 등의 확인이 포함될 수 있으며, 철자 검증은 영문 철자가 맞게 표기되었는지 등의 확인이 포함될 수 있다.Grammatic verification may include checking response relationships, omissions of sentences, improper sharing, deficiencies in modifiers, investigation and use of endings, passive expressions, repetition of identical expressions, and expressions of emotional methods. Spell checking may include checking spelling, standard words, spacing, etc. Spell checking may include checking spelling and spelling.

오류정정부(430)는 오류판단부(420)에서 오류로 표시된 부분(오류부분 마킹)을 참조로 표준 DB에 기록된 데이터로부터 정정 가능한 후보군을 추출한다.The error correction unit 430 extracts a correctable candidate group from the data recorded in the standard DB with reference to the part (error part marking) marked as an error in the error determining unit 420.

인식결과 선택부(440)는 음성인식 결과와 정정 가능한 후보군을 표시하고 사용자로부터 번역되기 적절한 후보를 선택받는다.The recognition result selector 440 displays the voice recognition result and the correctable candidate group and receives a candidate suitable for translation from the user.

번역변환부(450)는 오류판단부(410)에서 오류가 없는 것으로 판단된 경우 음성인식 결과와 인식결과 선택부(44)에서 사용자로부터 선택된 후보를 대화 상대방 이 이해할 수 있는 언어로 번역한다.When it is determined that there is no error in the error determining unit 410, the translation converter 450 translates the voice recognition result and the candidate selected by the user from the recognition result selection unit 44 into a language that the conversation counterpart can understand.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 통역시스템의 통역오류 정정 절차를 도시한다. 5A and 5B illustrate an interpretation error correction procedure of an interpretation system according to an embodiment of the present invention.

보다 상세하게는, 도 5a는 도 4의 각각의 구성과 대비하여 통역오류 정정 절차를 나타내며, 도 5b는 통역시스템에서 구체적으로 디스플레이되는 형태로 통역오류 정정 절차를 나타낸다.More specifically, FIG. 5A illustrates an interpretation error correction procedure in contrast to the respective configurations of FIG. 4, and FIG. 5B illustrates an interpretation error correction procedure in a form specifically displayed in an interpretation system.

도 5a에서 사용자로부터 통역하고자 하는 입력 문장이 발화되면(501), 음성인식 처리부(400)를 통한 음성인식 결과(502)는 오류판단부(410)에서 표준 DB를 이용한 맞춤법 검사, 철자 검사, 문법 검사 등을 통하여 음성인식 결과에 대한 오류를 검출한다(503). 오류가 없으면 번역변환부(450)를 통하여 번역을 수행한다(504). When the input sentence to be interpreted from the user in Figure 5a is uttered (501), the speech recognition result 502 through the speech recognition processing unit 400 is the error determination unit 410 spell check, spelling check, grammar The error of the voice recognition result is detected through a test (503). If there is no error, the translation is performed through the translation converter 450 (504).

오류가 있으면, 오류정정부(430)에서 표준 DB를 이용하여 적절한 정정 후보를 추출(505)하고, 인식결과 선택부(440)에서 사용자가 가장 정확한 문장을 선택하도록 정정 후보군을 표시(506)하고 사용자가 정정 후보군 중 하나를 선택(507)하면 선택된 문장을 번역 실행하게 된다(509). 만약 적당한 정정 후보가 없으면 사용자가 재발화할 수 있는 상태로 전이된다(508).If there is an error, the error correction unit 430 extracts an appropriate correction candidate using a standard DB (505), and displays the correction candidate group so that the user selects the most accurate sentence in the recognition result selection unit 440 (506). If the user selects one of the correction candidate groups (507), the selected sentence is translated (509). If there is no suitable correction candidate, the user transitions to a state where the user can reignite 508.

도 5b에서 사용자로부터 발화된 음성("시청은 어디에 있나요?")을 인식한 음성인식 결과(511, 515)에 대하여 음성인식 결과(511)에 오류가 있는 경우에는 앞서 설명한 바와 같이 오류판단부(410), 오류정정부(430), 인식결과 선택부(440)를 통하여 오류를 검출, 정정 후보를 도출하게 되고 사용자에 의해 적절한 후보(513)를 선택받는다. 선택된 후보(513)를 번역하게 된다.In FIG. 5B, if there is an error in the voice recognition results 511 with respect to the voice recognition results 511 and 515 that recognize the voice spoken by the user (“Where is the viewing?”), The error determination unit ( 410, the error correction unit 430, and the recognition result selection unit 440 detect an error and derive a candidate for correction, and receive an appropriate candidate 513 by the user. The selected candidate 513 is translated.

음성인식 결과(515)에 오류가 없는 경우에는 바로 음성인식 결과(515)를 번역하게 된다.If there is no error in the voice recognition result 515, the voice recognition result 515 is translated immediately.

도 6은 본 발명의 일 실시예에 따른 오류 자동추출 절차를 수행하는 통역시스템의 블록도이다.6 is a block diagram of an interpretation system for performing an error automatic extraction procedure according to an embodiment of the present invention.

도 6을 참조하면, 통역시스템은 음성인식 처리부(600), 음성인식 결과추출부(610), 임계점 판별부(620), 변역변환부(630)를 포함한다.Referring to FIG. 6, the interpretation system includes a speech recognition processor 600, a speech recognition result extractor 610, a threshold point determiner 620, and a translation converter 630.

음성인식 처리부(600)는 사용자가 발화한 음성을 텍스트 형태로 인식한다.The voice recognition processor 600 recognizes the voice spoken by the user in the form of text.

음성인식 결과추출부(610)는 사용자의 사용언어의 언어학적인 특성에 따라 사용자의 발화된 음성을 인식한 음성인식 결과에 대한 후보군을 추출한다. 추출된 후보군 중에서 사용언어의 언어학적인 특성에 따라 인식 정확성이 가장 높은 후보를 선택한다.The speech recognition result extracting unit 610 extracts a candidate group for the speech recognition result that recognizes the speech spoken by the user according to the linguistic characteristics of the user's language. From the extracted candidate group, the candidate with the highest recognition accuracy is selected according to the linguistic characteristics of the language used.

임계점 판별부(620)는 오류산출부(621), 표준 DB(622), 임계점 비교부(623)을 포함한다.The threshold determiner 620 includes an error calculator 621, a standard DB 622, and a threshold comparer 623.

오류산출부(621)는 선택된 음성인식 결과로부터 사용언어의 언어학적인 특성에 따라 오류율을 산출하고, 임계점 비교부(623)는 산출된 오류율이 사용언어의 언어학적인 특성에 따라 사용자가 발화한 것으로 인정받을 수 있을 정도의 오류 범위를 사전에 평가하여(통계분석 등의 과정을 통하여) 도출한 임계값 범위에 포함되는지를 판별하여 번역을 수행할 음성인식 결과를 선정한다.The error calculator 621 calculates an error rate according to the linguistic characteristics of the language used from the selected speech recognition result, and the threshold comparison unit 623 recognizes that the calculated error rate is spoken by the user according to the linguistic characteristics of the language used. The range of error that can be received is evaluated in advance (through statistical analysis, etc.) to determine whether it is included in the derived threshold range, and the voice recognition result to be translated is selected.

언어학적인 특성에 따른 여러가지 오류산출 방법에 관하여는 표준 DB(622)에 기록되며, 이러한 오류산출 방법의 일 예로는 문법적, 맞춤법(철자), 어순 등을 분류하여 각각의 오류를 산출하는 방법이 포함될 수 있다. 또한, 표준 DB(622)에는 임계값 범위 등을 포함한 산출 기준표를 구비하여 임계점 비교부(623)에서 오류율과 임계값 범위의 비교, 판별이 가능하도록 한다.Various error calculation methods according to linguistic characteristics are recorded in the standard DB 622. Examples of such error calculation methods include methods for classifying grammatical, spelling, word order, etc. and calculating each error. Can be. In addition, the standard DB 622 includes a calculation reference table including a threshold range and the like so that the threshold comparison unit 623 can compare and determine the error rate and the threshold range.

도 7은 본 발명의 일 실시예에 따른 도 6의 오류 산출부(621)의 세부절차를 도시한다.FIG. 7 illustrates a detailed procedure of the error calculator 621 of FIG. 6 according to an embodiment of the present invention.

도 7은 사용자의 사용언어의 특성에 관하여 하기의 표1, 표2와 같이 문법적, 맞춤법, 어순 RULE에 관한 데이터를 이용하여 오류를 산출하는 방법을 전제하여 구성된 것이다.FIG. 7 is configured on the premise of a method of calculating an error using data on grammatical, spelling, and word order RULE, as shown in Tables 1 and 2, below.

사용언어의 언어학적 특성에 따른 검증규칙의 일 예를 나타낸 것이다.An example of the verification rule according to the linguistic characteristics of the language used is shown. 구 분division DBDB syntax 사전syntax dictionary 문법 DBGrammar DB 표준어 문법 정보 문장Standard Grammar Information Sentences 문법 ruleGrammar rule 맞춤법 DBSpell DB 표준어 맞춤법 정보 단어Standard Spelling Information Words 맞춤법 ruleSpell rule 어순 DBWord order DB 표준어 어순 정보 문장Standard word order information sentence 어순 ruleWord order rule

사용언어의 언어학적 특성에 따른 산출기준표의 일 예를 나타낸 것이다.An example of the calculation criteria table according to the linguistic characteristics of the language used is shown. 개별 산출값Individual output 문법오류Grammar error 어순오류Word order error 맞춤법오류Misspelling 10~3010-30 (≥70%)(≥70%) (≥60%)(≥60%) (≥50%)(≥50%) 30~5030-50 (<70%) and (≥50%)(<70%) and (≥50%) (<60%) and (≥20%)(<60%) and (≥20%) (<50%) and (≥30%)(<50%) and (≥30%) 50~7050-70 (<50%) and (≥30%)(<50%) and (≥30%) (<30%) and (≥10%)(<30%) and (≥10%) (<30%) and (≥10%)(<30%) and (≥10%) 70~9070-90 (<30%) and (≥10%)(<30%) and (≥10%) (<10%) and (≥5%)(<10%) and (≥5%) (<10%) and (≥5%)(<10%) and (≥5%) 90~10090-100 (<10%)(<10%) (<5%)(<5%) (<5%)(<5%) 산출값Output 정성적 수준Qualitative level 10~3010-30 뜻을 이해하지 못함I don't understand the meaning 30~5030-50 뜻 유추 가능Can infer meaning 50~7050-70 뜻이 직설적으로 표시되어 이해 가능Meaning is straightforward and understandable 70~9070-90 뜻이 자연스럽게 이해됨The meaning is understood naturally 90~10090-100 완벽한 구어체 문장에 가까움Close to a perfect spoken sentence

사용자의 발화된 음성에 대한 음성인식 결과로부터 표 1에 나타난 검증 규칙에 따라 문법 판별, 맞춤법 판별, 어순 판별을 통하여 문법오류, 맞춥법오류, 어순 오류율을 각각 산출한다. 이렇게 산출된 각각의 오류율을 이용하여 표 2를 참조하여 각각의 오류율에 해당하는 개별 산출값을 추출한다.According to the verification rules shown in Table 1, the grammatical error, spelling error, and word order error rate are calculated from the user's speech recognition result according to the verification rules shown in Table 1. Using each error rate calculated in this way, individual calculation values corresponding to each error rate are extracted with reference to Table 2.

문법 오류율이 20%, 어순 오류율이 10%, 맞춤법 오류율이 30%라 가정하면, 오류산출부(621)는 각각의 오류율로부터 표 2의 산출기준표를 참조하여 하기 표와 같이 개별 산출값을 추출한다.Assuming that the grammar error rate is 20%, the word order error rate is 10%, and the spelling error rate is 30%, the error calculation unit 621 refers to the calculation reference table of Table 2 from each error rate and extracts individual calculation values as shown in the following table. .

구 분division 오류율Error rate 개별 산출값Individual output 문법 판별Grammar Determination 20%20% 7070 어순 판별Word order 10%10% 7575 맞춤법 판별Spell Determination 30%30% 6565

각각의 개별 산출값들을 도 7에 나타낸 하기의 산출값(평가오류율) 연산식을 이용하여 산출값을 계산한다.Each individual calculated value is calculated using the following calculated value (evaluation error rate) formula shown in FIG.

<산출값 연산식><Calculated Value Expression>

산출값(평가오류율)=(문법 산출값×산출 가중치)+(어순 산출값×산출 가중치)+(맞춤법 산출값×산출 가중치)Calculated value (evaluation error rate) = (grammar output value X output weight) + (word order output value X output weight) + (spelling calculation value X output weight)

산출 가중치는 개별 산출값의 상대적인 중요도를 반영하는 것이다. 이는 사용언어의 언어학적인 특성에 따라 각각의 개별 산출값의 오류 정도에 따라 사용자의 사용언어에 대한 이해도의 정도를 반영할 수 있다.Output weights reflect the relative importance of individual outputs. This may reflect the degree of understanding of the user's language according to the degree of error of each individual calculated value according to the linguistic characteristics of the language used.

계산된 산출값(평가오류율)은 표 2의 산출값의 정성적 수준에 비추어 어느 정도의 수준 이상(도 7의 정성적 수준을 고려하면 산출값 70 이상)이 되면 음성인식 결과를 신뢰하여 번역처리를 수행한다. 산출값의 정성적 수준은 사용언어의 언어학적 특성에 따라 통계학적 과정 등을 통하여 연구되어 있는 자료를 사용할 수 있다.When the calculated output value (evaluation error rate) is above a certain level in view of the qualitative level of the calculated value in Table 2 (calculated above the calculated value 70 or more in consideration of the qualitative level of FIG. 7), the speech recognition result is trusted and translated. Perform For the qualitative level of the output, the data studied through statistical processes can be used according to the linguistic characteristics of the language used.

도 8은 본 발명의 일 실시예에 따른 통역시스템의 오류 자동추출 절차를 도시한다.8 illustrates an error automatic extraction procedure of the interpretation system according to an embodiment of the present invention.

도 8은 통역시스템에서 구체적으로 디스플레이되는 형태로 오류 자동추출 절차를 나타낸다.8 shows an error automatic extraction procedure in a form specifically displayed in an interpretation system.

사용자가 사용언어로 발화하면(801) 발화된 음성을 텍스트 형태로 음성인식 결과 후보를 추출한다. 추출된 음성인식 결과를 이용하여 사용언어의 언어학적 특성에 따라 문법오류, 어순오류, 철자오류율을 산출한다.When the user speaks the language (801), the speech recognition result candidate is extracted in the form of the spoken speech in text form. Using the extracted speech recognition results, grammatical errors, word order errors, and spelling error rates are calculated according to the linguistic characteristics of the language used.

산출된 각각의 오류율로부터 도 8에 도시된 자동 평가 기준표에 따라 산출값을 산출한다(802). 산출된 산출값이 기준 임계값(70)을 넘는지를 평가하여 기준 임계값을 넘으면 추출된 음성인식 결과를 번역과정을 수행한다(803).A calculated value is calculated from each calculated error rate according to the automatic evaluation criteria table shown in FIG. 8 (802). In operation 803, the extracted speech recognition result is translated by evaluating whether the calculated calculation value exceeds the reference threshold value 70.

산출된 산출값이 기준 임계값(70)을 넘지 못하면 사용자가 재발화하여 다시 음성인식을 수행하는 상태로 전이한다(804).If the calculated calculated value does not exceed the reference threshold value 70, the user recurses and transitions to a state of performing voice recognition again (804).

한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which may also be implemented in the form of carrier waves (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.In the above, the specific example for the implementation of the present invention has been described. The above-described embodiments are intended to illustrate the present invention by way of example and the scope of the present invention will not be limited to the specific embodiments.

도 1은 본 발명의 일 실시예에 따른 통역시스템의 UI 외관 및 화자구분키 구성을 도시한다.1 illustrates a UI appearance and speaker division key configuration of an interpretation system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 화자에 따라 개별 절차를 수행하는 통역시스템의 블록도이다. 2 is a block diagram of an interpretation system for performing an individual procedure according to a speaker according to an embodiment of the present invention.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 통역시스템의 화자별 개별 절차를 도시한다.3A and 3B illustrate a speaker-specific individual procedure of an interpretation system according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 통역오류 정정 절차를 수행하는 통역시스템의 블록도이다. 4 is a block diagram of an interpretation system for performing an interpretation error correction procedure according to an embodiment of the present invention.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 통역시스템의 통역오류 정정 절차를 도시한다. 5A and 5B illustrate an interpretation error correction procedure of an interpretation system according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 오류 자동추출 절차를 수행하는 통역시스템의 블록도이다.6 is a block diagram of an interpretation system for performing an error automatic extraction procedure according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 도 6의 오류 산출부의 세부절차를 도시한다.FIG. 7 illustrates a detailed procedure of the error calculator of FIG. 6 according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 통역시스템의 오류 자동추출 절차를 도시한다.8 illustrates an error automatic extraction procedure of the interpretation system according to an embodiment of the present invention.

Claims (13)

사용자가 발화하는 사용언어와 사용자와 대화하는 상대방이 발화하는 대상언어를 상호 번역하는 통역 시스템에 있어서,In the interpretation system that mutually translates the language spoken by the user and the target language spoken by the person speaking with the user, 상기 사용자가 발화하는 경우와 상기 상대방이 발화하는 경우를 구분하여 화자를 판단하는 화자판단부;A speaker determination unit for discriminating a speaker by distinguishing between a case where the user speaks and a case where the counterpart speaks; 상기 판단된 화자에 따라 상기 사용언어 또는 대상언어로 발화된 음성을 인식하는 음성인식 처리부;A speech recognition processor for recognizing speech spoken in the language used or the target language according to the determined speaker; 상기 판단된 화자가 상기 상대방인 경우, 상기 음성인식 처리부에서 상기 대상언어로 인식된 음성인식 결과를 상기 상대방에게 제시하여 확인받는 음성인식 확인부; 및A voice recognition confirming unit for confirming by presenting the voice recognition result recognized by the voice recognition processing unit to the counterpart when the determined speaker is the counterpart; And 상기 음성인식 처리부에서 상기 사용언어로 인식된 음성인식 결과를 상기 대상언어로 번역하거나, 상기 음성인식 확인부에서 확인된 음성인식 결과를 상기 사용언어로 번역하는 번역변환부;를 포함하는 것을 특징으로 하는 화자에 따라 개별 절차를 수행하는 통역시스템.And a translation converter for translating the voice recognition result recognized by the voice recognition processor into the target language or translating the voice recognition result confirmed by the voice recognition checker into the user language. Interpretation system to carry out individual procedures according to the speaker. 제 1 항에 있어서, 상기 음성인식 확인부는The method of claim 1, wherein the voice recognition confirmation unit 상기 번역변환부에서 상기 대상언어로 번역된 번역결과를 상기 사용자에게 제시하여 확인받는 것을 특징으로 하는 화자에 따라 개별 절차를 수행하는 통역시스템.Interpreting system for performing a separate procedure according to the speaker, characterized in that the translation is presented to the user to confirm the translation results translated into the target language. 제 2 항에 있어서, 상기 음성인식 확인부는The method of claim 2, wherein the voice recognition confirmation unit 상기 상대방에게 확인한 음성인식 결과에 오류가 있거나 상기 사용자에게 확인한 번역결과에 오류가 있는 경우, 상기 화자에게 재발화를 요청하는 것을 특징으로 하는 화자에 따라 개별 절차를 수행하는 통역시스템.And if there is an error in the voice recognition result confirmed to the counterpart or an error in the translation result confirmed to the user, an interpreter system for performing an individual procedure according to the speaker, characterized in that requesting re-speaking to the speaker. 제 1 항에 있어서,The method of claim 1, 상기 번역변환부에서 상기 대상언어로 번역한 번역결과 또는 상기 사용언어로 번역한 번역결과를 음성으로 합성하는 음성합성부;를 더 포함하는 것을 특징으로 하는 화자에 따라 개별 절차를 수행하는 통역시스템.And a speech synthesis unit for synthesizing the translation result translated into the target language or the translation result translated into the language used by the translation conversion unit. 사용자가 사용언어로 발화하는 음성을 인식하여 대상언어로 번역하는 통역시스템에 있어서,In the interpretation system that the user recognizes the speech spoken in the language used and translated into the target language, 사용자의 사용언어로 발화된 음성을 인식한 음성인식 결과에 대하여 상기 사용언어의 언어학적인 특성에 따라 오류를 검출하는 오류판단부;An error determination unit for detecting an error according to a linguistic characteristic of the language used for a speech recognition result of recognizing a speech spoken in a user language; 상기 오류판단부에서 오류가 검출된 경우, 상기 검출된 오류에 대한 정정가능 후보를 추출하는 오류정정부; 및An error correction unit for extracting a correctable candidate for the detected error when an error is detected in the error determining unit; And 상기 오류정정부에서 추출된 정정가능 후보 중 상기 사용자로부터 번역하고자 하는 후보를 선택받는 인식결과 선택부;를 포함하는 것을 특징으로 하는 통역오류 정정 절차를 수행하는 통역시스템.And a recognition result selection unit for selecting a candidate to be translated from the user among correctable candidates extracted by the error correction unit. 제 5 항에 있어서, 상기 오류판단부는The method of claim 5, wherein the error determining unit 상기 사용언어의 문법적인 검증, 어순 검증, 맞춤법 검증을 통하여 오류를 검출하는 것을 특징으로 하는 통역오류 정정 절차를 수행하는 통역시스템.An interpretation system for performing an interpretation error correction process, characterized in that for detecting the error through grammatical verification, word order verification, spelling verification of the language used. 제 5 항에 있어서,The method of claim 5, 상기 오류판단부에서 오류가 검출되지 않은 경우, 상기 음성인식 결과를 번역하는 것을 특징으로 하는 통역오류 정정 절차를 수행하는 통역시스템.And interpreting the speech recognition result if the error is not detected by the error determining unit. 제 5 항에 있어서,The method of claim 5, 상기 인식결과 선택부에서 상기 사용자로부터 후보를 선택받지 못한 경우, 상기 사용자에게 재발화를 요청하는 것을 특징으로 하는 통역오류 정정 절차를 수행하는 통역시스템.And if the candidate is not selected by the user in the recognition result selection unit, requesting the user to speak again. 제 5 항에 있어서,The method of claim 5, 상기 사용자의 발화된 음성을 인식하는 음성인식 처리부; 및A voice recognition processor recognizing the spoken voice of the user; And 상기 음성인식 결과 또는 상기 인식결과 선택부에서 선택받은 후보를 번역하는 번역변환부;를 더 포함하는 것을 특징으로 하는 통역오류 정정 절차를 수행하는 통역시스템.And a translation converter for translating the candidate selected by the voice recognition result or the recognition result selection unit. 사용자가 사용언어로 발화하는 음성을 인식하여 대상언어로 번역하는 통역시스템에 있어서,In the interpretation system that the user recognizes the speech spoken in the language used and translated into the target language, 사용자의 사용언어의 언어학적인 특성에 따라 상기 사용자의 발화된 음성을 인식한 음성인식 결과 후보를 추출하는 음성인식 결과 추출부; 및A speech recognition result extracting unit for extracting speech recognition result candidates that recognize the speech spoken by the user according to linguistic characteristics of a user's language; And 상기 음성인식 결과 후보 중 특정 음성인식 결과로부터 상기 사용언어의 언어학적인 특성에 따라 오류율을 산출하고, 상기 산출된 오류율이 상기 사용언어의 언어학적인 특성에 따라 기설정된 임계값 범위에 속하는지 판별하는 임계값 판별부;를 포함하는 것을 특징으로 하는 오류 자동추출 절차를 수행하는 통역시스템.A threshold for calculating an error rate according to linguistic characteristics of the language used from a specific speech recognition result among the speech recognition result candidates, and for determining whether the calculated error rate falls within a preset threshold range according to linguistic characteristics of the language used. An interpreter system for performing an automatic error extraction procedure, characterized in that it comprises a value determination unit. 제 10 항에 있어서, 상기 임계값 판별부는The method of claim 10, wherein the threshold determination unit 상기 특정 음성인식 결과로부터 상기 사용언어의 문법적인 판별, 어순 판별, 맞춤법 판별을 통하여 각각의 오류율을 산출하는 오류산출부; 및An error calculation unit for calculating an error rate from the specific speech recognition result through grammatical determination, word order determination, and spelling determination of the language used; And 상기 평가오류율이 상기 사용언어의 문법적인 임계값, 어순 임계값, 맞춤법 임계값 범위에 속하는지 판별하는 임계값 비교부;를 포함하는 것을 특징으로 하는 오류 자동추출 절차를 수행하는 통역시스템.And a threshold comparison unit for determining whether the evaluation error rate falls within a grammatical threshold value, word order threshold value, and spelling threshold value range of the language used. 제 10 항에 있어서, 상기 임계값 판별부는The method of claim 10, wherein the threshold determination unit 상기 특정 음성인식 결과로부터 상기 사용언어의 문법적인 판별, 어순 판별, 맞춤법 판별을 통하여 각각의 오류율을 산출하고, 상기 각각의 오류율에 상기 각각의 오류율의 상대적인 중요도에 따라 기설정된 가중치를 두어 하나의 오류율로 합 친 평가오류율을 산출하는 오류산출부; 및From the specific speech recognition result, each error rate is calculated through grammatical discrimination, word order discrimination, and spelling discrimination of the language used. An error calculation unit that calculates a combined evaluation error rate; And 상기 평가오류율이 상기 사용언어의 문법적인 임계값, 어순 임계값, 맞춤법 임계값을 하나의 임계값으로 합친 평가임계값 범위에 속하는지 판별하는 임계값 비교부;를 포함하는 것을 특징으로 하는 오류 자동추출 절차를 수행하는 통역시스템.And a threshold comparison unit for determining whether the evaluation error rate falls within a range of evaluation thresholds in which the grammatical threshold, the word order threshold, and the spelling threshold of the language are combined into one threshold value. Interpretation system to carry out the extraction procedure. 제 10 항에 있어서,11. The method of claim 10, 상기 사용자의 발화된 음성을 인식하는 음성인식 처리부; 및A voice recognition processor recognizing the spoken voice of the user; And 상기 임계값 판별부에서 상기 임계값 범위에 속하는 것으로 판별된 음성인식 결과를 번역하는 번역변화부;를 더 포함하는 것을 특징으로 하는 오류 자동추출 절차를 수행하는 통역시스템.And a translation changer for translating a voice recognition result determined by the threshold value determiner to fall within the threshold range.
KR1020090122608A 2009-12-10 2009-12-10 Interpretation system for error correction and auto scheduling KR20110065916A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090122608A KR20110065916A (en) 2009-12-10 2009-12-10 Interpretation system for error correction and auto scheduling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090122608A KR20110065916A (en) 2009-12-10 2009-12-10 Interpretation system for error correction and auto scheduling

Publications (1)

Publication Number Publication Date
KR20110065916A true KR20110065916A (en) 2011-06-16

Family

ID=44398945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090122608A KR20110065916A (en) 2009-12-10 2009-12-10 Interpretation system for error correction and auto scheduling

Country Status (1)

Country Link
KR (1) KR20110065916A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147950A (en) * 2014-04-29 2016-12-23 구글 인코포레이티드 Techniques for distributed optical character recognition and distributed machine language translation
CN107170453A (en) * 2017-05-18 2017-09-15 百度在线网络技术(北京)有限公司 Across languages phonetic transcription methods, equipment and computer-readable recording medium based on artificial intelligence
US10216729B2 (en) 2013-08-28 2019-02-26 Electronics And Telecommunications Research Institute Terminal device and hands-free device for hands-free automatic interpretation service, and hands-free automatic interpretation service method
KR20190061579A (en) * 2017-11-28 2019-06-05 한국전자통신연구원 Real-time auto-interpretation system and method for verifying utterance thereof
US10599784B2 (en) 2016-12-09 2020-03-24 Samsung Electronics Co., Ltd. Automated interpretation method and apparatus, and machine translation method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10216729B2 (en) 2013-08-28 2019-02-26 Electronics And Telecommunications Research Institute Terminal device and hands-free device for hands-free automatic interpretation service, and hands-free automatic interpretation service method
KR20160147950A (en) * 2014-04-29 2016-12-23 구글 인코포레이티드 Techniques for distributed optical character recognition and distributed machine language translation
US10599784B2 (en) 2016-12-09 2020-03-24 Samsung Electronics Co., Ltd. Automated interpretation method and apparatus, and machine translation method
CN107170453A (en) * 2017-05-18 2017-09-15 百度在线网络技术(北京)有限公司 Across languages phonetic transcription methods, equipment and computer-readable recording medium based on artificial intelligence
US10796700B2 (en) 2017-05-18 2020-10-06 Baidu Online Network Technology (Beijing) Co., Ltd. Artificial intelligence-based cross-language speech transcription method and apparatus, device and readable medium using Fbank40 acoustic feature format
KR20190061579A (en) * 2017-11-28 2019-06-05 한국전자통신연구원 Real-time auto-interpretation system and method for verifying utterance thereof
US11056103B2 (en) 2017-11-28 2021-07-06 Electronics And Telecommunications Research Institute Real-time utterance verification system and method thereof

Similar Documents

Publication Publication Date Title
US11393476B2 (en) Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
US8204748B2 (en) System and method for providing a textual representation of an audio message to a mobile device
US20200012724A1 (en) Bidirectional speech translation system, bidirectional speech translation method and program
US20140365200A1 (en) System and method for automatic speech translation
Pittermann et al. Emotion recognition and adaptation in spoken dialogue systems
US20030120486A1 (en) Speech recognition system and method
KR20170033722A (en) Apparatus and method for processing user&#39;s locution, and dialog management apparatus
US20150199340A1 (en) System for translating a language based on user&#39;s reaction and method thereof
EP1561204B1 (en) Method and system for speech recognition
CN108228574B (en) Text translation processing method and device
US8285542B2 (en) Adapting a language model to accommodate inputs not found in a directory assistance listing
US9691389B2 (en) Spoken word generation method and system for speech recognition and computer readable medium thereof
CN110675866B (en) Method, apparatus and computer readable recording medium for improving at least one semantic unit set
US10366173B2 (en) Device and method of simultaneous interpretation based on real-time extraction of interpretation unit
KR20110065916A (en) Interpretation system for error correction and auto scheduling
CN112309406A (en) Voiceprint registration method, voiceprint registration device and computer-readable storage medium
Chakraborty et al. Knowledge-based framework for intelligent emotion recognition in spontaneous speech
KR20100068965A (en) Automatic interpretation apparatus and its method
KR20170010978A (en) Method and apparatus for preventing voice phishing using pattern analysis of communication content
JP2006208644A (en) Server system and method for measuring linguistic speaking ability
EP3241123B1 (en) Voice recognition-based dialing
CN111768789A (en) Electronic equipment and method, device and medium for determining identity of voice sender thereof
JP6233867B2 (en) Dictionary registration system for speech recognition, speech recognition system, speech recognition service system, method and program
KR20150035312A (en) Method for unlocking user equipment based on voice, user equipment releasing lock based on voice and computer readable medium having computer program recorded therefor
KR102407055B1 (en) Apparatus and method for measuring dialogue quality index through natural language processing after speech recognition

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination