KR20180066513A - 자동 통역 방법 및 장치, 및 기계 번역 방법 - Google Patents

자동 통역 방법 및 장치, 및 기계 번역 방법 Download PDF

Info

Publication number
KR20180066513A
KR20180066513A KR1020160167426A KR20160167426A KR20180066513A KR 20180066513 A KR20180066513 A KR 20180066513A KR 1020160167426 A KR1020160167426 A KR 1020160167426A KR 20160167426 A KR20160167426 A KR 20160167426A KR 20180066513 A KR20180066513 A KR 20180066513A
Authority
KR
South Korea
Prior art keywords
interpretation
output
speech signal
target
sentence
Prior art date
Application number
KR1020160167426A
Other languages
English (en)
Other versions
KR102637337B1 (ko
Inventor
유상현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160167426A priority Critical patent/KR102637337B1/ko
Priority to US15/634,806 priority patent/US10599784B2/en
Publication of KR20180066513A publication Critical patent/KR20180066513A/ko
Application granted granted Critical
Publication of KR102637337B1 publication Critical patent/KR102637337B1/ko

Links

Images

Classifications

    • G06F17/289—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

자동 통역 방법 및 장치, 및 기계 번역 방법이 개시된다. 개시된 자동 통역 방법은 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 하나 이상의 단어 별로 실시간으로 출력하고, 통역 결과를 재 출력할지 여부를 판단하며, 통역 결과를 재 출력하는 것으로 판단된 경우, 소스 음성 신호를 문장 단위로 통역하여 제2 언어로 표현된 제2 타겟 음성 신호를 통역 결과로서 출력한다.

Description

자동 통역 방법 및 장치, 및 기계 번역 방법{AUTOMATIC INTERPRETATION METHOD AND APPARATUS, AND MACHINE TRANSLATION METHOD}
아래 실시예들은 자동 통역 방법 및 장치, 및 기계 번역 방법에 관한 것이다.
국제 사회와의 교류가 세계적으로 확대되면서 세계화라는 이름으로 더 많은 정보와 자원의 해외교류가 활발해졌다. 특히, 글로벌 비즈니스화 및 해외여행의 대중화로 인해 다양한 언어를 사용하는 사용자들 간의 의사 소통을 위한 통역 및 번역 기술이 빠르게 발전하고 있다.
하지만, 통역 결과가 빠르게 출력되는 실시간 통역의 경우나 번역 결과가 빠르게 출력되는 실시간 번역의 경우, 통역 또는 번역의 품질이 다소 낮을 수 있으며, 높은 통역 품질을 가지는 비실시간 통역의 경우나 높은 번역 품질을 가지는 비실시간 번역의 경우, 통역 또는 번역 결과가 출력되는데 시간이 다소 소요될 수 있다.
일실시예에 따른 자동 통역 방법은 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 상기 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 상기 하나 이상의 단어 별로 실시간으로 출력하는 단계; 상기 통역 결과를 재 출력할지 여부를 판단하는 단계; 상기 통역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 음성 신호를 문장 단위로 통역하여 상기 제2 언어로 표현된 제2 타겟 음성 신호를 상기 통역 결과로서 출력하는 단계를 포함한다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장 및 상기 제2 타겟 음성 신호에 대응하는 제2 타겟 문장 간의 차이에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 문장이 상기 제2 타겟 문장과 동일한 의미를 가지지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제2 타겟 문장을 기준으로 판단된 상기 제1 타겟 문장의 통역 품질 저하가 미리 결정된 기준 값 이상인 것으로 판단된 경우, 상기 통역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장이 상기 제2 언어의 문법에 적합하지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 문장이 상기 제2 언어의 어순에 적합하지 않은 경우, 상기 통역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 음성 신호에 대한 사용자의 피드백에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 음성 신호를 청취한 사용자로부터 입력된 음성 신호에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 통역 결과를 재 출력할지 여부를 판단하는 단계는, 상기 제1 타겟 음성 신호가 출력된 이후에 상기 소스 음성 신호를 발화한 사용자로부터 상기 통역 결과의 재 출력을 요청하는 명령이 입력되었는지 여부에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 하나 이상의 단어는, 상기 소스 음성 신호의 중간에 포함된 침묵(silence)에 기초하여 결정되거나, 또는 상기 소스 음성 신호에 포함된 문장의 구성요소로 결정될 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 제2 타겟 음성 신호를 출력하는 단계는, 상기 통역 결과가 재 출력된다는 메시지가 출력된 이후에 상기 제2 타겟 음성 신호를 출력할 수 있다.
일실시예에 따른 자동 통역 방법에서 상기 제2 타겟 음성 신호를 출력하는 단계는, 상기 통역 결과를 재 출력하는 것으로 판단한 이후에 상기 소스 음성 신호를 문장 단위로 통역하고, 상기 통역 결과로서 상기 제2 언어로 표현된 제2 타겟 음성 신호를 출력할 수 있다.
일실시예에 따른 기계 번역 방법은 제1 언어로 표현된 소스 문장이 입력되는 동안 상기 소스 문장을 하나 이상의 단어로 구분하여 번역을 수행하고, 번역 결과로서 제2 언어로 표현된 제1 타겟 문장을 상기 하나 이상의 단어 별로 실시간으로 출력하는 단계; 상기 번역 결과를 재 출력할지 여부를 판단하는 단계; 및 상기 번역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 문장을 문장 단위로 번역하여 상기 제2 언어로 표현된 제2 타겟 문장을 상기 번역 결과로서 출력하는 단계를 포함한다.
일실시예에 따른 자동 통역 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리를 포함하고, 상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 상기 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 상기 하나 이상의 단어 별로 실시간으로 출력하고, 상기 통역 결과를 재 출력할지 여부를 판단하며, 상기 통역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 음성 신호를 문장 단위로 통역하여 상기 제2 언어로 표현된 제2 타겟 음성 신호를 상기 통역 결과로서 출력한다.
도 1은 일실시예에 따라 자동 통역 장치의 동작 원리를 설명하기 위한 도면이다.
도 2는 일실시예에 따라 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하는 과정을 설명하기 위한 도면이다.
도 3 및 도 4는 일실시예에 따라 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 도면이다.
도 5 및 도 6은 다른 일실시예에 따라 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따라 소스 음성 신호에서 문장 끝을 인식하는 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 자동 통역 방법을 나타낸 도면이다.
도 9는 일실시예에 따른 자동 통역 장치를 나타낸 도면이다.
도 10은 다른 일실시예에 따른 자동 통역 장치를 나타낸 도면이다.
도 11은 일실시예에 따른 기계 번역 방법을 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
하기에서 설명될 실시예들은 통역 또는 번역을 제공하는 데 사용될 수 있다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 웨어러블 장치, 스마트 가전 기기, 지능형 자동차, 키오스크 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 웨어러블 장치 등에 탑재되어 통역 어플리케이션 또는 번역 어플리케이션으로 동작할 수 있다. 또한, 자가용, 버스, 택시 등을 이용하는 경우, 서로 다른 언어를 사용하는 승객과 운전자 간의 통역에 이용되거나 서로 다른 언어로 기재된 문장 간의 번역에 이용될 수도 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따라 자동 통역 장치의 동작 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 일실시예에 따른 자동 통역 장치가 사용자 A에 의해 발화된 제1 언어를 제2 언어로 자동 통역하는 과정을 설명하기 위한 예시가 도시된다.
일실시예에 따른 자동 통역 장치는 제1 언어로 표현된 소스 음성 신호를 제2 언어로 표현된 타겟 음성 신호로 통역하는 장치로서, 예를 들어, 음성 인식기, 기계 번역기 및 음성 합성기를 포함할 수 있다. 음성 인식기는 사용자로부터 획득한 음성 신호를 제1 언어로 표현된 문장으로 변환할 수 있다. 기계 번역기는 제1 언어로 표현된 문장을 제2 언어로 표현된 문장으로 변환할 수 있다. 음성 합성기는 TTS(Text-to-Speech) 기법을 이용하여 제2 언어로 표현된 문장을 제2 언어로 표현된 음성 신호로 변환할 수 있다. 결국, 자동 통역 장치는 음성 인식기, 기계 번역기 및 음성 합성기를 이용하여 제1 언어로 표현된 소스 음성 신호를 제2 언어로 표현된 타겟 음성 신호로 변환함으로써, 통역을 수행하는 것으로 이해될 수 있다.
다른 일실시예에 따른 자동 통역 장치는 제1 언어로 표현된 소스 음성 신호를 제2 언어로 표현된 타겟 문장으로 출력하는 장치로서, 예를 들어, 음성 인식기 및 기계 번역기를 포함할 수 있다. 다시 말해, 자동 통역 장치는 제2 언어로 변환된 결과를 문장으로 출력하는 장치로서, 앞서 설명한 일실시예에 따른 자동 통역 장치에서 음성 합성기의 동작을 수행하지 않는다.
또 다른 일실시예에 다른 자동 통역 장치는 제1 언어로 표현된 소스 문장을 제2 언어로 표현된 타겟 문장으로 출력하는 장치로서, 예를 들어, 기계 번역기를 포함할 수도 있다. 다시 말해, 자동 통역 장치는 사용자로부터 제1 언어로 표현된 소스 문장을 입력 받고 제2 언어로 표현된 타겟 문장을 출력하는 장치로서, 앞서 설명한 일실시예에 따른 자동 통역 장치에서 음성 인식기 및 음성 합성기의 동작을 수행하지 않는다.
이하에서는 설명의 편의를 위해 음성 인식기, 기계 번역기 및 음성 합성기를 포함하는 자동 통역 장치를 기준으로 설명한다.
일실시예에 따른 제1 언어와 제2 언어는 서로 다른 언어를 나타내는 것으로, 예를 들어, 어순이 불일치하는 언어들(예컨대, 한국어와 영어)를 나타내거나 또는 어순이 일치하는 언어들(예컨대, 한국어와 일어)를 나타낼 수 있다.
일실시예에 따른 자동 통역 장치는 사용자 A로부터 입력된 소스 음성 신호에 대해 비실시간 통역을 수행할 수 있다. 자동 통역 장치는 소스 음성 신호가 완전한 문장으로 입력될 때까지 사용자 A로부터 소스 음성 신호를 입력 받고, 완전한 문장이 포함된 소스 음성 신호에 대해 통역을 수행할 수 있다. 비실시간 통역의 경우, 완전한 문장이 포함된 소스 음성 신호에 대해 통역이 수행되므로, 통역 품질이 높을 수 있다. 그러나, 소스 음성 신호가 완전한 문장으로 입력된 이후에 통역이 수행되므로, 통역 결과가 출력되기까지 시간이 다소 소요될 수 있다.
또한, 일실시예에 따른 자동 통역 장치는 사용자 A로부터 입력된 소스 음성 신호에 대해 실시간 통역을 수행할 수 있다. 자동 통역 장치는 소스 음성 신호가 완전한 문장으로 입력되기 전이라도 이미 입력된 소스 음성 신호의 일부에 대해서 통역을 수행할 수 있다. 실시간 통역의 경우, 소스 음성 신호가 완전한 문장으로 입력되기 전이라도 통역 결과가 출력되므로, 통역 속도가 상당히 빠를 수 있다. 그러나, 통역이 문장 전체를 고려하여 수행되지 않으므로, 어순이 불일치하는 언어들을 통역하는 경우에는 높은 통역 품질을 기대하기 어려울 수 있다.
일실시예에 따른 자동 통역 장치는 비실시간 통역 결과와 실시간 통역 결과를 적절하게 출력함으로써, 높은 통역 품질을 유지하면서도 통역 속도를 향상시킬 수 있다. 예를 들어, 자동 통역 장치는 우선적으로 실시간 통역 결과를 출력하되, 만약 실시간 통역 결과의 품질이 일정한 기준을 만족하지 못하는 경우, 높은 통역 품질을 가진 비실시간 통역 결과를 출력하여 실시간 통역 결과를 대체할 수 있다.
도 1은 앞서 설명한 자동 통역 장치가 실시간 통역 결과를 제공한 후, 선택적으로 비실시간 통역 결과를 제공하는 예시를 도시한다.
일실시예에 따른 자동 통역 장치가 사용자 A에 의해 한국어로 발화된 "시청 근처 지하철 역으로 가려면 어떻게 해야 하나요"를 영어로 통역하는 상황을 가정한다. 자동 통역 장치는 사용자 A로부터 "시청 근처 지하철 역으로 가려면 어떻게 해야 하나요?"를 소스 음성 신호(110)로 입력 받을 수 있다. 자동 통역 장치는 소스 음성 신호(110)를 하나 이상의 단어로 구분하고, 구분된 하나 이상의 단어를 기준으로 실시간 통역을 수행한다. 예를 들어, 자동 통역 장치는 사용자 A로부터 제1 부분 음성 신호 "시청 근처 지하철 역으로"가 입력되면, 우선적으로 제1 부분 음성 신호를 통역하고, 통역 결과 "Subway Station near City Hall"를 출력할 수 있다. 그리고, 자동 통역 장치는 사용자 A로부터 제2 부분 음성 신호 "가려면 어떻게 해야 하나요?"가 입력되면, 제2 부분 음성 신호를 통역하고, 통역 결과 "How do I go?"를 출력할 수 있다. 결과적으로, 실시간 통역 결과로 제1 타겟 음성 신호(120) " Subway Station near City Hall How do I go?"가 출력될 수 있다.
다만, 제1 언어인 한국어와 제2 언어인 영어는 어순이 불일치하므로, 도 1에 예시적으로 도시된 경우와 같이, 실시간 통역 품질이 미리 설정된 기준을 만족하지 못하는 상황이 발생할 수 있다. 이 경우, 사용자 B는 제1 타겟 음성 신호(120)만으로 사용자 A의 대화를 이해하지 못할 수 있으며, 이에 따라 다시 말해 달라는 음성 신호 "I'm sorry?" 등의 네거티브 피드백(negative feedback)(130)을 줄 수 있다.
사용자 B로부터 네거티브 피드백(130)이 감지되면, 자동 통역 장치는 소스 음성 신호(110)에 대해 비실시간 통역을 수행할 수 있다. 자동 통역 장치는 소스 음성 신호(110)를 문장 단위로 통역하여 제2 타겟 음성 신호(140)를 출력한다. 예를 들어, 자동 통역 장치는 소스 음성 신호(110) "시청 근처 지하철 역으로 가려면 어떻게 해야 하나요?"를 기준으로 통역을 수행하고, 통역 결과로 제2 타겟 음성 신호(140) "How do I go to the Subway Station near City Hall?"을 출력할 수 있다.
자동 통역 장치로부터 비실시간 통역 결과를 제공받은 사용자 B는 사용자 A의 발화를 정확히 이해할 수 있고, 그에 따른 대화를 이어나갈 수 있다.
도 1에서 설명한 한국어를 영어로 통역하는 과정은 일실시예에 해당하고 영어를 한국어로 통역하거나 한국어를 일어로 통역하는 등 다양한 통역 과정에도 동일하게 적용될 수 있다.
도 2는 일실시예에 따라 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하는 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 자동 통역 장치가 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 실시간으로 수행하는 과정을 설명하기 위한 예시가 도시된다.
일실시예에 따른 자동 통역 장치는 소스 음성 신호를 하나 이상의 단어로 구분하여 실시간 통역을 수행한다. 이 때, 하나 이상의 단어는 실시간 통역이 수행되는 단위이고, 자동 통역 장치는 소스 음성 신호의 중간에 포함된 침묵(silence)에 기초하여 하나 이상의 단어를 결정할 수 있다.
예를 들어, 사용자 A가 소스 음성 신호(210) "시청 근처 지하철 역으로 가려면 어떻게 해야 하나요?"를 발화하는 경우를 가정한다. 사용자 A는 소스 음성 신호(210)의 일부 "시청 근처 지하철 역으로 가려면"을 발화한 뒤, 일정한 시간 동안 숨을 고를 수 있다. 이 경우, 소스 음성 신호(210)에는 일정한 시간 길이 이상의 침묵이 포함될 수 있다. 이 경우, 자동 통역 장치는 소스 음성 신호(210)의 중간에 포함된 침묵을 감지하고, 감지된 침묵에 기초하여 소스 음성 신호(210)에서 제1 소스 부분 음성 신호 "시청 근처 지하철 역으로 가려면"를 하나 이상의 단어로 구분할 수 있다. 자동 통역 장치는 구분된 제1 소스 부분 음성 신호 "시청 근처 지하철 역으로 가려면"에 대해 통역을 수행하여 제1 타겟 부분 음성 신호 "Subway Station near City Hall"을 출력할 수 있다.
그 후, 사용자 A가 "어떻게 해야 하나요?"를 침묵 없이 발화한 경우, 자동 통역 장치는 소스 음성 신호(210)에서 제2 부분 소스 음성 신호 "어떻게 해야 하나요?"를 하나 이상의 단어로 구분할 수 있다. 자동 통역 장치는 구분된 제2 소스 부분 음성 신호 "어떻게 해야 하나요?"에 대해 통역을 수행하여 제2 타겟 부분 음성 신호 "How do I go?"를 출력할 수 있다.
또한, 일실시예에 따른 자동 통역 장치는 소스 음성 신호(210)에 포함된 문장의 구성요소로 하나 이상의 단어를 결정할 수 있다. 여기서, 문장의 구성요소는 주어(subject), 동사(verb)에 해당하는 서술어(predicate), 목적어(object), 보어(complement), 부사(adverb)에 해당하는 수식어(modifier) 등을 포함할 수 있다.
예를 들어, 사용자 A가 소스 음성 신호(220) "나는 점심으로 초밥을 먹었다."를 발화하는 경우를 가정한다. 자동 통역 장치는 입력되는 소스 음성 신호(220)에서 첫 번째 문장의 구성요소로 주어를 감지하고, 감지된 주어에 해당되는 제1 소스 부분 음성 신호 "나는"을 하나 이상의 단어로 구분할 수 있다. 그리고, 자동 통역 장치는 제1 소스 부분 음성 신호 "나는"에 대해 통역을 수행하여 제1 타겟 부분 음성 신호 "I"을 출력할 수 있다.
또한, 자동 통역 장치는 제1 소스 부분 음성 신호 "나는"에 이어서 입력되는 소스 음성 신호(220)에서 두 번째 문장의 구성요소로 수식어를 감지하고, 감지된 수식어에 해당되는 제2 소스 부분 음성 신호 "점심으로"를 하나 이상의 단어로 구분할 수 있다. 자동 통역 장치는 제2 소스 부분 음성 신호 "점심으로"에 대해 통역을 수행하여 제2 타겟 부분 음성 신호 "for lunch"를 출력할 수 있다.
마찬가지로, 자동 통역 장치는 제2 소스 부분 음성 신호 "점심으로"에 이어서 입력되는 소스 음성 신호(220)에서 감지된 목적어에 해당되는 제3 소스 부분 음성 신호 "초밥을"을 하나 이상의 단어로 구분하여 통역을 수행함으로써 제3 타겟 부분 음성 신호 "sushi"를 출력할 수 있다. 자동 통역 장치는 제3 소스 부분 음성 신호 "초밥을"에 이어서 입력되는 소스 음성 신호(220)에서 감지된 서술어에 해당되는 제4 소스 부분 음성 신호 "먹었다"를 하나 이상의 단어로 구분하여 통역을 수행함으로써, 제4 타겟 부분 음성 신호 "ate"를 출력할 수 있다.
다시 말해, 자동 통역 장치는 소스 음성 신호(210, 220)가 입력되는 동안 소스 음성 신호(210, 220)에서 제1 소스 부분 음성 신호가 하나 이상의 단어로 구분되면, 입력되는 소스 음성 신호(210, 220)에서 제2 소스 부분 음성 신호가 구분되기 전이라도 제1 소스 부분 음성 신호에 대해 통역을 수행하여 제1 타겟 부분 음성 신호를 실시간으로 출력할 수 있다. 그리고, 자동 통역 장치는 소스 음성 신호(210, 220)가 입력되는 동안 제2 소스 부분 음성 신호가 하나 이상의 단어로 구분되면, 그 후에 입력되는 소스 음성 신호(210, 220)로부터 추가적인 소스 부분 음성 신호가 구분되는지 여부와 무관하게 제2 소스 부분 음성 신호에 대해 통역을 수행하고 제2 타겟 부분 음성 신호를 실시간으로 출력할 수 있다. 앞서 설명한 과정은 입력되는 소스 음성 신호(210, 220)에 대한 실시간 통역이 완료될 때까지 반복해서 수행될 수 있다.
도 3 및 도 4는 일실시예에 따라 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 자동 통역 장치가 실시간 통역 결과와 비실시간 통역 결과를 비교하여 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 예시가 도시된다. 도 3에서는 사용자 A로부터 입력된 소스 음성 신호 "시청 근처 지하철 역으로 가려면 어떻게 해야 하나요?"를 제1 소스 부분 음성 신호 "시청 근처 지하철 역으로" 및 제2 소스 부분 음성 신호 "가려면 어떻게 해야 하나요?"로 구분하여 실시간 통역을 수행한 상황이 가정된다.
제1 타겟 문장(310)은 실시간 통역 결과인 제1 타겟 음성 신호에 대응하는 문장으로, 소스 음성 신호를 하나 이상의 단어로 구분하여 실시간 통역을 수행한 결과인 복수의 타겟 부분 음성 신호들(다시 말해, 제1 타겟 음성 신호)에 대응하는 복수의 타겟 부분 문장들을 포함할 수 있다. 예시적으로 도시된 도 3의 경우, 제1 타겟 문장(310)은 소스 음성 신호를 하나 이상의 단어로 구분하여 실시간으로 통역을 수행한 결과인 제1 타겟 부분 음성 신호에 대응하는 제1 타겟 부분 문장(311) "Subway Station near City Hall"과 제2 타겟 부분 음성 신호에 대응하는 제2 타겟 부분 문장(312) "How do I go?"의 합으로 결정될 수 있다. 제1 타겟 문장(310)은 "Subway Station near City Hall How do I go?"일 수 있다.
또한, 제2 타겟 문장(320)은 비실시간 통역 결과인 제2 타겟 음성 신호에 대응하는 문장으로, 소스 음성 신호를 문장 단위로 비실시간 통역한 결과인 제2 타겟 음성 신호에 대응하는 문장을 포함할 수 있다. 예시적으로 도시된 도 3의 경우, 제2 타겟 문장(320)은 "How do I go to the Subway Station near City Hall"일 수 있다.
일실시예에 따른 자동 통역 장치는 제1 타겟 음성 신호에 대응하는 제1 타겟 문장(310) 및 제2 타겟 음성 신호에 대응하는 제2 타겟 문장(320) 간의 차이에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 일반적으로, 소스 음성 신호를 문장 단위로 통역하는 비실시간 통역 결과가 소스 음성 신호를 하나 이상의 단어로 구분하여 통역하는 실시간 통역 결과보다 높은 통역 품질을 가질 수 있다. 따라서, 만약 실시간 통역 결과가 비실시간 통역 결과에 동일 또는 유사해서 제1 타겟 문장(310) 및 제2 타겟 문장(320) 간의 차이가 미리 결정된 기준보다 크지 않다면 실시간 통역 결과의 품질이 충분히 높다는 것을 의미하고, 자동 통역 장치는 통역 결과를 재 출력하지 않는 것으로 판단할 수 있다. 반대로, 실시간 통역 결과가 비실시간 통역 결과에 동일 또는 유사하지 않아 제1 타겟 문장(310) 및 제2 타겟 문장(320) 간의 차이가 미리 결정된 기준 값보다 크다면, 실시간 통역 결과의 품질이 낮다는 것을 의미하고, 자동 통역 장치는 통역 결과를 재 출력하는 것으로 판단할 수 있다. 예를 들어, 제1 타겟 문장(310) 및 제2 타겟 문장(320) 간의 차이는 문장 간의 유사도 측정 등을 통해서 판단될 수 있다.
또한, 일실시예에 따른 자동 통역 장치는 제1 타겟 문장(310)이 제2 타겟 문장(320)과 동일한 의미를 가지지 않는 경우에 통역 결과를 재 출력하는 것으로 판단할 수 있다. 자동 통역 장치는 제1 타겟 문장(310)이 제2 타겟 문장(320)과 동일한 의미를 가지는지 여부를 판단함으로써, 제1 타겟 문장(310) 및 제2 타겟 문장(320) 간의 차이를 고려할 수 있다. 예를 들어, 제1 타겟 문장(310)이 제2 타겟 문장(320)과 동일한 의미를 가진다면, 자동 통역 장치는 제1 타겟 문장(310)과 제2 타겟 문장(320) 간의 차이가 미리 결정된 기준 값 이하인 것으로 판단하고, 통역 결과를 재 출력하지 않는 것으로 판단할 수 있다. 반대로, 제1 타겟 문장(310)이 제2 타겟 문장(320)과 동일한 의미를 가지지 않는다면, 자동 통역 장치는 제1 타겟 문장(310)과 제2 타겟 문장(320) 간의 차이가 미리 결정된 기준 값을 초과하는 것으로 판단하고, 통역 결과를 재 출력하는 것으로 판단할 수 있다.
예시적으로 도시된 도 3의 경우, 제1 타겟 문장(310)의 "Subway Station near City Hall How do I go?"는 제2 타겟 문장(320)의 "How do I go to the Subway Station near City Hall?"과 동일한 의미를 가지는 것으로 보기 어렵다. 따라서, 자동 통역 장치는 통역 결과를 재 출력하는 것으로 판단할 수 있다.
또한, 일실시예에 따른 자동 통역 장치는 제1 타겟 문장(310) 및 제2 타겟 문장(320)을 서로 비교하여 제2 타겟 문장(320)을 기준으로 판단된 제1 타겟 문장(310)의 통역 품질 저하가 미리 결정된 기준 값을 초과하는 것으로 판단되면 통역 결과를 재 출력하는 것으로 판단할 수 있다. 여기서, 제1 타겟 문장(310)의 통역 품질 저하는 제2 타겟 문장(320)의 통역 품질을 기준으로 제1 타겟 문장(310)의 통역 품질이 저하된 정도를 나타내는 것으로, 자동 통역 장치는 제1 타겟 문장(310)이 제2 타겟 문장(320)에 대응되는 정도에 기초하여 제1 타겟 문장(310)의 통역 품질 저하를 판단할 수 있다.
다시 말해, 자동 통역 장치는 제1 타겟 문장(310)의 통역 품질 저하가 미리 결정된 기준 값을 초과하는 것으로 판단되면, 통역 결과를 재 출력하는 것으로 판단할 수 있다. 반대로, 자동 통역 장치는 제1 타겟 문장(310)의 통역 품질 저하가 미리 결정된 기준 값 이하인 것으로 판단되면, 통역 결과를 재 출력하지 않는 것으로 판단할 수 있다.
도 4를 참조하면, 일실시예에 따른 자동 통역 장치가 제1 타겟 음성 신호에 대응하는 제1 타겟 문장(400)이 제2 언어의 문법에 적합한지 여부에 기초하여 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 도면이다. 도 4에서는 사용자 A로부터 입력된 소스 음성 신호 "나는 점심으로 스시를 먹었다."를 문장의 구성요소로 구분하여 소스 부분 음성 신호들 "나는", "점심으로", "초밥을", "먹었다"에 대해 실시간 통역을 수행한 상황을 가정한다.
일실시예에 따른 자동 통역 장치는 제1 타겟 문장(400)이 제2 언어의 문법에 적합하지 않으면, 통역 결과를 재 출력하는 것으로 판단할 수 있다. 예를 들어, 자동 통역 장치는 제1 타겟 문장(400)이 제2 언어의 어순에 적합하지 않으면, 통역 결과를 재 출력하는 것으로 판단할 수 있다. 반대로, 자동 통역 장치는 제1 타겟 문장(400)이 제2 언어의 어순에 적합하면, 통역 결과를 재 출력하지 않는 것으로 판단할 수 있다.
예시적으로 도시된 도 4의 경우에는, 제1 타겟 문장(400)이 "I for lunch sushi ate"일 수 있다. 일반적으로, 영어의 경우에는 주어 다음에 서술어가 위치되고, 서술어 다음에 목적어가 위치하게 된다. 그러나, 제1 타겟 문장(400)에서는, 주어 "I"(410) 다음에 수식어 "for lunch"(420)가 위치하고, 목적어 "sushi"(430) 다음에 서술어 "ate"(440)가 위치하고 있다. 다시 말해, 도 4에 도시된 제1 타겟 문장(400)은 영어의 문법(예컨대, 어순)에 적합하지 않고, 자동 통역 장치는 통역 결과를 재 출력하는 것으로 판단할 수 있다.
도 5 및 도 6은 다른 일실시예에 따라 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 도면이다.
일실시예에 따른 자동 통역 장치는 실시간 통역 결과인 제1 타겟 음성 신호에 대한 사용자의 피드백에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 여기서, 사용자의 피드백은 사용자로부터 입력된 음성 신호 및 통역 결과의 재 출력을 요청하는 명령을 포함할 수 있다. 또한, 사용자는 제1 타겟 음성 신호를 발화한 발화자(예컨대, 사용자 A) 또는 제1 타겟 음성 신호를 청취한 상대방(예컨대, 사용자 B)일 수 있다.
도 5를 참조하면, 일실시예에 따른 자동 통역 장치(520)가 사용자 B로부터 입력된 피드백(예컨대, 음성 신호(510))에 기초하여 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 예시가 도시된다.
실시간 통역 결과인 제1 타겟 음성 신호의 통역 품질이 충분히 높지 않은 경우, 사용자 B는 자동 통역 장치(520)에서 출력된 제1 타겟 음성 신호만으로는 사용자 A와 대화를 유의미하게 이어나갈 수 없다. 이 경우, 사용자 B는 재 발화를 요청하는 음성 신호나 이해하지 못했다는 음성 신호 등을 발화할 수 있다. 예를 들어, 재 발화를 요청하는 음성 신호는 "I'm sorry?", "Can you say that again?", "I beg your pardon.", "What?" 등을 포함할 수 있으며, 이해하지 못했다는 음성 신호는 "I don't understand what you just said" 등을 포함할 수 있다.
따라서, 일실시예에 따른 자동 통역 장치(520)는 제1 타겟 음성 신호가 출력된 후 사용자 B로부터 입력된 음성 신호(510)에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 예를 들어, 자동 통역 장치(520)는 사용자 B의 음성 신호(510)가 네거티브 피드백(negative feedback)에 해당되는지 여부를 판단하고, 만약 사용자 B의 음성 신호(510)가 네거티브 피드백에 해당된다면, 통역 결과를 재 출력하는 것으로 판단할 수 있다.
예를 들어, 사용자 B로부터 재 발화를 요청하는 음성 신호, 또는 이해하지 못했다는 음성 신호가 입력되는 경우, 자동 통역 장치(520)는 사용자 B로부터 입력되는 음성 신호(510)가 네거티브 피드백에 해당되는 것으로 판단하고, 통역 결과를 재 출력하는 것으로 판단할 수 있다. 반대로, 사용자 B로부터 재 발화를 요청하는 음성 신호나 이해하지 못했다는 음성 신호가 아닌 일반적인 대화인 음성 신호가 입력되는 경우, 자동 통역 장치(520)는 해당 음성 신호를 네거티브 피드백에 해당되지 않은 것으로 판단하고, 통역 결과를 재 출력하지 않는 것으로 판단할 수 있다.
도 6을 참조하면, 일실시예에 따른 자동 통역 장치(610)가 사용자 A로부터 입력된 피드백(예컨대, 통역 결과의 재 출력을 요청하는 명령)에 기초하여 통역 결과를 재 출력할지 여부를 판단하는 과정을 설명하기 위한 예시가 도시된다.
일실시예에 따른 자동 통역 장치(610)는 사용자 A로부터 입력되는 피드백에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수도 있다. 예를 들어, 사용자 A는 제1 타겟 음성 신호를 청취한 사용자 B의 표정이나 제스처를 통해 제1 타겟 음성 신호만으로는 사용자 B가 충분히 이해하지 못했다는 것을 인지할 수 있다. 또는, 사용자 A는 자동 통역 장치(610)에서 출력되는 제1 타겟 음성 신호의 통역 품질이 충분히 높지 않다는 것을 스스로 인지할 수도 있다. 이 경우, 사용자 A는 자동 통역 장치(610)로 통역 결과의 재 출력을 요청하는 명령을 입력함으로써, 비실시간 통역 결과가 출력되도록 자동 통역 장치(610)를 제어할 수 있다.
다시 말해, 자동 통역 장치(610)는 사용자 A로부터 통역 결과의 재 출력을 요청하는 명령이 입력되었는지 여부에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 이 때, 통역 결과의 재 출력을 요청하는 명령이 네거티브 피드백에 해당될 수 있다.
예를 들어, 통역 결과의 재 출력을 요청하는 명령은 자동 통역 장치(610)의 터치 스크린에 표시되거나 자동 통역 장치(610)에 포함된 버튼이 선택되거나, 자동 통역 장치(610)의 터치 스크린을 통해 미리 결정된 드래그가 입력되거나, 자동 통역 장치(610)의 센서를 통해 미리 결정된 사용자의 제스처가 인식되거나, 또는 자동 통역 장치(610)의 마이크로폰을 통해 사용자 A의 음성 신호가 수신됨으로써, 자동 통역 장치(610)로 입력될 수 있다. 이외에도 통역 결과의 재 출력을 요청하는 명령이 다양한 방법을 통해 자동 통역 장치(610)로 입력될 수 있다.
사용자 A로부터 통역 결과의 재 출력을 요청하는 명령이 입력되는 경우, 자동 통역 장치(610)는 통역 결과를 재 출력하는 것으로 판단할 수 있다. 반대로, 사용자 A로부터 통역 결과의 재 출력을 요청하는 명령이 입력되지 않은 경우, 자동 통역 장치(610)는 통역 결과를 재 출력하지 않는 것으로 판단됩니다.
일실시예에 따른 자동 통역 장치(610)는 도 3 및 도 4에서 설명한 실시간 통역 품질과 도 5 및 도 6에서는 설명한 사용자의 피드백을 종합적으로 고려하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 예를 들어,, 실시간 통역 품질에 기초하여 통역 결과를 재 출력하지 않는 것으로 판단된 경우라도 사용자로부터 네거티브 피드백이 입력되면, 자동 통역 장치(610)는 통역 결과를 재 출력하는 것으로 최종적으로 판단하고, 제2 타겟 음성 신호를 출력할 수 있다. 또는, 사용자로부터 네거티브 피드백이 입력되지 않은 경우라도 실시간 통역 품질에 기초하여 통역 결과를 재 출력하는 것으로 판단되면, 자동 통역 장치(610)는 통역 결과를 재 출력하는 것으로 최종적으로 판단하고, 제2 타겟 음성 신호를 출력할 수 있다.
다시 말해, 실시간 통역 품질에 기초한 판단 결과 및 사용자의 피드백에 기초한 판단 결과 중 어느 하나가 통역 결과를 재 출력하는 것으로 판단된 결과인 경우, 자동 통역 장치(610)는 통역 결과를 재 출력하는 것으로 최종적으로 판단할 수 있다.
도 7은 일실시예에 따라 소스 음성 신호에서 문장 끝을 인식하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 자동 통역 장치가 소스 음성 신호에서 문장 끝을 인식하고 문장 단위로 소스 음성 신호를 통역하는 과정을 설명하기 위한 예시가 도시된다.
일실시예에 따른 자동 통역 장치는 비실시간 통역을 수행하기 위해 소스 음성 신호(710)에서 문장의 끝을 인식할 수 있다. 자동 통역 장치는 미리 알려진 문장 끝을 판별하는 알고리즘을 이용하거나, 사용자로부터 입력된 버튼 선택에 기초하거나, 또는 문장 끝에 포함된 침묵에 기초하여 소스 음성 신호(710)에서 문장의 끝을 인식할 수 있다.
예를 들어, 자동 통역 장치는 사용자 A로부터 발화하기 전에 입력된 버튼 선택과 발화 후에 입력된 버튼 선택에 기초하여 문장의 시작과 끝을 판별할 수 있다. 또는, 사용자 A가 발화는 동안에만 버튼을 누르고 있는 경우, 자동 통역 장치는 사용자 A로부터 버튼이 선택되는 동안 입력되는 소스 음성 신호(710) 내에서 문장의 끝을 판별할 수도 있다.
또한, 자동 통역 장치는 소스 음성 신호(710)에서 미리 결정된 기준 시간 길이 이상의 침묵을 감지하고, 감지된 침묵에 기초하여 소스 음성 신호(710)에 포함된 문장의 끝을 판별할 수 있다. 이 때, 문장 끝에 포함된 침묵을 판별하기 위한 미리 결정된 기준 시간은 문장 중간에 존재하는 침묵을 판별하기 위한 미리 결정된 기준 시간보다는 길 수 있다.
도 8은 일실시예에 따른 자동 통역 방법을 나타낸 도면이다.
도 8을 참조하면, 일실시예에 따라 자동 통역 장치에 포함된 프로세서에 의해 수행되는 자동 통역 방법이 도시된다.
단계(810)에서, 자동 통역 장치는 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행한다. 그리고, 자동 통역 장치는 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 하나 이상의 단어 별로 실시간으로 출력한다.
여기서, 하나 이상의 단어는 소스 음성 신호의 중간에 포함된 침묵(silence)에 기초하여 결정되거나, 또는 소스 음성 신호에 포함된 문장의 구성요소로 결정될 수 있다.
단계(820)에서, 자동 통역 장치는 통역 결과를 재 출력할지 여부를 판단한다. 일실시예에 따른 자동 통역 장치는 제1 타겟 음성 신호에 대응하는 제1 타겟 문장 및 제2 타겟 음성 신호에 대응하는 제2 타겟 문장 간의 차이에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다. 또한, 제1 타겟 음성 신호에 대응하는 제1 타겟 문장이 제2 언어의 문법에 적합하지 않는 경우, 자동 통역 장치는 통역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 자동 통역 장치는 제1 타겟 음성 신호에 대한 사용자의 피드백에 기초하여 통역 결과를 재 출력할지 여부를 판단할 수 있다.
단계(830)에서, 통역 결과를 재 출력하는 것으로 판단한 경우, 자동 통역 장치는 소스 음성 신호를 문장 단위로 통역하여 제2 언어로 표현된 제2 타겟 음성 신호를 통역 결과로서 출력한다.
자동 통역 장치는 통역 결과가 재 출력된다는 메시지가 출력된 이후에 제2 타겟 음성 신호를 출력함으로써, 통역 결과의 재 출력으로 인한 사용자 B의 혼동을 최소화할 수 있다.
또한, 자동 통역 장치는 통역 결과를 재 출력하는 것으로 판단된 이후에 소스 음성 신호에 대한 비실시간 통역을 수행함으로써, 통역을 수행하기 위한 자동 통역 장치의 시스템 리소스를 효율적으로 사용할 수 있다.
도 8에 도시된 각 단계들에는 도 1 내지 도 7을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 9는 일실시예에 따른 자동 통역 장치를 나타낸 도면이다.
도 9를 참조하면, 일실시예에 따른 자동 통역 장치(900)는 메모리(910) 및 프로세서(920)를 포함한다. 자동 통역 장치(900)는 마이크로폰(930), 스피커(940) 및 디스플레이(950)를 더 포함할 수도 있다. 메모리(910), 프로세서(920), 마이크로폰(930), 스피커(940) 및 디스플레이(950)는 버스(bus)(950)를 통해 서로 데이터를 주고 받을 수 있다.
메모리(910)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있으며, 버스(950)를 통해 수신된 정보를 저장할 수 있다. 메모리(910)는 프로세서(920)에 의해 실행 가능한 적어도 하나의 명령어를 포함할 수 있다. 또한, 메모리(910)는 사용자 A로부터 입력된 소스 음성 신호를 저장하고, 통역을 위해 프로세서(920)로 저장된 소스 음성 신호를 전달할 수 있다.
프로세서(920)는 메모리(910)에 저장된 적어도 하나의 명령어를 실행할 수 있다. 프로세서(920)는 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 하나 이상의 단어 별로 실시간으로 출력한다. 그리고, 프로세서(920)는 통역 결과를 재 출력할지 여부를 판단한다. 그리고, 프로세서(920)는 통역 결과를 재 출력하는 것으로 판단한 경우, 소스 음성 신호를 문장 단위로 통역하여 제2 언어로 표현된 제2 타겟 음성 신호를 통역 결과로서 출력한다.
마이크로폰(930)은 사용자 A 또는 사용자 B로부터 음성 신호를 입력 받을 수 있다. 마이크로폰(930)을 통해 입력된 사용자 A의 음성 신호는 소스 음성 신호로서 통역의 대상이 될 수 있다. 또한, 마이크로폰(930)을 통해 입력된 사용자 B의 음성 신호는 통역 결과를 재 출력할지 여부를 판단하는데 참조가 되는 사용자의 피드백이 될 수 있다.
스피커(940)는 실시간 통역 결과인 제1 타겟 음성 신호 또는 비실시간 통역 결과인 제2 타겟 음성 신호를 출력할 수 있다. 또한, 스피커(940)는 제2 타겟 음성 신호를 출력하기에 앞서 통역 결과가 재 출력된다는 메시지를 음성 신호로서 출력할 수 있다.
디스플레이(950)는 통역 결과를 제2 언어로 표현된 문장으로 출력할 수도 있다. 예를 들어, 디스플레이(950)는 실시간 통역 결과인 제1 타겟 음성 신호에 대응하는 제1 타겟 문장을 표시하거나 또는 비실시간 통역 결과인 제2 타겟 음성 신호에 대응하는 제2 타겟 문장을 표시할 수 있다.
도 9에 도시된 각 구성요소들에는 도 1 내지 도 8을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 10은 다른 일실시예에 따른 자동 통역 장치를 나타낸 도면이다.
도 10을 참조하면, 일실시예에 따른 자동 통역 장치(1000)는 음성 인식 엔진(1010), 번역 엔진(1020), 음성 합성 엔진(1030), 음성 신호 데이터베이스(1040) 및 재 출력 판단부(1050)를 포함할 수 있다.
음성 인식 엔진(1010)은 제1 언어로 표현된 소스 음성 신호를 제1 언어로 표현된 소스 문장으로 변환하고, 번역 엔진(1020)은 제1 언어로 표현된 소스 문장을 제2 언어로 표현된 타겟 문장으로 변환하며, 음성 합성 엔진(1030)은 제2 언어로 표현된 타겟 문장을 제2 언어로 표현된 타겟 음성 신호로 변환할 수 있다. 경우에 따라서, 자동 통역 장치(1000)는 음성 합성 엔진(1030)의 동작을 수행하지 않고, 번역 엔진(1020)에서 변환된 타겟 문장을 출력할 수 있다.
음성 신호 데이터베이스(1040)는 사용자 A로부터 입력된 소스 음성 신호를 저장할 수 있다. 음성 신호 데이터베이스(1040)는 실시간 통역 결과가 출력된 이후에도 비실시간 통역이 수행될 수 있도록 사용자 A로부터 입력된 소스 음성 신호를 저장할 수 있다.
재 출력 판단부(1050)는 실시간 통역 결과인 제1 타겟 음성 신호를 출력한 후 통역 결과를 재 출력할지 여부를 판단할 수 있다.
도 10에 도시된 각 구성요소들에는 도 1 내지 도 9을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 11은 일실시예에 따른 기계 번역 방법을 나타낸 도면이다.
도 11을 참조하면, 일실시예에 따른 프로세서에 의해 수행되는 기계 번역 방법이 도시된다.
단계(1110)에서, 기계 번역 장치는 제1 언어로 표현된 소스 문장이 입력되는 동안 소스 문장을 하나 이상의 단어로 구분하여 번역을 수행한다. 그리고, 기계 번역 장치는 번역 결과로서 제2 언어로 표현된 제1 타겟 문장을 하나 이상의 단어 별로 실시간으로 출력한다. 여기서, 제1 타겟 문장은 실시간 번역 결과를 나타낼 수 있다.
일실시예에 따른 하나 이상의 단어는 소스 문장의 중간에 포함된 띄어쓰기(spacing) 또는 소스 문장 입력 중 일시정지(pause)에 기초하여 결정되거나, 또는 소스 문장에 포함된 문장의 구성요소로 결정될 수 있다.
단계(1120)에서, 기계 번역 장치는 번역 결과를 재 출력할지 여부를 판단한다. 일실시예에 따른 기계 번역 장치는 실시간 번역 결과인 제1 타겟 문장 및 비실시간 번역 결과인 제2 타겟 문장 간의 차이에 기초하여 번역 결과를 재 출력할지 여부를 판단할 수 있다. 여기서, 제2 타겟 문장은 소스 문장을 문장 단위로 번역한 비실시간 번역 결과를 나타낼 수 있다. 또한, 실시간 번역 결과인 제1 타겟 문장이 제2 언어의 문법에 적합하지 않는 경우, 기계 번역 장치는 번역 결과를 재 출력하는 것으로 판단할 수 있다.
일실시예에 따른 기계 번역 장치는 제1 타겟 문장에 대한 사용자의 피드백에 기초하여 번역 결과를 재 출력할지 여부를 판단할 수 있다.
단계(1130)에서, 번역 결과를 재 출력하는 것으로 판단한 경우, 기계 번역 장치는 소스 문장을 문장 단위로 번역하여 제2 언어로 표현된 제2 타겟 문장을 번역 결과로서 출력한다.
기계 번역 장치는 번역 결과가 재 출력된다는 메시지가 출력된 이후에 제2 타겟 문장을 출력함으로써, 번역 결과의 재 출력으로 인한 사용자 B의 혼동을 최소화할 수 있다.
또한, 기계 번역 장치는 번역 결과를 재 출력하는 것으로 판단된 이후에 소스 문장에 대한 비실시간 번역을 수행함으로써, 번역을 수행하기 위한 기계 번역 장치의 시스템 리소스를 효율적으로 사용할 수 있다.
도 11에 도시된 각 단계들에는 앞서 설명한 음성 합성기의 동작을 제외한 자동 통역 장치의 동작이 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예들은 실시간 통역 결과를 출력한 후 선택적으로 비실시간 통역 결과를 출력함으로써, 높은 통역 품질을 유지하면서도 통역 속도를 효과적으로 향상시킬 수 있다.
실시예들은 실시간 통역 결과의 품질이 만족스럽지 않은 경우, 저장된 소스 음성 신호에 대해 비실시간 통역을 수행함으로써, 사용자의 재 발화 없이도 높은 품질의 통역 결과를 제공할 수 있다.
실시예들은 통역 결과를 재 출력하는 것으로 결정된 이후에 비실시간 통역을 수행함으로써, 통역 수행에 요구되는 시스템 리소스를 효율적으로 사용할 수 있다.
실시예들은 비실시간 통역 결과를 출력하기에 앞서 통역 결과가 재 출력된다는 메시지를 출력함으로써, 통역 결과의 재 출력으로 인한 사용자의 혼동을 최소화할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 상기 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 상기 하나 이상의 단어 별로 실시간으로 출력하는 단계;
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계; 및
    상기 통역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 음성 신호를 문장 단위로 통역하여 상기 제2 언어로 표현된 제2 타겟 음성 신호를 상기 통역 결과로서 출력하는 단계
    를 포함하는 자동 통역 방법.
  2. 제1항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장 및 상기 제2 타겟 음성 신호에 대응하는 제2 타겟 문장 간의 차이에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 방법.
  3. 제2항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 문장이 상기 제2 타겟 문장과 동일한 의미를 가지지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 방법.
  4. 제2항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제2 타겟 문장을 기준으로 판단된 상기 제1 타겟 문장의 통역 품질 저하가 미리 결정된 기준 값 이상인 것으로 판단된 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 방법.
  5. 제1항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장이 상기 제2 언어의 문법에 적합하지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 방법.
  6. 제5항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 문장이 상기 제2 언어의 어순에 적합하지 않은 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 방법.
  7. 제1항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 음성 신호에 대한 사용자의 피드백에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 방법.
  8. 제7항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 음성 신호를 청취한 사용자로부터 입력된 음성 신호에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 방법.
  9. 제7항에 있어서,
    상기 통역 결과를 재 출력할지 여부를 판단하는 단계는,
    상기 제1 타겟 음성 신호가 출력된 이후에 상기 소스 음성 신호를 발화한 사용자로부터 상기 통역 결과의 재 출력을 요청하는 명령이 입력되었는지 여부에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 방법.
  10. 제1항에 있어서,
    상기 하나 이상의 단어는,
    상기 소스 음성 신호의 중간에 포함된 침묵(silence)에 기초하여 결정되거나, 또는 상기 소스 음성 신호에 포함된 문장의 구성요소로 결정되는, 자동 통역 방법.
  11. 제1항에 있어서,
    상기 제2 타겟 음성 신호를 출력하는 단계는,
    상기 통역 결과가 재 출력된다는 메시지가 출력된 이후에 상기 제2 타겟 음성 신호를 출력하는, 자동 통역 방법.
  12. 제1항에 있어서,
    상기 제2 타겟 음성 신호를 출력하는 단계는,
    상기 통역 결과를 재 출력하는 것으로 판단한 이후에 상기 소스 음성 신호를 문장 단위로 통역하고, 상기 통역 결과로서 상기 제2 언어로 표현된 제2 타겟 음성 신호를 출력하는, 자동 통역 방법.
  13. 제1 언어로 표현된 소스 문장이 입력되는 동안 상기 소스 문장을 하나 이상의 단어로 구분하여 번역을 수행하고, 번역 결과로서 제2 언어로 표현된 제1 타겟 문장을 상기 하나 이상의 단어 별로 실시간으로 출력하는 단계;
    상기 번역 결과를 재 출력할지 여부를 판단하는 단계; 및
    상기 번역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 문장을 문장 단위로 번역하여 상기 제2 언어로 표현된 제2 타겟 문장을 상기 번역 결과로서 출력하는 단계
    를 포함하는 기계 번역 방법.
  14. 제1항 내지 제13항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  15. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 적어도 하나의 명령어를 포함하는 메모리
    를 포함하고,
    상기 적어도 하나의 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 언어로 표현된 소스 음성 신호가 입력되는 동안 상기 소스 음성 신호를 하나 이상의 단어로 구분하여 통역을 수행하고, 통역 결과로서 제2 언어로 표현된 제1 타겟 음성 신호를 상기 하나 이상의 단어 별로 실시간으로 출력하고, 상기 통역 결과를 재 출력할지 여부를 판단하며, 상기 통역 결과를 재 출력하는 것으로 판단한 경우, 상기 소스 음성 신호를 문장 단위로 통역하여 상기 제2 언어로 표현된 제2 타겟 음성 신호를 상기 통역 결과로서 출력하는 자동 통역 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장 및 상기 제2 타겟 음성 신호에 대응하는 제2 타겟 문장 간의 차이에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 제1 타겟 문장이 상기 제2 타겟 문장과 동일한 의미를 가지지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 장치.
  18. 제16항에 있어서,
    상기 프로세서는,
    상기 제2 타겟 문장을 기준으로 판단된 상기 제1 타겟 문장의 통역 품질 저하가 미리 결정된 기준 값 이상인 것으로 판단된 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 장치.
  19. 제15항에 있어서,
    상기 프로세서는,
    상기 제1 타겟 음성 신호에 대응하는 제1 타겟 문장이 상기 제2 언어의 문법에 적합하지 않는 경우, 상기 통역 결과를 재 출력하는 것으로 판단하는, 자동 통역 장치.
  20. 제15항에 있어서,
    상기 프로세서는,
    상기 제1 타겟 음성 신호에 대한 사용자의 피드백에 기초하여 상기 통역 결과를 재 출력할지 여부를 판단하는, 자동 통역 장치.
KR1020160167426A 2016-12-09 2016-12-09 자동 통역 방법 및 장치, 및 기계 번역 방법 KR102637337B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160167426A KR102637337B1 (ko) 2016-12-09 2016-12-09 자동 통역 방법 및 장치, 및 기계 번역 방법
US15/634,806 US10599784B2 (en) 2016-12-09 2017-06-27 Automated interpretation method and apparatus, and machine translation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167426A KR102637337B1 (ko) 2016-12-09 2016-12-09 자동 통역 방법 및 장치, 및 기계 번역 방법

Publications (2)

Publication Number Publication Date
KR20180066513A true KR20180066513A (ko) 2018-06-19
KR102637337B1 KR102637337B1 (ko) 2024-02-16

Family

ID=62489389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167426A KR102637337B1 (ko) 2016-12-09 2016-12-09 자동 통역 방법 및 장치, 및 기계 번역 방법

Country Status (2)

Country Link
US (1) US10599784B2 (ko)
KR (1) KR102637337B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365538B1 (ko) * 2021-05-25 2022-02-23 주식회사 메이코더스 크로스보딩 이커머스 시스템에서의 자동 질의 대응 및 전자 서류 생성이 가능한 채팅 인터페이스 제공 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109121123A (zh) * 2018-07-03 2019-01-01 Oppo广东移动通信有限公司 信息处理方法及相关产品
EP4206972A4 (en) 2021-02-04 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ITS CONTROL METHOD

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080215309A1 (en) * 2007-01-12 2008-09-04 Bbn Technologies Corp. Extraction-Empowered machine translation
US20150134320A1 (en) * 2013-11-14 2015-05-14 At&T Intellectual Property I, L.P. System and method for translating real-time speech using segmentation based on conjunction locations
KR20150085145A (ko) * 2014-01-13 2015-07-23 한국전자통신연구원 사용자 반응 기반 통역 시스템 및 그 방법
US20160147744A1 (en) * 2013-12-25 2016-05-26 Beijing Baidu Netcom Science And Technology Co., Ltd. On-line voice translation method and device
US20160170970A1 (en) * 2014-12-12 2016-06-16 Microsoft Technology Licensing, Llc Translation Control

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099296A (ja) * 2004-09-29 2006-04-13 Nec Corp 翻訳システム、翻訳通信システム、機械翻訳方法、および、プログラム
JP4404211B2 (ja) * 2005-03-14 2010-01-27 富士ゼロックス株式会社 マルチリンガル翻訳メモリ、翻訳方法および翻訳プログラム
US7643985B2 (en) 2005-06-27 2010-01-05 Microsoft Corporation Context-sensitive communication and translation methods for enhanced interactions and understanding among speakers of different languages
US20120284015A1 (en) * 2008-01-28 2012-11-08 William Drewes Method for Increasing the Accuracy of Subject-Specific Statistical Machine Translation (SMT)
US8374881B2 (en) * 2008-11-26 2013-02-12 At&T Intellectual Property I, L.P. System and method for enriching spoken language translation with dialog acts
KR20110065916A (ko) 2009-12-10 2011-06-16 삼성전자주식회사 통역오류 정정 및 오류 자동추출 절차를 수행하는 통역시스템
US9015030B2 (en) * 2011-04-15 2015-04-21 International Business Machines Corporation Translating prompt and user input
FI125823B (en) * 2011-11-03 2016-02-29 Rex Partners Oy A measure of the quality of machine translation
JP2014078132A (ja) * 2012-10-10 2014-05-01 Toshiba Corp 機械翻訳装置、方法およびプログラム
US9600474B2 (en) 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation
US20150347399A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
KR20160080711A (ko) 2014-12-30 2016-07-08 한국전자통신연구원 통신 기반 통역 장치, 방법 및 시스템
US10185713B1 (en) * 2015-09-28 2019-01-22 Amazon Technologies, Inc. Optimized statistical machine translation system with rapid adaptation capability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080215309A1 (en) * 2007-01-12 2008-09-04 Bbn Technologies Corp. Extraction-Empowered machine translation
US20150134320A1 (en) * 2013-11-14 2015-05-14 At&T Intellectual Property I, L.P. System and method for translating real-time speech using segmentation based on conjunction locations
US20160147744A1 (en) * 2013-12-25 2016-05-26 Beijing Baidu Netcom Science And Technology Co., Ltd. On-line voice translation method and device
KR20150085145A (ko) * 2014-01-13 2015-07-23 한국전자통신연구원 사용자 반응 기반 통역 시스템 및 그 방법
US20160170970A1 (en) * 2014-12-12 2016-06-16 Microsoft Technology Licensing, Llc Translation Control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102365538B1 (ko) * 2021-05-25 2022-02-23 주식회사 메이코더스 크로스보딩 이커머스 시스템에서의 자동 질의 대응 및 전자 서류 생성이 가능한 채팅 인터페이스 제공 장치

Also Published As

Publication number Publication date
KR102637337B1 (ko) 2024-02-16
US10599784B2 (en) 2020-03-24
US20180165276A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6637848B2 (ja) 音声認識装置及び方法と電子装置
JP6463825B2 (ja) 多重話者音声認識修正システム
KR102084646B1 (ko) 음성 인식 장치 및 음성 인식 방법
US10811005B2 (en) Adapting voice input processing based on voice input characteristics
EP2960901A1 (en) User-adapted speech recognition
KR102443087B1 (ko) 전자 기기 및 그의 음성 인식 방법
KR102396983B1 (ko) 문법 교정 방법 및 장치
JP2017027044A (ja) 音響点数を計算する装置及び方法、音声を認識する装置及び方法並びに電子装置
WO2015171646A1 (en) Method and system for speech input
US10950229B2 (en) Configurable speech interface for vehicle infotainment systems
WO2014183373A1 (en) Systems and methods for voice identification
KR20200080681A (ko) 음성 합성 방법 및 장치
CN111916088B (zh) 一种语音语料的生成方法、设备及计算机可读存储介质
CN109036406A (zh) 一种语音信息的处理方法、装置、设备和存储介质
JP2019090942A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
KR20200083685A (ko) 실시간 화자 판단 방법
CN111916062B (zh) 语音识别方法、装置和系统
JP2011504624A (ja) 自動同時通訳システム
JP6797338B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102637337B1 (ko) 자동 통역 방법 및 장치, 및 기계 번역 방법
US11507759B2 (en) Speech translation device, speech translation method, and recording medium
KR20210036169A (ko) 대화 시스템, 대화 처리 방법, 번역 장치 및 번역 방법
US20190121610A1 (en) User Interface For Hands Free Interaction
CN113077790B (zh) 多语言配置方法、多语音交互方法、装置及电子设备
JP6580281B1 (ja) 翻訳装置、翻訳方法、および翻訳プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant