KR102592630B1 - 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법 - Google Patents

번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법 Download PDF

Info

Publication number
KR102592630B1
KR102592630B1 KR1020180144592A KR20180144592A KR102592630B1 KR 102592630 B1 KR102592630 B1 KR 102592630B1 KR 1020180144592 A KR1020180144592 A KR 1020180144592A KR 20180144592 A KR20180144592 A KR 20180144592A KR 102592630 B1 KR102592630 B1 KR 102592630B1
Authority
KR
South Korea
Prior art keywords
translation
unit
translation unit
sentence
word
Prior art date
Application number
KR1020180144592A
Other languages
English (en)
Other versions
KR20200059625A (ko
Inventor
노윤형
신종훈
서영애
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180144592A priority Critical patent/KR102592630B1/ko
Priority to US16/681,866 priority patent/US11301625B2/en
Publication of KR20200059625A publication Critical patent/KR20200059625A/ko
Application granted granted Critical
Publication of KR102592630B1 publication Critical patent/KR102592630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

본 발명에 따른 번역단위 대역 코퍼스를 이용하는 동시통역 시스템은 사용자의 발화를 입력받는 마이크, 상기 사용자의 발화를 인식하여 번역 결과를 생성하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 입력된 사용자의 발화를 텍스트로 변환하여 음성인식 버퍼에 저장하고, 상기 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하며, 상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성한다.

Description

번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법{SIMULTANEOUS INTERPRETATION SYSTEM AND METHOD USING TRANSLATION UNIT BAND CORPUS}
본 발명은 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법에 관한 것이다.
동시통역 시스템은 실시간으로 연속 발화되는 사용자의 음성을 인식하고 이를 자동으로 번역하여 통역을 수행하는 기능을 수행한다.
이러한 동시통역 시스템은 기존의 문장단위로 입력되는 순차 통역에 비해, 연속발화에 대한 문장범위 인식 등을 통해 번역단위를 인식하는 기능을 필요로 한다. 이를 위한 종래 기술에 따른 번역단위 인식 방법은 주로 문장 분할 알고리즘에 의해 문장의 끝 위치를 추정하여 번역하는 방법을 취하고 있었다.
하지만 문장의 범위가 너무 길어지는 경우 지나친 지연이 발생하기 때문에 부분문장을 번역단위로 인식하여 번역할 필요가 있다. 그러나 기존의 방법으로는 부분문장을 번역단위로 인식하거나 부분문장을 번역하는 경우 번역결과가 불완전하거나 어색하게 되는 문제가 발생한다.
즉, 문장에서 번역단위의 분리 및 번역단위에 대한 번역, 그리고 번역된 결과의 후처리 등의 과정이 필요하며, 이를 위해서는 번역단위로 분리된 학습 코퍼스가 필요하다.
또한, 최근 번역단위 문장 분리 및 번역을 동시에 수행하는 신경망 기반의 번역 기술이 존재하기 때문에, 동시통역을 위한 번역단위로 번역된 학습 코퍼스의 생성이 동시 통역기를 만들기 위한 핵심 과정이라 할 수 있다.
하지만, 일반적으로 활용 가능한 대역 코퍼스는 문장단위 번역 코퍼스가 대부분이다. 이러한 대역 코퍼스를 통해 원문에서 번역단위를 찾아낸다 하더라도, 특히 영-한 번역과 같이 어순의 차이가 많이 나는 경우는 이에 상응하는 대역 코퍼스의 번역결과를 찾아서 부분문장으로 된 번역단위의 대역 코퍼스를 생성하는 것은 쉽지 않은 실정이다.
본 발명의 실시예는 기존의 문장단위 대역 코퍼스로부터 동시통역용 번역단위 대역 코퍼스를 생성하고, 이를 통해 번역단위 인식을 위한 학습모델과 번역을 수행하기 위한 번역모델을 학습하여, 사용자의 발화에 대하여 번역단위의 동시통역 번역결과를 생성하는 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 번역단위 대역 코퍼스를 이용하는 동시통역 시스템은 사용자의 발화를 입력받는 마이크, 상기 사용자의 발화를 인식하여 번역 결과를 생성하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 입력된 사용자의 발화를 문장 단위의 텍스트로 변환하여 음성인식 버퍼에 저장하고, 상기 문장 단위의 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하며, 상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성한다.
본 발명에 따른 동시통역 시스템은 상기 번역결과를 음성으로 출력하는 스피커 및 화면으로 출력하는 디스플레이 중 하나 이상을 포함하는 출력부를 더 포함할 수 있다.
상기 프로세서는 문장단위 대역 코퍼스로부터 각 번역단위를 구분하기 위한 번역단위 분할 정보 및 각 문장을 구분하기 위한 문장단위 분할 정보 중 하나 이상을 포함하는 번역단위 대역 코퍼스를 생성하고, 상기 생성된 번역단위 대역 코퍼스에 기초하여 상기 번역단위 인식을 위한 학습모델 및 상기 번역모델을 학습할 수 있다.
상기 원문이 한국어이고 상기 대역문이 영어인 경우, 상기 프로세서는 상기 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하고, 상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하며, 상기 단어정렬된 결과에 대하여 상기 인식된 번역단위를 기준으로 상기 대역문의 어순을 조정하여 상기 번역단위 대역 코퍼스를 생성할 수 있다.
상기 프로세서는 상기 원문에 대하여 의존구조 파싱을 수행한 결과 중 동사 또는 명사의 의존부분트리의 단어(한국어의 경우 어절)길이가 일정 길이 이상인 경우, 해당 의존부분트리를 상기 번역단위로 인식할 수 있다.
상기 프로세서는 상기 인식된 번역단위에 의해 생성되는 주변의 번역단위 길이가 일정 단어 미만인 경우, 현재 인식된 번역단위 후보를 배제하고, 더 나중에 위치한 의존부분트리를 번역후보인 번역단위로 인식하는 것인 동시통역 시스템
상기 프로세서는 한국어의 경우 매끄러운 번역을 위해 상기 어순이 조정된 대역문에 대응 가능한 어미를 생성하는 후처리 과정을 수행하여 상기 번역단위 대역 코퍼스를 생성할 수 있다.
상기 프로세서는 상기 번역단위 분할 정보 및 문장단위 분할 정보에 기초하여 상기 버퍼 중 음성인식 버퍼에 들어오는 단어 스트림(stream)에 대해 번역단위 분할점과 문장단위 분할점을 인식하고, 상기 번역단위 분할점과 문장단위 분할점에 의해 구분된 번역단위를 번역단위 버퍼에 추가할 수 있다.
상기 프로세서는 상기 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 현재 위치에 대한 상기 번역단위 분할점 및 문장단위 분할점을 인식할 수 있다.
상기 프로세서는 상기 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하고, 상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하며, 상기 단어정렬된 결과에 대하여 상기 인식된 번역단위를 기준으로 상기 원문의 어순과 상기 대역문의 어순을 동시에 조정하여 상기 번역단위 대역 코퍼스를 생성할 수 있다.
상기 프로세서는 상기 대역문에 대하여 의존구조 파싱을 수행한 결과 중 명사 또는 동사에 의존하는 단어를 포함하는 의존부분트리의 단어 또는 어절의 길이가 일정 단어 길이 이상인 경우, 해당 의존부분트리를 번역단위로 인식할 수 있다.
상기 프로세서는 음성인식 버퍼에 들어오는 단어 스트림에 대해 번역단위 시작점 및 번역단위 종결점을 포함하는 번역단위 분할점과 문장단위 분할점을 인식하되, 상기 음성인식 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 현재 위치에 대한 상기 번역단위 종결점 및 문장단위 분할점을 인식하고, 상기 번역단위 분할점을 끝점으로 하여 그 이전의 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 상기 번역단위 시작점을 인식할 수 있다.
상기 프로세서는 상기 잔여문장 중 상기 번역단위 분할점 및 번역단위 시작점에 기초하여 인식된 번역단위를 이전까지 인식된 번역단위 누적 결과에 추가하여, 현재까지 인식된 번역단위의 누적결과를 생성한 후, 상기 잔여문장에 대하여 상기 번역단위를 제거할 수 있다.
상기 프로세서는 현재까지 인식된 번역단위의 누적결과에 대해 번역을 수행한 후, 이전까지 인식된 번역단위의 누적결과의 번역결과를 제거하여 현재 인식된 번역단위의 번역결과를 생성할 수 있다.결과와 이전까지 문장 내에서의 번역된 결과에 기초하여 상기 현재까지 인식된 번역단위의 누적결과에 대하여 번역단위를 기준으로 번역을 수행한 후, 상기 연결된 잔여문장에 대하여 상기 현재까지 인식된 번역단위의 누적결과를 제거할 수 있다.
또한, 본 발명의 제 2 측면에 따른 번역단위 대역 코퍼스를 이용한 동시통역 방법은 사용자의 발화를 입력받는 단계; 상기 입력된 사용자의 발화를 텍스트로 변환하여 음성인식 버퍼에 저장하는 단계; 상기 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하는 단계 및 상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성하는 단계를 포함한다.
본 발명에 따른 동시통역 방법은 문장단위 대역 코퍼스로부터 각 번역단위를 구분하기 위한 번역단위 분할 정보 및 각 문장을 구분하기 위한 문장단위 분할 정보 중 하나 이상을 포함하는 번역단위 대역 코퍼스를 생성하는 단계 및 상기 생성된 번역단위 대역 코퍼스에 기초하여 상기 번역단위 인식을 위한 학습모델 및 상기 번역모델을 학습하는 단계를 더 포함할 수 있다. 이때, 상기 번역단위 대역 코퍼스를 생성하는 단계는, 상기 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하는 단계; 상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하는 단계; 상기 단어정렬된 결과에 대하여 상기 인식된 번역단위를 기준으로 상기 원문의 어순 및 상기 대역문의 어순 중 하나 이상을 조정하여 상기 번역단위 대역 코퍼스를 생성하는 단계를 포함할 수 있다.
상기 음성인식된 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하는 단계는, 상기 번역단위 분할 정보 및 문장단위 분할 정보에 기초하여 상기 버퍼에 저장된 텍스트에 대한 번역단위 분할점과 문장단위 분할점 및 번역단위 시작점을 인식하고, 상기 번역단위 분할점과 문장단위 분할점 및 번역단위 시작점에 의해 구분된 번역단위를 번역단위 버퍼에 추가할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 기존의 문장단위 대역 코퍼스로부터 번역단위 대역 코퍼스를 생성하여 학습모델과 번역모델을 학습 및 적용함에 따라, 사용자의 연속 발화에 대하여 큰 시간 지연이 없으면서 동시에 자연스러운 동시통역 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동시통역 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동시통역 시스템의 기능을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 동시통역 코퍼스 생성부를 설명하기 위한 도면이다.
도 4는 원문과 대역문에 대하여 단어정렬을 수행한 결과를 도시한 도면이다.
도 5는 의존구조에 따라 번역단위를 인식하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 번역단위에 대하여 어순을 조정하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 번역부의 기능을 설명하기 위한 도면이다.
도 8은 LSTM-RNN을 이용하여 번역단위 분할점, 문장단위 분할점 및 그외의 경우를 분류하는 과정을 설명하기 위한 도면이다.
도 9는 의존구조에 따라 번역단위를 인식하는 과정을 설명하기 위한 도면이다.
도 10a 및 도 10b는 번역단위에 대하여 어순을 조정하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 번역부의 기능을 설명하기 위한 도면이다.
도 12는 LSTM-RNN을 이용하여 번역단위 시작점, 번역단위 분할점, 문장단위 분할점 및 그외의 경우를 분류하는 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 동시통역 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 동시통역 시스템(1)의 블록도이다.
본 발명의 일 실시예에 따른 동시통역 시스템(1)은 마이크(100), 메모리(200), 프로세서(300) 및 출력부(400)를 포함한다.
마이크(100)는 사용자의 발화를 입력받는다. 그리고 마이크(100)에 입력된 발화나 이에 대한 동시통역 결과는 음성으로 출력하는 스피커 및 화면으로 출력되는 디스플레이 중 하나 이상으로 구성된 출력부(400)를 통해 출력될 수 있다.
메모리(200)에는 사용자의 발화를 인식하여 번역결과를 생성하기 위한 프로그램이 저장된다. 또한, 메모리(200)에는 번역단위 인식을 위한 학습모델(M1)과 번역을 수행하기 위한 번역모델(M2)이 저장된다.
이때, 메모리(200)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(200)는 콤팩트 플래시(compact flash; CF) 카드, SD(segure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(300)는 메모리(200)에 저장된 프로그램을 실행시키며, 마이크(100)를 통해 입력된 사용자의 발화를 텍스트로 변환하여 버퍼에 저장한다. 그리고 텍스트에 대하여 번역단위 인식을 위한 학습모델(M1)에 기초한 번역단위 인식을 수행하며, 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델(M2)에 기초하여, 사용자의 발화에 대해 번역단위에 대응하는 번역결과를 생성한다.
프로세서(300)에 의해 수행되는 구체적인 과정에 대해서는 도 2를 참고하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 동시통역 시스템(1)의 기능을 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 동시통역 코퍼스 생성부(310)를 설명하기 위한 도면이다. 도 4는 원문과 대역문에 대하여 단어정렬을 수행한 결과를 도시한 도면이다. 도 5는 의존구조에 따라 번역단위를 인식하는 과정을 설명하기 위한 도면이다. 도 6a 내지 도 6c는 번역단위에 대하여 어순을 조정하는 과정을 설명하기 위한 도면이다.
이때, 도 3 내지 도 6c에서는 원문이 영어이고 대역문이 한국어인 경우를 먼저 설명하도록 하며, 원문이 한국어이고 대역문이 영어인 경우는 도 9 이하에서 설명하도록 한다.
본 발명의 일 실시예에 따른 동시통역 시스템(1)에서 프로세서(300)는 동시통역 코퍼스 생성부(310), 번역단위 인식 학습부(320), 번역모델 학습부(330) 및 번역부(340)의 기능을 수행하는 기능 블록을 포함할 수 있다.
동시통역 코퍼스 생성부(310)는 문장단위의 대역 코퍼스(C1)로부터 번역지연을 최소화하기 위해 부분문장을 번역단위로 하는 번역단위 대역 코퍼스(C2)를 생성한다.
이때, 생성된 번역단위 대역 코퍼스(C2)는 번역단위를 구분하기 위한 번역단위 분할 정보와 각 문장을 구분하기 위한 문장단위 분할 정보 중 하나 이상을 포함할 수 있다.
도 3을 참조하면, 동시통역 코퍼스 생성부(310)는 단어정렬부(311), 번역단위 인식부(312), 어순 조정부(313) 및 대역문 후처리부(314)의 기능블록을 포함할 수 있다.
단어정렬부(311)는 문장단위 대역 코퍼스(C1)에 대하여 통계적 방식으로 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행한다. 이때, 단어정렬부(311)는 통계적 방식으로 SMT(Statistical Machine Translation)에서 사용하는 방법을 적용할 수 있다.
한편, 본 발명의 일 실시예에서 번역단위 대역 코퍼스(C2)를 생성하기 위한 원문과 대역문의 예제는 다음과 같다.
원문: "apple has not pinned an exact date when the first intel machines will arrive saying only that they should be on the market by june."
대역문: "애플은 첫 번째 인텔 머신에 대해서는 6월까지 발매한다고는 하지만 언제 도착할지 정확한 날짜는 확정하지는 않았다."
그리고 위 예시에 대한 원문과 대역문 간의 단어정렬 결과(P1)는 도 4와 같다.
다음으로, 번역단위 인식부(312)는 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식한다.
이때, 번역단위 인식부(312)는 영-한 번역에서 번역단위를 인식하는 하나의 방법으로, 영어 원문에 대해 의존구조 파싱을 수행한 후, 동사 또는 명사의 의존부분트리의 단어(한국어의 경우 어절) 길이가 일정 단어 길이 이상인 경우, 해당 의존부분트리를 번역단위로 인식할 수 있다.
도 5는 상기 예제에서의 원문에 대한 의존구조 파싱을 수행한 결과(P2)이며, 번역단위 인식부(312)는 의존구조 파싱 결과(P2)에 대하여 의존부분트리의 단어 길이가 N 이상인 경우를 번역단위 후보로 한다.
이때, 번역단위 인식부(312)는 인식된 번역단위에 의해 생성되는 주위의 번역단위의 길이가 N 이상이 되지 않는 경우 현재 인식된 번역단위 후보를 배제하고, 더 나중에 있는 부분트리를 번역후보인 번역단위로 인식할 수 있다.
예를 들어, N이 7이라 할 때, 원문 단어 "date"가 이끄는 부분트리는 "an exact date when the first intel machines will arrive"가 번역단위 후보가 될 수 있다.
하지만 해당 의존부분트리를 번역단위로 할 경우, 해당 번역단위 후보 앞쪽에 위치하는 "apple has pinned"가 하나의 번역단위가 되어야 한다. 이 경우, 일정 단어 길이인 7보다 작기 때문에 번역단위로 인식할 수 없으며, 이후에 위치하는 "when"이 이끄는 부분트리에 해당하는 "when the first intel machines will arrive"가 하나의 번역단위로 인식되게 된다.
그 다음 "saying"에서 시작하여 "that"에 도달하였을 때, 다시 "only that they should be on the market by june"으로 의존부분트리의 길이가 10이 되지만, 이전의 번역단위가 "saying"으로 일정 단어 길이를 만족하지 않기 때문에 위 문구는 번역단위로 인식될 수 없으며, "saying only that they should be on the market by june"가 번역단위로 인식되게 된다.
이와 같은 과정을 통해 최종적으로 인식되는 번역단위(세그먼트)는 다음과 같다.
(1) apple has not pinned an exact date (2) when the first intel machines will arrive (3) saying only that they should be on the market by june
다음으로, 어순 조정부(313)는 단어정렬된 결과(P1)에 대하여 상기 인식된 번역단위를 기준으로 대역문의 어순을 조정하여 번역단위 대역 코퍼스(C2)를 생성한다. 즉, 어순 조정부(313)는 인식된 번역단위에 대하여 분산된 대역 구문을 취합하여 번역단위간 정렬을 용이하게 하도록 한다.
도 4에서의 단어정렬 결과(P1), 번역단위 (1)인 "apple has not pinned an exact date"에 대응하는 번역결과는 분산되어 있는 상태이다. 따라서, 어순 조정부(313)는 도 6a와 같이 하나의 집합된 단위(a1)로 취합되도록 어순을 조정하게 된다.
번역단위 (2)인 "when the first intel machines will arrive"에 대응하는 번역결과도 분산되어 있기 때문에, 어순 조정부(313)는 도 6a와 마찬가지로 도 6b와 같이 하나의 집합된 단위(a2)로 취합되도록 어순을 조정한다.
번역단위 (3)인 "saying only that they should be on the market by june"의 경우 이미 대역 부분이 하나로 취합(a3)되어 있기 때문에 이러한 경우에는 특별히 어순 조정을 할 필요는 없다.
이와 같이 어순이 조정된 정렬관계에 따른 원문과 대역문 번역단위간의 대응관계는 도 6c와 같으며, 어순이 조정되면 다음과 같이 프로세서(300)는 번역단위로 정렬된 번역단위 대역 코퍼스(C2)를 생성하게 된다.
원문: (1) apple has not pinned an exact date (2) when the first intel machines will arrive (3) saying only that they should be on the market by june
대역문: (1) 애플은 정확한 날짜를 확정하지는 않았다. (2) 첫 번째 인텔 머신에 대해서는 언제 도착할지 (3) 6월까지는 발매한다고는 하지만
다음으로, 대역문 후처리부(314)는 어순이 조정된 대역문에 대응 가능한 어미를 생성하는 후처리 과정을 수행한다.
예를 들어, 어순이 조정된 대역문에 대하여 "~요", "~말입니다" 등으로 어미를 생성하여 대역문이 다음과 같이 자연스러운 문장이 되도록 한다.
수정 대역문: (1) 애플은 정확한 날짜를 확정하지는 않았다. (2) 첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다. (3) 6월까지는 발매한다고는 하지만요.
동시통역 코퍼스 생성부(310)에서 상기 같은 과정에 따라 생성된 최종적인 영한 동시통역용 번역 대역 코퍼스(C2)는 다음과 같다.
원문: apple has not pinned an exact date <seg> when the first intel machines will arrive <seg> saying only that they should be on the market by june <eos>
대역문: 애플은 정확한 날짜를 확정하지는 않았다. <seg> 첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다. <seg> 6월까지는 발매한다고는 하지만요. <eos>
이때, <seg>는 번역단위 분할점을 의미하고, <eos>는 문장단위 종결점을 의미한다.
다시 도 2를 참조하면, 번역단위 인식 학습부(320)는 위와 같이 생성된 번역단위 분할 정보와 문장단위 분할 정보 중 하나 이상이 포함된 번역단위 대역 코퍼스(C2)로부터 학습을 통해 번역 단위를 인식하기 위한 학습모델(M1)을 생성한다.
그리고 번역모델 학습부(320)는 신경망 기반의 알고리즘 등을 통해 번역단위 대역 코퍼스(C2)로부터 학습을 통해 번역을 위한 번역모델(M2)을 생성한다.
번역부(340)는 사용자의 발화를 문장 단위의 텍스트로 변환하여 버퍼에 저장하고, 버퍼로부터 한 단어씩 입력받아 번역단위를 인식하여 실시간으로 번역을 수행한다.
이하에서는 상술한 예시 및 예제를 기반으로 하여, 본 발명의 일 실시예에서 프로세서(300)에 의해 수행되는 구체적인 번역 과정에 대해 도 7 내지 도8을 참고하여 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 번역부(340)의 기능을 설명하기 위한 도면이다. 도 8은 LSTM-RNN을 이용하여 번역단위 분할점(<seg>), 문장단위 분할점(<eos>) 및 그외의 경우(<0>)를 분류하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 번역부(340)는 번역단위 인식부(341), 가이드 번역부(342), 번역 추출부(343) 및 버퍼 초기화부(344)를 포함할 수 있다.
번역단위 인식부(341)는 사용자의 발화에 대한 문장 단위의 텍스트가 저장된 버퍼로부터 단어를 순차적으로 독출하고, 번역단위 학습을 위한 학습모델(M1)을 이용하여 독출된 문장 단위의 텍스트에 대한 번역단위 분할점(<seg>)과 문장단위 분할점(<eos>)을 인식한다.
이때, 번역단위 인식부(341)는 기계학습이나 신경망 학습 알고리즘을 통해 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여, 현재 위치에 대한 번역단위 분할점(<seg>) 및 문장단위 분할점(<eos>)을 인식할 수 있다. 여기에서 번역단위 인식부(341)는 n개의 미리보기 단어를 참조하여 현재 위치가 번역단위 분할점(<seg>)이나 문장의 분할점(<eos>)인지 여부를 판단하게 되는데, 이는 이후의 문맥을 참조해야 판단이 명확해지기 때문이다.
예를 들어, 번역단위 인식 학습을 위한 원문 코퍼스는 다음과 같은 형태로 되어 있을 수 있다.
원문: apple/0 has/0 not/0 pinned/0 an/0 exact/0 date/seg when/0 the/0 first/0 intel/0 machines/0 will/0 arrive/seg saying/0 only/0 that/0 they/0 should/0 be/0 on/0 the/0 market/0 by/0 june/eos Some/0 analysts/0
만약, 미리보기 단어의 수가 2라 한다면, 번역단위 인식부(341)는 도 8과 같이 양방향(bi-directional) LSTM-RNN을 이용하여 번역단위 분할점(<seg>), 문장단위 분할점(<eos>), 그외의 경우(<0>)을 분류할 수 있다.
즉, 번역단위 인식부(341)는 LSTM-RNN을 이용하여 버퍼에 저장된 문장단위 텍스트의 단어를 순차적으로 독출하여 해당 단어에 대하여 도 8의 (a)와 같이 그외의 경우(<0>)로 분류하거나, 도 8의 (b)와 같이 해당 단어가 위치하는 지점이 번역단위 분할점(<seg>)인 경우로 분류할 수 있다.
번역단위 인식 결과 현재 위치가 번역단위 분할점(<seg>)이나 문장단위 분할점(<eos>)이면, 가이드 번역부(342)는 인식된 번역단위를 버퍼에 추가한다.
이후 가이드 번역부(342)는 현재 인식된 번역단위(Sseg)를 이전 인식된 번역단위(Si-1)에 추가하여, 현재까지 인식된 번역단위의 누적결과(Si=Si -1+Sseg)를 입력으로 하고, 이전까지 문장 내에서 번역된 결과(Ti - 1)를 입력으로 하여, 현재까지 인식된 번역단위의 누적결과에 대하여 번역단위를 기준으로 번역을 수행한다.
이때, 가이드 번역부(342)가 문장 내 이전 인식된 번역단위(Si - 1)를 포함시키는 것은 번역단위가 독립적인 문장이 아니기 때문에 이전 문맥을 참조하기 위한 것이다.
상술한 예제에서 번역단위 (2)를 번역할 때 가이드 번역부(342)로의 입력은 다음과 같다.
Si: "apple has not pinned an exact date when the first intel machines will arrive"
Ti: "애플은 정확한 날짜를 확정하지는 않았다."
이후 가이드 번역부(342)는 버퍼 내에 저장된 번역단위나 이의 누적결과에 대하여 디코더의 결과로 강제 할당하는 단계와 번역결과를 강제로 할당한 이후 디코딩을 통하여 대역어를 생성하는 단계를 수행하게 된다.
즉 상술한 예시에서, "apple has not pinned an exact date when the first intel machines will arrive"(Si)를 입력으로 하였을 때, "애플은 정확한 날짜를 확정하지는 않았다"(Ti)까지가 번역결과로 출력되고, 이후의 번역 결과를 얻기 위하여 이전의 문장 내 번역결과를 기억하였다가, 디코딩시에 이전의 번역결과가 함께 생성될 수 있도록 가이드할 필요가 있다.
이전의 번역결과가 생성될 수 있도록 가이드하는 방법은 디코딩시 빔 서치(beam search)할 때 번역 후보에서 기존의 번역결과를 1순위로 조정하여 이루어질 수 있다.
다음으로, 번역 추출부(343)는 번역단위를 기준으로 하는 번역이 완료되면, 이전까지 문장 내에서의 번역된 결과(Ti - 1)를 제거(Ti-Ti - 1)하여 현재 인식된 번역단위(Tseg)에 대한 번역 결과를 생성한다.
그리고 버퍼 초기화부(344)는 현재 단어의 위치가 문장단위 분할점(<eos>)에 해당하는 경우, 버퍼에 저장된 문장 단위 텍스트 및 번역단위로 번역된 결과를 초기화한다. 이는 가이드 번역부(342)가 전체 문장을 대상으로 번역을 수행하는 것이 아닌, 문장 내 부분문장을 대상으로 번역을 수행하기 때문이다.
이와 같은 각 기능 블록에 따라, 상술한 예제에 대한 전체 번역과정은 다음과 같다.
S0: ""
T0: ""
Sseg: "apple has not pinned an exact date"
S1: "apple has not pinned an exact date"
T1: "애플은 정확한 날짜를 확정하지는 않았다."
Tseg: "애플은 정확한 날짜를 확정하지는 않았다."

Sseg: "when the first intel machines will arrive"
S2: "apple has not pinned an exact date when the first intel machines will arrive"
T2: "애플은 정확한 날짜를 확정하지는 않았다. 첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다."
Tseg: "첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다."

Sseg: "saying only that they should be on the market by june"
S3: "apple has not pinned an exact date when the first intel machines will arrive saying only that they should be on the market by june"
T3: "애플은 정확한 날짜를 확정하지는 않았다. 첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다. 6월까지는 발매한다고는 하지만요."
Tseg: "6월까지는 발매한다고는 하지만요."
S0: ""
T0: ""
이하에서는 도 9 내지 도 12를 참조하여 원문이 한국어이고 대역문이 영어인 경우에 대하여 설명하도록 한다. 이때, 도 9 이하에서 설명하는 예시의 경우, 반드시 원문이 한국어, 대역문이 영어인 경우로 한정되는 것은 아니며 그 반대인 경우도 적용이 가능함은 물론이다.도 9는 의존구조에 따라 번역단위를 인식하는 과정을 설명하기 위한 도면이다. 도 10a 및 도 10b는 번역단위에 대하여 어순을 조정하는 과정을 설명하기 위한 도면이다.
한편, 상술한 동시통역 코퍼스 생성부(310), 번역단위 인식 학습부(320), 번역모델 학습부(330) 및 번역부(340)에 대하여 동일하게 적용되는 부분에 대한 설명은 생략하며, 상이한 부분을 중심으로 설명하도록 한다.
도 3을 참조하여 전술한 바와 같이, 동시통역 코퍼스 생성부(310)는 단어정렬부(311), 번역단위 인식부(312), 어순 조정부(313) 및 대역문 후처리부(314)의 기능블록을 포함할 수 있다.
단어정렬부(311)는 문장단위 대역 코퍼스(C1)에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행한다.
그리고 번역단위 인식부(312)는 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식한다. 이때, 번역단위 인식부(312)는 원문 또는 대역문에 대해 의존구조 파싱을 수행한 후, 동사 또는 명사의 의존부분트리의 단어(한국어의 경우 어절) 길이가 일정 길이 이상인 경우 해당 부분트리를 번역단위로 인식할 수 있다. 여기서 원문 또는 대역문 구조 분석결과중에서 어떤 걸 사용할지, 명사의 의존부분트리를 번역단위로 인식할지 등은 어순의 자유로움등의 언어의 특성에 따라서 달라진다.
전술한 예제를 대상으로 이를 구체적으로 설명하면 다음과 같다.
원문: "애플은 첫 번째 인텔 머신에 대해서는 6월까지는 발매한다고는 하지만 언제 도착할지 정확한 날짜를 확정하지는 않았다."
대역문: "apple has not pinned an exact date when the first intel machines will arrive saying only that they should be on the market by june."
전반적인 처리 과정은 상술한 영-한 번역 과정을 설명한 것과 동일하나, 차이가 나는 부분은 번역단위 인식에 의한 번역단위 대역 코퍼스 생성 방법에 관한 것이다.
번역단위를 인식할 때 고려해야 할 사항으로는 대역문장의 어순을 조정하여 번역단위의 정렬이 가능해야 한다는 것이 있다.
영-한 번역에서 한국어의 경우 어순이 비교적 자유롭기 때문에 번역단위 인식에서 동사의 의존부분트리와 명사의 의존부분트리가 모두 가능하지만, 한-영 번역에서 영어의 경우 어순이 비교적 엄격하기 때문에, 가능한 번역단위에 대한 제약이 있다.
따라서, 한-영 번역의 경우에서는 영어의 의존구조 분석 결과에서 동사에 의존하는 단어를 포함하는 의존부분트리의 길이가 N 이상이고 명사절이 아닌 의존부분트리로 제한된다. 이는 명사절이 번역단위로 인식될 경우 문장 내에서 이동이 가능해야 하나, 영어에서 명사절은 그 이동이 극히 제한되기 때문이다.
도 9는 상기 예제에서의 영어 대역문에 대한 의존구조 파싱을 수행한 결과(P3)이며, 번역단위 인식부(312)는 도 9와 같은 의존구조 파싱 결과(P3)에 대하여 동사의 의존부분트리의 단어 길이가 N 이상인 경우를 번역단위 후보로 한다.
그 결과 상기 예제에서 (an exact date when the first intel machines will arrive), (saying only that they should be on the market by june.) 부분이 번역단위로 인식되었다. 그리고 자동으로 (apple has not pinned)가 하나의 번역단위로 인식된다.
다음으로, 어순 조정부(313)는 단어정렬된 결과(P4)에 대하여 상기 인식된 번역단위를 기준으로 원문의 어순과 대역문의 어순을 동시에 조정하여 번역단위 대역 코퍼스(C2)를 생성한다. 즉, 어순 조정부(313)는 번역단위로 인식된 의존부분트리에 대하여 한국어의 어순을 기준으로 한국어 및 영어의 어순을 동시에 이동시킨다.
위 예제에서 인식된 번역단위의 원문-대역문의 쌍은 다음과 같으며, 이는 도 10a은 표(P4)로 나타낼 수 있다.
("언제 도착할지 정확한 날짜를", "an exact date when the first intel machines will arrive")
("첫 번째 인텔 머신에 대해서는 6월까지는 발매한다고는 하지만", "saying only that they should be on the market by june.")
그리고 도 10a에 도시된 원문-대역문 쌍(b0)을 원문인 한국어 어순을 기준으로 원문과 대역문을 모두 조정한다. 이를 위해 먼저 대역문의 번역단위에 대해 대응하는 한국어 어절 중 가장 나중 어절을 기준으로 정렬한다. 즉 (apple has not pinned)의 경우 "않았다", (an exact date when the first intel machines will arrive)의 경우 "날짜를", (saying only that they should be on the market by june.)의 경우 "하지만"이 가장 나중 어절이고, 나중 어절의 순서대로 정렬하면, (saying only that they should be on the market by june.), (an exact date when the first intel machines will arrive), (apple has not pinned)가 된다. 그리고, 이때 대역문 번역단위 순서대로 한국어도 이동한다. 그러면 "애플은"은 "확정하지는" 앞으로 이동하게 된다. 그러면 도 10b의 (b1, b2, b3)와 같이 나타낼 수 있으며, 이를 정리하여 상기 예제에 대한 최종적인 한-영 또는 영-한 동시통역용 번역단위 대역 코퍼스는 다음과 같다.
원문: 6월까지는 발매한다고는 하지만 <seg> 첫 번째 인텔 머신에 대해서는 언제 도착할지 정확한 날짜를 <seg> 애플은 확정하지는 않았다. <eos>
대역문: saying only that they should be on the market by june <seg> an exact date when the first intel machines will arrive <seg> apple has not pinned. <eos>
다음으로, 대역문 후처리부(314)는 어순이 조정된 대역문에 대응 가능한 어미를 생성하는 후처리 과정을 수행한다.
예를 들어, 어순이 조정된 대역문에 대하여 "~요", "~말입니다" 등으로 어미를 생성하여 대역문이 다음과 같이 자연스러운 문장이 되도록 한다. 예를 들어 영-한 번역에서 아래와 같이 한국어 번역단위 대역문이 생성되었다면, 수정대역문처럼 수정된다.
대역문: (1) 애플은 정확한 날짜를 확정하지는 않았다. (2) 첫 번째 인텔 머신에 대해서는 언제 도착할지 (3) 6월까지는 발매한다고는 하지만
수정 대역문: (1) 애플은 정확한 날짜를 확정하지는 않았다. (2) 첫 번째 인텔 머신에 대해서는 언제 도착할지 말입니다. (3) 6월까지는 발매한다고는 하지만요.
이하에서는 상술한 예시 및 예제를 기반으로 하여, 도 9 내지 도 10에 따라 생성된 번역단위 대역 코퍼스(C2)를 이용한 번역 과정에 대해 도 11 내지 도 12를 참고하여 설명하도록 한다.
도 11은 본 발명의 다른 실시예에 따른 번역부(340)의 기능을 설명하기 위한 도면이다. 도 12는 LSTM-RNN을 이용하여 번역단위 시작점(<b-seg>), 번역단위 종결점(<e-seg>), 문장단위 분할점(<eos>) 및 그외의 경우를 분류하는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 번역부(340)는 번역단위 인식부(341), 가이드 번역부(342), 번역 추출부(343) 및 버퍼 초기화부(344)를 포함하며, 번역단위 인식부(341)는 번역단위 종결점 인식부(3411) 및 번역단위 시작점 인식부(3412)를 포함할 수 있다.
번역단위 종결점 인식부(3411)는 사용자의 발화에 대한 문장 단위의 텍스트가 저장된 버퍼로부터 단어를 순차적으로 독출하고, 번역단위 학습을 위한 학습모델(M1)을 이용하여 독출된 문장 단위의 텍스트에 대한 번역단위 종결점(<e-seg>)과 문장단위 분할점(<b-seg>)을 인식한다.
이때, 번역단위 종결점 인식부(3411)는 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 현재 위치에 대한 상기 번역단위 종결점(<e-seg>) 및 문장단위 분할점(<eos>)을 인식할 수 있다.
이와 같이 번역단위 종결점(<e-seg>)과 문장단위 분할점(<eos>)을 인식한 다음, 도 7의 예시와는 달리 번역단위 시작점 인식부(3412)를 통해 독출된 문장 단위의 텍스트에 대한 번역단위 시작점(<b-seg>)을 추가적으로 인식할 수 있다.
예를 들어, 번역단위 인식 학습을 위한 원문 코퍼스는 다음과 같은 형태로 되어 있을 수 있다.
원문: 애플은/0 첫/b-seg 번째/0 인텔/0 머신에/0 대해서는/0 6월까지는/b-seg 발매한다고는/0 하지만/e-seg 언제/b-seg 도착할지/0 정확한/0 날짜를/e-seg 확정하지는/0 않았다/eos
만약, 미리보기 단어의 수가 2라 한다면, 번역단위 종결점 인식부(3411)는 도 12의 (a)와 같이 양방향(bi-directional) LSTM-RNN을 이용하여 번역단위 분할점(<e-seg>), 문장단위 분할점(<eos>), 그외의 경우(<0>)을 분류할 수 있다.
즉, 번역단위 종결점 인식부(3411)는 LSTM-RNN을 이용하여 버퍼에 저장된 문장단위 텍스트의 단어를 순차적으로 독출하여 해당 단어에 대하여 도 12의 (a)와 같이 해당 단어가 위치하는 지점이 번역단위 종결점(<e-seg>)인 경우로 분류할 수 있다.
그리고 번역단위 시작점 인식부(3412)는 도 12의 (b)와 같이 상기 양방향(bi-directional) LSTM-RNN을 이용하여 상기 번역단위 종결점(<e-seg>)이 인식된 부분을 기준으로 앞쪽으로 이동하면서 해당 단어가 위치하는 지점이 번역단위 시작점(<b-seg>)인 경우로 분류할 수 있다.
번역단위 종결점(<e-seg>)과 번역단위 시작점(<b-seg>)을 인식하는 과정의 일 예시는 다음과 같다. (아래에서 "->, <-"는 LSTM-RNN 에서 인코딩함을 의미한다.)
e-seg 인식: 애플은 -> 첫 -> 번째 -> 인텔 -> 머신에 -> 대해서는 -> 6월까지는 -> 발매한다고는 -> 하지만 -> concatenation 및 classification <-언제 <- 도착할지
(미리보기 단어(look-ahead): 언제 도착할지)
b-seg 인식: 머신에 -> 대해서는 -> concatenation 및 classification <- 6월까지는 <- 발매한다고는 <- 하지만
(미리보기 단어(look-ahead): 머신에 대해서는)
이와 같이 번역단위 시작점(<b-seg>), 번역단위 종결점(<e-seg>), 그리고 문장단위 종결점(<eos>)이 인식되면, 번역단위 시작점(<b-seg>)부터 번역단위 종결점(<b-seg>)까지가 하나의 번역단위로 인식되고, 가이드 번역부(342)는 인식된 번역단위는 번역을 위해 버퍼에 누적시켜 저장하게 된다.
이후 가이드 번역부(342)는 사용자의 발화에 대한 문장단위 텍스트에 대하여 번역단위 종결점(<e-seg>)에 기초하여 분할된 잔여문장(Ri - 1)을 버퍼에 저장하고, 잔여문장(Ri-1) 중 번역단위 종결점(<e-seg>) 및 번역단위 시작점(b-seg)에 기초하여 인식된 번역단위(Sseg)를 대상으로 번역(Ti - 1)을 수행한다. 그리고 번역이 완료되면 잔여문장(Ri-1)에 대하여 번역단위(Sseg)를 제거(Ri-1-Sseg)하게 된다.
이후 가이드 번역부(342)는 이전 번역단위가 제거된 잔여문장(Ri -1-Sseg)에 대하여 다음 번역단위 종결점(<e-seg>)에 기초하여 분할된 잔여문장을 연결(Ri)하여 버퍼에 저장한다.
그리고 가이드 번역부(342)는 연결된 잔여문장(Ri) 중 번역단위 종결점(<e-seg>) 및 번역단위 시작점(<b-seg>)에 기초하여 인식된 번역단위(Sseg)를 이전 인식된 번역단위(Si=Si-1+Sseg)에 추가한다.
그 다음 가이드 번역부(342)는 현재까지 인식된 번역단위의 누적결과(Si=Si -1+Sseg)와 이전까지 문장 내에서의 번역된 결과(Ti - 1)에 기초하여, 현재까지 인식된 번역단위의 누적결과(Si=Si -1+Sseg)에 대하여 번역단위를 기준으로 번역(Ti)을 수행한 후, 상기 연결된 잔여문장에 대해 상기 현재까지 인식된 번역단위의 누적결과를 제거(Ri-Sseg)한다.
다음으로, 번역 추출부(343)는 번역단위를 기준으로 하는 번역이 완료되면, 이전까지 문장 내에서의 번역된 결과(Ti - 1)를 제거(Ti-Ti - 1)하여 현재 인식된 번역단위(Tseg)에 대한 번역 결과를 생성하여 출력한다.
그리고 버퍼 초기화부(344)는 현재 단어의 위치가 문장단위 분할점(<eos>)에 해당하는 경우, 잔여문장버퍼(Ri)에 문장이 남아 있으면 잔여문장을 번역단위(Sseg)로 하여 가이드번역을 수행하고, 잔여문장이 없으면, 버퍼에 저장된 문장 단위 텍스트 및 번역단위로 번역된 결과를 초기화한다.
이와 같은 각 기능 블록에 따라, 상술한 예제에 대한 전체 번역과정은 다음과 같다.
S0: ""
T0: ""
R1: "애플은 첫 번째 인텔 머신에 대해서는 6월까지는 발매한다고는 하지만"
Sseg: "6월까지는 발매한다고는 하지만"
R1: "애플은 첫 번째 인텔 머신에 대해서는"
S1: "6월까지는 발매한다고는 하지만"
T1: "saying only that they should be on the market by june"
Tseg: "saying only that they should be on the market by june"

R2: "애플은 첫 번째 인텔 머신에 대해서는 언제 도착할지 정확한 날짜를"
Sseg: "첫 번째 인텔 머신에 대해서는 언제 도착할지 정확한 날짜를"
R2: "애플은"
S2: "6월까지는 발매한다고는 하지만 첫 번째 인텔 머신에 대해서는 언제 도착할지 정확한 날짜를"
T2: "saying only that they should be on the market by june an exact date when the first intel machines will arrive"
Tseg: "an exact date when the first intel machines will arrive"

R2: "애플은 확정하지는 않았다."
Sseg: "애플은 확정하지는 않았다."
R2: ""
S3: "6월까지는 발매한다고는 하지만 첫 번째 인텔 머신에 대해서는 언제 도착할지 정확한 날짜를 애플은 확정하지는 않았다."
T3: "saying only that they should be on the market by june an exact date when the first intel machines will arrive apple has not pinned"
Tseg: "apple has not pinned"
S0: ""
T0: ""
참고로, 본 발명의 실시예에 따른 도 1 내지 도 12에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 13을 참조하여, 본 발명에 따른 번역단위 대역 코퍼스를 이용한 동시통역 시스템(1)에서의 동시통역 방법에 대해 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 동시통역 방법의 순서도이다.
본 발명의 일 실시예에 따른 동시통역 방법은 먼저, 사용자의 발화를 입력받으면(S110), 입력된 사용자의 발화를 텍스트로 변환하여 버퍼에 저장한다(S120).
다음으로, 텍스트에 대하여 번역단위 인식을 위한 학습모델(M1)에 기초하여 번역단위 인식을 수행하며(S130), 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델(M2)에 기초하여 번역단위에 대응하는 번역결과를 생성한다(S140).
이때, 번역단위 인식을 수행하는 단계는, 번역단위 분할 정보 및 문장단위 분할 정보에 기초하여 버퍼에 저장된 문장 단위의 텍스트에 대한 번역단위 분할점과 문장단위 분할점 및 번역단위 시작점을 인식하고, 상기 번역단위 분할점과 문장단위 분할점, 그리고 번역단위 시작점에 의해 번역단위를 인식할 수 있으며, 인식된 번역단위는 버퍼에 저장되게 된다.
한편, 본 발명의 일 실시예에 따른 동시통역 방법은 번역단위 인식을 위한 학습모델(M1)과, 번역을 수행하기 위한 번역모델(M2)을 학습하기 위해, 번역단위 분할 정보와 문장단위 분할 정보 중 하나 이상을 포함하는 번역단위 대역 코퍼스(C2)를 생성할 수 있다.
이때, 번역단위 대역 코퍼스(C2)는 먼저 문장단위 대역 코퍼스(C1)에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하고, 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식한 다음, 단어정렬된 결과에 대하여 상기 인식된 번역단위를 기준으로 원문의 어순 및 상기 대역문의 어순 중 하나 이상을 조정함으로써 생성될 수 있다.
한편, 상술한 설명에서, 단계 S110 내지 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 12에서 이미 기술된 내용은 도 13의 동시통역 방법에도 적용될 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 동시통역 시스템
100: 마이크
200: 메모리
300: 프로세서
400: 출력부

Claims (17)

  1. 번역단위 대역 코퍼스를 이용하는 동시통역 시스템에 있어서,
    사용자의 발화를 입력받는 마이크,
    상기 사용자의 발화를 인식하여 번역 결과를 생성하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 입력된 사용자의 발화를 텍스트로 변환하여 음성인식 버퍼에 저장하고, 상기 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하며, 상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성하되,
    상기 프로세서는 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하고, 상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하며, 상기 단어정렬된 결과에 대하여 상기 인식된 번역단위마다 하나의 집합된 단위로 취합하도록 상기 대역문의 어순을 조정하되, 제1 번역단위에 대하여 분산된 번역결과를 취합하여 제1 집합단위로 취합되도록 어순을 조정하고, 상기 제1 번역단위에 연속되는 제2 번역단위에 대하여 분석된 번역결과를 취합하여 제2 집합단위로 취합되도록 어순을 조정하되, 이미 대역 부분이 하나로 취합된 경우 상기 대역문의 어순 조정을 종료하여 상기 번역단위 대역 코퍼스로 생성하는 것인 동시통역 시스템.
  2. 제 1 항에 있어서,
    상기 번역결과를 음성으로 출력하는 스피커 및 화면으로 출력하는 디스플레이 중 하나 이상을 포함하는 출력부를 더 포함하는 동시통역 시스템.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 문장단위 대역 코퍼스로부터 각 번역단위를 구분하기 위한 번역단위 분할 정보 및 각 문장을 구분하기 위한 문장단위 분할 정보 중 하나 이상을 포함하는 번역단위 대역 코퍼스를 생성하고, 상기 생성된 번역단위 대역 코퍼스에 기초하여 상기 번역단위 인식을 위한 학습모델 및 상기 번역모델을 학습하는 것인 동시통역 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 원문에 대하여 의존구조 파싱을 수행한 결과 중 동사 또는 명사의 의존부분트리의 단어 길이가 일정 단어 길이 이상인 경우, 해당 의존부분트리를 상기 번역단위로 인식하는 것인 동시통역 시스템.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 인식된 번역단위에 의해 생성되는 주변의 번역단위 길이가 일정 단어 미만인 경우, 현재 인식된 번역단위 후보를 배제하고, 더 나중에 위치한 의존부분트리를 번역후보인 번역단위로 인식하는 것인 동시통역 시스템.
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 어순이 조정된 대역문에 대응 가능한 어미를 생성하는 후처리 과정을 수행하여 상기 번역단위 대역 코퍼스를 생성하는 것인 동시통역 시스템.
  8. 제 3 항에 있어서,
    상기 프로세서는 상기 번역단위 분할 정보 및 문장단위 분할 정보에 기초하여 상기 음성인식 버퍼에 들어오는 단어 스트림에 대해 번역단위 분할점과 문장단위 분할점을 인식하고, 상기 번역단위 분할점과 문장단위 분할점에 의해 구분된 번역단위를 번역단위 버퍼에 추가하는 것인 동시통역 시스템.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 음성인식 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 현재 위치에 대한 상기 번역단위 분할점 및 문장단위 분할점을 인식하는 것인 동시통역 시스템.
  10. 번역단위 대역 코퍼스를 이용하는 동시통역 시스템에 있어서,
    사용자의 발화를 입력받는 마이크,
    상기 사용자의 발화를 인식하여 번역 결과를 생성하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 입력된 사용자의 발화를 문장 단위의 텍스트로 변환하여 음성인식 버퍼에 저장하고, 상기 문장 단위의 텍스트에 대하여 변역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하며, 상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성하되,
    상기 프로세서는 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하고, 상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하며, 상기 단어정렬된 결과에 대하여 상기 인식된 번역단위마다 하나의 집합된 단위로 취합되도록 상기 원문 및 대역문의 어순을 동시에 조정하되, 제1 번역단위에 대하여 분산된 번역결과를 취합하여 제1 집합단위로 취합되도록 어순을 조정하고, 상기 제1 번역단위에 연속되는 제2 번역단위에 대하여 분산된 번역결과를 취합하여 제2 집합단위로 취합하되도록 어순을 조정하되, 이미 대역 부분이 하나로 취합된 경우 상기 원문 및 대역문의 어순 조정을 종료하여 상기 번역단위 대역 코퍼스를 생성하는 것인 동시통역 시스템.
  11. 제 10 항에 있어서,
    상기 프로세서는 상기 대역문에 대하여 의존구조 파싱을 수행한 결과 중 명사 또는 동사에 의존하는 단어를 포함하는 의존부분트리의 단어 또는 어절의 길이가 일정 단어 길이 이상인 경우, 해당 의존부분트리를 번역단위로 인식하는 것인 동시통역 시스템.
  12. 제 11 항에 있어서,
    상기 프로세서는 상기 음성인식 버퍼에 들어오는 단어 스트림에 대해 번역단위 시작점 및 번역단위 종결점을 포함하는 번역단위 분할점과 문장단위 분할점을 인식하되,
    상기 음성인식 버퍼에 현재까지 입력된 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 현재 위치에 대한 상기 번역단위 종결점 및 문장단위 분할점을 인식하고,
    상기 번역단위 분할점을 끝점으로 하여 그 이전의 단어 정보 및 n개의 미리보기(look-ahead) 단어 정보에 기초하여 상기 번역단위 시작점을 인식하는 것인 동시통역 시스템.
  13. 제 12 항에 있어서,
    상기 프로세서는 잔여문장 중 상기 번역단위 종결점 및 번역단위 시작점에 기초하여 인식된 번역단위를 이전까지 인식된 번역단위 누적 결과에 추가하여, 현재까지 인식된 번역단위의 누적결과를 생성한 후, 상기 잔여문장에 대하여 상기 번역단위를 제거하는 것인 동시통역 시스템.
  14. 제 13 항에 있어서,
    상기 프로세서는 현재까지 인식된 번역단위의 누적결과에 대해 번역을 수행한 후, 이전까지 인식된 번역단위의 누적결과의 번역결과를 제거하여 현재 인식된 번역단위의 번역결과를 생성하는 것인 동시통역 시스템.
  15. 번역단위 대역 코퍼스를 이용한 동시통역 방법에 있어서,
    사용자의 발화를 입력받는 단계;
    상기 입력된 사용자의 발화를 텍스트로 변환하여 음성인식 버퍼에 저장하는 단계;
    문장단위 대역 코퍼스로부터 각 번역단위를 구분하기 위한 번역단위 분할 정보 및 각 문장을 구분하기 위한 문장단위 분할 정보 중 하나 이상을 포함하는 번역단위 대역 코퍼스를 생성하는 단계;
    상기 생성된 번역단위 대역 코퍼스에 기초하여 상기 문장 단위의 텍스트에 대하여 변역단위 인식을 위한 학습모델 및 번역모델을 학습하는 단계;
    상기 학습모델에 기초하여 번역단위 인식을 수행하는 단계 및
    상기 번역단위 인식이 완료됨에 따라 번역을 수행하기 위한 번역모델에 기초하여 상기 번역단위에 대응하는 번역결과를 생성하는 단계를 포함하되,
    상기 번역단위 대역 코퍼스를 생성하는 단계는,
    상기 문장단위 대역 코퍼스에 대하여 원문과 대역문 간의 대응되는 각 단어에 대한 단어정렬을 수행하는 단계;
    상기 단어정렬된 원문 및 대역문 중 하나 이상의 구문정보에 기초하여 번역단위를 인식하는 단계;
    상기 단어정렬된 결과에 대하여 상기 인식된 번역단위마다 하나의 집합된 단위로 취합되도록 상기 원문 및 대역문 중 하나 이상의 어순을 조정하되, 제1 번역단위에 대하여 분산된 번역결과를 취합하여 제1 집합단위로 취합되도록 어순을 조정하고, 상기 제1 번역단위에 연속되는 제2 번역단위에 대하여 분산된 번역결과를 취합하여 제2 집합단위로 취합하되도록 어순을 조정하되, 이미 대역 부분이 하나로 취합된 경우 상기 대역문의 어순 조정을 종료하여상기 번역단위 대역 코퍼스를 생성하는 단계를 포함하는 동시통역 방법.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 음성인식된 텍스트에 대하여 번역단위 인식을 위한 학습모델에 기초하여 번역단위 인식을 수행하는 단계는,
    상기 번역단위 분할 정보 및 문장단위 분할 정보에 기초하여 상기 음성인식 버퍼에 저장된 텍스트에 대한 번역단위 분할점과 문장단위 분할점 및 번역단위 시작점을 인식하고, 상기 번역단위 분할점과 문장단위 분할점 및 번역단위 시작점에 의해 구분된 번역단위를 번역단위버퍼에 추가하는 것인 동시통역 방법.
KR1020180144592A 2018-11-21 2018-11-21 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법 KR102592630B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180144592A KR102592630B1 (ko) 2018-11-21 2018-11-21 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법
US16/681,866 US11301625B2 (en) 2018-11-21 2019-11-13 Simultaneous interpretation system and method using translation unit bilingual corpus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144592A KR102592630B1 (ko) 2018-11-21 2018-11-21 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200059625A KR20200059625A (ko) 2020-05-29
KR102592630B1 true KR102592630B1 (ko) 2023-10-23

Family

ID=70727870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144592A KR102592630B1 (ko) 2018-11-21 2018-11-21 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법

Country Status (2)

Country Link
US (1) US11301625B2 (ko)
KR (1) KR102592630B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476039B (zh) * 2019-01-04 2023-06-30 深圳永德利科技股份有限公司 智能车载系统的即时语言翻译方法及相关产品
CN110334360B (zh) * 2019-07-08 2021-07-06 腾讯科技（深圳）有限公司 机器翻译方法及装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092363B1 (ko) 2008-12-22 2011-12-09 한국전자통신연구원 중한자동번역을 위한 한국어 연결어미 생성 방법 및 그 장치
US9830318B2 (en) 2006-10-26 2017-11-28 Facebook, Inc. Simultaneous translation of open domain lectures and speeches
US20180075023A1 (en) 2016-09-09 2018-03-15 Electronics And Telecommunications Research Institute Device and method of simultaneous interpretation based on real-time extraction of interpretation unit

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060116865A1 (en) * 1999-09-17 2006-06-01 Www.Uniscape.Com E-services translation utilizing machine translation and translation memory
KR100398344B1 (ko) 2000-05-13 2003-09-19 주식회사 전유시스템 분해적 표현에 의한 순차 통역식 영한번역 시스템
US7113903B1 (en) * 2001-01-30 2006-09-26 At&T Corp. Method and apparatus for providing stochastic finite-state machine translation
JP3973549B2 (ja) * 2002-12-19 2007-09-12 沖電気工業株式会社 対訳依存構造対応付け装置、方法及びプログラム、並びに、対訳依存構造対応付けプログラムを記録した記録媒体
CN101030197A (zh) * 2006-02-28 2007-09-05 株式会社东芝 双语词对齐方法和装置、训练双语词对齐模型的方法和装置
US9020804B2 (en) * 2006-05-10 2015-04-28 Xerox Corporation Method for aligning sentences at the word level enforcing selective contiguity constraints
US7725306B2 (en) * 2006-06-28 2010-05-25 Microsoft Corporation Efficient phrase pair extraction from bilingual word alignments
JP4481972B2 (ja) * 2006-09-28 2010-06-16 株式会社東芝 音声翻訳装置、音声翻訳方法及び音声翻訳プログラム
US20080154577A1 (en) * 2006-12-26 2008-06-26 Sehda,Inc. Chunk-based statistical machine translation system
US7983898B2 (en) * 2007-06-08 2011-07-19 Microsoft Corporation Generating a phrase translation model by iteratively estimating phrase translation probabilities
WO2009149549A1 (en) * 2008-06-09 2009-12-17 National Research Council Of Canada Method and system for using alignment means in matching translation
US20090326916A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Unsupervised chinese word segmentation for statistical machine translation
KR20100037813A (ko) * 2008-10-02 2010-04-12 삼성전자주식회사 통계적 자동 번역 장치 및 방법
US8374881B2 (en) * 2008-11-26 2013-02-12 At&T Intellectual Property I, L.P. System and method for enriching spoken language translation with dialog acts
KR101259558B1 (ko) 2009-10-08 2013-05-07 한국전자통신연구원 문장경계 인식 장치 및 방법
KR101747873B1 (ko) 2013-09-12 2017-06-27 한국전자통신연구원 음성인식을 위한 언어모델 생성 장치 및 방법
US9734820B2 (en) * 2013-11-14 2017-08-15 Nuance Communications, Inc. System and method for translating real-time speech using segmentation based on conjunction locations
CN104750687B (zh) * 2013-12-25 2018-03-20 株式会社东芝 改进双语语料库的方法及装置、机器翻译方法及装置
JP5850512B2 (ja) * 2014-03-07 2016-02-03 国立研究開発法人情報通信研究機構 単語アライメントスコア算出装置、単語アライメント装置、及びコンピュータプログラム
KR20160131730A (ko) 2015-05-08 2016-11-16 삼성전자주식회사 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체
KR20160133349A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 구 표 생성 방법 및 구 표를 이용한 기계 번역 방법
KR20170107808A (ko) * 2016-03-16 2017-09-26 이시용 원문문장을 번역 소단위들로 분할하고 소번역단위들의 번역어순을 결정하는 번역어순패턴 데이터 구조, 이를 생성하기 위한 명령어들을 저장한 컴퓨터 판독가능한 저장매체 및 이를 가지고 번역을 수행하는 컴퓨터 판독가능한 저장매체에 저장된 번역 프로그램
KR102564008B1 (ko) * 2016-09-09 2023-08-07 현대자동차주식회사 실시간 통역단위문 추출에 기반한 동시통역 장치 및 방법
KR20180047789A (ko) * 2016-11-01 2018-05-10 한국전자통신연구원 동시 통역/번역 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830318B2 (en) 2006-10-26 2017-11-28 Facebook, Inc. Simultaneous translation of open domain lectures and speeches
KR101092363B1 (ko) 2008-12-22 2011-12-09 한국전자통신연구원 중한자동번역을 위한 한국어 연결어미 생성 방법 및 그 장치
US20180075023A1 (en) 2016-09-09 2018-03-15 Electronics And Telecommunications Research Institute Device and method of simultaneous interpretation based on real-time extraction of interpretation unit

Also Published As

Publication number Publication date
US20200159822A1 (en) 2020-05-21
US11301625B2 (en) 2022-04-12
KR20200059625A (ko) 2020-05-29

Similar Documents

Publication Publication Date Title
US10755054B1 (en) Training statistical speech translation systems from speech
CN110364171B (zh) 一种语音识别方法、语音识别系统及存储介质
CN110534095B (zh) 语音识别方法、装置、设备以及计算机可读存储介质
KR102386854B1 (ko) 통합 모델 기반의 음성 인식 장치 및 방법
US20170372693A1 (en) System and method for translating real-time speech using segmentation based on conjunction locations
KR101762866B1 (ko) 구문 구조 변환 모델과 어휘 변환 모델을 결합한 기계 번역 장치 및 기계 번역 방법
Havard et al. Speech-coco: 600k visually grounded spoken captions aligned to mscoco data set
Bahl et al. Automatic recognition of continuously spoken sentences from a finite state grammer
CN111613215B (zh) 一种语音识别的方法及其装置
CN110740275B (zh) 一种非线性编辑系统
KR102094935B1 (ko) 음성 인식 시스템 및 방법
Schiel A statistical model for predicting pronunciation.
KR102592630B1 (ko) 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법
Yang et al. An automated analysis and indexing framework for lecture video portal
CN106550268B (zh) 视频处理方法和视频处理装置
JP6406988B2 (ja) 音声認識誤り修正装置
KR20120006906A (ko) 계층적 구문 기반의 통계적 기계 번역에서의 번역규칙 필터링과 목적단어 생성을 위한 방법 및 장치
KR100617318B1 (ko) 2단계 구문분석을 통한 자동 번역 장치 및 방법
US20200364402A1 (en) Method and apparatus for improved automatic subtitle segmentation using an artificial neural network model
KR102555698B1 (ko) 인공지능을 이용한 자동 자막 동기화 방법 및 장치
Siahbani et al. Simultaneous translation using optimized segmentation
JP2016045414A (ja) 音声認識誤り修正装置
CN114974222A (zh) 一种词汇拆分模型构建方法、语音识别模型构建方法
Jha et al. Spotting words in silent speech videos: a retrieval-based approach
KR20210133667A (ko) 코퍼스 구축 서비스 제공 서버 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant