KR20180047789A - 동시 통역/번역 장치 및 그 방법 - Google Patents

동시 통역/번역 장치 및 그 방법 Download PDF

Info

Publication number
KR20180047789A
KR20180047789A KR1020160144517A KR20160144517A KR20180047789A KR 20180047789 A KR20180047789 A KR 20180047789A KR 1020160144517 A KR1020160144517 A KR 1020160144517A KR 20160144517 A KR20160144517 A KR 20160144517A KR 20180047789 A KR20180047789 A KR 20180047789A
Authority
KR
South Korea
Prior art keywords
translation
unit
transition
sentence
text
Prior art date
Application number
KR1020160144517A
Other languages
English (en)
Inventor
노윤형
신종훈
황금하
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160144517A priority Critical patent/KR20180047789A/ko
Publication of KR20180047789A publication Critical patent/KR20180047789A/ko

Links

Images

Classifications

    • G06F17/289
    • G06F17/2705
    • G06F17/2755
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

동시 통역/번역 방법이 개시된다. 이 동시 통역/번역 방법은 사용자에 의해 발화된 음성을 인식하여 텍스트로 출력하는 단계; 상기 텍스트에 대해 형태소 분석 및 태깅을 수행하는 단계; 상기 형태소 분석 및 태깅 결과에 대해 전이-기반 파싱을 수행하여 문장단위를 인식하는 단계; 상기 전이-기반 파싱을 수행하는 동안 상기 전이-기반 파서의 전이 액션(transition action)에 의해 구성되는 스택(stack) 및 버퍼(buffer)로 이루어진 특정 형상(configuration)과 매칭되는 번역단위 인식패턴을 기반으로 번역단위를 인식하는 단계; 상기 인식된 번역단위에 대해 번역을 수행하여 번역결과를 생성하는 단계; 및 상기 생성된 번역결과를 텍스트 데이터 또는 음성 데이터로 변환하여 출력하는 단계를 포함한다.

Description

동시 통역/번역 장치 및 그 방법{APPARTUS AND METHOD FOR PROVIDING SIMULTANEOUS INTERPRETATION SERVICE AND TRANSLATION}
본 발명은 동시 통역/번역 서비스를 제공하는 장치 및 방법에 관한 것이다.
일반적으로, 동시 통역/번역 장치는 실시간으로 연속 발화되는 사용자의 음성을 인식하고 통역을 수행하는 기능을 제공한다.
이를 위하여, 동시 통역/번역 장치는 기존의 문장 단위로 입력되는 순차 통역에 비해, 연속 발화에 대해 문장 범위 인식 등과 같은 번역 단위를 인식하는 기능을 구비할 필요가 있다.
기존의 번역 단위를 인식하는 방법은 주로 문장 분할 알고리즘에 의해 문장 끝 위치를 추정하여 번역 단위를 인식하는데, 문장의 범위가 너무 길어지는 경우, 지나친 지연이 발생하기 때문에 부분 문장을 번역 단위로 인식하여 번역할 필요가 있다. 하지만, 기존의 방법으로는 부분 문장을 번역 단위로 인식하거나, 부분 문장을 번역하는 경우, 그 번역 결과가 불완전하거나 어색한 문제점이 있다.
전술한 종래의 문제점을 해결하기 위하여, 본 발명은 우수한 번역 단위 인식 기능과 부분 문장 번역 기능을 통해 고품질의 통역/번역 서비스를 제공하는 동시 통역/번역 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 동시 통역/번역 방법은 사용자에 의해 발화된 음성을 인식하여 텍스트로 출력하는 단계; 상기 텍스트에 대해 형태소 분석 및 태깅을 수행하는 단계; 상기 형태소 분석 및 태깅 결과에 대해 전이-기반 파싱을 수행하여 문장단위를 인식하는 단계; 상기 전이-기반 파싱을 수행하는 동안 상기 전이-기반 파서의 전이 액션(transition action)에 의해 구성되는 스택(stack) 및 버퍼(buffer)로 이루어진 특정 형상(configuration)과 매칭되는 번역단위 인식패턴을 기반으로 번역단위를 인식하는 단계; 상기 인식된 번역단위에 대해 번역을 수행하여 번역결과를 생성하는 단계; 및 상기 생성된 번역결과를 텍스트 데이터 또는 음성 데이터로 변환하여 출력하는 단계를 포함한다.
본 발명에 따르면, 연속 발화에 대해 큰 시간 지연 없이 자연스러운 동시 통역/번역이 가능한 이점이 있다. 즉, 본 발명은 문장의 전체를 분석한 결과에서 부분 문장을 인식하는 것이 아니라 전이-기반 파싱을 기반으로 문장의 일부로부터 부분 문장을 인식함으로써, 긴 문장의 번역시 발생하는 번역 지연을 줄일 수 있을 뿐만 아니라 관계절, 동사구 등에서 발생하는 번역 오류 및 부자연스러운 번역을 방지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 동시 통역/번역 장치의 각 기능을 블록도(functional block diagram)이다.
도 2는 도 1에 도시한 번역부의 일 실시 예에 따른 기능 블록도이다.
도 3은 도 1에 도시한 번역부의 다른 실시 예에 따른 기능 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 동시 통역/번역 방법의 흐름도이다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시 예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 동시 통역/번역 장치는 통역/번역 서비스를 제공하는 다양한 전자 장치에 탑재될 수 있다. 상기 전자 장치는, 예를 들면, 인공 지능을 구비한 로봇 장치일 수 있다. 또한, 상기 전자 장치는 통신 기능이 포함된 사용자 단말 또는 서버일 수 있다. 상기 사용자 단말은, 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 비디오 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 또는 스마트 와치(smart watch))일 수 있다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다.
도 1은 본 발명의 일 실시 예에 따른 동시 통역/번역 장치의 각 기능을 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 동시 통역/번역 장치는 음성 인식부(110), 형태소 태깅부(120), 문장단위 인식부(130), 번역단위 인식부(140), 번역부(150) 및 출력부(160)를 포함한다.
상기 음성 인식부(110)는, 음향모델, 언어모델 및 발음모델을 포함하는 음성인식 학습모델(112)를 참조하여, 사용자의 발화 음성을 인식하고, 그 음성 인식 결과에 대응하는 텍스트 문장을 출력한다.
상기 형태소 분석/태깅부(120)는, 형태소 태깅 학습모델(122)를 참조하여, 상기 텍스트 문장에 포함된 형태소들을 분석하고, 분석된 형태소들 각각에 가장 적합한 형태소 정보(어휘 정보, 품사 정보, 원형 정보 등)를 나타내는 기호를 라벨링(labeling)하는 태깅 작업을 수행한다.
상기 문장단위 인식부(130)는, 파싱 학습 모델(132)을 참조하여, 전이-기반 파서(transition-based parser)를 기반으로 상기 형태소 분석/태깅부(120)에서 처리한 태깅 결과(어휘 정보, 품사 정보, 원형 정보 등)에 대한 전이-기반 파싱(transition-based parsing) 작업을 수행한다. 즉, 상기 문장 단위 인식부(130)는 상기 전이-기반 파서를 기반으로 전이 액션(transition action)의 확장을 통하여 문장단위(또는 문장경계)를 동시에 인식한다.
상기 번역단위 인식부(140)는, 상기 전이-기반 파싱을 수행하는 동안 상기 전이-기반 파서의 전이 액션(transition action)에 의해 구성되는 스택(stack) 및 버퍼(buffer)로 이루어진 특정 형상(configuration)이 형성되면, 상기 형성된 특정 형상(configuration)과 매칭되는 번역단위 인식패턴을 번역단위 인식패턴 데이터베이스(142)에서 탐색하고, 탐색된 번역단위 인식 패턴을 기반으로 문장(또는 구문 트리)의 번역단위를 인식하는 작업을 수행한다.
상기 번역부(150)는, 번역지식 데이터베이스(152)를 참조하여, 상기 번역단위 인식부(140)에서 인식한 번역단위의 문장(또는 구문 트리)에 대한 번역결과를 생성한다. 상기 번역부(150)에 대한 설명은 도 2 및 3을 참조하여 아래에서 상세히 설명한다.
상기 출력부(160)는 표시화면과 같은 영상 출력 수단 및 스피커와 같은 음성 출력 수단과 연동하고, 상기 번역부(150)에서 생성한 상기 번역결과를 자막 데이터로 변환하여 상기 영상 출력 수단을 통해 출력한다. 또한, 상기 출력부(160)는, 음성 데이터가 저장된 음성 합성 모델(162)을 참조하여, 상기 번역부(150)에서 생성한 상기 번역결과와 상기 음성 데이터를 합성한 통역 결과를 상기 음성 출력 수단을 통해 출력한다.
도 2는 도 1에 도시한 번역부의 일 실시 예에 따른 기능 블록도이다.
도 2를 참조하면, 상기 번역결과를 생성하기 위해, 본 발명의 일 실시 예에 따른 상기 번역부(150)는 원문-to-원문 변형부(152) 및 번역단위 번역부(154)를 포함한다.
상기 원문-to-원문 변형부(151)는, 변형규칙 데이터베이스(152A)에 저장된 원문-to-원문 변형 규칙을 참조하여, 상기 번역단위 인식부(140)에서 번역단위로 인식한 원문(문장)을 짧은 부분 원문(부분 문장)으로 분리하여 독립된 문장으로 변형한다. 여기서, 상기 원문-to-원문 변형 규칙은 긴 장문의 문장을 짧은 부분 문장으로 분리하되, 분리된 문장을 자연스럽게 연결할 수 있게 변형시키는 규칙을 의미한다. 즉, 상기 원문-to-원문 변형부(152)는 상기 원문-to-원문 변형 규칙에 따라, 긴 장문의 원문(문장 또는 구문)을 짧은 부분 원문(부분 구문 또는 부분 문장)으로 분리하되, 분리된 문장을 자연스럽게 연결될 수 있도록 변형한다.
상기 번역단위 번역부(153)는, 상기 번역지식 데이터베이스(152)를 참조하여, 상기 원문-to-원문 변형부(151)에 의해 변형된 문장을 기계 번역으로 번역하여, 상기 번역결과를 생성한다.
이와 같이, 본 발명의 일 실시 예에 따른 번역부(150)는, 상기 원문-to-원문 변형 규칙에 따라, 긴 장문의 문장을 짧은 부분 문장으로 분리하되, 분리된 문장을 자연스럽게 연결될 수 있도록 변형하여 그 결과에 대해 일반 번역기(기계 번역기)를 통해 번역을 하더라도 매끄러운 번역결과가 생성될 수 있다.
예를 들어, "requires laying out in excruciating detail every single step that you want the computer to do to achieve your goal."의 경우, "…step/ that …"에서 번역단위의 인식이 이루어진다면, 상기 원문-to-원문 변형 규칙에 따라 "requires laying out in excruciating detail every single step"을 it requires laying out in excruciating detail every single step"로 변형하고('it'을 추가하는 변형규칙의 예), "that you want the computer to do to achieve your goal"을 "it is the step that you want the computer to do to achieve your goal"로 변형하면('it is the step'을 추가하는 변형규칙의 예), 일반 번역기(기계 번역기)로 변형된 결과를 번역하여 연결하더라도 자연스러운 번역결과를 얻을 수 있다.
도 3은 도 1에 도시한 번역부의 다른 실시 예에 따른 기능 블록도이다.
도 3을 참조하면, 상기 번역결과를 생성하기 위해, 본 발명의 다른 실시 예에 따른 상기 번역부(150)는 변환부(155) 및 생성부(157)을 포함한다.
상기 변환부(155)는, 변환패턴 데이터베이스(152B)에서 매칭되는 변환패턴을 통해 소스원어에서 목적언어로 문장구조를 변환한다.
상기 생성부(157)는 상기 변환부(155)에서 수행한 변환결과에 대해 생성지식 데이터베이스(152C)를 참조하여 입력된 어휘를 대상으로 기능어를 생성하고, 어휘간 활용처리를 수행하여 최종 번역결과를 출력한다.
이러한 본 발명의 다른 실시 예에 따른 번역부(150)는 전술한 문장단위 인식부(130)에서 수행한 전이-기반 파싱에 의해 이미 번역단위(또는 번역범위)에 대한 구문 파싱 결과를 알고 있기 때문에, 직접 변환 방식의 번역이 이루어질 수 있다. 이 경우 변환 패턴에 순차식 번역이 되도록 패턴을 기술하여 자연스러운 번역이 될 수 있도록 할 수 있다.
이하, 실제 예문을 통해, 본 발명의 일 실시 예에 따른 동시 통역/번역 장치의 동작 과정에 대해 더욱 상세히 설명하기로 한다.
1 음성인식(음성 인식부(110)의 수행작업)
음성인식에 오류가 없는 것으로 가정하고, 아래의 표 1과 같은 음성인식 결과를 가정한다.
음성인식 결과
"it used to be that if you wanted to get a computer to do something new you would have to program it now programming for those of you here that haven't done it yourself requires laying out in excruciating detail every single step that you want the computer to do in order to achieve your goal now if you want to do ..."
2. 태깅 결과(형태소 분석/ 태깅부(120)의 수행작업)
위의 표 1의 음성인식 결과에 대한 태깅 결과는 아래의 표2와 같다.
태깅 결과
"it/PRP used/VBD to/TO be/VB that/CONJ if/CONJ you/PRP wanted/VBD to/TO get/VB a/DT computer/NN to/TO do/VB something/PRP new/JJ you/PRP would/MD have/VB to/TO program/VB it/PRP now/RB programming/VBG for/IN those/PRP of/IN you/PRP here/RB that/CONJ have/VBP not/RB done/VBN it/PRP yourself/JJ requires/VBZ laying/NN out/IN/RB in/IN excruciating/JJ detail/NN every/JJ single/JJ step/NN that/CONJ you/PRP want/VBP the/DT computer/NN to/TO do/VB in/IN order/NN to/TO achieve/VB your/PRP$ goal/NN now/RB if/ CONJ you/PRP want/VBP to/TO do/VB ?"
(이하, 설명의 간략화를 위해, 품사는 필요한 경우만 표시하기로 한다.)
3. 문장단위 인식(문장단위 인식부(130)의 수행작업)
전이-기반 파서의 전이 액션은 다음과 같이 구분될 수 있다.
A = {LeftArc, Reduce, Shift, Shift_Seg, RightArc, RightArc_Seg} (간략화를 위해 LeftArc, RightArc, RightArc_Seg 에서 dependency label에 따른 구분은 하지 않음)
위에서 Shift_Seg, RightArc_Seg로 분류되는 경우 문장 경계를 의미하고, 문장 분할을 수행한다. 즉, Shift_Seg, RightArc_Seg는 문장 분할점으로 인식된다.
전이-기반 파서는 크게 스택(Stack: S)과 버퍼(Buffer: B)의 자료구조를 포함한다. 스택(S)과 버퍼(B)는 각 전이 액션에 따라 다음과 같은 상태 변화를 갖게 된다.
LeftArc : ( […i],[ j…]) => ( […],( i)[j…])
위에서 ([…i],[j…])는 스택(S) 및 버퍼(B)를 나타냄, 첫 번째 […]는 스택, 두 번째 […]는 버퍼, 기본적으로 버퍼(B)는 입력문장에 대한 단어를 포함하고 있으며, 위에서 (i)의 ()는 ()가 없는 옆 단어의 dependent임을 의미한다. 예를 들어, (i)j인 경우, j는 i의 헤드(head)가 된다.
따라서 위 LeftArc의 액션이 수행된 경우는 스택(S)의 top에 있는 단어를 버퍼(B)의 맨 앞에 있는 단어의 dependent로 이동시킴을 의미한다. 하지만, 버퍼에는 포함되지 않는다.
RightArc : ( […i],[ j…]) => ( […i(j)],[ …])
위의 전이 액션은 버퍼의 맨 앞 단어를 스택의 top에 있는 단어의 dependent로 이동함을 의미한다.
③ Reduce: ( […i(j)],[ …]) => ( […i](j),[ …])
위의 전이 액션은 스택의 top에 있는 단어를 스택에서 제거함을 의미한다.
④ Shift: ( […],[ i…]) => ( […i],[ ?])
위의 전이 액션은 버퍼의 맨 앞에 있는 단어를 스택의 top으로 이동함을 의미한다. 간략화를 위해 label정보는 생략한다. 위 전이 액션에 따라서 다음과 같이 전이-기반 파싱을 수행한다.
⑤ 전이-기반 파싱 수행
[root], [it,used,to, …]
Shift [root,it], [used,to,be,…]
LeftArc [root], (it)[used,to,be,…]
Shift [root,(it)used], [to,be,that,…]
RightArc [root,(it)used(to)], [be,that,if,…]
RightArc [root,(it)used(to(be))], [that,if,you,…]
RightArc [root,(it)used(to(be(that)))], [if,you,wanted…]
4. 번역단위 인식 패턴 매칭(번역단위 인식부(140)의 수행작업)
[ root,(it)used(to(be (that)))], [*] -> [root], [*]
번역단위 인식 패턴은 스택 및 버퍼의 형상(configuration)에 대한 패턴으로 부분 트리의 리스트 및 단어열로 구성된다. 위 패턴이 현재의 스택 및 버퍼의 구성(configuration)과 매칭되는 경우 번역단위로 인식을 하고 화살표 오른쪽 형태로 스택 및 버퍼를 변형시킨다. 위의 경우 root를 제외하고는 스택에서 부분 트리들('(it)used(to(be(that)))')을 제거하라는 의미이다.
5. 번역부
5.1) 번역방법1 (도 2의 실시 예): 원문을 변형하고 기존의 기계번역기를 수행하여 번역결과 생성
원문-to-원문 변형: { (it)used(to(be(that))) -> in the past }
번역할 원문: 'in the past'
번역결과: '예전에는'
5.2) 번역방법2 (도 3의 실시 예): 현재의 의존 트리에 대해 직접 변환 및 생성을 수행하여 번역결과 생성
변환패턴: { (it)used(to(be(that))) -> 예전에는 }
번역결과: '예전에는'
6 전이기반 파싱 재수행
[root], [if,you,wanted…]
Shift [root,if], [you,wanted,to…]
Shift [root,if,you], [wanted,to,get,…]
LeftArc [root,if], (you)[wanted,to,get…]
RightArc [root,if((you)wanted)], [to,get,a,…]
[root,if/CONJ((you)wanted(to(get((a)computer)(to(do(something(new)))))))], [you,would,have,…]
7 번역단위 인식 패턴 매칭: [ root,CONJ ], [*] -> [root], [*]
위의 경우, 스택에 종속접속사(CONJ)만 존재하기 때문에, 부사절이 인식된 경우를 의미한다.
8 번역부
8.1) 번역방법1 (도 2의 실시 예)
① 원문 to 원문 변형: { CONJ -> CONJ }
② 번역할 원문: if you wanted to get a computer to do something new
③ 번역: 당신이 컴퓨터가 새로운 것을 하기 원한다면
8.2) 번역방법2 (도 3의 실시 예)
변환패턴
{ if (V) -> V+ㄴ다면 }
{ (N) want (to (V)) -> N:가 V기 원한다면 }
생성: '당신이 컴퓨터가 새로운 것을 하기 원한다면'
9 전이 -기반 파싱 재수행
[root], [you,would,have,…]
Shift [root,you], [would,have,to,…]
[root,(you)would(have(to(program)))] [it,now,programming,…]
RightArc_Seg [root,(you)would/MD(have(to(program(it))))] [now,programming,for,…] -> 문장 경계 인식, 문장 경계 인식인 경우, 번역단위 인식이 자동 수행
10 번역부
10.1) 번역방법1
원문 to 원문 변형: { MD -> MD }
번역할 원문: you would have to program it
번역결과: 당신이 그것을 프로그램해야 할 것이다.
10.2) 번역방법2
변환패턴
{ (N) MD (V) -> N:가 V:ㄹ_것이 }
{ have (to V) -> V:해야_하 }
생성: 당신이 그것을 프로그램 해야 할 것이다.
문장경계 인식인 경우 자동으로 스택을 초기화 함(->[root])
now programming for those of you here that haven't done it yourself requires laying out in excruciating detail every single step that you want the computer to do in order to achieve your goal now if you want to do
now:1 programming:2 for:3 those:4 of:5 you:6 here:7 that:8 have:9 n't:10 done:11 it:12 yourself:13 requires:14 laying:15 out:16 in:17 excruciating:18 detail:19 every:20 single:21 step:22 that:23 you:24 want:25 the:26 computer:27 to:28 do:29 in:30 order:31 to:32 achieve:33 your:34 goal:35 now:36 if:37 you:38 want:39 to:40 do:41 …
동일한 과정으로 문장경계인식 및 번역단위 인식, 번역 과정을 반복하며, 이러한 과정에서 위 예문의 경우 다음과 같은 위치에서 번역단위 매칭이 발생한다.
[root,(now)(programming(for(those(of(you(here)(that(have(n't)(done(it)(yourself)))))))))requires] [laying,out,in,…]
번역단위 인식 패턴 매칭: [root,(RB)(NN[length>[10])VBP] -> [root,VBP]
위 패턴은 본동사의 주어의 길이가 특정 길이이상으로 긴 경우 번역단위로 인식하라는 의미이다.
11 번역부
11.1) 번역방법1
원문 to 원문 변형: { (RB) (NN) VBP -> RB NN }
번역할 원문: now programming for those of you here that haven't done it yourself
번역: 현재 직접 그것을 하지 않았던 여기 있는 당신들에게 있어서 프로그래밍
11.2) 번역방법2
변환패턴
{ (RB) (NN) VBP -> RB NN:가 }
{ NN (for (PRP)) -> PRP:에_있어서 }
생성: 현재 직접 그것을 하지 않았던 여기 있는 당신들에게 있어서 프로그래밍이
12 전이기반 파싱 수행
[root,requires(laying(out)(in((excruciating)detail))((every)(single)step))], [that,you,want,…]
RightArc
[root,requires(laying(out)(in((excruciating)detail))((every)(single)step(that)))], [you,want,…]
13 번역단위 인식 패턴 매칭: [ root,V(N(that)) ], [*] -> [ root,N(that) ], [*]
위 패턴은 목적어가 관계절 수식을 받는 경우 번역단위로 인식하고, 스택에서 선행사를 제외한 구조를 제거한다는 의미이다.
14 번역부
14-1) 번역방법1
원문 to 원문 변형: { V(N(that)) -> (it)V(N) }
위 패턴은 it를 추가하고, that을 제거하라는 의미임
번역할 원문: it requires laying out in excruciating detail every single step
번역: 그것은 극도로 상세하게 모든 각 단계를 설계하는 것을 요구한다.
14.2) 번역방법2
변환패턴
{ require (VBG) -> VBG:는_것을 요구하 }
{ lay out (NN) -> NN:를 설계하 }
{ N (that) -> N }
생성: 극도로 상세하게 모든 각 단계를 설계하는 것을 요구한다.
15 전이기반 파싱 수행
[root,(every)(single)step(that)], [you,want,the,…]
[root,(every)(single)step(that(you)want((the)computer)(to(do(in(order(to(achieve))))))], (your)[goal,now,if,you,…]
RightArc_Seg [root,(every)(single)step(that(you)want((the)computer)(to(do(in(order(to(achieve((your)goal))))))))], [now,if,you,…]
문장 경계점 인식 및 번역단위 인식
16 번역부
15.1) 번역방법1
원문 to 원문 변형: { N(that)) -> it is N(that)) }
위 패턴은 "it is"를 추가하라는 의미임
번역할 원문: it is every single step that you want the computer to do in order to achieve your goal
번역: 그것은 당신의 목적을 달성하기 위해 컴퓨터가 하기 원하는 모든 각 단계이다.
15.2) 번역방법2
변환패턴
{ NN (that) -> 그것은 that:는 NN이 }
{ (N1) want (N2) (to V) -> N1:가 N2:가 V:기 원하 }
생성: 그것은 당신의 목적을 달성하기 위해 컴퓨터가 하기 원하는 모든 각 단계이다.
도 4는 본 발명의 일 실시 예에 따른 동시 통역/번역 방법의 흐름도이다.
도 4를 참조하면, 먼저, 단계 S410에서, 사용자에 의해 발화된 음성을 인식하여 텍스트로 출력하는 과정이 수행된다.
단계 S420에서, 상기 텍스트에 대해 형태소 분석 및 태깅을 수행하는 과정이 수행된다.
단계 S430에서, 형태소 분석 및 태깅 결과에 대해 전이-기반 파싱을 수행하여 문장단위를 인식하는 과정이 수행된다.
단계 S440에서, 상기 전이-기반 파싱을 수행하는 동안 상기 전이-기반 파서의 전이 액션(transition action)에 의해 구성되는 스택(stack) 및 버퍼(buffer)로 이루어진 특정 형상(configuration)과 매칭되는 번역단위 인식패턴을 기반으로 번역단위를 인식하는 과정이 수행된다.
단계 S450에서, 상기 인식된 번역단위에 대해 번역을 수행하여 번역결과를 생성하는 과정이 수행된다.
단계 S460에서, 상기 생성된 번역결과를 텍스트 데이터 또는 음성 데이터로 변환하여 출력하는 과정이 수행된다.
이상 설명한 바와 같이, 본 발명은 전이-기반 파싱을 기반으로 문장의 전체를 분석한 결과에서 부분 문장을 인식하는 것이 아니라 문장의 일부로부터 부분 문장을 인식함으로써, 긴 문장의 번역시 발생하는 번역 지연을 줄일 수 있고, 관계절, 동사구 등에서 발생하는 번역 오류 및 부자연스러운 번역을 방지할 수 있다.
한편, 본 발명의 일 실시 예에 따른 동시 통역/번역 장치를 나타내는 도 1 내지 3의 블록도는 본 발명의 원리를 기능적 관점에서 구체화한 것으로 이해해야 한다. 이와 유사하게, 도 4의 순서도는 컴퓨터가 판독 가능한 매체에 프로그램 형태로 저장될 수 있고, 도면에 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부와 관계없이, 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
도 1 내지 3의 블록들과 도 4의 순서도가 프로세서에 의해 구현될 때, 도 1 내지 3에 도시된 블록들의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지 관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환할 수 있을 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

  1. 사용자에 의해 발화된 음성을 인식하여 텍스트로 출력하는 단계;
    상기 텍스트에 대해 형태소 분석 및 태깅을 수행하는 단계;
    상기 형태소 분석 및 태깅 결과에 대해 전이-기반 파싱을 수행하여 문장단위를 인식하는 단계;
    상기 전이-기반 파싱을 수행하는 동안 상기 전이-기반 파서의 전이 액션(transition action)에 의해 구성되는 스택(stack) 및 버퍼(buffer)로 이루어진 특정 형상(configuration)과 매칭되는 번역단위 인식패턴을 기반으로 번역단위를 인식하는 단계;
    상기 인식된 번역단위에 대해 번역을 수행하여 번역결과를 생성하는 단계; 및
    상기 생성된 번역결과를 텍스트 데이터 또는 음성 데이터로 변환하여 출력하는 단계
    를 포함하는 동시 통역/번역 방법.
KR1020160144517A 2016-11-01 2016-11-01 동시 통역/번역 장치 및 그 방법 KR20180047789A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160144517A KR20180047789A (ko) 2016-11-01 2016-11-01 동시 통역/번역 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160144517A KR20180047789A (ko) 2016-11-01 2016-11-01 동시 통역/번역 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180047789A true KR20180047789A (ko) 2018-05-10

Family

ID=62185123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160144517A KR20180047789A (ko) 2016-11-01 2016-11-01 동시 통역/번역 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180047789A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059625A (ko) * 2018-11-21 2020-05-29 한국전자통신연구원 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200059625A (ko) * 2018-11-21 2020-05-29 한국전자통신연구원 번역단위 대역 코퍼스를 이용하는 동시통역 시스템 및 방법
US11301625B2 (en) 2018-11-21 2022-04-12 Electronics And Telecommunications Research Institute Simultaneous interpretation system and method using translation unit bilingual corpus

Similar Documents

Publication Publication Date Title
WO2020220539A1 (zh) 数据增量方法、装置、计算机设备及存储介质
KR101762866B1 (ko) 구문 구조 변환 모델과 어휘 변환 모델을 결합한 기계 번역 장치 및 기계 번역 방법
US7860719B2 (en) Disfluency detection for a speech-to-speech translation system using phrase-level machine translation with weighted finite state transducers
JP4439431B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
KR20170022445A (ko) 통합 모델 기반의 음성 인식 장치 및 방법
KR20190062274A (ko) 응답문 생성 장치, 방법 및 프로그램, 그리고 음성 대화 시스템
JPWO2017061027A1 (ja) 言語モデル生成装置、言語モデル生成方法とそのプログラム
CN104899192B (zh) 用于自动通译的设备和方法
Vinnarasu et al. Speech to text conversion and summarization for effective understanding and documentation
CN112562640B (zh) 多语言语音识别方法、装置、系统及计算机可读存储介质
JP2012083543A (ja) 言語モデル生成装置、その方法及びそのプログラム
CN110852075B (zh) 自动添加标点符号的语音转写方法、装置及可读存储介质
CN111508466A (zh) 一种文本处理方法、装置、设备及计算机可读存储介质
CN116797695A (zh) 一种数字人与虚拟白板的交互方法、系统及存储介质
KR20010031659A (ko) 자연 언어 처리 장치 및 방법
JP2012037790A (ja) 音声対話装置
CN106844357B (zh) 大句库翻译方法
CN106710587A (zh) 一种语音识别数据预处理方法
KR20180047789A (ko) 동시 통역/번역 장치 및 그 방법
Gu et al. Concept-based speech-to-speech translation using maximum entropy models for statistical natural concept generation
KR20120045906A (ko) 코퍼스 오류 교정 장치 및 그 방법
CN115019787A (zh) 一种交互式同音异义词消歧方法、系统、电子设备和存储介质
KR101982490B1 (ko) 문자 데이터 변환에 기초한 키워드 검색 방법 및 그 장치
Milhorat et al. What if everyone could do it? a framework for easier spoken dialog system design
Sarkar et al. Modeling pauses for synthesis of storytelling style speech using unsupervised word features