KR102519618B1 - 단대단 신경망 번역 시스템 및 그 방법 - Google Patents

단대단 신경망 번역 시스템 및 그 방법 Download PDF

Info

Publication number
KR102519618B1
KR102519618B1 KR1020190156748A KR20190156748A KR102519618B1 KR 102519618 B1 KR102519618 B1 KR 102519618B1 KR 1020190156748 A KR1020190156748 A KR 1020190156748A KR 20190156748 A KR20190156748 A KR 20190156748A KR 102519618 B1 KR102519618 B1 KR 102519618B1
Authority
KR
South Korea
Prior art keywords
translation
network
neural network
read
language
Prior art date
Application number
KR1020190156748A
Other languages
English (en)
Other versions
KR20210067293A (ko
Inventor
이요한
김영길
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190156748A priority Critical patent/KR102519618B1/ko
Priority to US17/104,381 priority patent/US20210165976A1/en
Publication of KR20210067293A publication Critical patent/KR20210067293A/ko
Application granted granted Critical
Publication of KR102519618B1 publication Critical patent/KR102519618B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

본 발명은 실시간 통번역을 위한 단대단 신경망 번역 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 단대단 신경망 번역 방법은 READ 토큰을 포함하여 단대단 신경망 번역 네트워크 학습을 수행하는 단계와, 실제 분절점의 위치를 학습하기 위해 행동 네트워크 학습을 수행하는 단계 및 단대단 신경망 번역 네트워크 및 행동 네트워크에 대한 전체 네트워크 재학습을 수행하는 단계를 포함하는 것을 특징으로 한다.

Description

단대단 신경망 번역 시스템 및 그 방법{SYSTEM AND METHOD FOR END TO END NEURAL MACHINE TRANSLATION}
본 발명은 실시간 통번역을 위한 단대단 신경망 번역 시스템 및 그 방법에 관한 것이다.
단대단 신경망 번역 모델(End-to-end neural machine translation)은 제 1 언어 문장을 제 2 언어 문장으로 번역하기 위해서, 제 1 언어 문장이 끝까지 입력된 후 제 2 언어 토큰(단어)을 하나씩 생성하여 제 2 언어 문장을 완성한다.
이러한 종래 기술에 따른 신경망 번역 모델은 문장 발화가 끝날 때까지 기다려야 하므로, 회의나 강연과 같이 실시간 통번역이 필요한 상황에서 활용되기 어려운 문제점이 있다.
따라서 실시간 통번역을 위한 단대단 신경망 번역 모델은 문장 단위의 번역이 아닌 적절한 의사 소통 단위의 번역을 수행하여야 한다.
의사소통 단위의 번역은 제 1 언어 문장 발화가 끝나기 이전에 의미가 형성되는 시점에서 번역을 출력한 후, 다시 의사 소통 가능한 의미가 형성될 때까지 제 1 언어 토큰 단어를 입력 받고 이에 대한 번역을 출력하는 과정으로 이루어진다.
단대단 신경망 번역 모델을 학습하기 위한 데이터는 문장 단위로 구성 되기 때문에, 이로부터 의사 소통 단위의 번역을 학습하기 위해서는 신경망 번역 모델의 개선이 필요하다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 회의나 강연과 같은 실시간 통번역이 요구되는 상황에서, 의사 소통 단위의 번역을 수행하는 단대단 신경망 번역 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 단대단 신경망 번역 시스템은 제1 언어 입력 토큰을 수신하는 입력부와, 제1 언어 입력 토큰에 대한 실시간 통번역 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 번역 네트워크와 행동 네트워크의 출력을 조합하여 의사 소통 단위의 최종 번역 결과를 구성하는 것을 특징으로 한다.
본 발명에 따른 단대단 신경망 번역 방법은 READ 토큰을 포함하여 단대단 신경망 번역 네트워크 학습을 수행하는 단계와, 실제 분절점의 위치를 학습하기 위해 행동 네트워크 학습을 수행하는 단계 및 단대단 신경망 번역 네트워크 및 행동 네트워크에 대한 전체 네트워크 재학습을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 회의나 강연과 같이 발화의 완료 이전에 번역문을 출력해야 하는 실시간 통번역 상황에 적합한 단대단 신경망 번역 시스템 및 방법을 제공하는 효과가 있다.
본 발명의 실시예에 따르면, 실시간 통번역 상황과 유사한 방식으로 학습되는 번역 네트워크와, 번역 네트워크의 내부 상태 및 보상 함수로부터 적절한 분절점을 학습하는 행동 네트워크로 구성되어, 실시간 통번역 상황에서 종래의 신경망 번역 모델에 비해 상대적으로 적은 지연 시간을 가지고, 보다 높은 번역 성능을 보장하는 것이 가능하다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 실시예에 따른 단대단 신경망 번역 시스템을 도시한다.
도 3은 본 발명의 실시예에 따른 단대단 신경망 번역 방법을 도시한다.
도 4는 본 발명의 실시예에 따른 신경망 번역 시스템에서 출력한 행동 시퀀스에 대한 보상을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
종래 기술에 따른 단대단 신경망 번역 모델은 제 1언어 문장이 끝까지 입력된 후 제 2언어 문장을 출력하기 때문에, 실시간 통번역 상황에서 높은 지연 시간을 가지고, 지연 시간을 줄이기 위해 제 1언어 문장이 완성되기 전에 번역을 하는 경우에는 학습 상황과 추론 상황이 달라짐에 따라 번역 성능이 크게 떨어지는 문제점이 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 의사 소통 단위의 번역을 수행하는 단대단 신경망 번역 시스템 및 방법을 제안하며, 이를 위해 단대단 신경망 번역 네트워크 및 의사 소통 단위 학습을 위한 행동 네트워크로 구성된 단대단 신경망 번역 시스템을 제안한다.
신경망 번역 시스템을 학습하기 위해서는 제 1 언어 텍스트 및 제2 언어 텍스트로 이루어진 문장 단위의 병렬 말뭉치가 필요하다.
실제 환경에서 통번역 서비스를 제공하기 위해서는, 음성 인식 모듈이 실시간으로 발화되는 음성 신호를 텍스트로 변환하고, 신경망 번역 시스템은 이를 의사 소통 단위로 번역한 텍스트를 음성 합성 모듈을 통해 음성으로 출력한다.
도 1 및 도 2는 본 발명의 실시예에 따른 단대단 신경망 번역 시스템을 도시한다.
본 발명에 따른 단대단 신경망 번역 시스템(100)은 제1 언어 입력 토큰을 수신하는 입력부(110)와, 제1 언어 입력 토큰에 대한 실시간 통번역 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하되, 프로세서(130)는 번역 네트워크와 행동 네트워크의 출력을 조합하여 의사 소통 단위의 최종 번역 결과를 구성하는 것을 특징으로 한다.
번역 네트워크는 주의 집중 메커니즘이 결합된 인코더-디코더 구조를 가지고, 학습 데이터의 제2 언어 문장의 임의의 위치에 READ 토큰을 추가하여 행동 시퀀스를 생성한다.
행동 네트워크는 현재까지 입출력된 번역 정보를 기초로 제1 언어 입력 토큰을 더 읽을지 또는 제2 언어 출력 토큰을 생성할지 여부를 결정한다.
프로세서(130)는 행동 네트워크를 통해 실시간 통번역에서 발생하는 실제 분절점의 위치를 학습하고, 제2 언어 문장 및 제2 언어 토큰 시퀀스를 이용한 보상 함수를 갖는 강화 학습을 통해 행동 네트워크의 학습을 수행한다.
행동 네트워크는 문맥 상태 벡터 및 은닉 상태 벡터를 이용하여 READ 행동에 대한 확률을 출력하고, 프로세서(130)는 출력 토큰 생성 확률 분포, READ 행동에 대한 델타 확률 분포 및 READ 행동, WRITE 행동에 대한 확률을 이용하여 최종 토큰 생성 확률 분포를 계산한다.
신경망 번역 시스템을 구성하는 단대단 신경망 번역 네트워크는 최근 단대단 신경망 구조로 가장 많이 사용되는 주의 집중 메커니즘이 결합된 인코더-디코더 구조를 가진다.
행동 네트워크는 현재까지 입출력된 번역 정보를 토대로 제 1 언어 입력 토큰을 더 읽을지(READ) 또는 제2 언어 출력 토큰을 생성할지(WRITE)를 결정한다.
현재까지의 입출력 번역 정보는 단대단 신경망 번역 네트워크의 인코더 문맥 상태 벡터(context vector)와 디코더 은닉 상태 벡터(hidden state vector)로 나타낼 수 있고, 행동 네트워크는 이를 입력 받아 현재 디코딩 스텝에서 READ 행동을 할 확률을 출력하는 심층 신경망 또는 순환 신경망 등의 신경망 네트워크로 구성될 수 있다.
WRITE 행동에 대한 확률은 1-READ 행동 확률이다.
도 2를 참조하면, 신경망 번역 모델은 입력 버퍼(201)의 제1 언어 토큰 (x1, x2, x3)을 인코더 네트워크(202)를 통해 은닉 상태로 표현하고, 이를 디코더 네트워크(204)의 은닉 상태와 주의 집중 메커니즘 연산을 거쳐 현재의 문맥 상 태 벡터(context vector)를 생성한다.
행동 네트워크(210)는 계산된 문맥 상태 벡터와 디코더의 은닉 상태 벡 터를 입력으로 받아, READ 행동에 대한 확률(pREAD)을 출력한다.
매 디코딩 스텝의 출력 토큰에 대한 생성 확률 분포는 해당 스텝의 디코더의 은닉 상태로부터 계산된다.
출력 토큰은 사전에 정의된 제2 언어 토큰들과 READ 토큰으로 구성된다.
신경망 번역 네트워크에서 계산된 출력 토큰 생성 확률 분포와 READ 행동에 대한 델타 확률 분포에 WRITE/READ 행동에 대한 확률을 가중치 합하여 최종 토큰 생성 확률 분포(203)를 계산한다.
[수학식 1]
Figure 112019123476377-pat00001
[수학식 1]에서
Figure 112019123476377-pat00002
은 READ 토큰에 대한 델타 확률 분포를 의미한다.
최종 토큰 생성 확률 분포(203)에서 READ 토큰의 생성 확률이 가장 크다면, 새롭게 입력된 제1 언어 토큰을 입력 버퍼(201)에 추가한다.
최종 토큰 생성 확률 분포(203)에서 제2 언어 토큰의 생성 확률이 가장 크다면 출력 토큰을 출력 버퍼(205)에 저장한 후 다음 디코딩 스텝에서 동일한 과정을 진행한다.
도 3은 본 발명의 실시예에 따른 단대단 신경망 번역 방법을 도시한다.
본 발명에 따른 단대단 신경망 번역 방법은 READ 토큰을 포함하여 단대단 신경망 번역 네트워크 학습을 수행하는 단계(S310)와, 실제 분절점의 위치를 학습하기 위해 행동 네트워크 학습을 수행하는 단계(S320) 및 단대단 신경망 번역 네트워크 및 행동 네트워크에 대한 전체 네트워크 재학습을 수행하는 단계(S330)를 포함하는 것을 특징으로 한다.
S310 단계는 주의 집중 메커니즘이 결합된 인코더-디코더 구조를 가지는 단대단 번역 네트워크 학습을 수행한다.
S310 단계는 학습 데이터의 제2 언어 문장의 임의의 위치에 READ 토큰의 수를 제1 언어 문장 길이만큼 추가하여 행동 시퀀스를 생성한다.
S320 단계는 입출력 번역 정보를 기초로 제1 언어 입력 토큰을 더 읽을지 또는 제2 언어 출력 토큰을 생성할지 여부를 결정한다.
입출력 번역 정보는 단대단 신경망 번역 네트워크의 인코더 문맥 상태 벡터 및 디코더 은닉 상태 벡터로 표현된다.
S320 단계는 출력 토큰 생성 확률 분포를 고정하고 READ 행동에 대한 확률을 학습한다.
S320 단계는 제2 언어 문장 및 제2 언어 토큰 시퀀스를 이용한 강화 학습을 통해 상기 행동 네트워크 학습을 수행한다.
S330 단계는 출력 토큰 생성 확률 분포 및 READ 행동에 대한 확률을 동시에 학습한다.
종래의 단대단 신경망 번역 네트워크는 제1 언어 문장 전체가 입력된 후, 제2 언어 토큰을 출력하는 방식으로 학습이 수행되는데, 실시간 통번역 상황에서 번역 네트워크는 제1 언어 문장이 끝나기 전에 제2 언어 토큰을 출력해야 하므로, 학습 상황과 추론 상황의 차이가 존재한다.
따라서 본 발명의 번역 네트워크 학습 단계(S310)는 추론 상황을 학습에 반영하기 위해, 학습 데이터의 제2 언어 문장의 임의의 위치에 READ 토큰의 수를 제1 언어 문장의 길이만큼 추가하여 행동 시퀀스를 생성한다.
READ 토큰은 다양한 규칙에 따라 추가될 수 있는데, 예컨대 문장 앞쪽에 READ 토큰의 등장 확률을 높이고, 뒤로 갈수록 등장 확률을 감소시키는 방법으로 READ 토큰을 제 2 언어 문장에 추가하는 것이 가능하다(종래의 학습 방법은 READ 토큰을 문장 앞에 모두 위치시키는 경우와 동일함).
확률적인 방법을 사용하는 경우 학습 데이터의 편향을 막기 위해 하나의 문장에 대해 N 개의 행동 시퀀스 표본을 추출한다.
이러한 READ 토큰 추가 방식은 제2 언어 문장 중 임의의 위치에 READ 토큰을 추가하므로, 실제 실시간 통번역에서 발생하는 분절점의 위치(READ 이후 WRITE 하는 부분)와 다를 수 있다.
따라서, 본 발명의 실시예에 따르면 학습된 번역 네트워크에 실제 분절점의 위치를 학습하기 위한 행동 네트워크를 추가하여, 실시간 통번역을 위한 신경망 번역 시스템을 구성한다.
행동 네트 워크 학습 단계(S320)에서 안정적인 학습을 위해 미리 학습된 번역 네트워크는 고정되며, 행동 네트워크는 아래 [수학식 2]의 보상 함수를 갖는 강화 학습을 통해 학습된다.
[수학식 2]
Figure 112019123476377-pat00003
[수학식 2]에서 Y*은 주어진 제2 언어 문장(레퍼런스 문장)을 의미하고, Y는 신경망 번역 시스템에서 스텝 t까지 생성한 제2 언어 토큰 시퀀스를 의미한다.
도 3은 본 발명의 실시예에 따른 신경망 번역 시스템에서 출력한 행동 시퀀스에 대한 보상을 도시하는데, "당신은 우리가 모든 가능한 상황에서 AI 의 행동을 수학적으로 확인할 수 있어야만 한다고 주장했다." 라는 레퍼런스 문장에 대해 신경망 번역 시스템에서 출력한 행동 시퀀스에 대한 보상을 도시한다.
보상 rt은 BLEU, NIST 등과 같이 문장 간 유사도 측정 방법으로 계산한다.
행동 네트워크 π는 감쇠 누적 보상에 대한 목적 함수를 최대화하는 방향으로 학습되며, REINFORCE, Actor-Critic 과 같은 Policy gradient 부류의 알고리즘을 활용한다.
[수학식 3]
Figure 112019123476377-pat00004
[수학식 3]에서 Γ는 미래에 대한 보상의 중요성을 감쇠하는 감쇠 인자로, 0 보다는 크고 1보다 작거나 같다.
감쇠 인자 Γ는 trade-off 관계에 있는 번역 정확도와 지연 시간을 결정한다.
보상은 WRITE 이후 READ 토큰을 생성할 때 주어지므로 행동 네트워크는 (WRITE, READ)를 반복할 가능성이 크고, 이 경우 번역 지연 시간이 줄어들지만 정확도가 낮아질 수 있다.
따라서 감쇠 인자 Γ를 1과 가깝게 하면 미래의 보상에 대한 중요도가 커지므로 번역 지연 시간을 늘리는 대신 정확도가 높아질 수 있고, 감쇠 인자 Γ를 0과 가깝게 하면 번역 지연 시간을 줄이는 대신 정확도가 낮아질 수 있다.
번역 네트워크는 임의의 분절점으로부터 실시간 통번역을 학습하고, 행동 네트워크는 보상 함수를 통해 분절점을 학습하였으므로, 두 네트워크 간의 분절 위치가 달라 실시간 통번역 성능이 떨어질 수 있다.
이에, 본 발명의 실시예에 따르면, 번역 네트워크를 고정하여 행동 네트워크만을 학습했던 행동 네트워크 학습 단계(S320)와는 달리, 번역 네트워크와 행동 네트워크를 동시에 학습하는 전체 네트워크 재학습 단계(S330)를 거쳐 실시간 통번역을 위한 단대단 신경망 번역 모델을 구축한다.
도 3의 과정을 전술한 [수학식 1]로 해석한다면, 번역 네트워크 학습 단계(S310)는 [수학식 1]의 우항의
Figure 112019123476377-pat00005
을 사전 학습하는 단계이고, 행동 네트워크 학습 단계(S320)는
Figure 112019123476377-pat00006
을 고정한 후 p READ 를 학습하는 단계이고, 전체 네트워크 재학습 단계(S330)는
Figure 112019123476377-pat00007
과 p READ 를 동시에 학습하는 단계이다.
한편, 본 발명의 실시예에 따른 단대단 신경망 번역 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit(CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 단대단 신경망 번역 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 단대단 신경망 번역 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 번역 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 단대단 신경망 번역 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (16)

  1. 제1 언어 입력 토큰을 수신하는 입력부;
    상기 제1 언어 입력 토큰에 대한 실시간 통번역 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 번역 네트워크와 행동 네트워크의 출력을 조합하여 의사 소통 단위의 최종 번역 결과를 구성하고,
    상기 프로세서는 상기 번역 네트워크의 학습 단계에서 학습 데이터의 제2 언어 문장의 임의의 위치에 READ 토큰의 수를 제1 언어 문장의 길이만큼 추가하여 행동 시퀀스를 생성하되, 상기 제2 언어 문장의 앞쪽에 상기 READ 토큰의 등장 확률을 높이고, 문장의 뒤로 갈수록 상기 등장 확률을 감소시키며 상기 READ 토큰의 수를 상기 제2 언어 문장에 추가하고,
    상기 프로세서는 제2 언어 문장 및 제2 언어 토큰 시퀀스를 이용한 보상 함수를 갖는 강화 학습을 통해 상기 행동 네트워크의 학습을 수행하고, 상기 행동 네트워크를 통해 실시간 통번역에서 발생하는 실제 분절점의 위치를 학습하고,
    상기 프로세서는 상기 번역 네트워크와 행동 네트워크를 동시에 학습하는 전체 네트워크 재학습을 수행하여 단대단 신경망 번역 모델을 구축하는 것
    인 단대단 신경망 번역 시스템.

  2. 제1항에 있어서,
    상기 번역 네트워크는 주의 집중 메커니즘이 결합된 인코더-디코더 구조를 가지는 것
    인 단대단 신경망 번역 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 행동 네트워크는 현재까지 입출력된 번역 정보를 기초로 상기 제1 언어 입력 토큰을 더 읽을지 또는 제2 언어 출력 토큰을 생성할지 여부를 결정하는 것
    인 단대단 신경망 번역 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 행동 네트워크는 문맥 상태 벡터 및 은닉 상태 벡터를 이용하여 READ 행동에 대한 확률을 출력하는 것
    인 단대단 신경망 번역 시스템.
  8. 제7항에 있어서,
    상기 프로세서는 출력 토큰 생성 확률 분포, READ 행동에 대한 델타 확률 분포 및 READ 행동, WRITE 행동에 대한 확률을 이용하여 최종 토큰 생성 확률 분포를 계산하는 것
    인 단대단 신경망 번역 시스템.
  9. (a) READ 토큰을 포함하여 단대단 신경망 번역 네트워크 학습을 수행하는 단계;
    (b) 실제 분절점의 위치를 학습하기 위해 행동 네트워크 학습을 수행하는 단계; 및
    (c) 상기 단대단 신경망 번역 네트워크 및 행동 네트워크에 대한 전체 네트워크 재학습을 수행하는 단계를 포함하고,
    상기 (a) 단계는 학습 데이터의 제2 언어 문장의 임의의 위치에 READ 토큰의 수를 제1 언어 문장의 길이만큼 추가하여 행동 시퀀스를 생성하되, 상기 제2 언어 문장의 앞쪽에 상기 READ 토큰의 등장 확률을 높이고, 문장의 뒤로 갈수록 상기 등장 확률을 감소시키며 상기 READ 토큰의 수를 상기 제2 언어 문장에 추가하고,
    상기 (b) 단계는 출력 토큰 생성 확률 분포를 고정하고 READ 행동에 대한 확률을 학습하고, 제2 언어 문장 및 제2 언어 토큰 시퀀스를 이용한 보상 함수를 갖는 강화 학습을 통해 상기 행동 네트워크 학습을 수행하고, 상기 행동 네트워크를 통해 실시간 통번역에서 발생하는 실제 분절점의 위치를 학습하고,
    상기 (c) 단계는 상기 출력 토큰 생성 확률 분포 및 READ 행동에 대한 확률을 동시에 학습하는 것
    인 단대단 신경망 번역 방법.
  10. 제9항에 있어서,
    상기 (a) 단계는 주의 집중 메커니즘이 결합된 인코더-디코더 구조를 가지는 상기 단대단 신경망 번역 네트워크 학습을 수행하는 것
    인 단대단 신경망 번역 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 (b) 단계는 입출력 번역 정보를 기초로 제1 언어 입력 토큰을 더 읽을지 또는 제2 언어 출력 토큰을 생성할지 여부를 결정하는 것
    인 단대단 신경망 번역 방법.
  13. 제12항에 있어서,
    상기 입출력 번역 정보는 상기 단대단 신경망 번역 네트워크의 인코더 문맥 상태 벡터 및 디코더 은닉 상태 벡터로 표현되는 것
    인 단대단 신경망 번역 방법.
  14. 삭제
  15. 삭제
  16. 삭제
KR1020190156748A 2019-11-29 2019-11-29 단대단 신경망 번역 시스템 및 그 방법 KR102519618B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190156748A KR102519618B1 (ko) 2019-11-29 2019-11-29 단대단 신경망 번역 시스템 및 그 방법
US17/104,381 US20210165976A1 (en) 2019-11-29 2020-11-25 System and method for end to end neural machine translation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156748A KR102519618B1 (ko) 2019-11-29 2019-11-29 단대단 신경망 번역 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210067293A KR20210067293A (ko) 2021-06-08
KR102519618B1 true KR102519618B1 (ko) 2023-04-10

Family

ID=76091715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156748A KR102519618B1 (ko) 2019-11-29 2019-11-29 단대단 신경망 번역 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20210165976A1 (ko)
KR (1) KR102519618B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284193A1 (en) * 2021-03-04 2022-09-08 Tencent America LLC Robust dialogue utterance rewriting as sequence tagging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104371A1 (en) * 2018-09-28 2020-04-02 Baidu Usa Llc Systems and methods for simultaneous translation with integrated anticipation and controllable latency (stacl)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104371A1 (en) * 2018-09-28 2020-04-02 Baidu Usa Llc Systems and methods for simultaneous translation with integrated anticipation and controllable latency (stacl)

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ashkan Alinejad, Maryam Siahbani, and Anoop Sarkar, Prediction Improves Simultaneous Neural Machine Translation, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,*
Baigong Zheng, Renjie Zheng, Mingbo Ma, Liang Huang, Simpler and Faster Learning of Adaptive Policies for Simultaneous Translation, EMNLP 2019, Sep*

Also Published As

Publication number Publication date
US20210165976A1 (en) 2021-06-03
KR20210067293A (ko) 2021-06-08

Similar Documents

Publication Publication Date Title
US11972365B2 (en) Question responding apparatus, question responding method and program
KR102167719B1 (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
JP6222821B2 (ja) 誤り修正モデル学習装置、及びプログラム
US11593571B2 (en) Machine translation method, device, and computer-readable storage medium
JP2020505650A (ja) 音声認識システム及び音声認識の方法
KR20180001889A (ko) 언어 처리 방법 및 장치
US11886812B2 (en) Proficiency and native language-adapted grammatical error correction
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
JP5932869B2 (ja) Ｎ−ｇｒａｍ言語モデルの教師無し学習方法、学習装置、および学習プログラム
JP7368479B2 (ja) モデルをトレーニングするためのトレーニング・データ修正
KR102227939B1 (ko) 단어의 문맥 정보와 형태론적 정보를 고려한 단어 임베딩 방법 및 장치
US20130138441A1 (en) Method and system for generating search network for voice recognition
JP6552999B2 (ja) テキスト補正装置、テキスト補正方法、およびプログラム
CN112700778A (zh) 语音识别方法和语音识别设备
CN111814489A (zh) 口语语义理解方法及系统
JP2020042257A (ja) 音声認識方法及び装置
Li et al. A parallelizable lattice rescoring strategy with neural language models
KR20160098910A (ko) 음성 인식 데이터 베이스 확장 방법 및 장치
KR102519618B1 (ko) 단대단 신경망 번역 시스템 및 그 방법
Futami et al. Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Morioka et al. Multiscale recurrent neural network based language model.
JP2024510817A (ja) 効率的なストリーミング非リカレントオンデバイスエンドツーエンドモデル
CN112989794A (zh) 模型训练方法、装置、智能机器人和存储介质
Chan End-to-end speech recognition models
KR102292921B1 (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant