KR102360659B1 - 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체 - Google Patents

기계번역 방법, 장치, 컴퓨터 기기 및 기억매체 Download PDF

Info

Publication number
KR102360659B1
KR102360659B1 KR1020197032061A KR20197032061A KR102360659B1 KR 102360659 B1 KR102360659 B1 KR 102360659B1 KR 1020197032061 A KR1020197032061 A KR 1020197032061A KR 20197032061 A KR20197032061 A KR 20197032061A KR 102360659 B1 KR102360659 B1 KR 102360659B1
Authority
KR
South Korea
Prior art keywords
phrase
vector
translation
piece
fragment
Prior art date
Application number
KR1020197032061A
Other languages
English (en)
Other versions
KR20190130636A (ko
Inventor
자오펑 투
수밍 스
퉁 장
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20190130636A publication Critical patent/KR20190130636A/ko
Application granted granted Critical
Publication of KR102360659B1 publication Critical patent/KR102360659B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

본 출원은 기계번역 방법 및 장치에 관한 것이다. 이 방법은 문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타내는 벡터인 소스측 리프레젠테이션 벡터를 취득하고, 상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하며, 상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것을 포함한다. 1개의 문구조각에 대하여 번역을 진행할 때, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 종합적으로 고려하고, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 통하여 이번 번역결과에 영향을 미치므로, 번역의 결과가 이력번역 과정에서의 같은 문구조각에 대한 번역결과에 더욱 근접하게 되여, 번역의 정확성을 향상시킨다.

Description

기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
본 출원은 2017년 9월 12일 중국특허청에 출원된 출원번호가 201710819346.8이고, 발명명칭이 "기계번역 방법 및 장치"인 중국특허출원의 우선권을 요구하며, 상술한 출원의 모든 내용은 본 출원에 원용된다.
본 출원은 기계학습 기술분야에 관한 것으로, 특히 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체에 관한 것이다.
NMT(Neural Machine Translation, 신경망 기계번역)는 기계번역 기술로서, 엔코더-디코더 프레임워크를 사용하여 "어의를 이해하고 나서 번역하기"의 과정을 실현한다.
한 언어중의 단어를 다른 한 언어로 번역할 때, 보통 여러개 다른 단어에 대응하게 된다. 동일한 한편의 글 중에, 다른 위치의 같은 단어의 번역결과가 불일치하는 문제를 피면하기 위하여, 관련 기술중에, 종래 NMT시스템의 기초상에 1개의 HRNN(Hierarchical Recurrent Neural Network, 계층적 순환 신경망)모듈을 증설하여, 어떤 문구조각에 대하여 번역을 진행할 때, HRNN를 통하여 앞의 몇개 문구의 번역결과를 총결하고, 앞의 몇개 문구의 번역결과와 조합하여 현재의 문구조각에 대하여 번역을 진행할 수 있다.
그런데, HRNN 네트워크가 앞의 몇개 문구의 번역결과를 총결할 때, 엄청 많은 계산 오버헤드를 점용해야 하고, 번역효율을 확보하기 위하여, 실제 응용중에는 앞의 소량의 몇개 문구(보통 앞의 3개 문구)의 번역결과만 총결할 수 밖에 없기 때문에, 번역효과의 향상에 한계가 있다.
관련 기술중의 HRNN 네트워크가 앞의 몇개 문구의 번역결과를 총결할 때, 앞의 소량의 몇개 문구의 번역결과만 총결할 수 밖에 없기 때문에, 번역효과의 향상에 한계가 있는 문제를 해결하기 위하여, 본 출원의 실시예는 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체를 제공하고, 기술형태는 다음과 같다.
한 방면으로는, 컴퓨터 기기에 의해 실행되는 방법에 있어서,
문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득하고,
상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하며,
상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것을 포함하는 기계번역 방법을 제공한다.
한 방면으로는, 장치에 있어서,
문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득하기 위한 소스측 벡터 취득모듈,
상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하기 위한 이력벡터 취득모듈, 및
상기 문구조각의 이력번역 벡터에 근거하여 상기 문구조각에 대하여 번역을 진행하기 위한 번역모듈을 포함하는 기계번역 장치를 제공한다.
한 방면으로는, 프로세서와 메모리를 포함하고, 상기 메모리에는 적어도 하나의 명령, 적어도 하나의 프로그램, 코드 세트 또는 명령 세트가 기억되어 있으며, 상기 적어도 하나의 명령, 상기 적어도 하나의 프로그램, 상기 코드 세트 또는 명령 세트는 상기 프로세서에 의해 로딩 및 실행되여 상술한 바와 같은 기계번역 방법을 실현하는 컴퓨터 기기를 제공한다.
한 방면으로는, 상기 기억매체에는 적어도 하나의 명령, 적어도 하나의 프로그램, 코드 세트 또는 명령 세트가 기억되어 있고, 상기 적어도 하나의 명령, 상기 적어도 하나의 프로그램, 상기 코드 세트 또는 명령 세트는 프로세서에 의해 로딩 및 실행되여 상술한 바와 같은 기계번역 방법을 실현하는 컴퓨터 판독 가능 기억매체를 제공한다.
본 출원에 의한 기술형태는 하기와 같은 유익한 효과를 포함할 수 있다:
1개의 문구조각에 대하여 번역을 진행할 때, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 종합적으로 고려하고, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 통하여 이번 번역결과에 영향을 미치는데, 이력번역 과정에서의 1개의 문구조각에 대한 번역결과는 번역 시스템이 현재 타이밍 전에 같은 또는 유사한 문구조각에 대한 일부 심지어 전부의 번역상황일 수 있어 커버리지가 넓으므로, 상술한 방법에 의한 1개의 문구조각의 번역결과는 이력번역 과정에서의 같은 문구조각에 대한 번역결과에 더욱 근접하게 되여, 번역의 정확성을 향상시킨다.
이해 해야 할 것은, 이상의 일반적인 설명과 하기의 상세한 설명은 예시적, 해석적인 것 뿐이고, 본 출원을 한정하지 않는다.
여기서 도면은 명세서에 합병되어 본 명세서의 일부를 구성하며, 본 출원에 적합한 실시예를 예시하고 명세서와 함께 본 출원의 원리를 해석한다.
도 1은 일 예시적 실시예에 의하여 나타낸 기계번역 흐름 모식도이다.
도 2는 일 예시적 실시예에 의하여 나타낸 기계번역 방법의 흐름도이다.
도 3은 도 2에서 나타낸 실시예에 관한 확률 분포 통합의 모식도이다.
도 4는 도 2에서 나타낸 실시예에 관한 부가 문맥의 처리 모식도이다.
도 5는 도 2에서 나타낸 실시예에 관한 히든 레이어 리프레젠테이션 통합 처리의 모식도이다.
도 6은 일 예시적 실시예에 의하여 나타낸 기계번역 시스템의 구성 모식도이다.
도 7은 일 예시적 실시예에 의하여 나타낸 기계번역 장치의 구조 블록도이다.
도 8은 일 예시적 실시예에 의하여 나타낸 서버의 구조 모식도이다.
도 9는 일 예시적 실시예에 의하여 나타낸 사용자 단말기의 구조 모식도이다.
여기서, 예시적 실시예에 대하여 상세하게 설명하고, 그 예시는 도면중에 도시되어 있다. 하기 설명중, 도면을 참조함에 있어서, 특별히 설명하지 않는 한, 서로 다른 도면중의 동일한 부호는 동일하거나 유사한 요소를 의미한다. 하기 예시적 실시예 중에서 설명하는 실시형태는 본 출원과 일치하는 모든 실시형태를 대표하는것은 아니다. 반대로, 하기 실시형태는 단지 특허청구범위에 상세하게 기재된 본 출원의 일부 측면과 일치한 장치와 방법의 예일 뿐이다.
본 출원의 각 실시예에서 나타낸 형태는 컴퓨터 기기중에 응용될 수 있다. 예를 들면, 컴퓨터 기기는 스마트 폰, 태블릿 컴퓨터, 전자책 리더 또는 개인용 컴퓨터 등 사용자 단말기일 수 있고, 또는, 컴퓨터 기기는 네트워크측에 설치된 서버일 수도 있다.
본 출원의 각 실시예에 관한 기계번역 방법은 NMT시스템에 의한 번역방법이다. 여기서, 종래의 NMT시스템은 엔코더, 어텐션 모델과 디코더를 포함하고, 종래의 NMT시스템의 번역과정은 다음과 같이 간단하게 설명할 수 있다.
번역할 문구조각(본 출원의 실시예에서, 문구조각은 한개 완전한 문구중의 일부분 또는 전부일 수 있다)을 제1언어로부터 제2언어로 번역할 때, 문구조각중의 각 단어에 대하여, 엔코더는 이 단어의 어의벡터(각 어의벡터는 고정 디멘션이 N인 1개의 벡터일 수 있고, N은 양의 정수이다)를 생성하고, 문구조각중의 각 단어의 어의벡터는 이 문구조각의 어의벡터 시퀀스를 구성한다.
어텐션 모델은 상술한 어의벡터 시퀀스와 디코더의 바로 전의 타이밍의 상태st-1(디코더의 상태는 동일하게 N-디멘션 벡터이다)를 읽고, 디코더의 바로 전의 타이밍의 상태st-1에 근거하여, 문구조각의 각 단어마다 1개 얼라이먼트 확률(이 얼라이먼트 확률의 범위는 0~1이고, 확률 값이 높을수록, 이 단어가 생성되는 목표 단어와의 관련성이 높다라는 것을 나타낸다)을 출력하고, 각 단어의 얼라이먼트 확률과 어의벡터에 대하여 가중치를 부여하여 현재 타이밍의 이 문구조각의 소스측 리프레젠테이션 벡터ct를 생성하며, 이 소스측 리프레젠테이션 벡터ct는 현재의 문구조각의 소스측 문맥 리프레젠테이션이라고도 불릴 수 있고, 이 소스측 리프레젠테이션 벡터ct는 제1언어에서 대응하는 문구조각을 나타낸 벡터이며, 현재 타이밍에서 번역될 소스측 내용을 나타낸다.
디코더는 소스측 리프레젠테이션 벡터ct, 디코더의 바로 전의 타이밍의 상태st-1 및 바로 전의 생성단어yt-1(즉, 바로 전의 문구조각의 번역결과가 대응하는 N-디멘션 리프레젠테이션 벡터이다)를 읽고, 디코더의 현재 타이밍의 상태st를 출력한다.
디코더는 현재 타이밍의 상태st, 소스측 리프레젠테이션 벡터ct, 그리고 바로 전의 생성단어yt-1에 근거하여, 신경망을 통하여 1개의 출력벡터를 생성하고, 출력벡터를 모든 목표측 문구조각(즉, 목표언어의 문구조각)이 대응하는 목표측 리프레젠테이션 벡터와 비교하여, 유사도이 가장 높은 1개의 목표측 문구조각을 최종의 출력결과로 선택하고, 이 목표측 리프레젠테이션 벡터는 제2언어에서 대응하는 문구조각을 나타낸 벡터이다.
도 1은 본 출원의 일 예시적 실시예에서 나타낸 기계번역 흐름 모식도이고, 본 출원의 실시예는 상술한 종래 NMT시스템의 기초상에, 문구조각을 제1언어로부터 제2언어로 번역할 때, 엔코더와 어텐션 모델을 통하여 현재 번역한 문구조각의 소스측 리프레젠테이션 벡터ct를 획득한 후, NMT시스템은 이 문구조각의 소스측 리프레젠테이션 벡터에 근거하여, 이력번역 정보를 검색하여, 이 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하며, 이 문구조각의 이력번역 벡터에 근거하여 디코더를 통해 이 문구조각의 번역을 진행한다. 상술한 형태중, 1개의 문구조각에 대하여 번역을 진행할 때, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 종합적으로 고려하고, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 통하여 이번 번역결과에 영향을 미치는데, 이력번역 과정에서의 1개의 문구조각에 대한 번역결과는 번역 시스템이 현재 타이밍 전에 같은 또는 유사한 문구조각에 대한 일부 심지어 전부의 번역상황일 수 있어 커버리지가 넓으므로, 상술한 방법에 의한 1개의 문구조각의 번역결과는 이력번역 과정에서의 같은 문구조각에 대한 번역결과에 더욱 근접하게 되여, 번역의 정확성을 크게 향상시킨다.
상술한 도 1에서 도시된 형태중, 검색된 이력번역 정보는 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각이 번역 과정중에서 생성된 중간벡터 또는 결과벡터 사이의 대응관계를 포함할 수 있다. 예를 들면, 상술한 중간벡터는 번역시스템이 이력 문구조각을 번역할 때의 디코더 상태를 포함할 수 있고, 또는 상술한 중간벡터는 번역시스템의 디코더가 이력 문구조각을 번역할 때 생성한 출력벡터를 포함할 수도 있으며, 상술한 결과벡터는 번역시스템이 이력 문구조각을 번역할 때 획득한 최종 번역결과가 대응하는 목표측 리프레젠테이션 벡터일 수 있다. 여기서, 목표측 리프레젠테이션 벡터는 제2언어에서의 문구조각의 벡터를 나타내기 위한 것이다. 예를 들면, 제1언어를 중국어로, 제2언어를 영어로 할 때, 번역할 중국어 문구조각이 "
Figure 112019110666396-pct00001
"이고, 이 문구조각을 영어로 번역하여 얻은 번역결과가 "apple"이면, 번역시스템중, 문구조각 "
Figure 112019110666396-pct00002
"를 나타낸 벡터는 소스측 리프레젠테이션 벡터이고, 문구조각 "apple"를 나타낸 벡터는 목표측 리프레젠테이션 벡터이다.
본 출원의 후속의 실시예는 이력번역 정보가 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 디코더상태 사이의 대응관계를 포함하는 것을 예로 들어 본 출원의 실시예의 형태에 대하여 설명한다.
도 2는 일 예시적 실시예에 의하여 나타낸 기계번역 방법의 흐름도이고, 이 기계번역 방법은 NMT시스템에 의하여 기계번역 기능이 제공되는 컴퓨터 기기(예를 들면, 사용자 단말기 또는 서버)에 적용될 수 있다. 도 2를 참조하면, 이 기계번역 방법은 다음과 같은 단계를 포함할 수 있다.
단계201은, 문구조각을 제1언어로부터 제2언어로 번역할 때, 이 문구조각의 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득한다.
여기서, 번역할 문구조각중의 각 단어에 대하여, 컴퓨터 기기는 이 단어의 어의벡터를 생성하고, 문구조각중의 각 단어의 어의벡터는 이 문구조각의 어의벡터 시퀀스를 구성하며, 디코더의 바로 전의 타이밍의 상태st-1에 근거하여 문구조각의 각 단어마다 1개의 얼라이먼트 확률을 출력하고, 각 단어의 얼라이먼트 확률에 근거하여 각 단어의 어의벡터에 대하여 가중치를 부여하여, 현재 타이밍의 이 문구조각의 소스측 리프레젠테이션 벡터ct를 생성한다.
여기서, 문구조각의 소스측 리프레젠테이션 벡터를 취득하는 이 단계는 NMT시스템중의 엔코더와 어텐션 모델을 통하여 실현할 수 있다.
단계202는, 이 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 이 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득한다.
본 단계에서, 컴퓨터 기기는 이력번역 정보를 검색할 수 있고, 이 이력번역 정보는 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 디코더상태 사이의 대응관계를 포함하며, 컴퓨터 기기는 이 문구조각의 소스측 리프레젠테이션 벡터와 이 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도를 계산하고, 이 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 근거하여 각 이력 문구조각의 디코더 상태의 가중치를 계산하고, 각 이력 문구조각의 디코더 상태의 가중치에 근거하여, 각 이력 문구조각의 디코더 상태에 대하여 가중치합을 구하여 이 문구조각의 이력번역 벡터를 획득한다.
여기서, 이 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 근거하여, 각 이력 문구조각의 디코더 상태의 가중치를 계산할 때, 컴퓨터 기기는 직접 이 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각와의 유사도를 각 이력 문구조각의 디코더 상태의 가중치로 할 수 있고, 또는 컴퓨터 기기는 이 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 대하여 등비례로 확대축소를 진행하여, 확대축소 후의 각 유사도 수치의 합은 1이 되고, 확대축소 후의 각 유사도 수치를 대응되는 이력 문구조각의 디코더 상태의 가중치로 할 수도 있다.
예를 들면, 컴퓨터 기기는 문구조각의 소스측 리프레젠테이션 벡터를 취득한 후, 컴퓨터 기기 내부의 기억 컴포넌트(내부에 상술한 이력번역 정보가 기억되어 있다)에 대한 수색을 통하여, 관련된 이력번역 벡터를 출력한다. 여기서, 기억 컴포넌트는 1개의 MemNN(Memory Neural Network, 기억네트워크), 또는 NTMs(Neural Turing Machines, 신경망튜링기계) 등 일 수 있다.
단층의 Key-Value(키-값) MemNN를 예로 들면, 이 기억 컴포넌트의 구조는 Key Layer와Value Layer를 포함하는 2층 신경망이다. 여기서, Key Layer중의 엘리먼트는 각 엘리먼트와 검색과의 매칭정도(즉, 상술한 유사도)를 확정하도록 검색 명령(query)과 비교하기 위한 것이며, Value Layer중의 엘리먼트는 각자의 매칭정도에 근거하여 가중치를 부여하고, 최종의 벡터 리프레젠테이션을 출력한다. 여기서, 가중 계산할 때의 가중치는 각자의 매칭정도(즉, 유사도)일 수 있고, 유사도에 근거하여 계산함으로써 얻은 수치(이때, Value Layer중의 각 엘리먼트의 가중치의 합이 1이다)일 수도 있다.
예를 들면, 문구조각의 소스측 리프레젠테이션 벡터ct를 key로, 대응하는 디코더 상태st를 value로 할 때, Memory중의 각 엘리먼트는 다음과 같다. 즉, 키값페아(key-value pair)(kw,vw)가 이 키값페아에 근거하여 생성한 1개의 목표측 단어w에 대응한다. 이 단계에서, 검색명령(즉, 문구조각의 소스측 리프레젠테이션 벡터ct)을 읽고, Memory중 각 엘리먼트의 확률분포를 출력한다. 만일, 주어진 query가 문구조각의 소스측 리프레젠테이션 벡터ct이고, ct와 각 키수치(key)와의 매칭정도의 비교를 통하여, ct와 각 key가 대응하는 목표측 단어 사이의 매칭확률(여기서, 매칭확률은 문구조각의 번역결과가 목표측 단어w인 확률을 의미하고, 상술한 가중치이기도 하다)을 계산하고, ct와 각 key가 대응하는 목표측 단어 사이의 매칭확률의 총합은 1이고, 이 매칭확률은 내적(dot product)을 통하여 계산할 수 있다. 이 내적계산의 공식은 다음과 같다.
PCache(w/q)=softmax(qT, kw)
여기서, q는 소스측 리프레젠테이션 벡터ct이고, qT는 q의 전치행렬이고, kw는 Key Layer중 목표측 단어w에 대응하는 1개 key이고, softmax(qT, kw)는 q에 대하여 전치행렬 처리를 한 후, kw와 내적계산 진행하는 것을 의미하고, PCache(w/q)는 q와 w사이의 매칭확률을 나타낸다.
선택적으로, 본 출원의 실시예에서, 기억 컴포넌트는 파라미터의 도입을 통하여 더욱 좋게 대응하는 매칭함수를 학습할 수도 있다.
예를 들면, 기억 컴포넌트는 명령매칭 행렬을 통하여 상술한 매칭확률을 계산할 수 있고, 그 공식은 다음과 같다.
PCache(w/q)=softmax(qT, M, kw)
여기서, 파라미터M는 개발인원이 미리 설치한 파라미터일 수 있고, 또는, 파라미터M는 미리 기계학습 훈련을 통하여 확정된 파라미터일 수도 있다.
또는, 기억 컴포넌트는 명령 전환행렬을 통하여 상술한 매칭확률을 계산할 수도 있는데, 그 계산 공식은 다음과 같다.
PCache(w/q)=softmax(q0 T, kwZ), q0=qZ
여기서, 파라미터Z는 개발인원이 미리 설치한 파라미터일 수 있고, 또는, 파라미터Z는 미리 기계학습 훈련을 통하여 확정된 파라미터일 수도 있다.
실제 응용에서는, 내적 계산방식외에도, 기억 컴포넌트는 기타 방식을 통하여 ct와 각 key에 대응하는 목표측 단어 사이의 매칭확률을 계산할 수도 있으며, 예를 들면, 유클리드 디스턴스 알고리즘(Euclidean Distance algorithm) 등 방식을 통하여 ct와 각 key에 대응하는 목표측 단어 사이의 매칭확률을 계산할 수도 있다.
ct와 각 key에 대응하는 목표측 단어 사이의 매칭확률을 획득한 후, 기억 컴포넌트는 각 키수치가 대응하는 Value에 대하여 가중치합을 구하여, 이 문구조각의 이력번역 벡터를 출력할 수 있다.
상술한 형태중, Memory Network를 기억 컴포넌트로 하는 기억구조를 예로 들어 설명하였다. 본 출원의 실시예는 기억 컴포넌트의 모델 종류 및 토폴로지컬 구조에 대하여 구체적으로 한정하지 않고, 각종 기타 모델 구조로 대체할 수 있으며, 예를 들면, 신경망튜링기계(Neural Turing Machines,NTMs) 및 그의 변종 등으로 대체할 수 있다.
그리고, 상술한 형태는 단층의 Memory Network를 예로 들어 설명하였는데, 본 출원의 실시예는 Memory Network의 구체적인 층수에 대하여 한정하지 않고, 즉, 상술한 기억 컴포넌트는 다층 Memory Network 구조로 대체할 수 있다.
상술한 형태중, 문구조각의 소스측 리프레젠테이션 벡터를 key로, 디코더 모듈의 상태 리프레젠테이션을 value로 예를 들어 설명하였다. 하지만, 본 출원의 실시예는 key-value의 구체적인 형식에 대하여 구체적으로 한정하지 않고, 기타 합리한 NMT 내부 벡터 리프레젠테이션으로 대체할 수 있으며, 예를 들면, 디코더 모듈이 출력한 벡터 리프레젠테이션 즉 상술한 출력벡터(output state) 또는 최종 생성한 목표단어의 목표측 리프레젠테이션 벡터(word embedding)를 value로 할 수 있다.
단계203은 이 문구조각의 이력번역 벡터에 근거하여 이 문구조각에 대하여 번역을 진행한다.
본 출원의 실시예에서, 이 문구조각의 이력번역 벡터에 근거하여 이 문구조각에 대하여 번역할 때, 하기 3가지 방식을 통하여 과거 미래 모듈을 NMT시스템에 통합시킬 수 있다. 즉, 확률분포 통합, 부가문맥 및 히든 레이어 리프레젠테이션 통합이다.
1. 확률분포 통합
도 3을 참조하면, 도 3은 본 출원의 실시예에 관한 확률분포 통합 모식도를 도시한다. 이 방식에 따르면, 컴퓨터 기기는 이 문구조각의 소스측 리프레젠테이션 벡터ct, 이 문구조각의 디코더 상태st 및 직전 문구조각의 목표측 리프레젠테이션 벡터yt-1를 제1신경망에 입력하여, 이 문구조각의 출력벡터xt0를 획득할 수 있다. 이 직전 문구조각은 이 문구조각의 바로 전의 문구조각이고, 이 목표측 리프레젠테이션 벡터는 이 제2언어에서 대응하는 문구조각을 나타낸 벡터이다. 이 문구조각의 소스측 리프레젠테이션 벡터ct, 이 문구조각의 디코더 상태st 및 이 문구조각의 이력번역 벡터cct를 제2신경망에 입력하여, 이 문구조각의 이력번역 벡터의 가중치λ1를 획득하며, 이 문구조각의 이력번역 벡터의 가중치λ1에 근거하여 이 문구조각의 출력벡터의 가중치λ2를 계산한다. 이 문구조각의 출력벡터xt0의 가중치λ2 및 이 문구조각의 이력번역 벡터cct의 가중치λ1에 근거하여, 이 문구조각의 출력벡터xt0와 이 문구조각의 이력번역 벡터cct에 대하여 가중치합을 구하여, 이 문구조각의 수정된 출력벡터xt를 획득하며, 이 문구조각의 수정된 출력벡터xt에 근거하여 이 문구조각의 번역결과를 확정한다.
여기서, 이 문구조각의 이력번역 벡터의 가중치에 근거하여, 이 문구조각의 출력벡터의 가중치를 계산할 때, 1과 이 문구조각의 이력번역 벡터의 가중치의 차이 값을 이 문구조각의 출력벡터의 가중치로 취득할 수 있다.
본 출원의 실시예중에서, 상술한 문구조각의 이력 번역결과를 직접 사용하여 수정된 출력벡터의 일부분으로 하고, NMT시스템중의 디코더가 출력한 벡터와 직선보간(linear interpolation)을 실행하여, NMT시스템중의 디코더가 출력한 출력벡터를 수정할 수 있는데, 그 공식은 다음과 같을 수 있다.
P(w) =(1-λ)PNMT(w) + λPCache(w)
여기서, P(w)는 제1언어중의 문구조각과 제2언어중의 목표 문구조각w 사이의 수정된 매칭확률이고, PNMT(w)는 이 문구조각의 소스측 리프레젠테이션 벡터, 이 문구조각의 디코더 상태 및 직전 문구조각의 목표측 리프레젠테이션 벡터가 제1신경망에 입력되어 얻은 이 문구조각과 제2언어중의 목표 문구조각w 사이의 매칭확률이고, PCache(w)는 기억 컴포넌트가 출력한 이 문구조각과 목표 문구조각w 사이의 매칭확률이고, λ는 서로 다른 타이밍의 수요에 따라서 서로 다른 가중치를 출력하도록 1개의 신경망(즉, 상술한 제2신경망)에 의해 제어된다.
λ =f(ct, st, cct)
여기서, cct는 단계102에서 계산된 문구조각의 이력번역 벡터이다. f는 상술한 제2신경망이고, 1개의 다층 신경망일 수 있고, 또는 간단한 sigmoid함수일 수도 있다.
선택적으로, 본 출원의 실시예에서, ct, st, cct만 입력으로 사용하여 보간치 λ를 생성한다. 본 출원의 실시예는 이 함수의 입력을 구체적으로 한정하지 않고, 기타 합리적인 입력을 추가할 수 있는데, 예를 들면, 바로 전의 생성단어의 벡터 리프레젠테이션(즉, 직전 문구조각의 목표측 리프레젠테이션벡터yt-1)이다.
2. 부가문맥
도 4를 참조하면, 도 4는 본 출원의 실시예에 관한 부가문맥 처리 모식도를 도시한다. 이 방식에 따르면, 컴퓨터 기기는 이 문구조각의 소스측 리프레젠테이션벡터ct, 이 문구조각의 디코더 상태st, 이 문구조각의 바로 전의 문구조각인 직전 문구조각의 목표측 리프레젠테이션벡터yt-1 및 이 문구조각의 이력번역 벡터cct를 제3신경망에 입력하여, 이 문구조각의 출력벡터xt를 획득하며, 이 문구조각의 출력벡터에 근거하여 이 문구조각의 번역결과를 확정할 수 있다.
상술한 단계102에서 계산된 문구조각의 이력번역 벡터는 목표단어의 확률분포를 더욱 좋게 계산할 수 있도록 부가된 정보원으로 NMT시스템에 도입될 수도 있다. 다시 말하면, 목표단어의 확률분포의 계산 공식을
PNMT(yt) =softmax (g(yt-1, ct, st))
로부터
PNMT(yt) =softmax (g(yt-1, ct, st, cct))
로 변화시킬 수 있다.
여기서, softmax는 1개의 노멀라이제이션 함수이고, g는 1개의 다층 신경망이다.
선택적으로, 이 부가 입력cct는 파라미터C로 그의 영향을 제어하고, 이 파라미터C는 개발인원에 의해 미리 설정될 수 있고, 또는 이 파라미터C는 기계훈련을 통하여 획득할 수도 있다.
선택적으로, 본 출원의 실시예에서, 문구조각의 이력번역 벡터를 직접 NMT시스템에 도입시킨다. 본 출원의 실시예는 이 문구조각의 이력번역 벡터의 도입방식에 대하여 구체적으로 한정하지 않고, 문구조각의 이력번역 벡터가 서로 다른 목표단어에 대한 영향을 더욱 좋게 제어할 수 있도록 가중입력(λ*cct)으로 대체할 수도 있다. 여기서, λ의 계산방식은 상술한 확률통합 방식중의 계산방법대로 계산하여 획득할 수 있다.
3. 히든 레이어 리프레젠테이션 통합
도 5를 참조하면, 도 5는 본 출원의 실시예에 관한 히든 레이어 리프레젠테이션 통합 처리 모식도를 도시한다. 이 방식에서, 컴퓨터 기기는 이 문구조각의 소스측 리프레젠테이션 벡터ct, 이 문구조각의 디코더 상태st 및 이 문구조각의 이력번역 벡터cct를 제4신경망에 입력하여, 이 문구조각의 이력번역 벡터cct의 가중치λ3를 획득할 수 있다. 이 문구조각의 이력번역 벡터cct의 가중치λ3에 근거하여 이 문구조각의 디코더 상태st의 가중치λ4를 계산한다. 이 문구조각의 이력번역 벡터cct의 가중치λ3 및 이 문구조각의 디코더 상태st의 가중치λ4에 근거하여, 이 문구조각의 이력번역 벡터cct와 이 문구조각의 디코더 상태st에 대하여 가중치합을 구하여, 이 문구조각의 수정된 디코더 상태s't를 획득한다. 이 문구조각의 소스측 리프레젠테이션 벡터ct, 이 문구조각의 수정된 디코더 상태s't 및 이 문구조각의 바로 전의 문구조각인 직전 문구조각의 목표측 리프레젠테이션 벡터yt-1를 제5신경망에 입력하여, 이 문구조각의 출력벡터xt를 획득한다. 이 문구조각의 출력벡터에 근거하여 이 문구조각의 번역결과를 확정한다.
여기서, 문구조각의 이력번역 벡터cct를 ct가 과거 번역이력에서 대응하는 목표측 정보로 볼 수 있다. 본 출원의 실시예에서, 디코더 상태st를 value로 할 수 있기 때문에, 문구조각의 이력번역 벡터가 대응하는 것은 디코더 상태이다. 우선 디코더 상태st를 문구조각의 이력번역 벡터로 통합시키고, 그 다음, 표준 절차를 거쳐 목표단어의 확률분포를 계산한다. 구체적으로, 하기 방식으로 디코더 상태를 업 데이트 시킨다.
s't =(1-λ)st + λcct,
여기서, λ의 계산방식은 상술한 첫번째 계산방식중의 λ를 참조할 수 있다.
선택적으로, 본 출원의 실시예에서, 리니어 보간의 방식을 사용하여 st과 cct를 조합시킨다. 본 출원의 실시예는 통합방식을 구체적으로 한정하지 않는다. 신경망통합(2개의 리프레젠테이션을 신경망의 입력으로 하고, 출력은 새로운 리프레젠테이션이다) 등 기타 임의의 통합방식을 사용하여 대체할 수 있다.
또한, 본 출원의 실시예에서, 디코더 상태 층면에 히든 레이어 리프레젠테이션을 통합시킨다. 그런데, 본 출원의 실시예는 히든 레이어 리프레젠테이션을 구체적으로 한정하지 않고, 기타 디코더측의 중간 리프레젠테이션으로 대체할 수 있는데, 예를 들면, 디코더 모듈이 출력한 벡터 리프레젠테이션(이때, value는 대응하는 벡터 리프레젠테이션으로 대체되어야 한다)이다.
그리고, 본 출원의 실시예에서, λ는 1개의 스칼라(scalar)이다. 본 출원의 실시예는 λ의 구체적인 형식을 한정하지 않고, 히든 레이어 리프레젠테이션벡터와 동일한 디멘션의 1개의 벡터로 대체할 수 있으며, 여기서, 각 디멘션은 대응하는 벡터가 이 디멘션에서의 통합을 제어한다.
단계204는 이 문구조각의 디코더 상태를 취득하고, 이 문구조각의 소스측 리프레젠테이션 벡터와 이 문구조각의 디코더 상태 사이의 대응관계를 이 이력번역 정보에 기억한다.
선택적으로, 이 이력번역 정보중에 기타 종류의 정보도 포함된다면, 예를 들면, 이력 문구조각의 소스측 리프레젠테이션 벡터와 이력 문구조각의 출력벡터 사이의 대응관계도 포함될 때, 또는 이력 문구조각의 소스측 리프레젠테이션 벡터와 이력 문구조각의 목표측 리프레젠테이션 벡터 사이의 대응관계도 포함될 때, 컴퓨터 기기는 현재의 문구조각의 소스측 리프레젠테이션 벡터와 현재의 문구조각의 출력벡터 또는 목표측 리프레젠테이션 벡터도 이 이력 번역정보에 기억시킨다.
상술한 바와 같이, 본 출원의 실시예에서 예시한 기계번역 방법은 문구조각을 제1언어로부터 제2언어로 번역할 때, 현재 번역하는 문구조각의 소스측 리프레젠테이션 벡터ct(소스측 리프레젠테이션 벡터는 이 제1언어에서 대응하는 문구조각을 나타낸 벡터이다)를 획득한 후, 이 문구조각의 소스측 리프레젠테이션 벡터에 근거하여, 이력번역 정보를 검색하고, 이 문구조각의 이력번역 벡터를 획득한 후, 이 문구조각의 이력번역 벡터에 근거하여 이 문구조각에 대하여 번역을 진행한다. 상술한 형태중, 1개의 문구조각에 대하여 번역을 진행할 때, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 종합적으로 고려하고, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 통하여 이번 번역결과에 영향을 미치는데, 이력번역 과정에서의 1개의 문구조각에 대한 번역결과는 번역 시스템이 현재 타이밍 전에 같은 또는 유사한 문구조각에 대한 일부 심지어 전부의 번역상황일 수 있어 커버리지가 넓으므로, 상술한 방법을 이용한 1개의 문구조각의 번역결과는 이력번역 과정에서의 같은 문구조각에 대한 번역결과에 더욱 근접하게 되여, 번역의 정확성을 향상시킨다.
도 6을 참조하면, 도 6은 본 출원의 일 예시적 실시예에서 나타낸 기계번역 시스템의 구성 모식도를 도시한다. 여기서, 기계번역 시스템(60)은 엔코더(610), 어텐션 모델(620), 디코더(630) 및 기억 컴포넌트(640)를 포함한다.
단계1에 있어서, 엔코더(610)는 입력된 문구조각을 읽고, 소스측의 어의벡터 시퀀스를 출력하며, 모든 변역문이 생성될 때까지 단계2~5를 반복한다.
단계2에 있어서, 어텐션 모델(620)은 디코더 상태를 읽고, t시각의 소스측 리프레젠테이션 벡터ct를 생성한다.
단계3에 있어서, 기억 컴포넌트(640)는 번역이력 정보를 검색하고, ct를 읽고, 문구조각의 이력번역 벡터를 출력한다.
단계4에 있어서, 디코더(630)는 단계3이 출력한 이력번역 벡터 및 기타 표준 입력(예를 들면, 시각t의 소스측 리프레젠테이션 벡터ct)을 읽고, 현재 시각의 목표단어를 생성한다.
단계5에 있어서, 기억 컴포넌트(640)는 번역이력을 업 데이트 시키고, 즉, 현재의 목표단어를 생성한 후, 소스측 및 목표측 정보 리프레젠테이션(예를 들면, 소스측 리프레젠테이션 벡터ct, t시각의 디코더 상태st, t시각의 디코더의 출력벡터 및 최종 번역결과의 목표측 리프레젠테이션 벡터 등)을 번역이력 정보에 업데이트 시킨다.
여기서, 상술한 단계1부터 단계5까지의 상세한 실행과정은 도 2에 도시된 방법실시예중의 설명을 참조할 수 있어, 여기서는 상세하게 설명하지 않는다.
도 7은 일 예시적 실시예에 따른 기계번역 장치의 구조 블록도이다. 이 기계번역 장치는 NMT시스템에 의해 기계번역 기능이 제공된 컴퓨터 기기(예를 들면, 사용자 단말기 또는 서버)에 적용될 수 있고, 도 2에 도시된 실시예중의 전부 또는 일부 단계를 실행한다. 이 기계번역 장치는,
문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득하기 위한 소스측 벡터 취득모듈(701),
상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하기 위한 이력벡터 취득모듈(702), 및
상기 문구조각의 이력번역 벡터에 근거하여 상기 문구조각에 대하여 번역을 진행하기 위한 번역모듈(703)
을 포함할 수 있다.
선택적으로, 상기 이력벡터 취득모듈(702)은,
상기 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도를 계산하기 위한 유사도 계산유닛,
상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 근거하여, 상기 각 이력 문구조각의 디코더 상태의 가중치를 계산하기 위한 제1가중치 계산유닛, 및
상기 각 이력 문구조각의 디코더 상태의 가중치에 근거하여, 상기 각 이력 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 이력번역 벡터를 획득하기 위한 제1가중치 부여유닛
을 포함한다.
여기서, 상기 이력번역 정보는 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 디코더 상태 사이의 대응관계를 포함한다.
선택적으로, 상기장치는
상기 문구조각의 디코더 상태를 취득하기 위한 디코더 상태 취득모듈, 및
상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 문구조각의 디코더 상태 사이의 대응관계를 상기 이력번역 정보에 기억하기 위한 기억모듈
도 포함한다.
선택적으로, 상기 번역모듈(703)은,
상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제1신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제1출력벡터 획득유닛,
상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제2신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하기 위한 제1가중치 획득유닛,
상기 문구조각의 이력번역 벡터의 가중치에 근거하여 상기 문구조각의 출력벡터의 가중치를 계산하기 위한 제2가중치 계산유닛,
상기 문구조각의 출력벡터의 가중치 및 상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 출력벡터와 상기 문구조각의 이력번역 벡터에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 출력벡터를 획득하기 위한 제2가중치 부여유닛, 및
상기 문구조각의 수정된 출력벡터에 근거하여 상기 문구조각의 번역결과를 확정하기 위한 제1결과 확정유닛
을 포함한다.
선택적으로, 상기 번역모듈(703)은,
상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태, 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터 및 상기 문구조각의 이력번역 벡터를 제3신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제2출력벡터 획득유닛, 및
상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하기 위한 제2결과 확정유닛
을 포함한다.
선택적으로, 상기 번역모듈(703)은,
상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제4신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하기 위한 제2가중치 획득유닛,
상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 디코더 상태의 가중치를 계산하기 위한 제3가중치 계산유닛,
상기 문구조각의 이력번역 벡터의 가중치 및 상기 문구조각의 디코더 상태의 가중치에 근거하여, 상기 문구조각의 이력번역 벡터와 상기 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 디코더 상태를 획득하기 위한 제3가중치 부여유닛,
상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 수정된 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제5신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제3출력벡터 획득유닛, 및
상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하기 위한 제3결과 확정유닛
을 포함한다.
상술한 바와 같이, 본 출원의 실시예에서 예시한 기계번역 장치는 문구조각을 제1언어로부터 제2언어로 번역할 때, 현재 번역하는 문구조각의 소스측 리프레젠테이션 벡터ct(소스측 리프레젠테이션 벡터는 이 제1언어에서 대응하는 문구조각을 나타낸 벡터이다)를 획득한 후, 이 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 이 문구조각의 이력번역 벡터를 획득하며, 이 문구조각의 이력번역 벡터에 근거하여 이 문구조각에 대하여 번역을 진행한다. 상술한 형태중, 1개의 문구조각에 대하여 번역을 진행할 때, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 종합적으로 고려하고, 이력번역 과정에서의 이 문구조각에 대한 번역상황을 통하여 이번 번역결과에 영향을 미치는데, 이력번역 과정에서의 1개의 문구조각에 대한 번역상황은 번역 시스템이 현재 타이밍 전에 같은 또는 유사한 문구조각에 대한 일부 심지어 전부의 번역상황일 수 있어 커버리지가 넓으므로, 상술한 방법을 이용한 1개의 문구조각의 번역결과는 이력번역 과정에서의 같은 문구조각에 대한 번역결과에 더욱 근접하게 되여, 번역의 정확성을 향상시킨다.
여기서 설명할 필요성이 있는것은, 본 출원의 상술한 각 실시예는 전부 기계번역을 예로 들어 본 출원의 형태에 대하여 설명하였는데, 실제 응용에서는, 본 출원의 각 실시예가 제공한 방법은 예를 들면 음성인식, 인공지능 대화/질문대답 등 기타 시퀀스-투-시퀀스 (sequence-to-sequence) 임무에도 적용될 수 있다.
예를 들면, 본 출원의 일 예시적 실시예에서, 음성인식 분야인 경우, 컴퓨터 기기는 입력된 음성을 수신한 후, 엔코더와 어텐션 모델을 통하여 음성 조각을 소스측 리프레젠테이션 벡터로 전환시킬 수 있고, 소스측 리프레젠테이션 벡터를 통하여 음성 조각의 이력인식 벡터(기계번역중의 이력번역 벡터에 대응한다)를 검색하며, 이력인식 벡터를 통하여 디코더의 인식결과에 영향을 미칠 수 있다.
또 예를 들면, 본 출원의 다른 일 예시적 실시예에서, 인공지능 대화/질문대답 분야인 경우, 컴퓨터 기기는 입력된 대화/질문을 수신한 후, 엔코더와 어텐션 모델을 통하여 대화/질문을 소스측 리프레젠테이션 벡터로 전환시키고, 소스측 리프레젠테이션 벡터를 통하여 대화/질문의 이력대답 벡터(기계번역중의 이력번역 벡터에 대응한다)를 검색하고, 이력대답 벡터를 통하여 디코더가 확정하는 대답결과에 영향을 미칠 수 있다.
도 8은 일 예시적 실시예에 따른 서버의 구조 모식도이다. 상기 서버(800)은 중앙처리장치(CPU, 801), 램(RAM, 802)와 롬(ROM, 803)을 포함한 시스템 메모리(804), 그리고 시스템 메모리(804)와 중앙처리장치(801)를 연결하는 시스템 버스(805)를 포함한다. 상기 서버(800)은 컴퓨터 내의 각 디바이스 사이에서 정보의 전송에 도움을 주는 기본적인 입출력 시스템(I/O시스템, 806), 그리고 조작 시스템(813), 응용 프로그램(814) 및 기타 프로그램 모듈(815)을 기억하기 위한 대용량 기억 기기(807)도 포함한다.
상기 기본적인 입출력 시스템(806)은 정보를 표시하기 위한 표시장치(808)와 사용자가 정보를 입력하기 위한 예를 들면 마우스, 키보드과 같은 입력기기(809)를 포함한다. 여기서, 상기 표시장치(808)와 입력기기(809)는 전부 시스템 버스(805)에 연결된 입출력 제어장치(810)를 통해 중앙처리장치(801)에 연결된다. 상기 기본적인 입출력 시스템(806)은 입출력 제어장치(810)도 포함하여 키보드, 마우스 또는 전자펜 등 여러개의 기타 기기로부터의 입력을 수신하고 처리할 수 있다. 마찬가지로, 입출력 제어장치(810)는 출력을 디스플레이 스크린, 프린터 또는 기타 종류에 출력하는 출력기기를 제공할 수도 있다.
상기 대용량 기억기기(807)은 시스템 버스(805)에 연결된 대용량 기억 제어장치(미도시)를 통하여 중앙처리장치(801)에 연결된다. 상기 대용량 기억기기(807) 및 그에 관련된 컴퓨터 판독 가능 매체는 서버(800)를 위하여 비휘발성 메모리를 제공한다. 다시 말하면, 상기 대용량 기억기기(807)는 예를 들면 하드 디스크 또는 CD-ROM 드라이버와 같은 컴퓨터 판독 가능 매체(미도시)도 포함할 수 있다.
일반성을 잃지 않고, 상기 컴퓨터 판독 가능 매체는 컴퓨터 기억매체와 통신매체를 포함할 수 있다. 컴퓨터 기억매체는 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등 정보를 기억하기 위한 임의의 방법 또는 기술로 실현한 휘발성 및 비휘발성, 이동 가능한 및 이동 불가능한 매체를 포함한다. 컴퓨터 기억매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 기타 솔리드 스토리지 기술, CD-ROM, DVD 또는 기타 광학 기억 장치, 카세트, 자기 테이프, 디스크 스토리지 또는 기타 스토리지 기기를 포함한다. 물론, 당업자는 상기 컴퓨터 기억매체가 상술한 몇가지에 한정되지 않다라는 것을 알 수 있다. 상술한 시스템 메모리(804)와 대용량 기억기기(807)를 메모리로 통칭할 수 있다.
서버(800)는 상기 시스템 버스(805)에 연결된 네트워크 인터페이스 유닛(811)을 통해 인터넷 또는 기타 네트워크 기기에 연결될 수 있다.
상기 메모리는 1개 또는 1개 이상의 프로그램도 포함하고, 상기 1개 또는 1개 이상의 프로그램은 메모리에 기억되며, 중앙처리장치(801)는 이 1개 또는 1개 이상의 프로그램을 실행함으로써 도 2에 도시된 기계번역 방법을 실현한다.
도 9는 일 예시적 실시예에 따른 사용자 단말기(900)의 구조 모식도이다. 본 출원의 실시예의 사용자 단말기(900)는 1개 또는 복수개의 하기와 같은 구성부분을 포함할 수 있다. 즉, 컴퓨터 프로그램 명령을 실행하여 각종 절차와 방법을 완성하기 위한 프로세서, 정보와 프로그램 명령을 기억하기 위한 램(RAM)과 롬(ROM), 데이터와 정보를 기억하기 위한 메모리, I/O기기, 인터페이스, 안테나 등 이다.
구체적으로 설명하면, 사용자 단말기(900)는 RF(Radio Frequency, 무선 주파수)회로(910), 메모리(920), 입력유닛(930), 디스플레이 유닛(940), 센서(950), 오디오 회로(960), WiFi(wireless fidelity, 와이파이)모듈(970), 프로세서(980), 전원(982), 카메라(990) 등 부품을 포함할 수 있다. 당업자가 이해할 수 있는 것은, 도 9에서 도시된 사용자 단말기 구조는 사용자 단말기에 대한 한정을 구성하지 않고, 도면에 도시된 것보다 더 많거나 더 적은 부품을 포함할 수 있으며, 또는 몇개의 부품들을 조합하거나, 다른 부품배치를 적용할 수 있다.
다음, 도 9를 참조하면서 사용자 단말기(900)의 각 구성부품에 대하여 구체적으로 설명한다.
RF회로(910)은 정보의 송수신 또는 통화하는 과정중의 신호의 수신과 송신을 위한 것이고, 특히, 기지국의 다운링크 정보를 수신한 후, 프로세서(980)가 처리하도록 한다. 그리고, 업링크에 관련된 데이터를 기지국에게 송신한다. 일반적으로, RF회로는 안테나, 적어도 하나의 앰프, 트랜스시버, 커플러, LNA(Low Noise Amplifier, 저잡음 앰프), 송수전환기 등을 포함하는데, 이에 한정되지 않는다. 그리고, RF회로(910)는 무선통신과 인터넷을 통해 기타 기기와 통신할 수 있다. 상기 무선통신은 임의의 통신 표준 또는 프로토콜을 사용할 수 있고, GSM (Global System of Mobile communication, 이동통신 글로벌 시스템), GPRS(General Packet Radio Service, 일반 패킷 무선 서비스), CDMA(Code Division Multiple Access, 코드 분할 다원접속), WCDMA(Wideband Code Division Multiple Access, 광대역 코드 분할 다중 접속), LTE(Long Term Evolution, 롱텀에볼루션), 전자메일, SMS(Short Messaging Service, 단문 메시지 서비스) 등을 포함하는데, 상기 방식들에 한정되지는 않는다.
메모리(920)는 소프트웨어 프로그램 및 모듈을 기억하기 위한 것이고, 프로세서(980)는 메모리(920)에 기억된 소프트웨어 프로그램 및 모듈을 운행하는 것을 통해, 사용자 단말기(900)의 각종 기능응용 및 데이터 처리를 실행한다. 메모리(920)는 주로 프로그램 기억구역 및 데이터 기억구역을 포함할 수 있다. 여기서, 프로그램 기억구역은 조작시스템, 적어도 하나의 기능이 필요로 하는 응용프로그램(예를 들면, 음성 재생기능, 이미지 재생기능 등) 등을 기억할 수 있고, 데이터 기억구역은 사용자 단말기(900)의 사용에 따라서 생성된 데이터(예를 들면, 오디어 데이터, 전화번호록 등) 등을 기억할 수 있다. 그리고, 메모리(920)는 고속 램을 포함할 수 있고, 비휘발성 메모리도 포함할 수 있는데, 예를 들면, 적어도 하나의 디스크 기억장치, 플래시 메모리, 또는 기타 휘발성 솔리드 스테이트 기억장치를 포함할수 있다.
입력유닛(930)은 입력된 숫자 또는 문자 정보를 수신하고, 사용자 단말기(900)의 사용자 설치 및 기능 제어와 관련된 키 신호 입력을 생성하기 위한것 일 수 있다. 구체적으로, 입력유닛(930)은 터치 패널(931) 및 기타 입력기기(932)를 포함할 수 있다. 터치 패널(931)은 터치 스크린이라고도 불리우고, 사용자가 바로 그 위 또는 근처에서의 터치 조작(예를 들면, 사용자가 손가락, 터치 팬 등 임의의 적합한 물체 또는 부속품으로 터치 패널(931) 위 또는 터치 패널(931) 근처에서의 조작)을 수집할 수 있고, 미리 설정된 프로그램에 근거하여 대응하는 연결장치를 구동시킨다. 선택적으로, 터치 패널(931)은 터치 검출장치와 터치 제어장치의 2개 부분을 포함할 수 있다. 여기서, 터치 검출장치는 사용자의 터치 포지션을 검출하고, 터치조작에 의한 신호를 검출하며, 신호를 터치 제어장치에 전송한다. 터치 제어장치는 터치 검출장치로부터 터치 정보를 수신하고, 터치 포인트 좌표로 전환시킨 다음, 프로세서(980)에 전송하고, 프로세서(980)로부터 송신해 온 명령을 수신하고 실행할 수 있다. 그리고, 저항식, 용량식, 적외선 및 표면음파 등 여러 종류를 사용하여 터치 패널(931)을 실현할 수 있다. 터치 패널(931)외에도, 입력유닛(930)은 기타 입력기기(932)를 포함할 수 있다. 구체적으로, 기타 입력기기(932)는 물리적 키보드, 기능 키(예를 들면, 음량 제어 키, 스위치 키 등), 트랙 볼, 마우스, 조이스틱 중의 1가지 또는 여러가지를 포함할 수 있는데, 이들에 한정되지 않는다.
디스플레이 유닛(940)은 사용자가 입력한 정보 또는 사용자에게 제공하는 정보, 그리고 사용자 단말기(900)의 각종 메뉴를 디스플레이하기 위한 것이다. 디스플레이 유닛(940)은 디스플레이 패널(941)을 포함할 수 있고, 선택적으로, LCD(Liquid Crystal Display, 액정디스플레이), OLED(Organic Light-Emitting Diode, 유기발광다이오드) 등 형식을 이용하여 디스플레이 패널(941)을 배치할 수 있다. 진일보로, 터치 패널(931)은 디스플레이 패널(941)을 덮고, 터치 패널(931)이 바로 그 위 또는 근처의 터치 조작을 검출한 후, 프로세서(980)에 전송하여, 터치 이벤트의 종류를 확정하며, 그후, 프로세서(980)가 터치 이벤트의 종류에 근거하여 디스플레이 패널(941)에 대응하는 시각 출력을 제공한다. 도 9에는 터치 패널(931)과 디스플레이 패널(941)이 2개의 독립된 부품으로서 사용자 단말기(900)의 입력과 입력 기능을 실현했지만, 어떤 실시예에서는, 터치 패널(931)과 디스플레이 패널(941)을 통합하여 사용자 단말기(900)의 입력과 출력 기능을 실현할 수도 있다.
사용자 단말기(900)는 적어도 1가지 종류의 센서(950)를 포함할 수 있고, 예를 들면, 자이로 센서, 자기 유도 센서, 광 센서, 모션 센서 및 기타 센서를 포함할 수 있다. 구체적으로, 광 센서는 주변광 센서 및 근접 센서를 포함할 수 있고, 여기서, 주변광 센서는 주변 광선의 밝기에 근거하여 디스플레이 패널(941)의 휘도를 조절할 수 있고, 근접센서는 사용자 단말기(900)가 귓가로 이동했을 때, 디스플레이 패널(941) 및/또는 백 라이트를 끌 수 있다. 모션 센서의 일종으로서, 가속도 센서는 각 방향(보통은 3축)의 가속도의 크기를 검출할 수 있고, 정지할 때는, 중력의 크기 및 방향을 검출할 수 있으며, 사용자 단말기의 자세(예를 들면, 가로 방향 및 세로 방향의 스위칭, 관련된 게임, 자력계 자세 교정)를 인식하는 응용, 진동 인식에 관련된 기능(예를 들면, 만보계, 노크) 등에 적용될 수 있고, 사용자 단말기(900)에 더 배치 가능한 압력계, 습도계, 온도계, 적외선 센서 등 기타 센서에 관해서는 여기서 상세하게 설명하지 않는다.
오디오 회로(960), 스피커(981), 마이크로 폰((962))은 사용자와 사용자 단말기(900) 사이의 오디오 인터페이스를 제공할 수 있다. 오디오 회로(960)는 수신된 오디오 데이터가 전환 된 후의 전기신호를 스피커(961)에 전송할 수 있고, 스피커(961)에 의해 음성신호로 전환되어 출력한다. 다른 한 방면으로는, 마이크로 폰(962)은 수집된 음성신호를 전기신호로 전환시키고, 오디오 회로(960)에 의해 수신된 후 오디오 데이터로 전환되며, 오디오 데이터를 프로세서(980)에 출력하여 처리시킨 후, RF회로(910)를 거쳐 예를 들면 또 다른 사용자 단말기에 송신하거나 진일보 처리를 위해 오디오 데이터를 메모리(920)에 출력한다.
WiFi는 단거리 무선 전송 기술에 속하고, 사용자 단말기(900)는 WiFi모듈(970)을 통해 사용자를 위하여 전자메일을 송수신, 웹 페이지를 보기, 그리고 스트림 미디어 접속 등을 진행할 수 있고, 사용자를 위해 무선의 브로드밴드 인터넷 접속을 제공한다. 도 9에 WiFi모듈(970)을 도시되어 있지만, 이해할수 있는것은, 이는 사용자 단말기(900)의 필수적 구성에는 속하지 않고, 수요에 따라 개시된 본질을 개변하지 않는 범위에서 완전히 생략할 수 있다.
프로세서(980)는 사용자 단말기(900)의 제어중심이고, 각종 인터페이스와 회로선을 이용하여 전체의 사용자 단말기의 각 부분을 연결하며, 메모리(920) 내에 기억된 소프트웨어 프로그램 및/또는 모듈의 운행 또는 실행, 그리고 메모리(920) 내에 기억된 데이터의 불러오기를 통해, 사용자 단말기(900)의 각종 기능을 실행하고 데이터를 처리하여, 사용자 단말기에 대하여 전반적으로 모니터링을 진행한다. 선택적으로, 프로세서(980)는 1개 또는 복수개의 프로세스 유닛을 포함할 수 있고, 바람직하게는, 프로세서(980)는 응용 프로세서와 모뎀 프로세서를 통합할 수 있으며, 여기서, 응용 프로세서는 주로 조작시스템, 사용자 인터페이스와 응용 프로그램 등을 처리하고, 모뎀 프로세서는 주로 무선 통신을 처리한다. 이해할 수 있는것은, 상술한 모뎀 프로세서는 프로세서(980)에 통합되지 않아도 된다.
사용자 단말기(900)는 각 부품에 전기를 공급하는 전원(982)(예를 들면, 전지)도 포함하고, 바람직하게는, 전원관리시스템을 통해 프로세서(980)와 로지컬 커넥션(logical connection)할 수 있으며, 이로 하여, 전원관리시스템을 통해 충전 및 방전 관리, 그리고 파워 소모 관리 등 기능도 실현한다.
카메라(990)은 보통 렌즈, 이미지 센서, 인터페이스, 디지털 신호 프로세서, CPU, 디스플레이 스크린 등으로 구성된다. 여기서, 렌즈는 이미지 센서의 위측에 고정되고, 수동으로 렌즈을 조절하여 초점을 개변할 수 있다. 이미지 센서는 종래의 카메라의 "필름"에 해당되고, 카메라가 이미지를 채집하는 심장이다. 인터페이스는 플랫 케이블, 보드 대 보드(board-to-board) 컨넥터, 스프링 연결방식을 이용해서 카메라를 사용자 단말기 메인 보드과 연결시키기 위한 것이고, 채집된 이미지를 상기 메모리(920)로 송신한다. 디지털신호 프로세서는 수식 연산을 통하여 채집된 이미지에 대하여 처리를 진행하고, 채집된 아날로그 이미지를 디지털 이미지로 전환하며, 인터페이스를 통해 메모리(920)에 송신한다.
예시되어 있지 않지만, 사용자 단말기(900)는 블루투스 모듈 등도 포함할 수 있는데, 여기서는 상세하게 설명하지 않는다.
사용자 단말기(900)는 1개 또는 복수개의 프로세서(980)외에도, 메모리, 그리고 1개 또는 복수개의 모듈도 포함한다. 여기서, 1개 또는 복수개의 모듈은 메모리에 기억되어 있고, 1개 또는 복수개의 프로세서에 의해 실행되도록 배치되여, 상술한 도 2에 도시된 기계번역 방법중의 전부 또는 일부 단계를 실행한다.
예시적 실시예에서는 명령을 포함한 비일시적 컴퓨터 판독 가능 기억매체, 예를 들면, 컴퓨터 프로그램(명령)을 포함한 메모리도 제공했는데, 상술한 프로그램(명령)은 컴퓨터 기기(예를 들면, 상술한 사용자 단말기 또는 서버)의 프로세서에 의해 실행되여 본 출원의 각 실시예에 예시된 기계번역 방법을 완성할 수 있다. 예를 들면, 상기 비일시적 컴퓨터 판독 가능 기억매체는 ROM, 램(RAM), CD-ROM, 자기 테이프, 플로피 디스크와 광 데이터 기억기기 등 일 수 있다.
당업자는 명세서를 고려하고 여기서 개시된 발명을 실천한 후, 본 출원의 기타 실시형태도 쉽게 생각할 수 있다. 본 출원의 취지는 본 출원의 임의의 변형, 용도 또는 적응성 변화를 포함하고, 이런 변형, 용도 또는 적응성 변화는 본 출원의 일반성 원리에 따르며, 본 출원이 개시되지 않은 기술분야의 공지 상식 또는 관용의 기술수단도 포함한다. 명세서와 실시예는 예시적일 뿐이고, 본 출원의 진정한 범위 및 정신은 첨부된 청구항에 의해 나타난다.
이해해야 할 것은, 본 출원은 위에서 이미 설명했고 도면에도 도시된 정밀한 구조에 한정되지는 않고, 그 범위를 벗어나지 않는 한, 각종 수정 또는 변경을 할 수 있다. 본 출원의 범위는 첨부된 청구항에만 의해 한정된다.

Claims (14)

  1. 컴퓨터 기기에 의해 실행되는 기계번역 방법에 있어서,
    상기 기계번역 방법은,
    문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득하고,
    상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하며,
    상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것
    을 포함하고,
    상기 이력번역 정보는 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 디코더 상태 사이의 대응관계를 포함하고,
    상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 벡터를 획득하는 것은,
    상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도를 계산하고,
    상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 근거하여, 상기 각 이력 문구조각의 디코더 상태의 가중치를 계산하며,
    상기 각 이력 문구조각의 디코더 상태의 가중치에 근거하여, 상기 각 이력 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 이력번역 벡터를 획득하는 것을 포함하는, 기계번역 방법.
  2. 제1항에 있어서,
    상기 문구조각의 디코더 상태를 취득하고,
    상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 문구조각의 디코더 상태 사이의 대응관계를 상기 이력번역 정보에 기억하는 것을 더 포함하는, 기계번역 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제1신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하며,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제2신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하며,
    상기 문구조각의 이력번역 벡터의 가중치에 근거하여 상기 문구조각의 출력벡터의 가중치를 계산하고,
    상기 문구조각의 출력벡터의 가중치 및 상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 출력벡터와 상기 문구조각의 이력번역 벡터에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 출력벡터를 획득하며,
    상기 문구조각의 수정된 출력벡터에 근거하여 상기 문구조각의 번역결과를 확정하는 것을 포함하는, 기계번역 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태, 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터 및 상기 문구조각의 이력번역 벡터를 제3신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하며,
    상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하는 것을 포함하는, 기계번역 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하는 것은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제4신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하며,
    상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 디코더 상태의 가중치를 계산하고,
    상기 문구조각의 이력번역 벡터의 가중치 및 상기 문구조각의 디코더 상태의 가중치에 근거하여, 상기 문구조각의 이력번역 벡터와 상기 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 디코더 상태를 획득하고,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 수정된 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제5신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하며,
    상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하는 것을 포함하는, 기계번역 방법.
  6. 기계번역 장치에 있어서,
    상기 기계번역 장치는
    문구조각을 제1언어로부터 제2언어로 번역할 때, 상기 문구조각의 상기 제1언어에서 대응하는 문구조각을 나타낸 벡터인 소스측 리프레젠테이션 벡터를 취득하기 위한 소스측 벡터 취득모듈,
    상기 문구조각의 소스측 리프레젠테이션 벡터에 근거하여 이력번역 정보를 검색하여, 상기 문구조각의 이력번역 상황을 나타내기 위한 이력번역 벡터를 획득하기 위한 이력벡터 취득모듈, 및
    상기 문구조각의 이력번역 벡터에 근거하여, 상기 문구조각에 대하여 번역을 진행하기 위한 번역모듈
    을 포함하고,
    상기 이력벡터 취득모듈은,
    상기 문구조각의 소스측 리프레젠테이션 벡터와 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도를 계산하기 위한 유사도 계산유닛,
    상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터의 각각과의 유사도에 근거하여, 상기 각 이력 문구조각의 디코더 상태의 가중치를 계산하기 위한 제1가중치 계산유닛, 및
    상기 각 이력 문구조각의 디코더 상태의 가중치에 근거하여, 상기 각 이력 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 이력번역 벡터를 획득하기 위한 제1가중치 부여유닛
    을 포함하고,
    상기 이력번역 정보는 상기 각 이력 문구조각의 소스측 리프레젠테이션 벡터와 상기 각 이력 문구조각의 디코더 상태 사이의 대응관계를 포함하는, 기계번역 장치.
  7. 제6항에 있어서,
    상기 문구조각의 디코더 상태를 취득하기 위한 디코더 상태 취득모듈, 및
    상기 문구조각의 소스측 리프레젠테이션 벡터와 상기 문구조각의 디코더 상태 사이의 대응관계를 상기 이력번역 정보에 기억하기 위한 기억모듈
    을 더 포함하는, 기계번역 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 번역모듈은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제1신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제1출력벡터 획득유닛,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제2신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하기 위한 제1가중치 획득유닛,
    상기 문구조각의 이력번역 벡터의 가중치에 근거하여 상기 문구조각의 출력벡터의 가중치를 계산하기 위한 제2가중치 계산유닛,
    상기 문구조각의 출력벡터의 가중치 및 상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 출력벡터와 상기 문구조각의 이력번역 벡터에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 출력벡터를 획득하기 위한 제2가중치 부여유닛, 및
    상기 문구조각의 수정된 출력벡터에 근거하여 상기 문구조각의 번역결과를 확정하기 위한 제1결과 확정유닛
    을 포함하는, 기계번역 장치.
  9. 제6항 또는 제7항에 있어서,
    상기 번역모듈은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태, 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터 및 상기 문구조각의 이력번역 벡터를 제3신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제2출력벡터 획득유닛, 및
    상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하기 위한 제2결과 확정유닛
    을 포함하는, 기계번역 장치.
  10. 제6항 또는 제7항에 있어서,
    상기 번역모듈은,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 디코더 상태 및 상기 문구조각의 이력번역 벡터를 제4신경망에 입력하여, 상기 문구조각의 이력번역 벡터의 가중치를 획득하기 위한 제2가중치 획득유닛,
    상기 문구조각의 이력번역 벡터의 가중치에 근거하여, 상기 문구조각의 디코더 상태의 가중치를 계산하기 위한 제3가중치 계산유닛,
    상기 문구조각의 이력번역 벡터의 가중치 및 상기 문구조각의 디코더 상태의 가중치에 근거하여, 상기 문구조각의 이력번역 벡터와 상기 문구조각의 디코더 상태에 대하여 가중치합을 구하여, 상기 문구조각의 수정된 디코더 상태를 획득하기 위한 제3가중치 부여유닛,
    상기 문구조각의 소스측 리프레젠테이션 벡터, 상기 문구조각의 수정된 디코더 상태 및 상기 문구조각의 바로 전의 문구조각인 직전 문구조각의 상기 제2언어에서 대응하는 문구조각을 나타낸 벡터인 목표측 리프레젠테이션 벡터를 제5신경망에 입력하여, 상기 문구조각의 출력벡터를 획득하기 위한 제3출력벡터 획득유닛, 및
    상기 문구조각의 출력벡터에 근거하여, 상기 문구조각의 번역결과를 확정하기 위한 제3결과 확정유닛
    을 포함하는, 기계번역 장치.
  11. 컴퓨터 기기에 있어서,
    프로세서와 메모리를 포함하고, 상기 메모리에는 적어도 하나의 명령, 적어도 하나의 프로그램, 코드 세트 또는 명령 세트가 기억되어 있고, 상기 적어도 하나의 명령, 상기 적어도 하나의 프로그램, 상기 코드 세트 또는 명령 세트는 상기 프로세서에 의해 로딩 및 실행되어 제1항에 따른 기계번역 방법을 실현하는, 컴퓨터 기기.
  12. 컴퓨터 판독 가능 기억매체에 있어서,
    상기 기억매체에는 적어도 하나의 명령, 적어도 하나의 프로그램, 코드 세트 또는 명령 세트가 기억되어 있고, 상기 적어도 하나의 명령, 상기 적어도 하나의 프로그램, 상기 코드 세트 또는 명령 세트는 프로세서에 의해 로딩 및 실행되어 제1항에 따른 기계번역 방법을 실현하는, 기억매체.
  13. 삭제
  14. 삭제
KR1020197032061A 2017-09-12 2018-08-10 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체 KR102360659B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710819346.8 2017-09-12
CN201710819346.8A CN108304388B (zh) 2017-09-12 2017-09-12 机器翻译方法及装置
PCT/CN2018/099808 WO2019052293A1 (zh) 2017-09-12 2018-08-10 机器翻译方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
KR20190130636A KR20190130636A (ko) 2019-11-22
KR102360659B1 true KR102360659B1 (ko) 2022-02-08

Family

ID=62869682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197032061A KR102360659B1 (ko) 2017-09-12 2018-08-10 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체

Country Status (5)

Country Link
US (1) US11275907B2 (ko)
JP (1) JP7026236B2 (ko)
KR (1) KR102360659B1 (ko)
CN (1) CN108304388B (ko)
WO (1) WO2019052293A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230132205A (ko) 2022-03-08 2023-09-15 주식회사 에이치아이컨설팅 인공지능 모델을 이용한 자기진단장치(obd) 문서 번역 시스템 및 그 구동방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304388B (zh) 2017-09-12 2020-07-07 腾讯科技（深圳）有限公司 机器翻译方法及装置
US11449533B2 (en) * 2018-02-22 2022-09-20 Entigenlogic Llc Curating knowledge for storage in a knowledge database
US11321530B2 (en) * 2018-04-19 2022-05-03 Entigenlogic Llc Interpreting a meaning of a word string
CN111382584B (zh) * 2018-09-04 2022-07-29 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN111160036B (zh) * 2018-11-07 2023-07-21 中移(苏州)软件技术有限公司 一种对基于神经网络的机器翻译模型的更新方法及装置
CN111178099B (zh) * 2018-11-28 2023-03-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109858045B (zh) * 2019-02-01 2020-07-10 北京字节跳动网络技术有限公司 机器翻译方法和装置
CN111368564B (zh) * 2019-04-17 2022-04-08 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机可读存储介质和计算机设备
CN110298045B (zh) * 2019-05-31 2023-03-24 北京百度网讯科技有限公司 机器翻译方法、装置、设备及存储介质
CN110188331B (zh) * 2019-06-03 2023-05-26 腾讯科技（深圳）有限公司 模型训练方法、对话系统评价方法、装置、设备及存储介质
CN110598671B (zh) * 2019-09-23 2022-09-27 腾讯科技（深圳）有限公司 基于文本的虚拟形象行为控制方法、设备和介质
CN111079450B (zh) * 2019-12-20 2021-01-22 北京百度网讯科技有限公司 基于顺句驱动的语言转换方法和装置
CN111191015A (zh) * 2019-12-27 2020-05-22 上海大学 一种神经网络电影知识智能对话方法
CN111680519B (zh) * 2020-04-28 2023-04-07 平安科技（深圳）有限公司 基于降维桶模型的文本翻译方法及装置
CN112733556B (zh) * 2021-01-28 2024-04-05 何灏 同步交互式翻译方法及装置、存储介质、计算机设备
US11966711B2 (en) 2021-05-18 2024-04-23 International Business Machines Corporation Translation verification and correction
US20230016962A1 (en) * 2021-07-19 2023-01-19 Servicenow, Inc. Multilingual natural language understanding model platform
CN114239613B (zh) * 2022-02-23 2022-08-02 阿里巴巴达摩院(杭州)科技有限公司 实时语音翻译方法、装置、设备及存储介质
KR20240000721A (ko) 2022-06-24 2024-01-03 주식회사 오피니언라이브 다국어 워드 의미 관계 조회를 위한 워드넷 서비스 구축방법 및 이를 포함하는 저장매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646019A (zh) 2013-12-31 2014-03-19 哈尔滨理工大学 一种多个机器翻译系统融合的方法及装置
CN105183720A (zh) 2015-08-05 2015-12-23 百度在线网络技术（北京）有限公司 基于rnn模型的机器翻译方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999771B2 (ja) 2004-07-06 2007-10-31 株式会社東芝 翻訳支援プログラム、翻訳支援装置、翻訳支援方法
US9659009B2 (en) * 2014-09-24 2017-05-23 International Business Machines Corporation Selective machine translation with crowdsourcing
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
KR102565274B1 (ko) * 2016-07-07 2023-08-09 삼성전자주식회사 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
CN108304388B (zh) * 2017-09-12 2020-07-07 腾讯科技（深圳）有限公司 机器翻译方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646019A (zh) 2013-12-31 2014-03-19 哈尔滨理工大学 一种多个机器翻译系统融合的方法及装置
CN105183720A (zh) 2015-08-05 2015-12-23 百度在线网络技术（北京）有限公司 基于rnn模型的机器翻译方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xing Wang 외, ‘Translating Phrases in Neural Machine Translation', 2017.08.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230132205A (ko) 2022-03-08 2023-09-15 주식회사 에이치아이컨설팅 인공지능 모델을 이용한 자기진단장치(obd) 문서 번역 시스템 및 그 구동방법

Also Published As

Publication number Publication date
KR20190130636A (ko) 2019-11-22
JP2020535564A (ja) 2020-12-03
US20190384822A1 (en) 2019-12-19
WO2019052293A1 (zh) 2019-03-21
CN108304388A (zh) 2018-07-20
CN108304388B (zh) 2020-07-07
JP7026236B2 (ja) 2022-02-25
US11275907B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
KR102360659B1 (ko) 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
US11907851B2 (en) Image description generation method, model training method, device and storage medium
US10956771B2 (en) Image recognition method, terminal, and storage medium
JP7179273B2 (ja) 翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム
CN110162770B (zh) 一种词扩展方法、装置、设备及介质
WO2020103721A1 (zh) 信息处理的方法、装置及存储介质
CN109902296B (zh) 自然语言处理方法、训练方法及数据处理设备
CN111816159B (zh) 一种语种识别方法以及相关装置
CN110018970B (zh) 缓存预取方法、装置、设备及计算机可读存储介质
CN110110045B (zh) 一种检索相似文本的方法、装置以及存储介质
CN111159338A (zh) 一种恶意文本的检测方法、装置、电子设备及存储介质
CN111507094B (zh) 基于深度学习的文本处理模型训练方法、装置及设备
CN109992753B (zh) 一种翻译处理方法及终端设备
CN110990549B (zh) 获取答案的方法、装置、电子设备及存储介质
CN112488157A (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN117057345B (zh) 一种角色关系的获取方法及相关产品
CN117094307A (zh) 一种语句处理的方法和相关装置
CN117216553A (zh) 推荐模型的预训练方法、调整方法、推荐方法及相关产品
CN117493594A (zh) 游戏资源的查询方法、装置、电子设备及存储介质
CN117910462A (zh) 一种摘要抽取模型的训练方法及装置
CN116028632A (zh) 一种领域语言模型的确定方法和相关装置
CN117633537A (zh) 词汇识别模型的训练方法、词汇识别方法、装置及设备
CN116776136A (zh) 数据处理方法、装置、电子设备及存储介质
CN113761952A (zh) 一种文本翻译方法和相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant