KR20210057435A - Electronic Device and the Method for Mechanical Translation based on Nerve Network - Google Patents
Electronic Device and the Method for Mechanical Translation based on Nerve Network Download PDFInfo
- Publication number
- KR20210057435A KR20210057435A KR1020190144186A KR20190144186A KR20210057435A KR 20210057435 A KR20210057435 A KR 20210057435A KR 1020190144186 A KR1020190144186 A KR 1020190144186A KR 20190144186 A KR20190144186 A KR 20190144186A KR 20210057435 A KR20210057435 A KR 20210057435A
- Authority
- KR
- South Korea
- Prior art keywords
- vocabulary
- dictionary
- electronic device
- sentence
- original
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title abstract description 23
- 210000005036 nerve Anatomy 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
Description
본 문서에서 개시되는 다양한 실시 예들은, 신경망 기반 기계 번역 기술과 관련된다.Various embodiments disclosed in this document relate to a neural network-based machine translation technology.
인간의 말을 자동으로 번역하려는 시도는 컴퓨터의 등장과 함께 시작되었다. 기계 번역 기법은 규칙 기반 방식에서 시작하여 패턴 기반 방식 및 통계 기반 방식에 이르기까지 지속적으로 발전되어 왔다.Attempts to automatically translate human speech began with the advent of computers. Machine translation techniques have been continuously developed from rule-based methods to pattern-based methods and statistics-based methods.
최근에는 기계 번역에 신경망 기반의 기계 학습이 도입되어, 기계 번역의 획기적인 성능 개선을 이루었다. 이러한 신경망 기반의 기계 번역 시스템은 대량의 학습 코퍼스(말뭉치)만 준비되면, 손쉽게 기계 번역 모델을 생성할 수 있다. 또한, 신경망 기반의 기계 번역 시스템은 텍스트 기반의 문서 번역뿐만 아니라, 음성 기반의 자동 통역 서비스를 제공할 수 있다. In recent years, machine learning based on neural networks has been introduced in machine translation, resulting in a breakthrough performance improvement in machine translation. This neural network-based machine translation system can easily generate a machine translation model if only a large amount of learning corpuses are prepared. In addition, the neural network-based machine translation system can provide not only text-based document translation but also voice-based automatic interpretation service.
신경망 기반의 기계 번역 시스템은 입력된 원시 문장을 인코딩하여 추상화된 컨텍스트 벡터(context vector)로 변환하고, 디코딩 과정에서 컨텍스트 벡터에 기반하여 번역 문장(대역 어휘의 조합)을 생성할 수 있다. 이 같이, 신경망 기반의 기계 번역 시스템은 원시 문장 전체의 의미가 축약된 은닉 상태(hidden state)(또는, 컨텍스트 벡터)로부터 대역 어휘를 생성하므로, 원시 어휘와 대역 어휘(이하, “대역 어휘”로 언급될 수 있음) 간의 매핑 관계를 파악하기 어렵고, 사용자 사전을 적용하기 어려울 수 있다. A machine translation system based on a neural network may encode an input source sentence and convert it into an abstracted context vector, and generate a translation sentence (a combination of band vocabulary) based on the context vector in a decoding process. In this way, the neural network-based machine translation system generates a band vocabulary from a hidden state (or context vector) in which the meaning of the entire original sentence is abbreviated. May be mentioned), and it may be difficult to grasp the mapping relationship between them, and to apply a user dictionary.
사용자 사전은 다른 분야와 달리 번역되어야 하는 원시 어휘에 대응하는 대역 어휘를 정의하는데, 신경망 기반의 기계 번역 시스템은 상기 특징으로 인하여 어휘 대 어휘 변환을 제공하기 어려울 수 있다.Unlike other fields, the user dictionary defines a band vocabulary corresponding to the original vocabulary to be translated, and the neural network-based machine translation system may be difficult to provide vocabulary-to-vocabulary conversion due to the above characteristics.
본 문서에 개시되는 다양한 실시 예들은 사용자 사전을 적용할 수 있는 전자 장치 및 신경망 기반 기계 번역 방법을 제공할 수 있다.Various embodiments disclosed in this document may provide an electronic device and a neural network-based machine translation method to which a user dictionary can be applied.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 외부 전자 장치와 통신할 수 있는 통신 회로; 신경망 기반의 기계 번역을 위한 적어도 하나의 인스트럭션, 원시 어휘 사전, 목표 어휘 사전 및 확장 사전이 저장된 메모리; 상기 원시 어휘 사전 및 상기 목표 어휘 사전은, 각기 원시 어휘와 대역 어휘와 관련되고, 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 원시 문장을 획득하고, 상기 원시 문장으로부터 미등록 어휘 또는 사용자 사전에 관련된 어휘 중 적어도 하나의 어휘에 대해서, 상기 적어도 하나의 어휘에 대응하는 주의집중 확률 분포 및 상기 목표 어휘 사전의 확률 분포에 기반하여 대역 어휘를 결정하고, 상기 결정된 대역 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성하고, 상기 생성된 번역 문장을 상기 통신 회로를 통해 상기 외부 전자 장치에 제공할 수 있다.An electronic device according to an embodiment disclosed in the present document includes: a communication circuit capable of communicating with an external electronic device; A memory in which at least one instruction, a source vocabulary dictionary, a target vocabulary dictionary, and an extension dictionary for neural network-based machine translation are stored; The source vocabulary dictionary and the target vocabulary dictionary are each associated with a source vocabulary and a band vocabulary, and include a processor, wherein the processor executes the at least one instruction from the external electronic device through the communication circuit. A band based on a probability distribution of attention concentration corresponding to the at least one vocabulary and a probability distribution of the target vocabulary dictionary with respect to at least one vocabulary of an unregistered vocabulary or a vocabulary related to a user dictionary from the original sentence A vocabulary may be determined, a translated sentence corresponding to the original sentence may be generated to include the determined band vocabulary, and the generated translated sentence may be provided to the external electronic device through the communication circuit.
본 문서에 개시되는 다양한 실시 예들에 따르면, 신경망 기반의 기계 번역을 수행할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.According to various embodiments disclosed in this document, machine translation based on a neural network may be performed. In addition to this, various effects that are directly or indirectly identified through this document can be provided.
도 1은 일 실시예에 따른 신경망 기반의 기계 번역 기법을 나타낸다.
도 2는 일 실시예에 따른 전자 장치의 구성도를 나타낸다.
도 3은 일 실시예에 따른 전자 장치에 의한 미등록 어휘 학습 예시도를 나타낸다.
도 4는 일 실시예에 따른 전자 장치에 의한 미등록 어휘에 관련된 확장 사전 이용 예시도를 나타낸다.
도 5는 일 실시예에 따른 전자 장치에 의한 번역 과정 예시도를 나타낸다.
도 6은 일 실시예에 따른 신경망 기반 기계 번역 방법의 흐름도를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.1 shows a neural network-based machine translation technique according to an embodiment.
2 is a block diagram of an electronic device according to an exemplary embodiment.
3 is a diagram illustrating an example of learning unregistered vocabulary by an electronic device according to an exemplary embodiment.
4 is a diagram illustrating an example of using an extended dictionary related to an unregistered vocabulary by an electronic device according to an embodiment.
5 is a diagram illustrating an example of a translation process by an electronic device according to an embodiment.
6 is a flowchart of a neural network-based machine translation method according to an embodiment.
In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar components.
도 1은 일 실시예에 따른 신경망 기반의 기계 번역 기법을 나타낸다.1 shows a neural network-based machine translation technique according to an embodiment.
도 1을 참조하면, 신경망 기반의 기계 번역 장치(100)의 인코더(110)는 입력 문장 “I like you”을 인코딩함에 따라 입력 문장을 추상화한 컨텍스트 벡터(context vector)로 변환할 수 있다. 신경망 기반의 기계 번역 장치(100)의 디코더(120)는 디코딩 과정에서 컨텍스트 벡터에 기반하여 번역 문장 “나는 당신을 좋아합니다”을 생성할 수 있다. 신경망 기반의 기계 번역 장치(100)는 원시 문장 전체의 의미가 축약된 은닉 상태(hidden state)(또는, 컨텍스트 벡터)로부터 번역 문장을 구성하는 대역 어휘를 생성한다. 이에, 신경만 기반의 기계 번역 장치(100)는 원시 어휘와 대역 어휘 간의 매핑 관계를 파악하기 어렵고, 사용자 사전을 적용하기 어려울 수 있다. 하지만, 본 문서에 개시된 일 실시예에 따른 신경망 기반 기계 번역 장치(100)는 확장 사전에 기반하여 사용자 사전을 적용할 수 있다.Referring to FIG. 1, the
도 2는 일 실시예에 따른 전자 장치(예: 도 1의 신경망 기반의 기계번역 장치(100))의 구성도를 나타낸다.FIG. 2 is a block diagram of an electronic device (eg, the neural network-based
도 2를 참조하면, 일 실시예에 따른 전자 장치(201)는 통신 회로(210), 메모리(240) 및 프로세서(250)를 포함할 수 있다. 일 실시 예에서, 전자 장치(201)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 전자 장치(201)는 입력 장치(220) 및 출력 장치(230)를 더 포함할 수 있다. 또한, 전자 장치(201)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 일 실시예에 따른 전자 장치(201)는 신경망 기반 기계 번역 기능을 제공하는 웹 서버일 수 있다.Referring to FIG. 2, an
통신 회로(210)는 전자 장치(201)와 다른 장치(예: 외부 전자 장치(202)) 간의 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 상기 통신 채널은 예를 들어, LAN(local area network), FTTH(Fiber to the home), xDSL(x-Digital Subscriber Line), WiFi, Wibro, 3G 또는 4G과 같은 통신 방식의 통신 채널일 수 있다. 외부 전자 장치(202)는 PC, 노트북, 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer)와 같이 전자 장치(201)와 관련된 웹/모바일 사이트의 접속 또는 서비스(기계 번역 서비스) 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다.The
입력 장치(220)는 사용자 입력을 감지 또는 수신할 수 있다. 예를 들어, 입력 장치(220)는 마우스, 키보드 또는 터치 패드 중 적어도 하나를 포함할 수 있다.The
출력 장치(230)는 프로세서(250)의 제어에 따라 번역 문장(또는, 출력 문장)을 출력하는 스피커 또는 디스플레이 중 적어도 하나를 포함할 수 있다. 디스플레이는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다.The
메모리(240)는 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(250))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(240)는 신경망 기반의 기계 번역을 위한 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(240)는 원시 어휘 사전, 목표 어휘 사전 및 확장 사전을 포함할 수 있다. 상기 원시 어휘 사전은 원시 어휘와 관련되고, 상기 목표 어휘 사전은 지정된 개수의 목표 어휘와 관련된 사전(또는, 목표 어휘의 확률 분포를 저장하거나, 목표 어휘를 저장하는 사전)일 수 있다. 상기 확장 사전은 미등록 어휘(또는, 사용자 사전에 관련된 어휘)와 관련된 사전(또는, 미등록 어휘의 확률 분포를 저장하거나, 미등록 어휘를 저장하는 사전)일 수 있다. 상기 원시 어휘 사전 및 목표 어휘 사전의 크기(예: 사전에 저장 가능한 어휘 개수)는 고정될 수 있다. 상기 확장 사전의 크기는 프로세서(250)의 제어에 따라 가변 될 수 있다. 메모리(240)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The
프로세서(250)는 전자 장치(201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(250)는 적어도 하나의 인스트럭션을 실행하여 신경망 기반의 기계 번역을 수행할 수 있다. 프로세서(250)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다. The
일 실시예에 따르면, 프로세서(250)는 인코더(251), 디코더(253), 주의집중 모듈(255) 및 소프트맥스 레이어(softmax layer)(257)를 포함할 수 있다. 인코더(251)는 입력 문장(또는, 원시 문장)을 구성하는 어휘들(원시 어휘)을 하나씩 읽어 들이면서 임베딩(예: word embedding) 과정을 거쳐 각 어휘들에 관련된 은닉 상태(hidden state)를 산출할 수 있다. 인코더(251)는 원시 문장에 포함된 모든 어휘 정보를 압축해서 하나의 컨벡스트 벡터(인코더(251)의 마지막 은닉 상태)를 산출할 수 있다. 상기 컨벡스트 벡터는 예를 들어, 원시 어휘 사전과 동일한 크기의 벡터일 수 있다. 디코더(253)는 컨벡스트 벡터를 입력 받고, 입력된 컨벡스트 벡터에 대응하는 출력 벡터(디코더(253)의 은닉 상태)를 산출할 수 있다. 상기 출력 벡터는 예를 들어, 목표 어휘 사전의 크기와 동일한 크기를 갖는 벡터일 수 있다. 예를 들어, 디코더(253)는 t-1 시점의 출력 단어와 t 시점의 주의집중 값에 의하여 상기 출력 벡터를 산출할 수 있다. 상기 t 시점의 주의집중 값은 예를 들면, t 시점에 예측해야 하는 어휘와 관련되어 있는 원시 어휘를 나타내는 값일 수 있다. 상기 주의집중 값은 다른 예를 들면, 인코더(251)의 모든 은닉 상태(또는, 임베딩된 전체 원시 어휘)와 주의집중 가중치의 가중합일 수 있다. 소프트맥스 레이어(257)는 디코더(253)의 은닉 상태(출력 벡터)를 정규화하여 디코더(253)의 은닉 상태에 대응하는 제1 사전(예: 목표 어휘 사전) 확률 분포를 산출할 수 있다. 디코더(253)는 제1 사전 확률 분포에 기반하여 가장 높은 확률 값을 갖는 대역 어휘를 출력 단어(번역 문장을 구성하는 대역 어휘)로 결정하여 하나씩 순차적으로 출력할 수 있다. 대체적으로, 디코더(253)는 원시 문장에 포함된 미등록 어휘에 대해서는 미등록 어휘에 대응하는 제1 사전 확률 분포 및 미등록 어휘에 대응하는 제2 사전 확률 분포에 기반하여 가장 높은 확률 값(또는, 주의집중 가중치)을 갖는 대역 어휘를 출력 단어로 결정할 수 있다. 이러한 방식으로, 디코더(253)는 순차적으로 출력된 출력 단어를 포함하는 번역 문장을 출력할 수 있다. 주의집중 모듈(255)은 주의집중 메커니즘에 따라 t-1 시점의 디코더(253)의 은닉 상태와 t 시점의 인코더(251)의 모든 은닉 상태들에 대응하는 t 시점의 어텐션 스코어의 모음값을 산출하고, 상기 어텐션 스코어의 모음값을 소프트맥스 레이어(257)에 의해 정규화하여 t 시점의 주의집중 확률 분포(이하, "제2 사전 확률 분포"로 언급될 수 있음)를 산출할 수 있다. 상기 어텐션 스코어의 모음값은 예를 들면, t-1 시점의 디코더(253)의 은닉 상태를 전치한 후, t 시점의 인코더(251)의 모든 은닉 상태들과 곱하여 산출될 수 있다. 상기 주의집중 확률 분포의 각 값은 주의집중 가중치일 수 있다. 이하의 문서에서는 설명의 편의성을 위해서 인코더(251), 디코더(253), 주의집중 모듈(255) 및 소프트맥스 레이어(257)의 구성 또는 기능을 프로세서(250)를 주체로 하여 설명한다.According to an embodiment, the
일 실시예에 따르면, 프로세서(250)는 각기 등록어(등록된 원시 어휘) 및 상기 등록어의 대역 어휘를 포함하는 원시 문장 및 번역 문장의 쌍에 대한 지도 학습을 거쳐, 등록된 원시 어휘 및 대역 어휘의 쌍과 관련된 목표 어휘 사전의 확률 분포(이하, “제1 사전 확률 분포”라 함)를 결정할 수 있다. According to an embodiment, the
일 실시예에 따르면, 프로세서(250)는 각기 미등록 어휘(목표 어휘 사전에 등록되지 않은 원시 어휘)를 포함하는 원시 문장 및 번역 문장의 쌍에 대한 지도 학습을 거쳐 미등록 어휘에 관련된 확장 사전의 확률 분포(이하, “제2 사전 확률 분포”라 함)를 결정할 수 있다. 예를 들어, 프로세서(250)는 외부 전자 장치(202)로부터 미등록 어휘를 포함하는 원시 문장을 획득하면, 인코딩 및 디코딩을 거쳐 미등록 어휘에 대응하는 주의집중 확률 분포에서 가장 높은 확률 값을 미등록 어휘의 생성 확률 값으로 결정할 수 있다. 이 경우, 미등록 어휘의 생성 확률 값은 번역 문장에서 원시 언어의 형태로 등장하는 어휘의 생성 확률 값일 수 있다. 프로세서(250)는 번역 문장에서 미등록 어휘를 확인하면, 확장 사전의 엔트리 수를 증가시키고, 추가된 엔트리에 결정된 미등록 어휘의 생성 확률 값을 저장할 수 있다. 이와 관련하여, 프로세서(250)는 확장 사전에 관련된 어휘(예: 미등록 어휘)의 개수에 따라 확장 사전의 크기를 증가시킬 수 있다. 예를 들어, 프로세서(250)는 확장 사전에 관련된 어휘의 개수가 증가할수록 확장 사전의 크기(또는, 저장 공간)을 증가시킬 수 있다.According to an embodiment, the
일 실시예에 따르면, 프로세서(250)는 번역 과정에서 통신 회로(210)를 통해 외부 전자 장치(202)로부터 번역되어야 할 원시 문장을 획득할 수 있다. 예를 들어, 프로세서(250)는 지정된 웹 사이트를 통해 외부 전자 장치(202)로부터 번역 요청된 원시 문장을 수신할 수 있다. According to an embodiment, the
일 실시예에 따르면, 프로세서(250)는 원시 문장을 획득하면, 원시 문장에 포함되어 있는 각 원시 어휘에 대한 인코더(251)의 은닉 상태를 산출할 수 있다. 프로세서(250)는 이전 시점의 디코더(253)의 출력 어휘(대역 어휘) 및 주의집중 값에 기반하여 현 시점 디코더(253)의 은닉 상태(출력 벡터)를 산출할 수 있다. 프로세서(250)는 제1 사전 확률 분포 및 제2 사전 확률 분포 중 적어도 하나의 확률 분포에 기반하여 출력 벡터에 대응하는 대역 어휘를 결정하고, 결정된 대역 어휘를 순차적으로 포함하는 번역 문장을 생성할 수 있다. 프로세서(250)는 생성된 번역 문장을 통신 회로(210)를 통해 외부 전자 장치(202)에 제공할 수 있다.According to an embodiment, upon obtaining the original sentence, the
한 실시예에 따르면, 프로세서(250)는 획득된 원시 문장에 미등록 어휘가 포함되는지를 확인하고, 원시 문장에 미등록 어휘가 포함되지 않은 경우에는 제1 사전 확률 분포에 기반하여 기계 번역을 수행할 수 있다. 예를 들어, 프로세서(250)는 획득된 원시 문장에 미등록 어휘가 포함되지 않으면, 현 시점의 디코더(253)의 은닉 상태에 대응하는 제1 사전 확률 분포에 기반하여 seq-to-seq 기계 번역 방식에 따라 가장 높은 확률 값을 대역 어휘를 하나씩 결정함에 따라 번역 문장을 생성할 수 있다. 상기 미등록 어휘는 예를 들어, 사용 빈도가 낮은 고유 명사를 포함할 수 있다.According to an embodiment, the
한 실시예에 따르면, 프로세서(250)는 원시 문장에 미등록 어휘가 포함된 경우에는 제1 사전 확률 분포 및 제2 사전 확률 분포에 기반하여 기계 번역을 수행할 수 있다. 예를 들어, 프로세서(250)는 획득된 원시 문장에 미등록 어휘가 포함되면, 원시 문장에 대한 인코딩 및 디코딩 과정을 거쳐서 디코더(253)의 은닉 상태에 대응하는 제1 사전 확률 분포 및 제2 사전 확률 분포에 기반하여 가장 높은 생성 확률 값을 갖는 대역 어휘를 결정하고, 결정된 대역 어휘를 순차적으로 포함하는 번역 문장을 생성할 수 있다.According to an embodiment, when an unregistered vocabulary is included in the original sentence, the
일 실시예에 따르면, 프로세서(250)는 원시 문장으로부터 사용자 사전과 관련된 어휘를 확인하면, 사용자 사전과 관련된 어휘를 포함하도록 번역 문장을 생성할 수 있다. 상기 사용자 사전과 관련된 어휘는 예를 들면, 지정된 기호들로 구분되는 원시 어휘와 대역 어휘의 쌍을 포함할 수 있다. 예를 들어, 프로세서(250)는 제1 사전 확률 분포 및 제2 사전 확률 분포에 기반하여 디코더(253)의 출력 벡터에 대응하는 대역 어휘가 사용자 사전과 관련된 어휘인 것으로 확인할 수 있다. 이 경우, 프로세서(250)는 번역 문장에 포함될 대역 어휘로서 사용자 사전과 관련된 어휘에 포함된 대역 어휘를 출력할 수 있다.According to an embodiment, when the
다양한 실시예에 따르면, 프로세서(250)는 입력 장치(220)를 통해 입력된 원시 문장을 확인하고, 원시 문장에 대응하는 번역 문장을 생성하고, 생성된 번역 문장을 출력 장치(230)를 통해 출력할 수 있다.According to various embodiments, the
상술한 실시예에 따르면, 전자 장치(201)는 신경망 기반의 기계 번역을 수행할 때에 원시 문장에 포함된 원시 어휘 또는 사용자 사전에 대응하는 대역 어휘를 포함하도록 번역 문장을 생성 및 출력할 수 있다.According to the above-described embodiment, when performing machine translation based on a neural network, the
또한, 상술한 실시예에 따르면, 전자 장치(201)는 목표 어휘 사전과 별개로 확장 사전을 구성하고, 주의집중 메커니즘에 기반하여 각 시점에 예측되어야 할 대역 어휘와 대응 관계에 있는 원시 어휘의 위치를 확인하고 확인된 원시 어휘가 사용자 사전에 관련된 어휘이거나 미등록 어휘인 경우, 확장 사전으로부터 대역 어휘를 가져와서 대역 어휘를 생성할 수 있다.In addition, according to the above-described embodiment, the
도 3은 일 실시예에 따른 전자 장치에 의한 미등록 어휘 학습을 설명하기 위한 도면을 나타낸다.3 is a diagram for describing learning of unregistered vocabulary by an electronic device according to an exemplary embodiment.
도 3을 참조하면, 전자 장치(201)는 미등록 어휘를 포함하는 원시 문장 및 미등록 어휘를 포함하는 번역 문장의 쌍에 대한 지도 학습을 거쳐 미등록 어휘에 관련된 제2 사전(확장 사전) 확률 분포를 결정할 수 있다. 메모리(240)에 저장된 원시 어휘 사전 및 목표 어휘 사전(310)은 각기 10000개의 어휘를 저장 가능한 사전일 수 있다. 예를 들어, 원시 어휘 사전 및 목표 어휘 사전(310)은 0 내지 9999까지의 인덱스(ID)로 구분되는 원시 어휘 및 목표 어휘를 저장할 수 있다.Referring to FIG. 3, the
전자 장치(201)에 의해 학습될 원시 문장(학습코퍼스 원문)과 번역 문장(학습코퍼스 번역문)의 쌍(320)은 각기 “I love Susan and Sandra”와 “나는 Susan과 Sandra를 사랑한다.” 일 수 있다. 본 문서에서는 “Susan”과 “Sandra”가 고유 명사로서 사용 빈도가 낮은 희소 어휘이므로, 전자 장치(201)에 의해 미등록 어휘로 확인된다고 가정하여 설명한다. 이에, “Susan”과 “Sandra”는 원시 어휘 사전에 포함되지 않고, 목표 어휘 사전에서 “Susan”과 “Sandra”에 대응하는 대역 어휘가 포함되지 않을 수 있다.The
전자 장치(201)는 “Susan”과 “Sandra”를 미등록 어휘로 확인하면, “Susan” 및 “Sandra”에 10000부터 시작하는 인덱스(ID)를 할당하고, 할당된 인덱스(ID)와 관련하여 “Susan” 및 “Sandra”를 등록된 미등록어 리스트(330)에 저장할 수 있다. 예를 들어, 전자 장치(201)는 목표 어휘 사전의 인덱스(ID)와 구별되도록, “Susan” 및 “Sandra”에 각기 10000 및 10001의 인덱스(ID)를 할당할 수 있다. 전자 장치(201)는 미등록 어휘 “Susan” 및 “Sandra”를 포함하는 번역 문장을 확인하면, 확장 사전(340)에 “Susan” 및 “Sandra”의 생성 확률 값들을 각기 저장할 수 있는 공간을 생성할 수 있다. 예를 들어, 전자 장치(201)는 “Susan” 및 “Sandra”의 생성 확률 값들을 저장하기 위하여 확장 사전(340)의 엔트리를 추가할 수 있다. When “Susan” and “Sandra” are identified as unregistered vocabulary, the
이후, 전자 장치(201)는 미등록 어휘의 주의집중 확률 분포에 기반하여 미등록 어휘의 생성 확률 값들을 결정하고, 결정된 생성 확률 값을 확장 사전(340)에 저장할 수 있다. 예를 들어, 전자 장치(201)는 미등록 어휘에 대응하는 주의집중 확률 분포에서 가장 높은 확률 값을 미등록 어휘의 생성 확률 값으로 결정할 수 있다. 이 경우, 미등록 어휘의 생성 확률 값은 번역 문장에서 원시 언어의 형태로 등장하는 어휘의 생성 확률 값일 수 있다. Thereafter, the
도 4는 일 실시예에 따른 전자 장치에 의한 미등록 어휘에 관련된 확장 사전 이용 예를 설명하기 위한 도면을 나타낸다. 본 문서에서는 전자 장치(201)가 RNN 기반 종단 간(sequence-to-sequence) 신경망 기반의 기계 번역을 수행하는 경우를 가정하여 설명한다.4 is a diagram illustrating an example of using an extended dictionary related to an unregistered vocabulary by an electronic device according to an exemplary embodiment. In this document, it is assumed that the
도 4를 참조하면, 동작 410에서, 전자 장치(201)는 디코더(253)를 통해 목표 어휘 사전과 동일한 크기를 갖는 출력 벡터를 산출할 수 있다. 동작 420에서, 전자 장치(201)는 출력 벡터를 소프트맥스 레이어(257)에 입력하고, 소프트맥스 레이어(257)를 통해 출력 벡터를 정규화함에 따라 목표 어휘 사전을 구성하는 각 어휘가 생성될 확률 분포(425)를 산출할 수 있다. Referring to FIG. 4, in
동작 430에서, 전자 장치(201)는 주의집중 모듈(255)을 통해 t 시점에 예측될 어휘에 관련된 주의집중 확률 분포(435)를 생성할 수 있다. 전자 장치(201)는 미등록 어휘를 확인하면, 주의집중 확률 분포(435)에 기반하여 미등록 어휘의 생성 확률 값을 결정하고, 결정된 미등록 어휘의 생성 확률 값을 확장 사전에 저장할 수 있다. 예를 들어, 전자 장치(201)는 주의집중 확률 분포(435)에서 가장 높은 확률 값을 미등록 어휘의 생성 확률 값으로 결정할 수 있다. 이후, 전자 장치(201)는 제1 사전 확률 분포 및 제2 사전 확률 분포에 기반하여 원시 문장에 대응하는 번역 문장을 생성할 수 있다.In
도 5는 일 실시예에 따른 전자 장치에 의한 번역 과정 예시도이다.5 is an exemplary diagram illustrating a translation process by an electronic device according to an exemplary embodiment.
도 5를 참조하면, 전자 장치(201)는 외부 전자 장치(202) 또는 입력 장치(220)로부터 원시 문장(또는, 입력 문장) “I like <tr>Susan|수쟨<tr>(510)을 확인할 수 있다. 전자 장치(201)는 상기 원시 문장(510)을 확인하면, 제1 지정된 기호 <tr>로 구분되는 “Susan|수쟨<tr>”을 사용자 사전에 관련된 어휘로 확인할 수 있다. 또한, 전자 장치(201)는 제2 지정된 기호인 “|” 이전의 어휘 “Susan “ 원시 어휘로 확인하고, “|” 이후의 “수쟨”을 대역 어휘로 확인할 수 있다. 전자 장치(201)는 대역 어휘 “수쟨”을 미등록어 리스트(530)에 인덱스(ID)와 관련하여 저장하고, 확장 사전()에 미등록어의 대역 어휘 “수쟨”의 생성 확률 값을 저장하기 위한 엔트리를 추가할 수 있다.Referring to FIG. 5, the
전자 장치(201)는 “나는”까지의 번역 문장(520)을 생성하고, 다음 대역 어휘 “수쟨”을 생성하는 시점에 디코더(253)와 소프트맥스 레이어(257)를 거쳐서 현재 시점에 출력해야 할 “수쟨”에 관련된 목표 어휘 확률 분포(560)를 결정할 수 있다. 또한, 전자 장치(201)는 주의집중 모듈(255)을 통해 현재 생성할 대역 어휘 “수쟨”과 대응 관계에 있는 원시 어휘를 추정할 수 있다. 이에, 전자 장치(201)는 현재 생성해야 할 대역 어휘와 대응 관계에 있는 원시 어휘가 “Susan|수쟨<tr>”인 것을 확인할 수 있다. 전자 장치(201)는 “Susan|수쟨<tr>”을 포지셔닝하는 위치의 주의집중 확률 분포(540)에 따른 값(어텐션 가중치)이 0.7로서 최고 값을 가짐을 확인할 수 있다. 전자 장치(201)는 확장 사전(570)의 수쟨의 인덱스(ID)에 대응하는 위치에 수쟨의 생성 확률 값 0.7을 저장할 수 있다. 이후, 전자 장치(201)는 “나는 수쟨”까지의 번역 문장(550)을 출력할 수 있다.The
도 6은 일 실시예에 따른 신경망 기반 기계 번역 방법의 흐름도를 나타낸다.6 is a flowchart of a neural network-based machine translation method according to an embodiment.
도 6을 참조하면, 동작 610에서, 전자 장치(201)는 외부 전자 장치(202)로부터 미등록 어휘 또는 사용자 사전에 관련된 어휘 중 적어도 하나의 어휘를 포함하는 원시 문장을 획득할 수 있다.Referring to FIG. 6, in
동작 620에서, 전자 장치(201)는 원시 문장으로부터 상기 적어도 하나의 어휘에 대해서, 상기 적어도 하나의 어휘에 대응하는 주의집중 확률 분포 및 상기 목표 어휘 사전의 확률 분포에 기반하여 대역 어휘를 결정할 수 있다.In
동작 630에서, 전자 장치(201)는 결정된 대역 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성할 수 있다.In
동작 640에서, 전자 장치(201)는 생성된 번역 문장을 상기 외부 전자 장치(202)에 제공할 수 있다.In
상술한 실시예에 따르면, 전자 장치(201)는 신경망 기반의 기계 번역을 수행할 때에 원시 문장에 포함된 원시 어휘 또는 사용자 사전에 대응하는 대역 어휘를 포함하도록 번역 문장을 생성 및 출력할 수 있다.According to the above-described embodiment, when performing machine translation based on a neural network, the
일 실시예에 따르면, 전자 장치는, 외부 전자 장치와 통신할 수 있는 통신 회로; 신경망 기반의 기계 번역을 위한 적어도 하나의 인스트럭션, 원시 어휘 사전, 목표 어휘 사전 및 확장 사전이 저장된 메모리; 상기 원시 어휘 사전 및 목표 어휘 사전은, 각기 원시 어휘와 대역 어휘와 관련되고, 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 통신 회로를 통해 상기 외부 전자 장치로부터 원시 문장을 획득하고, 상기 원시 문장으로부터 미등록 어휘 또는 사용자 사전에 관련된 어휘 중 적어도 하나의 어휘에 대해서, 상기 적어도 하나의 어휘에 대응하는 주의집중 확률 분포 및 상기 목표 어휘 사전의 확률 분포에 기반하여 대역 어휘를 결정하고, 상기 결정된 대역 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성하고, 상기 생성된 번역 문장을 상기 통신 회로를 통해 상기 외부 전자 장치에 제공할 수 있다.According to an embodiment, an electronic device includes: a communication circuit capable of communicating with an external electronic device; A memory in which at least one instruction, a source vocabulary dictionary, a target vocabulary dictionary, and an extension dictionary for neural network-based machine translation are stored; The source vocabulary dictionary and the target vocabulary dictionary are each associated with a source vocabulary and a band vocabulary, and include a processor, and the processor executes the at least one instruction, thereby A band vocabulary based on an attention probability distribution corresponding to the at least one vocabulary and a probability distribution of the target vocabulary dictionary for at least one of an unregistered vocabulary or a vocabulary related to a user dictionary from the original sentence May be determined, a translated sentence corresponding to the original sentence may be generated to include the determined band vocabulary, and the generated translated sentence may be provided to the external electronic device through the communication circuit.
상기 프로세서는, 상기 목표 어휘 사전에 관련된 어휘들의 확률 분포 및 상기 확장 사전에 관련된 어휘들의 확률 분포에 기반하여 가장 높은 생성 확률 값을 갖는 대역 어휘에 기반하여 상기 원시 문장에 대응하는 번역 문장을 생성할 수 있다.The processor may generate a translation sentence corresponding to the original sentence based on a band vocabulary having the highest generation probability value based on a probability distribution of vocabularies related to the target vocabulary dictionary and a probability distribution of vocabularies related to the extended dictionary. I can.
상기 미등록 어휘에 대응하는 대역 어휘는, 상기 미등록 어휘일 수 있다.The band vocabulary corresponding to the unregistered vocabulary may be the unregistered vocabulary.
상기 프로세서는, 각기 하나 이상의 미등록 어휘들을 포함하는 원시 문장들 및 상기 원시 문장들에 대응하는 번역 문장들의 쌍을 학습하여 상기 원시 문장들에 포함된 미등록 어휘들에 대응하는 주의집중 확률 분포를 결정하고, 상기 주의집중 확률 분포에 기반하여 상기 하나 이상의 미등록 어휘들의 생성 확률 값들을 결정하고, 상기 결정된 생성 확률 값들을 상기 하나 이상의 미등록 어휘들과 관련하여 상기 확장 사전에 저장할 수 있다.The processor determines an attention probability distribution corresponding to unregistered vocabularies included in the original sentences by learning original sentences each including one or more unregistered vocabulary and a pair of translated sentences corresponding to the original sentences, and , On the basis of the attention probability distribution, generation probability values of the one or more unregistered words may be determined, and the determined generation probability values may be stored in the extended dictionary in relation to the one or more unregistered words.
상기 프로세서는, 상기 확장 사전에 관련된 어휘의 개수에 따라 상기 확장 사전의 크기를 가변 시킬 수 있다.The processor may change the size of the extension dictionary according to the number of words related to the extension dictionary.
상기 프로세서는, 상기 원시 문장으로부터 지정된 기호들로 구분된 어휘들을 확인하면, 상기 구분된 어휘를 상기 사용자 사전에 관련된 어휘로 결정할 수 있다.The processor may determine the classified vocabulary as a vocabulary related to the user dictionary when vocabulary is identified from the original sentence by designated symbols.
상기 사용자 사전에 관련된 어휘는, 상기 지정된 기호들로 구분된 원시 어휘와 대역 어휘의 쌍을 포함할 수 있다.The vocabulary related to the user dictionary may include a pair of a source vocabulary and a band vocabulary divided by the designated symbols.
상기 프로세서는, 상기 번역 문장을 생성하는 도중에, 상기 사용자 사전에 관련된 어휘에 대응하는 위치 별 주의집중 확률 분포를 확인하고, 상기 주의집중 확률 분포에서 가장 높은 확률 값을 갖는 위치를 상기 사용자 사전에 관련된 어휘의 위치로 결정하고, 상기 결정된 위치에 상기 사용자 사전에 관련된 어휘를 포함하는 상기 번역 문장을 생성할 수 있다.The processor, while generating the translated sentence, checks a distribution of attention probability for each location corresponding to a vocabulary related to the user dictionary, and associates the location with the highest probability value in the attention probability distribution to the user dictionary. It is possible to determine the position of the vocabulary, and generate the translated sentence including the vocabulary related to the user dictionary at the determined position.
일 실시예에 따르면, 전자 장치는, 입력 장치; 출력 장치; 목표 어휘 사전 및 확장 사전이 저장된 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 입력 장치를 통해 상기 외부 전자 장치로부터 원시 문장을 획득하고, 상기 원시 문장으로부터 상기 목표 어휘 사전에 포함되지 않은 미등록 어휘를 확인하면, 상기 미등록 어휘에 대응하는 주의집중 확률 분포에 기반하여 상기 미등록 어휘의 생성 확률 값으로 결정하고, 상기 미등록 어휘를 상기 결정된 확률 값과 관련하여 상기 확장 사전에 저장하고, 상기 미등록 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성하고, 상기 생성된 번역 문장을 상기 출력 장치를 통해 출력할 수 있다.According to an embodiment, an electronic device includes: an input device; Output device; Memory in which the target vocabulary dictionary and the extended dictionary are stored; And a processor, wherein the processor obtains an original sentence from the external electronic device through the input device, and when confirming an unregistered vocabulary not included in the target vocabulary dictionary from the original sentence, the processor corresponds to the unregistered vocabulary. A translation sentence corresponding to the original sentence to include the unregistered vocabulary to determine the probability value of generation of the unregistered vocabulary based on the attention probability distribution, store the unregistered vocabulary in the expansion dictionary in relation to the determined probability value, and include the unregistered vocabulary May be generated, and the generated translated sentence may be output through the output device.
일 실시예에 따르면, 신경망 기반 기계 번역 방법은, 외부 전자 장치로부터 미등록 어휘 또는 사용자 사전에 관련된 어휘 중 적어도 하나의 어휘를 포함하는 원시 문장을 획득하는 동작; 원시 문장으로부터 상기 적어도 하나의 어휘에 대해서, 상기 적어도 하나의 어휘에 대응하는 주의집중 확률 분포 및 상기 목표 어휘 사전의 확률 분포에 기반하여 대역 어휘를 결정하는 동작; 상기 결정된 대역 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성하는 동작; 및 상기 생성된 번역 문장을 상기 외부 전자 장치에 제공하는 동작을 포함할 수 있다.According to an embodiment, a method of machine translation based on a neural network includes: obtaining an original sentence including at least one of an unregistered vocabulary or a vocabulary related to a user dictionary from an external electronic device; Determining a band vocabulary for the at least one vocabulary from an original sentence based on a probability distribution of attention and a probability distribution of the target vocabulary dictionary corresponding to the at least one vocabulary; Generating a translated sentence corresponding to the original sentence to include the determined band vocabulary; And providing the generated translated sentence to the external electronic device.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of the present document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various modifications, equivalents, or substitutes of the corresponding embodiments. In connection with the description of the drawings, similar reference numerals may be used for similar or related components. The singular form of a noun corresponding to an item may include one or a plurality of the items unless clearly indicated otherwise in a related context. In this document, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A, Each of phrases such as "at least one of B or C" may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish the component from other Order) is not limited. Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components may be connected to the other components directly (eg by wire), wirelessly, or via a third component.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.The term "module" used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits. The module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)(메모리(240))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(201))의 프로세서(예: 프로세서(250)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory or external memory) (memory 240) that can be read by a machine (eg, electronic device 201). It may be implemented as software (eg, a program) including them. For example, a processor (eg, processor 250) of a device (eg, electronic device 201) may call and execute at least one command of one or more commands stored from a storage medium. This allows the device to execute it. It is possible to operate to perform at least one function according to the at least one command called, and the at least one command may include a code generated by a compiler or a code that can be executed by an interpreter. A storage medium that can be read may be provided in the form of a non-transitory storage medium, where'non-transitory' refers to a device in which the storage medium is tangible and a signal (eg, electromagnetic wave). ), and this term does not distinguish between a case where data is stored semi-permanently in a storage medium and a case that is temporarily stored.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product. Computer program products can be traded between sellers and buyers as commodities. Computer program products are distributed in the form of a device-readable storage medium (e.g., compact disc read only memory (CD-ROM)), or through an application store (e.g., Play Store TM ) or two user devices (e.g., compact disc read only memory (CD-ROM)). It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.
Claims (1)
외부 전자 장치와 통신할 수 있는 통신 회로;
신경망 기반의 기계 번역을 위한 적어도 하나의 인스트럭션, 원시 어휘 사전, 목표 어휘 사전 및 확장 사전이 저장된 메모리; 상기 원시 어휘 사전 및 상기 목표 어휘 사전은, 각기 원시 어휘와 대역 어휘와 관련되고, 및
프로세서를 포함하고, 상기 프로세서는,
상기 적어도 하나의 인스트럭션을 실행함으로써,
상기 통신 회로를 통해 상기 외부 전자 장치로부터 원시 문장을 획득하고,
상기 원시 문장으로부터 미등록 어휘 또는 사용자 사전에 관련된 어휘 중 적어도 하나의 어휘에 대해서, 상기 적어도 하나의 어휘에 대응하는 주의집중 확률 분포 및 상기 목표 어휘 사전의 확률 분포에 기반하여 대역 어휘를 결정하고,
상기 결정된 대역 어휘를 포함하도록 상기 원시 문장에 대응하는 번역 문장을 생성하고,
상기 생성된 번역 문장을 상기 통신 회로를 통해 상기 외부 전자 장치에 제공하는, 전자 장치.In the electronic device,
A communication circuit capable of communicating with an external electronic device;
A memory in which at least one instruction, a source vocabulary dictionary, a target vocabulary dictionary, and an extension dictionary for neural network-based machine translation are stored; The source vocabulary dictionary and the target vocabulary dictionary are each associated with a source vocabulary and a band vocabulary, and
Including a processor, the processor,
By executing the at least one instruction,
Obtaining an original sentence from the external electronic device through the communication circuit,
For at least one of an unregistered vocabulary or a vocabulary related to a user dictionary from the original sentence, a band vocabulary is determined based on an attention probability distribution corresponding to the at least one vocabulary and a probability distribution of the target vocabulary dictionary,
Generating a translation sentence corresponding to the original sentence to include the determined band vocabulary,
An electronic device that provides the generated translated sentence to the external electronic device through the communication circuit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190144186A KR20210057435A (en) | 2019-11-12 | 2019-11-12 | Electronic Device and the Method for Mechanical Translation based on Nerve Network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190144186A KR20210057435A (en) | 2019-11-12 | 2019-11-12 | Electronic Device and the Method for Mechanical Translation based on Nerve Network |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210057435A true KR20210057435A (en) | 2021-05-21 |
Family
ID=76157629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190144186A KR20210057435A (en) | 2019-11-12 | 2019-11-12 | Electronic Device and the Method for Mechanical Translation based on Nerve Network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210057435A (en) |
-
2019
- 2019-11-12 KR KR1020190144186A patent/KR20210057435A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200410396A1 (en) | Implicit bridging of machine learning tasks | |
US20220350965A1 (en) | Method for generating pre-trained language model, electronic device and storage medium | |
US10496364B2 (en) | System and method for controlling colors of smart lights based on user intent using natural language processing | |
JP7066349B2 (en) | Translation method, translation equipment and computer program | |
US9805718B2 (en) | Clarifying natural language input using targeted questions | |
JP7108675B2 (en) | Semantic matching method, device, electronic device, storage medium and computer program | |
US11282498B2 (en) | Speech synthesis method and speech synthesis apparatus | |
KR20190071527A (en) | Electronic device and method for analyzing meaning of speech | |
EP4109324A2 (en) | Method and apparatus for identifying noise samples, electronic device, and storage medium | |
US11468892B2 (en) | Electronic apparatus and method for controlling electronic apparatus | |
KR20200084260A (en) | Electronic apparatus and controlling method thereof | |
KR20200080400A (en) | Method for providing sententce based on persona and electronic device for supporting the same | |
CN113468857B (en) | Training method and device for style conversion model, electronic equipment and storage medium | |
KR20200140171A (en) | Electronic device and Method for controlling the electronic device thereof | |
KR20210028041A (en) | Electronic device and Method for controlling the electronic device thereof | |
CN113609873A (en) | Translation model training method, device and medium | |
US20230153550A1 (en) | Machine Translation Method and Apparatus, Device and Storage Medium | |
KR20210060018A (en) | Electronic Device and the Method for generating Document Summary and Storage Medium | |
CN115860003A (en) | Semantic role analysis method and device, electronic equipment and storage medium | |
KR20210057435A (en) | Electronic Device and the Method for Mechanical Translation based on Nerve Network | |
CN114580446A (en) | Neural machine translation method and device based on document context | |
CN116450780A (en) | Countermeasure training method and related device for search type multi-round dialogue model | |
CN109065016B (en) | Speech synthesis method, speech synthesis device, electronic equipment and non-transient computer storage medium | |
US20240121206A1 (en) | Electronic device for identifying image combined with text in multimedia content and method thereof | |
US20220138435A1 (en) | Method and apparatus for generating a text, and storage medium |