KR102427934B1 - 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템 - Google Patents

신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템 Download PDF

Info

Publication number
KR102427934B1
KR102427934B1 KR1020200133085A KR20200133085A KR102427934B1 KR 102427934 B1 KR102427934 B1 KR 102427934B1 KR 1020200133085 A KR1020200133085 A KR 1020200133085A KR 20200133085 A KR20200133085 A KR 20200133085A KR 102427934 B1 KR102427934 B1 KR 102427934B1
Authority
KR
South Korea
Prior art keywords
proper noun
translation
word
encoded
output
Prior art date
Application number
KR1020200133085A
Other languages
English (en)
Other versions
KR20220049693A (ko
Inventor
최희열
Original Assignee
한동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한동대학교 산학협력단 filed Critical 한동대학교 산학협력단
Priority to KR1020200133085A priority Critical patent/KR102427934B1/ko
Publication of KR20220049693A publication Critical patent/KR20220049693A/ko
Application granted granted Critical
Publication of KR102427934B1 publication Critical patent/KR102427934B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 발명은 입력 문장에 포함된 고유명사 단어를 기호화하여 타겟 언어로 번역하는 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템에 관한 것으로서, 입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장하는 단계, 상기 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력하는 단계 및 상기 번역 사전에 저장된 상기 기호화된 고유명사 단어를 상기 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력하는 단계를 포함한다.

Description

신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템{TRANSLATION METHOD USING PROPER NOUNS CODING BASED ON NEURAL NETWORK AND THE SYSTEM THEREOF}
본 발명은 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 입력 문장에 포함된 고유명사 단어를 기호화하여 타겟 언어로 번역하는 기술에 관한 것이다.
인공지능기반 자연어 처리 성능이 급속히 발전하고 있는데, 특히 학습 가치가 높은 데이터의 사용과 딥러닝의 발전이 신경 기계 번역의 수준을 향상시키는데 크게 기여하였다.
신경 기계 번역 분야는 수준 높은 데이터들의 학습과 혁신적인 모델 개선 등을 통해 성능이 발전하고 있다. 그로 인해 상용화된 신경 기계 번역기를 사용하여 문장 번역을 하는 것은 자연스러운 일상이 되었다. 국내에서 많이 사용되고 있는 번역기인 네이버 파파고와 구글 번역기 또한 수준 높은 데이터와 신경 기계 학습 기반의 번역 모델을 사용하여 뛰어난 번역 성능을 보여주고 있다.
하지만, 상용 번역기들은 이름, 신조어, 특정 그룹 내에서만 통용되는 단어 등과 같이 고유명사들이 들어간 문장을 번역할 때 정확하지 않게 번역하는 문제를 가지고 있다.
역사적 인물이나 유명한 지역과 같이 보편적으로 사용되는 고유명사들은 번역시 큰 문제가 없지만, 흔하지 않은 고유명사나 생긴지 오래되지 않은 단어들은 잘 번역되지 않는다.
이러한 문제를 해결하기 위해 본 발명은 고유명사 사전 데이터를 이용하여 번역 성능을 개선시키는 기술을 제안한다.
한국공개특허공보 제10-2004-0102329호(2004.12.04 공개)
본 발명의 목적은 고유명사 사전 데이터와 기호화(Symbolization) 방식을 사용하여 딥러닝 기반의 번역 모델들의 고유명사 오역을 최소화하여 번역 성능을 향상시키고자 한다.
본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 방법에 있어서, 입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장하는 단계, 상기 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력하는 단계 및 상기 번역 사전에 저장된 상기 기호화된 고유명사 단어를 상기 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력하는 단계를 포함한다.
상기 고유명사 단어를 기호화하는 단계는 상기 고유명사 사전 데이터를 이용하여 상기 입력 문장에 포함된 상기 고유명사 단어를 추출하며, 상기 고유명사 단어의 순서에 따라 상기 고유명사 단어를 기 설정된 기호로 기호화할 수 있다.
상기 입력 문장을 번역 모델에 입력하는 단계는 상기 번역 모델에 상기 기호화된 고유명사 단어를 포함한 상기 기호화된 입력 문장을 입력하여 타겟 언어로 번역된 상기 기호화된 출력 문장을 출력할 수 있다.
상기 최종 번역 결과를 출력하는 단계는 상기 번역 사전에 타겟 단어로 번역되어 임시로 저장된 상기 기호화된 고유명사 단어를 상기 기호화된 출력 문장에 대입하여 타겟 언어에 해당하는 상기 출력 문장을 출력할 수 있다.
또한, 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법은 상기 번역 모델을 학습하는 단계를 더 포함하며, 상기 번역 모델을 학습하는 단계는 상기 기호화된 고유명사 단어를 상기 번역 모델에 입력하여 학습할 수 있다.
본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 시스템에 있어서, 입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장하는 고유명사 변환부, 상기 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력하는 모델 처리부 및 상기 번역 사전에 저장된 상기 기호화된 고유명사 단어를 상기 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력하는 결과 출력부를 포함한다.
또한, 본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 시스템은 상기 번역 모델을 학습하는 모델 학습부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 고유명사 사전 데이터와 기호화(Symbolization) 방식을 사용함으로써, 고유명사가 포함된 문장의 번역 오류를 해결하여 입력 언어에서 타겟 언어로 보다 정확한 번역을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 새로 생기는 신조어들을 고유명사 사전 데이터에 추가함으로써, 신조어로 인해 생기는 번역 문제를 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 번역 모델 학습 예를 설명하기 위해 도시한 것이다.
도 3은 본 발명의 실시예에 따른 고유명사 기호화를 이용하여 번역하는 예를 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 시스템의 세부 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시예들은, 고유명사가 들어간 문장의 번역 성능 개선을 위해 번역 모델인 Transformer Model(변화 모델)에 추가적으로 고유명사 사전 데이터와 고유명사 기호화 방식을 사용하는 것을 특징으로 한다.
신경망 기반 언어 모델(language model) 이나 기계번역(neural machine translation)과 같은 자연어 처리 관련하여 딥러닝 초기에는 주로 Recurrent Neural Networks(RNNs) 모델을 사용했다. 이후 Convolution Neural Networks(CNNs)를 사용하는 모델이 제시되었고, 최근에는 주의집중기법(Attention Mechanism)을 사용하는 Transformer 모델이 신경망 기반 번역 모델의 주류를 이루고 있다.
Transformer 모델은 RNN 모델처럼 인코더(Encoder)-디코더(Decoder) 구조를 유지하고 있지만, RNN 모델에 비해 다음과 같은 장점들을 가지고 있다.
첫째, RNN 모델과 다르게 인코더 및 디코더 각각 N개의 계층을 가지고 있어서 입력과 출력 사이의 더 복잡한 관계를 모델링할 수 있다.
둘째, Transformer 모델은 문장의 각 단어들이 순서대로 입력되는 것이 아니라 문장 전체가 한 번에 입력되기 때문에 병렬 계산을 통해 연산 속도가 RNN보다 빠르다.
셋째, 인코더와 디코더에서 반복 연결(Recurrent connection)이 아니라 집중(Attention)을 통해 문장내 단어 간의 관계를 모델링하는데, 이는 멀리 떨어진 단어 간의 관계를 훨씬 더 효과적으로 모델링할 수 있다.
본 발명은 전술한 바와 같이, Transformer Model의 번역 모델을 이용하여 기호화된 고유명사 단어를 포함한 입력 문장을 타겟 언어의 출력 문장으로 번역함으로써, 고유명사가 포함된 문장의 번역 오류를 해결할 수 있다.
이하에서는 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 번역 방법 및 시스템에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 방법의 동작 흐름도를 도시한 것이다.
도 1의 방법은 도 4에 도시된 본 발명의 실시예에 따른 신경망 기반의 고유명사 기호화를 이용한 번역 시스템에 의해 수행된다.
본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법 및 시스템은 고유명사 단어들을 포함하는 고유명사 사전 데이터를 이용하며, 고유명사 사전 데이터는 고유명사 기호화 과정에서 고유명사를 판별하기 위한 기준이 된다. 고유명사 사전 데이터는 고유명사로서 가치가 높은 단어들이 많을수록 번역 성능이 높아진다. 이에, 본 발명은 웹 시스템에서 사용자로부터 고유명사를 입력받음으로써 지속적으로 고유명사 사전 데이터를 업데이트하는 방식을 제공할 수 있다. 여기서, 고유명사 사전 데이터는 고유명사 사전에 포함된 다양한 언어의 고유명사 데이터들을 일컫는다.
일 예로, 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법 및 시스템은 구축한 고유명사 사전에 추가로 사전 데이터를 확장하기 위해 웹 시스템에서 사용자로부터 고유명사 쌍을 입력 받을 수 있다. 다만, 사용자로부터 추가된 단어들이 유효한지에 대한 검증이 필요하므로 실제 고유명사들이 저장된 고유명사 사전에는 저장되지 않고, 서버 내 사용자 별로 사용자 별 사전 데이터가 관리되며, 실제 번역시에는 고유명사 사전 데이터와 함께 사용자 별 사전 데이터를 이용하여 기호화할 수 있다. 이는 번역 서비스의 개인화이며, 사용자 별 사전 데이터에 저장된 단어는 관리자의 검증에 거쳐 원본 파일(또는 고유명사 사전)에 추가될 수 있다.
도 1을 참조하면, 단계 110에서, 입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장한다.
보다 상세하게 단계 110은 고유명사 사전 데이터를 이용하여 입력 문장에 포함된 고유명사 단어를 추출하며, 고유명사 단어의 순서에 따라 기 설정된 기호로 기호화할 수 있다.
이후에, 단계 110은 기호화된 고유명사 단어를 타겟 언어의 단어로 번역 사전에 저장하는 단계를 수행한다. 일 예로, 입력 언어인 한국어로 작성된 입력 문장에서 기호화된 고유명사 단어가 한국어인 경우, 단계 110은 고유명사 사전을 이용하여 기호화된 고유명사 단어를 타겟 언어인 영어의 타겟 단어로 번역한 후, 이를 번역 사전에 임시로 저장할 수 있다.
예를 들어 설명하면, 단계 110은 입력 문장을 단어 단위(토큰)로 나누고, 토큰 중 고유명사 사전 데이터에 포함된 단어가 있는 경우 고유명사 단어의 순서에 따라 ‘__P0’, ‘__P1’, …, ‘__Pn’과 같은 형태로 기호화할 수 있다. 만약 토큰과 고유명사 사전에 포함된 단어들이 많이 매칭되면, 입력 문장은 ‘__P0’, ‘__P1’와 같은 기호들을 많이 포함하게 된다. 예를 들어 설명하면, 입력 문장이 ‘서울에 트럼프 대통령이 방문했다’이면, 단계 110은 고유명사인 ‘서울’을 ‘__P0’으로 기호화하고, ‘트럼프’를 ‘__P1’로 기호화한다. 이후에, 단계 110은 기호화된 고유명사 단어(‘__P0: 서울’, ‘__P1: 트럼프’)에 대해 입력 언어(한국어)의 입력 단어가 아닌 고유명사 사전을 활용하여 타겟 언어(영어)의 타겟 단어로 번역하여 ‘__P0: Seoul’, ‘__P1: Trump’를 번역 사전에 저장한다.
여기서, 번역 사전은 기호화된 고유명사 단어와 이를 지칭하는 기호를 임시로 저장하기 위한 공간을 일컫는다. 이는 출력 문장에 포함된 기호화된 고유명사 단어를 치환할 때 사용하기 위해 임시로 ‘__P0: Seoul’, ‘__P1: Trump’와 같은 기호화된 고유명사 단어를 저장하기 위한 것이다.
단계 120에서, 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력한다.
보다 상세하게 단계 120은 번역 모델에 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 입력하여 타겟 언어로 번역된 기호화된 출력 문장을 출력할 수 있으며, 기호화된 출력 문장은 기호화된 입력 문장에 포함된 기호화된 고유명사 단어에 대응되는 기호들을 출력할 수 있다.
예를 들어 설명하면, 단계 120은 단계 110에 의해 기호화된 입력 문장인 ‘__P0에 __P1 대통령이 방문했다’를 번역 모델에 입력하며, 타겟 언어인 영어(English)로 번역되어 기호화된 출력 문장인 ‘President __P1 visited __P0’를 출력할 수 있다. 본 발명에서는 입력 언어를 한국어(Korean)로, 타겟 언어를 영어(English)로 선택하여 설명하였으나, 입력 언어 및 타겟 언어는 한국어 및 영어에 한정되지 않으며 다양한 나라의 언어를 적용할 수 있다.
단계 130에서, 번역 사전에 저장된 기호화된 고유명사 단어를 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력한다.
보다 상세하게 단계 130은 번역 사전에 타겟 단어로 번역되어 임시로 저장된 기호화된 고유명사 단어를 기호화된 출력 문장에 대입하여 타겟 언어에 해당하는 출력 문장을 출력할 수 있다.
예를 들어 설명하면, 단계 130은 단계 120에 의해 획득된 기호화된 출력 문장인 ‘President __P1 visited __P0’에서, 단계 110에 의해 임시로 번역 사전에 저장된 기호화된 고유명사 단어에 해당하는 타겟 언어(영어)의 타겟 단어 즉, ‘__P0: Seoul’, ‘__P1: Trump’를 획득하고, 이를 기호화된 출력 문장인 ‘President __P1 visited __P0’에 대입하여 타겟 언어(영어)에 해당하는 출력 문장인 ‘President Trump visited Seoul’를 출력한다.
본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법은 번역 모델을 학습하는 단계(미도시)를 더 포함할 수 있으며, 번역 모델을 학습하는 단계 는 초기 고유명사 사전 데이터를 고유명사 기호화를 이용한 번역 모델에 학습시키며, 단계 110에 의해 기호화된 고유명사 단어를 번역 모델에 학습할 수 있다.
도 2는 본 발명의 실시예에 따른 번역 모델 학습 예를 설명하기 위해 도시한 것이며, 도 3은 본 발명의 실시예에 따른 고유명사 기호화를 이용하여 번역하는 예를 설명하기 위해 도시한 것이다.
본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법 및 시스템은 고유명사가 들어간 문장의 번역 성능을 높이기 위해 고유명사 기호화를 사용한다. 고유명사 기호화는 모델 학습 및 번역 과정에서 모두 사용되며 고유명사 사전 데이터를 이용하여 기호로 복호화하는 방식을 사용한다.
고유명사 기호화를 사용하여 번역 모델을 학습시키는 과정은 도 2에 도시된 바와 같다. 도 2를 참조하면, 고유명사 사전에는 {‘테슬라: Tesla’, ‘일론 머스크: Elon Musk’, ‘스페이스X: Space X}가 들어있다고 가정한다. 도 2에서는 한영 번역 모델을 학습시키는 과정으로 지도 학습을 위해 한영 문장 쌍이 입력될 수 있다.
도 2(a) 및 도 2(b)에 도시된 한국어 및 영어의 입력 문장에서 고유명사 사전 데이터의 단어와 매칭되는 것들을 문장 내 고유명사의 순서에 따라 ‘__P0’, ‘__P1’, …, ‘__Pn’으로 기호화한다. 이후에, 기호화된 고유명사 단어들을 번역 모델(Transformer 모델)에 입력하여 학습시킨다. 번역 모델이 기호화된 고유명사 단어들을 포함한 기호화된 입력 문장을 학습할수록, 번역 시 번역 모델의 기호화된 출력 문장은 기호화된 입력 문장의 기호들에 대응되는 기호들을 출력하게 된다.
이후에, 학습 중에 검증 데이터를 번역하고 BLEU(Bilingual Evaluation Understudy) Score를 획득하여 얼리 스톱(early stop) 방법으로 학습을 종료한다.
본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 방법 및 시스템은 전술한 바와 같이 학습이 완료된 번역 모델을 이용하여 도 3에 도시된 바와 같이 번역을 수행한다.
도 3(a)와 같이, 한국어의 입력 언어로 작성된 입력 문장인 ‘나는 페라리보다 테슬라를 선호한다.’에서 입력 문장을 단어 단위(토큰)로 나누고, 토큰들과 고유명사 사전 데이터를 비교하여 고유명사인 ‘페라리’ 및 ‘테슬라’를 ‘__P0: 페라리’, ‘__P1: 테슬라’와 같이 기호화하여 도 3(b)에 도시된 바와 같은 기호화된 입력 문장을 생성한다.
이 때, 본 발명은 입력 언어의 입력 단어인 기호화된 고유명사 단어의 {‘__P0: 페라리’, ‘__P1: 테슬라’}를 번역 사전에 등록하지 않고, 고유명사 사전 데이터를 이용하여 기호화된 고유명사 단어에 대응하는 타겟 언어(영어)의 타겟 단어로 치환한 후, {‘__P0: Ferrari’, ‘__P1: Tesla’}를 번역 사전에 임시로 저장(c)한다.
이후에, 기호화된 입력 문장(b)을 번역 모델에 입력하고 기호화된 출력 문장(d)을 출력한다.
본 발명은 앞서 임시로 저장(c)한 번역 사전을 이용하여 기호들에 해당하는 타겟 언어(영어)의 타겟 단어인 ‘__P0: Ferrari’, ‘__P1: Tesla’를 추출한 후, 이를 기호화된 출력 문장(d)에 입력하여 최종 번역 결과인 ‘I prefer Tesla to Ferrari’의 출력 문장(e)을 출력한다.
이 때, 출력 문장(e)으로부터 번역 결과를 얻기 위해 번역 사전과 고유명사 사전은 아래와 같이 작동한다.
‘__P0’ → (번역 사전 참조) 페라리 → (고유명사 사전 참조) Ferrari
‘__P1’ → (번역 사전 참조) 테슬라 → (고유명사 사전 참조) Tesla
도 4는 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 시스템의 세부 구성을 블록도로 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 시스템은 입력 문장에 포함된 고유명사 단어를 기호화하여 타겟 언어로 번역한다.
이를 위해, 본 발명의 실시예에 따른 고유명사 기호화를 이용한 번역 시스템(400)은 고유명사 변환부(410), 모델 처리부(420) 및 결과 출력부(430)를 포함하며, 모델 학습부(440)를 더 포함할 수 있다.
고유명사 변환부(410)는 입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장한다.
보다 상세하게 고유명사 변환부(410)는 고유명사 사전 데이터를 이용하여 입력 문장에 포함된 고유명사 단어를 추출하며, 고유명사 단어의 순서에 따라 기 설정된 기호로 기호화할 수 있다.
이후에, 고유명사 변환부(410)는 기호화된 고유명사 단어를 타겟 언어의 단어로 번역 사전에 저장한다. 일 예로, 입력 언어인 한국어로 작성된 입력 문장에서 기호화된 고유명사 단어가 한국어인 경우, 고유명사 변환부(410)는 고유명사 사전을 이용하여 기호화된 고유명사 단어를 타겟 언어인 영어의 타겟 단어로 번역한 후, 이를 번역 사전에 임시로 저장할 수 있다.
여기서, 번역 사전은 기호화된 고유명사 단어와 이를 지칭하는 기호를 임시로 저장하기 위한 공간을 일컫는다. 이는 출력 문장에 포함된 기호화된 고유명사 단어를 치환할 때 사용하기 위해 임시로 기호화된 고유명사 단어를 저장하기 위한 것이다.
모델 처리부(420)는 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력한다.
보다 상세하게 모델 처리부(420)는 번역 모델에 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 입력하여 타겟 언어로 번역된 기호화된 출력 문장을 출력할 수 있으며, 기호화된 출력 문장은 기호화된 입력 문장에 포함된 기호화된 고유명사 단어에 대응되는 기호들을 출력할 수 있다.
결과 출력부(430)는 번역 사전에 저장된 기호화된 고유명사 단어를 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력한다.
보다 상세하게 결과 출력부(430)는 번역 사전에 타겟 단어로 번역되어 임시로 저장된 기호화된 고유명사 단어를 기호화된 출력 문장에 대입하여 타겟 언어에 해당하는 출력 문장을 출력할 수 있다.
모델 학습부(440)는 번역 모델을 학습할 수 있다. 모델 학습부(440)는 초기 고유명사 사전 데이터를 고유명사 기호화를 이용한 번역 모델에 학습시키며, 고유명사 변환부(410)에 의해 기호화된 고유명사 단어를 번역 모델에 학습할 수 있다.
비록, 도 4의 시스템에서 그 설명이 생략되었더라도, 본 발명에 따른 시스템은 상기 도 1 내지 도 3에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 신경망 기반의 고유명사 기호화를 이용한 번역 방법에 있어서,
    입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장하는 단계;
    상기 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력하는 단계; 및
    상기 번역 사전에 저장된 상기 기호화된 고유명사 단어를 상기 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력하는 단계를 포함하되,
    상기 고유명사 단어를 기호화하며, 번역 사전에 저장하는 단계는
    상기 고유명사 사전 데이터를 이용하여 상기 입력 문장에 포함된 상기 고유명사 단어를 추출하며, 상기 고유명사 단어의 순서에 따라 상기 고유명사 단어를 기 설정된 기호로 기호화하고,
    상기 입력 문장을 번역 모델에 입력하는 단계는
    상기 번역 모델에 상기 기호화된 고유명사 단어를 포함한 상기 기호화된 입력 문장을 입력하여 타겟 언어로 번역된 상기 기호화된 출력 문장을 출력하며,
    상기 최종 번역 결과를 출력하는 단계는
    상기 번역 사전에 타겟 단어로 번역되어 임시로 저장된 상기 기호화된 고유명사 단어를 상기 기호화된 출력 문장에 대입하여 타겟 언어에 해당하는 상기 출력 문장을 출력하는 것을 특징으로 하는, 고유명사 기호화를 이용한 번역 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 번역 모델을 학습하는 단계를 더 포함하며,
    상기 번역 모델을 학습하는 단계는
    상기 기호화된 고유명사 단어를 상기 번역 모델에 입력하여 학습하는 것을 특징으로 하는, 고유명사 기호화를 이용한 번역 방법.
  6. 신경망 기반의 고유명사 기호화를 이용한 번역 시스템에 있어서,
    입력 문장에 포함된 고유명사 단어를 고유명사 사전 데이터와 비교하여 기호화하며, 기호화된 고유명사 단어를 타겟 언어의 타겟 단어로 번역 사전에 저장하는 고유명사 변환부;
    상기 기호화된 고유명사 단어를 포함한 기호화된 입력 문장을 번역 모델에 입력하는 모델 처리부; 및
    상기 번역 사전에 저장된 상기 기호화된 고유명사 단어를 상기 번역 모델에 의해 번역되어 출력되는 기호화된 출력 문장에 치환하여 최종 번역 결과인 출력 문장을 출력하는 결과 출력부를 포함하되,
    상기 고유명사 변환부는
    상기 고유명사 사전 데이터를 이용하여 상기 입력 문장에 포함된 상기 고유명사 단어를 추출하며, 상기 고유명사 단어의 순서에 따라 상기 고유명사 단어를 기 설정된 기호로 기호화하고,
    상기 모델 처리부는
    상기 번역 모델에 상기 기호화된 고유명사 단어를 포함한 상기 기호화된 입력 문장을 입력하여 타겟 언어로 번역된 상기 기호화된 출력 문장을 출력하며,
    상기 결과 출력부는
    상기 번역 사전에 타겟 단어로 번역되어 임시로 저장된 상기 기호화된 고유명사 단어를 상기 기호화된 출력 문장에 대입하여 타겟 언어에 해당하는 상기 출력 문장을 출력하는 것을 특징으로 하는, 고유명사 기호화를 이용한 번역 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 번역 모델을 학습하는 모델 학습부를 더 포함하며,
    상기 모델 학습부는
    상기 기호화된 고유명사 단어를 상기 번역 모델에 입력하여 학습하는 것을 특징으로 하는, 고유명사 기호화를 이용한 번역 시스템.
KR1020200133085A 2020-10-15 2020-10-15 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템 KR102427934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200133085A KR102427934B1 (ko) 2020-10-15 2020-10-15 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200133085A KR102427934B1 (ko) 2020-10-15 2020-10-15 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20220049693A KR20220049693A (ko) 2022-04-22
KR102427934B1 true KR102427934B1 (ko) 2022-08-02

Family

ID=81452436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200133085A KR102427934B1 (ko) 2020-10-15 2020-10-15 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102427934B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240018229A (ko) 2022-08-02 2024-02-13 김민구 시내퍼 모델을 이용한 자연어 처리 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356745B2 (ja) * 2004-03-18 2009-11-04 日本電気株式会社 機械翻訳システム、機械翻訳方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319949B2 (en) 2003-05-27 2008-01-15 Microsoft Corporation Unilingual translator
KR20180054236A (ko) * 2016-11-15 2018-05-24 한국전자통신연구원 음성기호 기반 사전 유사 탐색을 활용한 자동 통번역 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356745B2 (ja) * 2004-03-18 2009-11-04 日本電気株式会社 機械翻訳システム、機械翻訳方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
강청웅 외, ‘숫자 기호화를 통한 신경기계번역 성능 향상’, 한국디지털콘텐츠학회 논문지 19(6), 2018.06.*

Also Published As

Publication number Publication date
KR20220049693A (ko) 2022-04-22

Similar Documents

Publication Publication Date Title
Lachaux et al. Unsupervised translation of programming languages
Clinchant et al. On the use of BERT for neural machine translation
KR102589638B1 (ko) 문장 생성 장치 및 방법
US10832657B2 (en) Use of small unit language model for training large unit language models
KR102458244B1 (ko) 기계 번역 방법 및 장치
CN110914827A (zh) 基于转移学习的多语言语义解析器
DeNero et al. Inducing sentence structure from parallel corpora for reordering
CN108132932B (zh) 带有复制机制的神经机器翻译方法
CN111626064B (zh) 神经机器翻译模型的训练方法、装置及存储介质
CN111694826A (zh) 基于人工智能的数据增强方法、装置、电子设备及介质
US11782686B2 (en) Systems and methods for code understanding and generation
CN110084323B (zh) 端到端语义解析系统及训练方法
KR102409667B1 (ko) 기계 번역의 학습 데이터 구축을 위한 방법
KR102637340B1 (ko) 문장 매핑 방법 및 장치
CN111626065A (zh) 神经机器翻译模型的训练方法、装置及存储介质
KR102427934B1 (ko) 신경망 기반의 고유명사 기호화를 이용한 번역 방법 및 그 시스템
US10394960B2 (en) Transliteration decoding using a tree structure
CN111062206B (zh) 一种子词单元的拆分方法、装置及计算机可读存储介质
US20220147721A1 (en) Adapters for zero-shot multilingual neural machine translation
CN111160036B (zh) 一种对基于神经网络的机器翻译模型的更新方法及装置
CN113743101A (zh) 文本纠错方法、装置、电子设备和计算机存储介质
Zhang et al. Mind the gap: Machine translation by minimizing the semantic gap in embedding space
US10810380B2 (en) Transliteration using machine translation pipeline
JP5924677B2 (ja) 機械翻訳装置、機械翻訳方法、およびプログラム
CN114722796A (zh) 用于中文文本错误识别与校正的架构

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant