KR101301535B1

KR101301535B1 - 하이브리드 번역 장치 및 그 방법

Info

Publication number: KR101301535B1
Application number: KR1020090118671A
Authority: KR
Inventors: 양성일; 김영길; 김창현; 권오욱; 김운; 박은진; 서영애; 최승권; 황금하; 노윤형; 오영순; 이기영; 박상규
Original assignee: 한국전자통신연구원
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2013-09-04
Also published as: US8457947B2; US20110131032A1; KR20110062084A

Abstract

본 발명은 하이브리드 기법으로 자동 번역하는 장치 및 방법에 관한 것으로, 본 발명은, 입력된 원시 언어 문장을 노드 단위로 일반화하고, 노드 단위로 일반화된 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하며, 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행한 후에, 제 1 번역 결과와 제 2 번역 결과를 통해 목적 언어 문장으로 출력함으로써, 통계 기반 번역 지식 및 패턴 기반 번역 지식을 이용한 하이브리드 기법으로 자동 번역의 모호성 문제를 해결할 수 있는 것이다.

자동 번역, 통계 기반 자동 번역, 패턴 기반 자동 번역

Description

하이브리드 번역 장치 및 그 방법{HYBRID TRANSLATION APPARATUS AND ITS METHOD}

본 발명은 하이브리드 번역 기법에 관한 것으로, 더욱 상세하게는 원시 언어 문장을 통계 기반 방식 및 패턴 기반 방식을 포함하는 하이브리드 기법을 이용하여 목적 언어 문장으로 번역하는데 적합한 하이브리드 번역 장치 및 그 방법에 관한 것이다.

본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2009-S-034-01, 과제명: 한중영 대화체 및 기업문서 자동번역 기술개발].

잘 알려진 바와 같이, 자동 번역 기법에서 통계 기반 방식의 경우 학습 데이터를 통해 실제 사람이 선호하는 번역 지식을 자동으로 학습함으로써, 번역 모호성의 문제를 해결하는 기법을 의미한다.

하지만, 학습 데이터로 사용되는 병렬 말뭉치는 어휘 기반의 문장 데이터로 활용되기 때문에, 사실상 무한에 가까운 모든 어휘의 조합에 의해 나타나는 표현들을 학습 데이터로 구축하여 적용하지 않는 한, 변환을 위한 대역 지식은 상대적으 로 제한적인 게 사실이며, 일정한 번역의 경향을 통계적으로 수집하거나, 일표현의 빈도수를 학습하기 위해 해당 일표현이 사용되는 일정량 이상의 문장 학습이 필요하게 된다.

한편, 패턴 기반 방식의 경우 어휘 단위의 문장에 대응하는 패턴 데이터를 기술하여 이에 대한 대역 정보를 구축함으로써, 어휘 단위의 번역 지식 기반 방식에 비해 데이터 부족 현상을 어느 정도 해소할 수는 있으나, 복수개의 적용 가능한 패턴과 번역 지식이 발생할 수 있기 때문에 번역 결과의 모호성이 발생하는 문제점이 있다.

상술한 바와 같이 종래의 자동 번역 기법으로 통계 기반 방식을 사용하거나 패턴 기반 방식을 사용하여 자동 번역을 수행할 경우에는 각각의 방식에 따라 번역 결과의 모호성을 해결하는데 부족함이 있는 실정이다.

이에 따라, 본 발명은 입력된 원시 언어 문장을 통계 기반 방식 및 패턴 기반 방식을 포함하는 하이브리드 기법을 통해 생성된 각각의 번역 결과를 이용하여 목적 언어 문장으로 출력할 수 있는 하이브리드 번역 장치 및 그 방법을 제공하고자 한다.

본 발명의 일 실시 예에 따르면, 입력된 원시 언어 문장을 노드 단위로 일반화하는 원시 언어 입력부와, 상기 노드 단위로 일반화된 상기 원시 언어 문장을 통 계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하는 제 1 번역 결과 생성부와, 상기 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행하여 각 노드별 대역어로 제 2 번역 결과를 생성하는 제 2 번역 결과 생성부와, 상기 제 1 번역 결과 및 제 2 번역 결과를 이용하여 목적 언어 문장을 합성 및 출력하는 번역 결과 합성부를 포함하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 원시 언어 입력부는, 기 구축된 병렬 말뭉치의 모든 문장쌍을 이용하여 상기 노드 표현을 위한 일반화 변화를 수행하고, 이에 따라 획득된 학습 데이터를 상기 통계 기반 번역 지식으로 데이터베이스화하여 저장하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 원시 언어 입력부는, 언어 분석에 의한 상기 원시 언어 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위를 획득하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 제 1 번역 결과 생성부는, 입력 문장과 대역 문장 간의 통계 관계에 따라 번역 정보를 수집하여 입력 단위에 대한 상기 통계 기반 번역 지식을 통해 상기 제 1 번역 결과를 생성하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 제 2 번역 결과 생성부는, 대역어 사전 및 번역 패턴 사전을 포함하는 상기 패턴 기반 번역 지식을 이용하여 모든 노드에 대한 번역이 완료될 때까지 상기 노드별 대역어 생성을 반복적으로 수행하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 제 2 번역 결과 생성부는, 원시 언어와 대역 문장의 변환을 위해 번역 사전과 구문 단위로 기술되는 패턴 정보를 이용하여 상기 제 2 번역 결과를 생성하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 번역 결과 합성부는, 상기 제 1 번역 결과의 각 노드 위치에 상기 제 2 번역 결과에 따른 상기 각 노드별 대역어를 대치 및 삽입하여 합성하는 하이브리드 번역 장치가 제공된다.

바람직하게는, 상기 번역 결과 합성부는, 상기 제 1 번역 결과 및 제 2 번역 결과를 합성한 결과에 대해 문장 연결을 정련시켜 상기 목적 언어 문장을 생성하는 하이브리드 번역 장치가 제공된다.

본 발명의 다른 실시 예에 따르면, 입력된 원시 언어 문장을 노드 단위로 일반화하는 단계와, 상기 노드 단위로 일반화된 상기 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하는 단계와, 상기 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행하여 각 노드별 대역어로 제 2 번역 결과를 생성하는 단계와, 상기 제 1 번역 결과 및 제 2 번역 결과를 이용하여 목적 언어 문장을 합성 및 출력하는 단계를 포함하는 하이브리드 번역 방법이 제공된다.

바람직하게는, 상기 하이브리드 번역 방법은, 상기 노드 단위로 일반화하는 단계 이전에, 기 구축된 병렬 말뭉치의 모든 문장쌍을 이용하여 상기 노드 표현을 위한 일반화 변화를 수행하고, 이에 따라 획득된 학습 데이터를 상기 통계 기반 번역 지식으로 데이터베이스화하여 저장하는 단계를 더 포함하는 하이브리드 번역 방 법이 제공된다.

바람직하게는, 상기 노드 단위로 일반화하는 단계는, 언어 분석에 의한 상기 원시 언어 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위가 획득되는 하이브리드 번역 방법이 제공된다.

바람직하게는, 상기 제 2 번역 결과를 생성하는 단계는, 대역어 사전 및 번역 패턴 사전을 포함하는 상기 패턴 기반 번역 지식을 이용하여 모든 노드에 대한 번역이 완료될 때까지 상기 노드별 대역어 생성이 반복적으로 수행되는 하이브리드 번역 방법이 제공된다.

바람직하게는, 상기 제 2 번역 결과를 생성하는 단계는, 원시 언어와 대역 문장의 변환을 위해 번역 사전과 구문 단위로 기술되는 패턴 정보를 이용하여 상기 제 2 번역 결과가 생성되는 하이브리드 번역 방법이 제공된다.

바람직하게는, 목적 언어 문장을 합성 및 출력하는 단계는, 상기 제 1 번역 결과의 각 노드 위치에 상기 제 2 번역 결과에 따른 상기 각 노드별 대역어가 대치 및 삽입되어 합성되는 하이브리드 번역 방법이 제공된다.

바람직하게는, 목적 언어 문장을 합성 및 출력하는 단계는, 상기 제 1 번역 결과 및 제 2 번역 결과를 합성한 결과에 대해 문장 연결을 정련시켜 상기 목적 언어 문장이 생성되는 하이브리드 번역 방법이 제공된다.

본 발명은, 통계 기반 번역 및 패턴 기반 번역을 함께 수행하는 하이브리드 기법을 수행함으로써, 통계 기반 번역에서 발생되는 데이터 희소성을 완화시킬 수 있고, 패턴 기반 번역에서 발생되는 모호성 문제를 해결할 수 있어 자동 번역 시스템의 성능을 향상시킬 수 있다.

본 발명은, 입력된 원시 언어 문장을 노드 단위로 일반화하고, 노드 단위로 일반화된 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하며, 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행한 후에, 제 1 번역 결과와 제 2 번역 결과를 통해 목적 언어 문장으로 출력한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적 인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

먼저, 본 발명에서 사용되는 용어를 설명하면 다음과 같다.

첫째, 자동 번역 시스템은 번역을 위한 대역 지식을 이용하여, 원시 언어의 입력 문장을 목적 언어의 대역 문장으로 자동으로 번역 시키는 시스템을 의미한다.

둘째, 언어 분석 시스템은 자연어 문장을 대상으로 문장 내부의 품사, 구문 단위, 구문 구조 등 언어적 내부 표현 정보를 분석하여 문장의 구성 성분을 분석 단위로 구분시키고 분석 정보를 붙여주는 데이터 처리 시스템을 의미한다.

셋째, 언어 분석 시스템에서 형태소 분석 장치는 문장을 구성하는 각 어절을 구성하는 어휘 사전의 표제어를 결정하는 어휘소(lexeme)와 품사 정보를 갖는 형태소(morpheme)를 구분하는 분석 장치를 의미한다.

넷째, 언어 분석 시스템에서 구문 분석 장치는 문장을 구성하는 각 어절 간의 의미적 연결 관계를 방향성으로 표현하여, 문장 성분들 간의 의존 관계를 구분 하는 분석 장치를 의미한다.

다섯째, 언어 분석 시스템에서 노드 표현 일반화는 입력 문장에 대해 형태소 분석을 통해 얻어지는 분석 단위와 구문 분석 단위에 의해, 명사의 특성을 갖는 분석 단위에 대해 정해진 노드 형식으로 치환시키는 과정을 의미하는데, 예를 들어 "젊은이의 거리를 찾아요."와 "음식점을 찾아요."는 명사 단위 구문 치환에 의해 "[NP1]를 찾아요"의 형태로 일반화 될 수 있고, "을/를"과 같이 표층형이 다른 기능어를 "를"로 통칭하는 기능어 대표형에 의한 일반화가 함께 수행될 수 있다.

여섯째, 자동 번역 시스템에서 통계 기반 번역은 병렬 말뭉치를 사용하여 자동으로 학습된 번역 지식을 이용하여 자동 번역을 수행하는 자동 번역 기법을 의미하는데, 예를 들어, "사랑하면 예뻐진다며?", "소설 속에서 사랑하는 연인들은..", "니가 사랑할 수 있는 사람을 찾으려면.."등의 "사랑하다"가 반복되는 문장 속에서 그에 대응하는 영어 문장을 보면 "Love"라는 단어가 다른 단어보다 고빈도로 발생하는 것을 알 수 있고, 상대적으로 고빈도 발생되는 단어나 구문 범위(예: 사랑/사랑하/사랑할_수_있는/에서_사랑하...)를 입력 문장과 대역 문장 간의 통계 관계로 정보를 수집하여 입력 단위에 대한 변환 정보를 구축하여, 이를 이용해 자동 번역을 수행하는 방식을 의미한다.

일곱째, 통계 기반 번역 방법에서 병렬 말뭉치는 동일한 의미를 갖는 원시 언어와 목적 언어로 된 문장의 쌍을 말하며, 통계 기반 자동 번역을 위한 학습 데이터로 사용될 수 있도록 대규모의 문장쌍을 구축/수집하여 모아 놓은 데이터 집합을 의미한다.

여덟째, 자동 번역 시스템에서 패턴 기반 번역은 원시 언어와 대역 문장의 변환을 위해 사용되는 번역 지식을 번역 사전 형태와 함께 구문 단위로 기술되는 패턴 정보를 사용하는 자동 번역 시스템을 의미하는데, 예를 들어, "[NP1]의 [NP2] > [NP2] of [NP1]"이라는 형태의 명사구 번역 패턴에 의해 "학생의 질문"이라는 한국어가 "Question of Student"와 같은 대역문을 생성하기 위한 대역 지식으로 사용하여 자동 번역할 수 있다.

아홉째, 자동 번역 시스템에서 하이브리드 기법은 이종의 자동 번역 방법을 연계하여 각각의 자동 번역 방법을 이용한 대역 문장 생성보다 높은 성능을 낼 수 있도록 효율화 시키는 기법을 의미한다.

열 번째, 자동 번역 시스템에서의 데이터 희소성 문제는, 자동 번역을 하기 위해 사용되는 번역 지식이 부족하여 대상 입력 문장 형태의 지식이 없어, 이에 해당하는 대역 문장으로 변환시키는 것을 알지 못하는 문제를 의미한다.

열한 번째, 자동 번역 시스템에서의 모호성 문제는, 입력 문장에 대해 생성될 수 있는 대역 문장의 형태가 복수개가 가능한 경우, 이중 정답을 선택하는 문제가 발생하는데, 예를 들어 "번화한 도시"라는 표현에 대해 "busy/crowded/famous... city"와 같은 다양한 번역이 가능하며, 이중 올바른 형태의 번역 표현을 찾아내는 것을 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따라 통계 기반 및 패턴 기반으로 원시 언어 문장을 목적 언어 문장으로 번역하는데 적합한 하이브리드 번역 장치의 블록 구성도로서, 원시 언어 입력부(102), 통계 기반 번역 지식(104), 제 1 번역 결과 생성부(106), 제 2 번역 결과 생성부(108), 패턴 기반 번역 지식(110), 번역 결과 합성부(112) 등을 포함할 수 있다.

도 1을 참조하면, 원시 언어 입력부(102)는 통계 기반 번역 지식(104)을 데이터베이스화하여 구축하고, 노드 단위 원시 언어 문장을 입력시키는 것으로, 기 구축되어 있는 병렬 말뭉치의 모든 문장쌍을 이용하여 노드 표현을 위한 일반화 변화를 수행하고, 이에 따라 획득된 학습 데이터를 통계 기반 번역을 위한 변환 지식으로 활용하기 위해 통계 기반 번역 지식(104)으로 데이터베이스화하여 저장한다.

일 예로서, 도 2는 본 발명의 실시 예에 따라 통계 기반 번역 지식을 구축하는 것을 설명하기 위한 도면으로, '근처에서 제일 인기 있는 식당은 어디에요?'라는 한국어 문장과 'Where is the best restaurant in the neighborhood?'라는 영어 문장으로 된 병렬 말뭉치의 한 문장쌍을 상대로 학습 데이터 문장을 변환하는 것을 예시한 것이다.

도 2를 참조하면, 한국어 문장(202)은 입력 문장에 대응하는 데이터가 되고, 영어 문장(206)은 출력 문장에 대응하는 데이터가 되어 정렬 정보가 통계 기반 방식으로 학습되게 되는데, 어휘 기반의 학습에 의한 데이터 모호성 문제를 해결하기 위해 언어 분석 기법을 사용하여 노드 표현에 따른 일반화를 통해 변환된 한국어 문장 노드 표현(204)을 생성한다.

그리고, 변환된 한국어 문장 노드 표현(204)에 의해 노드 변환의 대상이 되 는 '근처'와 '식당'의 각 대역어 정보(210)에 의해 영어 문장에서의 대상 노드의 위치를 파악하고, 이에 의해 영어 문장 표현에 대한 영어 문장 노드 표현(208)으로의 변환을 수행한다.

이러한 영어 문장 노드 표현(208)에 의해, 통계 기반 번역을 위한 학습 데이터는 어휘 기반 문장(즉, 한국어 문장(202), 영어 문장(206))이 아닌 노드화 표현 문장(즉, 한국어 문장 노드 표현(204), 영어 문장 노드 표현(208))을 이용하여 내부 변환 지식(즉, 통계 기반 번역 지식)을 구축하게 되며, 이에 따라 구축된 통계 기반 번역 지식은 통계 기반 번역을 수행하기 위한 변환 지식으로 사용될 수 있다.

또한, 원시 언어 입력부(102)는 텍스트 형태로 원시 언어 문장이 입력되면, 언어 분석 기법에 의한 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위를 획득하고, 획득된 구문 정보 및 구문 범위를 포함하는 노드 단위 원시 언어 문장을 생성한다.

다음에, 제 1 번역 결과 생성부(106)는 기 구축된 통계 기반 번역 지식(104)을 이용하여 통계 기반 번역을 수행하는 것으로, 생성된 노드 단위 원시 언어 문장에 대해 기 구축된 통계 기반 번역 지식(104)을 이용하여 노드 표현으로 변환하여 목적 언어로 된 제 1 번역 결과를 생성한다.

여기에서, 통계 기반 번역은 병렬 말뭉치를 사용하여 학습된 번역 지식을 이용하여 자동 번역을 수행하는 기법으로, 입력 문장과 대역 문장 간의 통계 관계로 정보를 수집하여 입력 단위(노드단위 원시언어 문장)에 대한 변환 정보(노드 표현을 위한 일반화 변환을 수행함에 따라 획득된 학습데이터 즉, 통계기반 번역지식(104))를 구축한 후, 이러한 변환 정보에 따라 통계 기반 번역을 수행할 수 있다.

또한, 제 2 번역 결과 생성부(108)는 기 구축된 패턴 기반 번역 지식(110)을 이용하여 패턴 기반 번역을 수행하는 것으로, 노드 표현으로 변환된 제 1 번역 결과가 전달되면, 예를 들면, 대역어 사전, 번역 패턴 사전 등을 포함하는 패턴 기반 번역 지식(110)을 이용하여 모든 노드에 대해 번역이 완료될 때까지 노드 단위의 대역어 생성을 반복적으로 수행함으로써, 제 2 번역 결과를 생성한다. 이러한 반복 수행으로 생성된 제 2 번역 결과의 노드 단위 대역어들은 번역 결과 합성부(112)로 전달된다.

여기에서, 패턴 기반 번역은 원시 언어와 대역 문장의 변환을 위해 번역 사전과 구문 단위로 기술되는 패턴 정보를 이용하여 자동 번역하는 기법으로, 예를 들어, 명사구 번역 패턴 등을 포함하는 번역 패턴 사전, 각종 대역어 사전을 이용하여 원시 언어 문장을 목적 언어 문장으로 자동 번역할 수 있다.

한편, 번역 결과 합성부(112)는 제 1 번역 결과와 제 2 번역 결과를 이용하여 목적 언어 문장을 출력하는 것으로, 제 1 번역 결과 생성부(106)를 통해 노드 표현으로 변환된 제 1 번역 결과의 각 노드 위치에 제 2 번역 결과 생성부(108)를 통해 생성된 각 노드별 대역어를 대치하여 삽입한 후에, 그 문장 연결을 예를 들면, 영어의 관사 생성 등과 같이 정련시켜 번역 결과 문장인 목적 언어 문장을 생성 및 출력한다.

따라서, 입력된 원시 언어 문장을 노드 단위로 일반화하고, 노드 단위로 일반화된 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하며, 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하 여 노드별 대역어 생성을 반복 수행한 후에, 제 1 번역 결과와 제 2 번역 결과를 통해 목적 언어 문장으로 출력함으로써, 통계 기반 번역 지식 및 패턴 기반 번역 지식을 이용한 하이브리드 기법으로 자동 번역의 모호성 문제를 해결할 수 있다.

다음에, 상술한 바와 같은 구성을 갖는 하이브리드 번역 장치에서 입력된 원시 언어 문장을 노드 단위로 일반화하고, 노드 단위로 일반화된 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하며, 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행한 후에, 제 1 번역 결과와 제 2 번역 결과를 통해 목적 언어 문장으로 출력하는 과정에 대해 설명한다.

도 3은 본 발명의 다른 실시 예에 따라 통계 기반 및 패턴 기반으로 원시 언어 문장을 목적 언어 문장으로 번역하는 과정을 도시한 플로우차트이다.

도 3을 참조하면, 원시 언어 입력부(102)에서는 기 구축된 병렬 말뭉치의 모든 문장쌍을 이용하여 노드 표현을 위한 일반화 변화를 수행하고(단계302), 이에 따라 획득된 학습 데이터를 통계 기반 번역을 위한 변환 지식으로 활용하기 위해 통계 기반 번역 지식(104)으로 데이터베이스화하여 저장한다(단계304).

예를 들면, 도 2에 도시한 바와 같이 언어 분석 기법을 사용하여 노드 표현에 따른 일반화를 통해 변환된 한국어 문장 노드 표현(204)을 생성하고, 변환된 한국어 문장 노드 표현(204)에 의해 노드 변환의 대상이 되는 '근처'와 '식당'의 각 대역어 정보(210)를 이용하여 영어 문장에서의 대상 노드의 위치를 파악하며, 이에 의해 영어 문장 표현에 대한 영어 문장 노드 표현(208)으로의 변환을 수행한 후에, 그 영어 문장 노드 표현(208)에 따라 어휘 기반 문장(즉, 한국어 문장(202), 영어 문장(206))이 아닌 노드화 표현 문장(즉, 한국어 문장 노드 표현(204), 영어 문장 노드 표현(208))을 이용하여 내부 변환 지식(즉, 통계 기반 번역 지식)을 구축할 수 있고, 이러한 통계 기반 번역 지식은 통계 기반 번역을 수행하기 위한 변환 지식으로 사용될 수 있다.

다음에, 원시 언어 입력부(102)에서는 텍스트 형태의 원시 언어 문장이 입력되는지를 체크한다(단계306).

상기 단계(306)에서의 체크 결과, 원시 언어 문장이 입력되면, 원시 언어 입력부(102)에서는 언어 분석에 의한 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위를 획득하고, 획득된 구문 정보 및 구문 범위를 포함하는 노드 단위 원시 언어 문장을 생성한다(단계308).

다음에, 제 1 번역 결과 생성부(106)에서는 생성된 노드 단위 원시 언어 문장에 대해 기 구축된 통계 기반 번역 지식(104)을 이용하여 노드 표현으로 변환하여 목적 언어로 된 제 1 번역 결과를 생성한다(단계310).

또한, 제 2 번역 결과 생성부(108)에서는 노드 표현으로 변환된 제 1 번역 결과가 전달되면, 예를 들면, 대역어 사전, 번역 패턴 사전 등을 포함하는 패턴 기 반 번역 지식(110)을 이용하여 모든 노드에 대해 번역이 완료될 때까지 노드 단위의 대역어 생성을 반복적으로 수행하여 제 2 번역 결과를 생성한다(단계312). 이러한 반복 수행으로 생성된 노드 단위 대역어들을 포함하는 제 2 번역 결과는 번역 결과 합성부(112)로 전달된다.

이어서, 번역 결과 합성부(112)에서는 제 1 번역 결과 생성부(106)를 통해 노드 표현으로 변환된 제 1 번역 결과의 각 노드 위치에 제 2 번역 결과 생성부(108)를 통해 생성된 각 노드별 대역어를 대치하여 삽입한 후에, 그 문장 연결을 예를 들면, 영어의 관사 생성 등과 같이 정련시켜 번역 결과 문장인 목적 언어 문장을 생성 및 출력한다(단계314, 316).

따라서, 입력된 원시 언어 문장을 노드 단위로 일반화하고, 노드 단위로 일반화된 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하며, 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행한 후에, 제 1 번역 결과와 제 2 번역 결과를 통해 목적 언어 문장으로 출력함으로써, 원시 언어 문장에 대응하는 목적 언어 문장으로 자동 번역할 수 있다.

일 예로서, 도 4는 본 발명의 실시 예에 따라 통계 기반 방식 및 패턴 기반 방식을 포함하는 하이브리드 기법을 이용하여 번역하는 것을 설명하기 위한 도면으로, 예를 들어 '서울에서 제일 번화한 쇼핑의 명소는 어디에요?'라는 한국어 문장에 대한 영어 대역문을 생성하는 것을 예시한 것이다.

도 4를 참조하면, 한국어 입력 문장(404)은 원시 언어 입력부(102)에 의해 노드 표현에 의한 일반화되어 노드 단위 원시 언어 문장(406)으로 변환되며, 이러한 노드 단위 원시 언어 문장(406)은 통계 기반 번역을 위해 학습 데이터로 기 구축된 통계 기반 번역 지식(104)의 포맷과 일치하는 형태가 되는데, 이 때, 학습 데이터의 형태와 다르게 입력 문장의 경우 '쇼핑의 명소'라는 명사구가 하나의 노드 표현으로 구분되는 것을 알 수 있으며, 이러한 노드 표현 일반화에 의해 통계 기반 번역을 위한 데이터 희소성 문제가 해소될 수 있다.

그리고, 노드 단위 원시 언어 문장(406)이 제 1 번역 결과 생성부(106)에 입력되면, 통계 기반 번역 지식(104)을 이용한 통계 기반 번역을 수행하여 제 1 번역 결과(408)를 생성한다. 이러한 제 1 번역 결과(408)는 내부에 노드 표현을 갖는 아직 불완전한 번역 결과인데, 이 때, 도 2에 도시한 바와 같이 학습되었던 변환 지식과 달리 영어 대역어 표현이 "Where is ~" 형태의 표현이 아닌 "How can I find ~" 형태의 영어 표현으로 바뀐 것을 알 수 있으며, 이것은 수많은 문장쌍의 표현 간 정렬 정보를 학습하면서, 현재 입력되는 노드 표현에 대한 최적의 대역문 생성 결과가 자동으로 학습된 결과이다.

다음에, 제 1 번역 결과 생성부(106)에서는 패턴 기반 번역을 수행하여 제 1 번역 결과(408) 내부에 발생하는 노드 표현에서 한국어 입력 문장에서 노드 표현 일반화가 진행되면서 얻어진 한국어 단어에 대한 대역어 사전과 패턴 정보(402)에 따라 NP1, NP2의 대역어가 각각 생성되고, 번역 결과 합성부(112)에서 각 노드 위치에 대역어가 삽입되게 되며, 예를 들면, 관사 생성과 같은 결과 문장의 정련을 통해 목적 언어 문장(410)을 획득할 수 있다.

이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따라 통계 기반 및 패턴 기반으로 원시 언어 문장을 목적 언어 문장으로 번역하는데 적합한 하이브리드 번역 장치의 블록 구성도,

도 2는 본 발명의 실시 예에 따라 통계 기반 번역 지식을 구축하는 것을 설명하기 위한 도면,

도 3은 본 발명의 다른 실시 예에 따라 통계 기반 및 패턴 기반으로 원시 언어 문장을 목적 언어 문장으로 번역하는 과정을 도시한 플로우차트,

도 4는 본 발명의 실시 예에 따라 통계 기반 방식 및 패턴 기반 방식을 포함하는 하이브리드 기법을 이용하여 번역하는 것을 설명하기 위한 도면.

<도면의 주요부분에 대한 부호의 설명>

102 : 원시 언어 입력부 104 : 통계 기반 번역 지식

106 : 제 1 번역 결과 생성부 108 : 제 2 번역 결과 생성부

110 : 패턴 기반 번역 지식 112 : 번역 결과 합성부

Claims

입력된 원시 언어 문장을 노드 단위로 일반화하는 원시 언어 입력부와,

상기 노드 단위로 일반화된 상기 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하는 제 1 번역 결과 생성부와,

상기 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행하여 각 노드별 대역어로 제 2 번역 결과를 생성하는 제 2 번역 결과 생성부와,

상기 제 1 번역 결과 및 제 2 번역 결과를 이용하여 목적 언어 문장을 합성 및 출력하는 번역 결과 합성부를 포함하는

하이브리드 번역 장치.
제 1 항에 있어서,

상기 원시 언어 입력부는, 기 구축된 병렬 말뭉치의 모든 문장쌍을 이용하여 상기 노드 표현을 위한 일반화 변화를 수행하고, 이에 따라 획득된 학습 데이터를 상기 통계 기반 번역 지식으로 데이터베이스화하여 저장하는

하이브리드 번역 장치.
제 2 항에 있어서,

상기 원시 언어 입력부는, 언어 분석에 의한 상기 원시 언어 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위를 획득하는

하이브리드 번역 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 제 1 번역 결과 생성부는, 입력 문장과 대역 문장 간의 통계 관계에 따라 번역 정보를 수집하여 입력 단위에 대한 상기 통계 기반 번역 지식을 통해 상기 제 1 번역 결과를 생성하는

하이브리드 번역 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 제 2 번역 결과 생성부는, 대역어 사전 및 번역 패턴 사전을 포함하는 상기 패턴 기반 번역 지식을 이용하여 모든 노드에 대한 번역이 완료될 때까지 상기 노드별 대역어 생성을 반복적으로 수행하는

하이브리드 번역 장치.
제 5 항에 있어서,

상기 제 2 번역 결과 생성부는, 원시 언어와 대역 문장의 변환을 위해 번역 사전과 구문 단위로 기술되는 패턴 정보를 이용하여 상기 제 2 번역 결과를 생성하 는

하이브리드 번역 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 번역 결과 합성부는, 상기 제 1 번역 결과의 각 노드 위치에 상기 제 2 번역 결과에 따른 상기 각 노드별 대역어를 대치 및 삽입하여 합성하는

하이브리드 번역 장치.
제 7 항에 있어서,

상기 번역 결과 합성부는, 상기 제 1 번역 결과 및 제 2 번역 결과를 합성한 결과에 대해 문장 연결을 정련시켜 상기 목적 언어 문장을 생성하는

하이브리드 번역 장치.
원시 언어 입력부가 입력된 원시 언어 문장을 노드 단위로 일반화하는 단계와,

제 1 번역 결과 생성부가 상기 노드 단위로 일반화된 상기 원시 언어 문장을 통계 기반 번역 지식을 이용하여 노드 표현으로 변환된 제 1 번역 결과를 생성하는 단계와,

제 2 번역 결과 생성부가 상기 제 1 번역 결과에 대해 패턴 기반 번역 지식을 이용하여 노드별 대역어 생성을 반복 수행하여 각 노드별 대역어로 제 2 번역 결과를 생성하는 단계와,

번역 결과 합성부가 상기 제 1 번역 결과 및 제 2 번역 결과를 이용하여 목적 언어 문장을 합성 및 출력하는 단계를 포함하는

하이브리드 번역 방법.
제 9 항에 있어서,

상기 하이브리드 번역 방법은,

상기 노드 단위로 일반화하는 단계 이전에, 상기 원시 언어 입력부가, 기 구축된 병렬 말뭉치의 모든 문장쌍을 이용하여 상기 노드 표현을 위한 일반화 변화를 수행하고, 이에 따라 획득된 학습 데이터를 상기 통계 기반 번역 지식으로 데이터베이스화하여 저장하는 단계를 더 포함하는

하이브리드 번역 방법.
제 10 항에 있어서,

상기 노드 단위로 일반화하는 단계는, 상기 원시 언어 입력부에 의해 언어 분석에 의한 상기 원시 언어 문장 내 번역 노드 변환을 위해 형태소 단위의 어휘와 품사가 구분된 구문 정보 및 구문 범위가 획득되는

하이브리드 번역 방법.
제 9 항 내지 제 11 항 중 어느 한 항에 있어서,

상기 제 1 번역 결과를 생성하는 단계는, 상기 제 1 번역 결과 생성부에 의해 입력 문장과 대역 문장 간의 통계 관계에 따라 번역 정보를 수집하여 입력 단위에 대한 상기 통계 기반 번역 지식을 통해 상기 제 1 번역 결과가 생성되는

하이브리드 번역 방법.
제 9 항 내지 제 11 항 중 어느 한 항에 있어서,

상기 제 2 번역 결과를 생성하는 단계는, 상기 제 2 번역 결과 생성부에 의해 대역어 사전 및 번역 패턴 사전을 포함하는 상기 패턴 기반 번역 지식을 이용하여 모든 노드에 대한 번역이 완료될 때까지 상기 노드별 대역어 생성이 반복적으로 수행되는

하이브리드 번역 방법.
제 13 항에 있어서,

상기 제 2 번역 결과를 생성하는 단계는, 상기 제 2 번역 결과 생성부에 의해 원시 언어와 대역 문장의 변환을 위해 번역 사전과 구문 단위로 기술되는 패턴 정보를 이용하여 상기 제 2 번역 결과가 생성되는

하이브리드 번역 방법.
제 9 항 내지 제 11 항 중 어느 한 항에 있어서,

목적 언어 문장을 합성 및 출력하는 단계는, 상기 번역 결과 합성부에 의해 상기 제 1 번역 결과의 각 노드 위치에 상기 제 2 번역 결과에 따른 상기 각 노드별 대역어가 대치 및 삽입되어 합성되는

하이브리드 번역 방법.
제 15 항에 있어서,

목적 언어 문장을 합성 및 출력하는 단계는, 상기 번역 결과 합성부에 의해 상기 제 1 번역 결과 및 제 2 번역 결과를 합성한 결과에 대해 문장 연결을 정련시켜 상기 목적 언어 문장이 생성되는

하이브리드 번역 방법.