KR100286649B1 - 연어패턴에 기초한 어휘 변환방법 - Google Patents

Abstract

본 발명은 일-한 자동 기계 번역장치에서의 연어패턴(collocational pattern)에 기초한 어휘 변환방법에 관한 것이다.

본 발명의 일-한 자동 기계 번역장치에서의 연어패턴(collocational pattern)에 기초한 어휘 변환방법에 의해서는, 일-한 자동 기계 번역장치에서 어휘가 다의성을 가지는 경우에 사전에 준비된 다수의 연어패턴에 각각 매칭시켜서 각 매칭에 대한 유사정도에 따라서 의미를 결정하도록 함으로서, 다의어의 의미결정을 효과적으로 수행할 수 있는 것이다.

Description

연어패턴에 기초한 어휘 변환방법

본 발명은 일-한 자동 기계 번역장치에서의 연어패턴(collocational pattern)에 기초한 어휘 변환방법에 관한 것으로, 특히 어휘가 다의성을 가지는 경우에 사전에 준비된 다수의 연어패턴에 각각 매칭시켜서 각 매칭에 대한 유사정도에 따라서 의미를 결정하도록 함으로서, 다의어의 의미결정을 자동으로 정확히 수행할 수 있는 연어패턴에 기초한 어휘 변환방법에 관한 것이다.

일반적으로, 일-한 기계번역에 있어서, 동형이의어에 대한 번역이 큰 난제가 되는데, 한-영, 한-중등의 기계번역등에서 주로 사용되는 간접번역방법은 의미해석을 수반하므로 동형이의어에 대한 문제에 대한 처리가 가능하지만, 문법체계의 유사성으로 인하여 번역과정이 비교적 간단한 직접번역방법을 채택하고 있는 일-한 번역시스템에서는 통상적으로 의미해석과정이 주어지지 않으므로 인하여, 동형이의어(다이어)에 대한 문제를 해결하는 것이 불가능한 문제점이 있었다.

상기 동형이의어에 대해 다음 두가지의 예문(1),(2)을 통해 살펴보면 아래와 같다.

(1) 彼(피)か" 家/父母を 失ぅ.

(2) He does lie.

상기 예문(1)에서 보는 바와같이, 「失ぅ」의 경우에 있어서, 그 의미가 "잃다"와 "여의다"의 두가지로 구분되는데, 상기 「失ぅ」가 "잃다"로 쓰이는 경우는 사물이나 직업등의 체언이 격조사 「を」의 앞에 오며, 반면에 「失ぅ」가 "여의다"로 쓰이는 경우는 「を」의 앞에 인간의 의미가 담긴 체언이 오게 된다. 한편, 상기 예문(2)에서는 「lie」가 "눕다" 또는 "거짓말하다"의 두가지로 해석될 수 있다. 이와같이 단어의 철사는 같으나 그 의미가 서로 다른 것을 동형이의어라 한다.

일-한 번역의 경우에 있어서, 동형이의어의 문제는 조사와 용언에 관련되어 주로 발생되는데, 이들 조사와 용언의 동형이의어의 문제를 해결한다면 보다 고품질의 일한번역 결과를 얻을 수 있게 되는 것이다.

그러나, 기존의 일-한 번역시스템은 거의 조사나 용언에 대한 동형이의의 문제를 처리하지 않고 모든 의미를 출력하여 주는 방법을 채택하거나, 또는 동형이의어의 문제를 해결하기 위하여 격프레임을 이용한 방법등을 적용하고 있지만, 격프레임에 사용하는 명사나 용언의 의미분류체계가 아직 정립되지 못하고 세분화되지 못한 관계로, 정확한 변환을 수행하는 것이 불가능한 문제점이 있었던 것이다.

본 발명의 목적은 일-한 자동 기계 번역장치에서 어휘가 다의성을 가지는 경우에 사전에 준비된 다수의 연어패턴에 각각 매칭시켜서 각 매칭에 대한 유사정도에 따라서 의미를 결정하도록 함으로서, 다의어(동형이의어)의 의미결정을 효과적으로 수행할 수 있는 연어패턴에 기초한 어휘 변환방법을 제공하는데 있다.

본 발명이 이루고자하는 기술적인 과제는 상기한 종래기술의 문제점을 해결하고자함이고, 이와같은 문제점을 해결하기 위한 기술적인 수단으로써, 본 발명의 연어패턴에 기초한 어휘 변환방법은 입력되는 일본어문장에 대한 형태소를 해석하는 일본허 형태소해석수단과, 상기 일본어 형태소해석수단으로부터 해석된 형태소의 의미를 결정하는 일-한변환수단과, 상기 일-한 변환수단으로부터 의미가 결정된 문장을 조정하여 한국어를 생성시키는 한국어 생성수단을 포함하는 일-한 자동 기계 번역장치에 있어서, 상기 형태소 해석수단으로부터 제공받은 일본어와 한국어 역어에 해당하는 데이타를 받아서 형태소가 다의어인가의 여부를 판단하는 제1단계; 상기 제1단계에서 다의어으로 판단되면, 사전에 정해진 소정의 연어패턴들과 상기 입력문장의 형태소를 매칭시켜서 형태소의 유사도를 계산하는 제2단계; 상기 제2단계에서 계산된 형태소의 유사도를 종합하여 각각의 패턴에 대한 유사도를 산출하는 제3단계; 상기 제1단계에서 다의어가 아닌 경우 또는 제3단계후, 남아있는 형태소가 없을 때까지 제1단계에서 제3단계를 반복 진행하는 제4단계; 상기 제4단계후, 패턴에 대한 유사도로 의미 결정된 형태소들을 연결하여 최적의 의미패스를 선정하여 상기 한국어 생성수단으로 제공하는 제5단계; 로 이루어짐을 특징으로 한다.

제1도는 본 발명을 수행하기 위한 일-한 자동 기계 번역장치 블럭구성도이다.

제2도는 제1도에 도시된 일-한 변환기(30)의 내부구성도이다.

제3도는 본 발명에 따른 "て"의 연어패턴 기술 및 변환규칙을 보이는 예시도이다.

제4도는 본 발명에 따른 "轉か"す"의 연어패턴 기술 및 변환규칙을 보이는 예시도이다.

제5도는 본 발명에 따른 연어패턴에 기초한 어휘 변환방법을 보이는 플로우챠트이다.

제6도는 제5도에 도시된 일-한 변환에 대한 구체적인 플로우챠트이다.

제7도는 본 발명에 따른 의미적거리를 보이는 트리도이다.

제8도는 본 발명에 따른 연어패턴의 신태그머틱 텀과 입력문장에 대한 각 형태소간의 유사도를 보이는 트리도이다.

〈도면의 주요부분에 대한 부호의 설명〉

10 : 데이타뱅크 20 : 일본어 형태소해석기

30 : 일-한변환기 40 : 한국어생성기

이하, 본 발명에 따른 연어패턴에 기초한 어휘변환방법을 수행하기 위한 일-한 자동 기계 번역장치의 구성을 첨부한 도면을 참조하여 설명한다.

제1도는 본 발명을 수행하기 위한 일-한 자동 기계 번역장치의 블럭구성도로서, 제1도를 참조하면, 본 발명을 수행하기 위한 일-한 자동 기계 번역장치는 형태소접속테이블(11)과, 일본어형태소와 연어패턴 및 한국어 상당어구를 포함하는 일-한 사전(12)과, 명사의미사전(13)과, 동사의미사전(14) 및 술부양상류 어휘화테이블과 한국어접속테이블(15)로 이루어진 데이타뱅크(10); 입력되는 일본어문장을 형태소로 분할하고, 분할된 형태소에 대한 기본형을 인식하며, 상기 기본형에 대한 의미를 데이타뱅크(10)에서 검색하여 일본어와 이의 한국어 역어인 데이타를 일-한 변환기(30)로 제공하는 일본어 형태소해석기(20); 상기 일본어 형태소해석기(20)로부터의 일본어와 이의 한국어 역어인 데이타를 받아서 데이타뱅크(10)에 저장되어 있는 연어패턴에 따라서 최적의미를 결정하여 한국어생성기(40)로 제공하는 일-한변환기(30); 상기 일-한변환기(30)로부터 제공받은 의미결정된 문장을 조정하여 한국어를 생성시키는 한국어 생성기(40)로 구성되어 있다.

제2도는 제1도에 도시된 일-한 변환기(30)의 내부구성도로서, 제2도를 참조하면, 상기 일-한 변환기(30)는 상기 일본어 형태소해석기(20)로부터의 데이타를 가지고 의미결정이 안된 적어도 하나이상의 패스(path)를 생성하는 의미(意味未)미결정(未決定) 패스생성부(31)와, 상기 의미미결정 패스생성부(31)로부터의 각 패스내 형태소를 데이타뱅크(10)를 참조하여 의미를 검색하는 의미결정부(32)와, 상기 의미결정부(32)로부터의 결정된 의미로 하나이상의 패스를 생성하는 의미결정 패스생성부(33)와, 상기 의미결정 패스생성부(33)로부터의 다수의 패스중에서 최적의 패스를 선택하여 상기 한국어생성기(40)로 제공하는 최적패스선택부(34)로 구성되어 있다.

제3도는 본 발명에 따른 "て""의 연어패턴 기술 및 변환규칙을 보이는 예시도이고, 제4도는 본 발명에 따른 "轉か"す"의 연어패턴 기술 및 변환규칙을 보이는 예시도이며, 제5도는 본 발명에 따른 연어패턴에 기초한 어휘변환방법을 보이는 플로우챠트이다. 또한, 제6도는 제5도에 도시된 일-한 변환에 대한 구체적인 플로우챠트이고, 제7도는 본 발명에 따른 의미적거리를 보이는 트리도이며, 제8도는 본 발명에 따른 연어패턴의 신태그머틱 텀과 입력문장에 대한 각 형태소간의 유사도를 보이는 트리도이다.

이와같이 구성된 본 발명을 수행하기 위한 장치에 의한 연어패턴에 기초한 어휘 변환방법을 첨부도면에 의거하여 하기에 상세히 설명한다.

제1도 및 제2도를 참조하면, 본 발명을 수행하기 위한 장치의 일본어 형태소 해석기(20)에서 입력되는 일본어문장에 대한 형태소(morphemes)를 데이타뱅크(10)에서 검색하여 일본어 형태소와 이에 대응되는 한국어 역어를 가지고 제5도 및 제6도에 도시한 바와같은 본 발명에 의한 프로그램에 의해서 입력된 일본어 형태소를 제3도 및 제4도에 예시한 바와같은 연어패턴(collocational patterns)과 대응되는 역어로 구성된 변환규칙에 따라 최적의 한국어 역어로 변환시키게 되는 것이다.

먼저, 본 발명에 의한 연어패턴에 대해서 살펴보면, 이는 의미적 제약을 가질 수 있는 격조사, 명사와 용연의미코드에 의해 기술되므로, 의미결정시 데이타뱅크(10)의 명사와 용언의 의미사전(13,14)을 참조한다. 명사의 의미코드는 의미에 따라 1000가지 종류로 하위 구분한 각천(角川)의 의미코드 분류체계를 사용하였으며, 상기 용언은 필수 보어가 어떤 의미의 조사를 취하는지에 따라 12가지로 구분하여 사용하였다.

특히, 연어패턴의 기술과 변환규칙에 대해서 자세히 살펴보면, 일반화된 연어패턴은 문법적, 의미적 제약을 주는 신태그머틱 텀(syntagmatic term)과 그들 사이의 관계를 나타내는 신태그머틱 오퍼레이터(syntagmatic operator), 그리고 괄호들로 표현된다.

상기 연어규칙이 입력문장와 매칭될때, 의미적 제약을 가지는 명사와 용언은 의미코드에 의해 의미적 유사성이 계산되고, 이와같은 유사성계산으로 일본어 형태소는 정확한 매칭이 이루어질 수 있다. 또한 '-'가 붙은 네가티브(negative) 일본어 형태소는 입력문장에서 존재해서는 안되는 것을 나타내기 위한 것이다.

상기 연어패턴을 표현하는데 사용하는 기호는 다음과 같다.

▶ 신태그머틱 텀(syntagmatic term)

$ : 자기자신

N : 의미적 제약을 가진 명사

V : 의미, 구문적 제약을 가진 동사

일본어 형태소

▶ 신테그머틱 오퍼레이터(syntagmatic operator)

* : 신태그머틱 텀의 순서관계를 표현, 인접하여 사용

+ : 신태그머틱 텀의 순서관계를 표현, 인접하지 않아도 됨

- : 네가티브 표면 형태소(surface morpheme)를 나타냄(일본어 형태소 앞에 사용)매칭되는 경우에 패널티(penalty)

▶ 브래켓(Brackets)

[] : 선택('/'로 구분)

{} : 집합(set), 용언에 있어서 필요한 격을 나타낸다(','로 구분)

본 발명에 의한 변환규칙은 의미에 대응하는 연어패턴과 역어의 쌍으로 이루어지며, 예외규칙은 연어패턴으로 매칭되었을때 어느 하나의 규칙에 대응되지만 매칭에 성공한 규칙의 의미가 아닌 경우를 위한 것이다. 특히 예외규칙을 이용함으로써 변환규칙의 단순화가 가능하여 규칙에 기초한(rule-based)방법의 단점을 향상시킬 수 있다.

제5도 및 제6도를 참조하면, 본 발명의 제1단계(310)에서는 상기 일본어 형태소 해석기(20)로부터 제공받은 일본어와 한국어 역어에 해당하는 데이타를 받아서 형태소가 다의어인가의 여부를 판단한다.

제2단계(320)에서는 상기 제1단계(310에서 다의어으로 판단되면, 제1도(310)에 도시된 데이타뱅크(10)에 저장되어 있는 사전에 정해진 소정의 연어패턴들과 상기 입력문장의 형태소를 매칭시켜서 형태소의 유사도를 계산하게 되는데, 이는 먼저 상기 연어패턴의 신태그머틱 텀과 상기 입력문장의 형태소간 대응분류별 의미적 유사도(sSIM(Pi,Ij))를 산출하고, 그 다음으로 상기 연어패턴의 신태그머틱 텀과 상기 입력문장의 형태소 분류별 의미적 유사도(Sii)를 산출하는 것이다. 본 발명에 관련되는 수식(1)(2)(3)(4)(5)은 다음과 같다.

상기 식(1)의 sSIM(P,I)은 연어패턴(P)과 입력문장(I) 상호간 대응분류별 형태소간의 유사도를 정의하고, 상기 식(2)의 Sij는 연어패턴(P)과 입력문장(I) 상호간 분류별 형태소간의 유사도를 정의하며, 또한 상기 식(3)의 pSIM(P,I)은 각 패턴에 대한 유사도로 정의한다. 그리고 상기 식(4)의 mTS(m)는 패턴에 대한 유사도중에서 최대값 유사도로 정의하고, 상기 식(5)의 sTS(path)는 최종선정된 각각의 패턴에 의한 문장을 변환한 유사도로 정의한다.

상기 sSIM(Pi,Ij)는 패턴의 신태그머틱 텀Pi와 입력문장 형태소Ij간의 의미적 유사도 계산에 사용되는데, 일본어 형태소가 연어패턴에 직접 나타나는 경우에는 유사도 계산은 정확히 메칭을 한다. 예를들어 SSIM(か",か")는 1이 되고, sSIM(か",を)는 0이 된다. 네가티브 일본어 형태소에 대한 매칭은 매칭이 될 경우에 1대신 패널티(penalty)로 -1의 값이 된다.

상기 수식(1)에서 보인 sSIM(P,I)로 기술된 의미의 제약을 가지는 명사와 용언의 의미적 유사도는 유사어 계층 구조를 이용하여 입력문장의 해당 형태소와 비교된다. 제7도는 유사어 계층구조에서의 의미적거리를 나타낸 것이다.

제7도에 있어서, 유사어 계층구조상에서는 부모노드를 많이 공유할수록 더 유사하다고 할 수 있다.

따라서, 의미적 거리를 계산하기 위하여 최적공통구룹(MSCA:Most Specific Common Abstraction)[Kolodner ＆ Riesbeck]를 이용하는 방법을 사용하였다. 여기서는 가장 하위 노드들만을 비교대상으로 하였는데, 본 발명에서는 사례들의 일반화(generalized)된 형태인 연어패턴을 이용하므로 비교의 대상Pi가 유사어 계층구조에서 더 높은 구룹(more abstract)에 있는 개념일 수 있다. 따라서 최적공통구룹(MSCA:Most Specific Common Abstraction)과 패턴과 입력의 의미적 속성 구룹도 함께 고려하여 입력문장의 형태소가 신태그머틱 텀의 자손 노드일 경우에는 더 유사하다고 할 수 있기 때문에 다른 경우와 구별하기 위하여 "패널티(is a penalty)"를 적용한다. 입력형태소가 시태그머틱 텀의 자손노드일 경우에는 "패널티(is a penalty)"가 1, 그외의 경우에는 0.5이다. 이를 제8도에서 나태나었다.

제3도는 본 발명에 따른 "て""의 연어패턴 기술 및 변환규칙을 보이는 예시도이고, 제4도는 본 발명에 따른 "轉か"す"의 연어패턴 기술 및 변환규칙을 보이는 예시도이다.

제3단계(330)에서는 상기 제2단계(320)에서 계산된 형태소의 유사도를 종합하여 각각의 패턴에 대한 유사도(pSIM(P,I),mTS(m))를 산출하는데, 먼저 단계(332)에서 제2단계(320)에서 산출된 형태소에 대한 유사도로 각 패턴에 대한 유사도(pSIM)를 산출한 다음에, 단계(334)에서 상기 산출된 패턴에 대한 유사도중에서 최대값 유사도(mTS(m))를 가지는 패턴을 선정한다.

상기 연어패턴P와 입력문장I 유사도 점수를 계산하기 위하여 pSIM(P,I)를 정의한다. pSIM(P,I)는 매칭의 유사도 정도에 대한 점수로서 완전하게 매칭되었을 때의 값으로 나누어 줌으로써 정규화하였다. Sij는 동적 프로그램기법을 이용함으로써 패턴내의 Pi가 입력문장의 가장 유사한 부분과 매칭된 점수로 계산된다. Sij값은 연어패턴의 네가티브 일본어 형태소로 인하여 음의 값을 가질 가능성이 있는데, max(0,sn.m)은 매칭점수가 0이하로 되는 것을 막아준다.

제4단계(340)에서는 상기 제1단계(310)에서 다의어가 아닌 경우 또는 제3단계(330)후, 남아있는 형태소가 없을 때까지 제1단계(310)에서 제3단계(330)를 반복진행하여 제1단계(310)에서 다의어가 아닌 경우 또는 제3단계(330)에서 더 이상 변환할 형태소가 없는 경우에는 제5단계로 진행한다.

제5단계(350)에서는 상기 제4단계(340)후, 패턴에 대한 유사도(pSIM)로 의미 결정된 형태소들을 연결하여 최적의 의미패스를 선정하여 이 선정된 의미패스에 관련된 정보를 상기 한국어 생성기(40)로 제공한다.

이와같이, 의미결정이 완료되면, 의미가 결정된 여러개의 의미패스(6)가 생성되고, 패스결정단계에서는 형태소 변환 점수를 합하여 가장 높은 점수를 가지는 하나의 패스를 선택하고 이 의미가 결정된 하나의 패스를 한국어 생성기로 전달함으로써 일-한 변환과정이 완료된다.

상술한 바와같은 본 발명에 따르면, 일-한 자동 기계 번역장치에서 어휘가 다의성을 가지는 경우에 사전에 준비된 다수의 연어패턴에 각각 매칭시켜서 각 매칭에 대한 유사정도에 따라서 의미를 결정하도록 함으로서, 다의어의 의미결정을 효과적으로 수행할 수 있는 특별한 효과가 있는 것이다.

이상의 설명은 본 발명의 일실시예에 대한 설명에 불과하며, 본 발명은 그 구성의 범위내에서 다양한 변경 및 개조가 가능하다.

Claims (3)

1. 입력되는 일본어문장에 대한 형태소를 해석하는 일본허 형태소해석수단과, 상기 일본어 형태소해석수단으로부터 해석된 형태소의 의미를 결정하는 일-한변환수단과, 상기 일-한 변환수단으로부터 의미가 결정된 문장을 조정하여 한국어를 생성시키는 한국어 생성수단을 포함하는 일-한 자동 기계 번역장치에 있어서, 상기 형태소 해석수단으로부터 제공받은 일본어와 한국어 역어에 해당하는 데이타를 받아서 형태소가 다의어인가의 여부를 판단하는 제1단계(310); 상기 제1단계(310)에서 다의어으로 판단되면, 사전에 정해진 소정의 연어패턴들과 상기 입력문장의 형태소를 매칭시켜서 형태소의 유사도를 계산하는 제2단계(320); 상기 제2단계(320)에서 계산된 형태소의 유사도를 종합하여 각각의 패턴에 대한 최고의 유사도를 산출하는 제3단계(330); 상기 제1단계(310)에서 다의어가 아닌 경우 또는 제3단계(330)후, 남아있는 형태소가 없을 때까지 제1단계(310)에서 제3단계(330)를 반복 진행하는 제4단계(340); 상기 제4단계(340)후, 패턴에 대한 최고의 유사도로 의미 결정된 형태소들을 연결하여 최적의 의미패스를 선정하여 상기 한국어 생성수단으로 제공하는 제5단계(350); 로 이루어짐을 특징으로하는 연어패턴에 기초한 어휘변환방법.
2. 제1항에 있어서, 제2단계(320)는 상기 연어패턴의 신태그머틱 텀과 상기 입력문장의 형태소간 대응분류별 의미적 유사도(sSIM(Pi,Ij)를 산출하는 단계(321~326); 상기 연어패턴의 신태그머틱 텀과 상기 입력문장의 형태소 분류별 의미적 유사도(Sii)를 산출하는 단계(327);로 이루어짐을 특징으로하는 연어패턴에 기초한 어휘변환방법.
3. 제1항 및 제2항에 있어서, 상기 제3단계(330)는 제2단계(320)에서 산출된 형태소에 대한 유사도로 각 패턴에 대한 유사도(pSIM)를 산출하는 단계(332); 상기 산출된 패턴에 대한 유사도중에서 최대값 유사도(mTS)를 가지는 패턴을 선정하는 단계(334);로 이루어짐을 특징으로하는 연어패턴에 기초한 어휘변환방법.