KR100484944B1 - 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미자동 태깅장치 - Google Patents

Abstract

본 발명에서는 기존의 형태소 품사를 태깅하는 형태소 분석장치 또는 의미 태깅 후보를 제시하여 의미 태깅을 반자동적으로 지원하는 의미 말뭉치 구축장치와는 달리 정보 검색 및 자동 번역과 같은 한국어 정보처리 응용 시스템에 사용할 수 있는 국소 구문관계 및 의미 공기사전에 기반한 명사의 형태소 자동 의미 태깅을 목적으로 한다.

본 발명에서는 종래의 의미 모호성 해소 방법과 달리 기존의 의미 모호성 해소보다 의미 결정 정확성을 향상시킬 수 있도록 구문 정보 및 용언구 및 명사구의 의미 공기정보를 사용한다. 고품질의 의미 기반 정보 검색장치 및 자동 번역장치 등의 한국어 정보 처리 분야의 응용 시스템에서 어휘 의미 모호성을 크게 해소하여 그 성능을 높일 수 있다.

Description

국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치 {Sense Tagging Device Based On Local Syntactic Relations and Semantic Co-occurrence Dictionary}

본 발명은 기존의 형태소 품사를 태깅하는 형태소 분석장치 또는 의미 태깅 후보를 제시하여 의미 태깅을 반자동적으로 지원하는 의미 말뭉치 구축장치와는 달리 정보 검색 및 자동 번역과 같은 한국어 정보처리 응용 시스템에 사용할 수 있는 국소 구문관계 및 의미 공기사전에 기반한 명사의 형태소 자동 의미 태깅장치에 관한 것이다.

제한된 영역의 문장이 아닌 일반 문장을 대상으로 한 어휘의 의미 모호성 문제는 한국어 정보처리 기술의 가장 어려운 문제들 중의 하나이다. 특히 한국어 정보 처리 기술을 이용한 대표적인 응용 시스템인 정보 검색장치와 자동 번역장치에 있어 어휘 모호성 문제는 검색 결과의 정확성 및 대상 언어의 적절한 대역어 선택과 직접 연관되어 검색 및 번역의 질을 크게 좌우하는 중요한 요소이다. 지금까지 형태소 분석 및 구문 분석에 있어서의 모호성 해결은 그 동안 활발히 연구되어 좋은 성과가 있었지만 의미 모호성 해소 방법은 현재 관심 있게 연구되고 있는 분야이다.

현재까지 연구에서는 의미 말뭉치, 전자사전의 뜻풀이 용례 등의 자원을 이용한 방법론이 제안된 바 있으며, 일부 어휘에 대한 어휘 모호성 해소 실험에 그치고 있으며, 실제 일반 문장들을 대상으로 한 동형이의어의 의미 모호성 해소는 시도되고 있지 못하다.

이 가운데, 의미 태그 코퍼스를 이용한 확률 통계적인 방법은 대량의 신뢰성이 보장된 이용 가능한 자원을 구축하기 위해서는 상당한 비용을 필요로 하지만 언어의 특성을 가장 잘 반영할 수 있다. 따라서 본 발명에서는 각 명사 형태소를 대상으로 170,000 명사 의미를 부착한 형태소 의미 전자 사전, 명사 의미 코드가 부착된 100,000 의미 격틀, 의미 격틀 및 형태소 태깅된 말뭉치로부터 자동 추출한 명사의미, 조사, 용언의 쌍으로 구성되는 용언구 의미 공기 정보, 명사구 의미 공기 정보를 이용하는 의미 모호성 해소 방법을 사용한다.

그리고 기존의 명사 어휘 모호성 해소(Word Sense Disambiguation) 방법은 구조 분석의 어려움으로 인하여 문장의 구문관계를 충분히 고려하지 못하고 주변 어휘들과의 공기 관계로 그 의미를 파악하려 했다. 그러나 구문관계를 고려하지 않는 경우, 물론 각 동사에 지배를 받는 논항의 핵심어는 지배 동사와 각 논항들 사이의 공기 관계로 그 의미 파악이 가능하지만 논항이 단일 명사가 아니라 복합 명사를 포함하는 명사구로 이루어진 경우, 그 명사구의 핵심어의 자매 성분들은 명사구내에서 국소적으로 그 의미 관계를 파악해야 하는 문제가 있다.

또한 기존의 명사 의미 태깅은 구조 분석의 어려움으로 인하여 문장의 구문관계를 충분히 고려하지 못하고 단순히 주변 어휘들과의 공기 관계로 그 의미를 파악하려 했다. 물론 각 동사에 지배를 받는 논항의 핵심어는 지배 동사와 각 논항들 사이의 공기 관계로 그 의미 파악이 가능하다. 그러나 논항이 단일 명사가 아니라 복합 명사를 포함하는 명사구로 이루어진 경우, 그 명사구의 핵심어의 자매 성분들은 명사구 내에서 국소적으로 그 의미 관계를 파악해야 한다.

본 발명은 상기한 문제를 해결하기 위해서 기존의 형태소 품사를 태깅하는 형태소 분석 장치 또는 의미 태깅 후보를 제시하여 의미 태깅을 반자동적으로 지원하는 의미 말뭉치 구축장치와는 달리 정보 검색 및 자동 번역과 같은 한국어 정보처리 응용 시스템에 사용할 수 있는 국소 구문관계 및 의미 공기사전에 기반한 명사의 형태소 자동 의미 태깅장치를 제공하는데 그 목적이 있다.

본 발명에서는 종래의 의미 모호성 해소 방법과 달리 기존의 의미 모호성 해소보다 의미 결정 정확성을 향상시킬 수 있도록 구문 정보 및 용언구 및 명사구의 의미 공기 정보를 사용함으로써 상기한 목적을 달성할 수 있다.

본 발명에 따른 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치는, 원시문장 형태소 분석 결과로부터 기본 구문 구조 생성 규칙, 의존 구문 규칙, 형태소 의미 전자 사전, 의미 격틀 및 용언구 의미 공기사전을 이용하여 단문을 인식하는 단문 인식수단; 의미 격틀 및 용언구 의미 공기사전을 이용하여 보조사에 대한 격 복원을 수행하는 보조사 격 복원수단; 용언구 공기사전을 이용하여 용언의 논항 명사에 대한 의미를 결정하는 논항 명사 의미 결정수단; 및 명사/조사/명사, 명사/명사의 공기정보로 구성된 명사구 의미 공기사전을 이용하여 명사구내의 명사 및 복합 명사내의 명사들에 대한 의미를 결정하는 명사구 의미 결정수단;으로 이루진 것을 특징으로 한다.

상기 논항 명사 의미 결정수단은 인식된 국소 구문관계에 근거하여 용언과 논항의 명사 및 조사와의 용언구 의미 공기사전을 이용하여 동사구의 논항 명사들에 대해 의미를 결정한다.

또한 상기 명사구 의미 결정수단은 논항의 명사가 명사구로 이루어진 경우 명사구의 구문 구조와 명사 의미 공기사전을 이용하여 명사구내의 명사 의미를 결정한다.

이러한 구성에 의하면, 본 발명은 고품질의 의미 기반 정보 검색장치 및 자동 번역장치 등의 한국어 정보 처리 분야의 응용 시스템에서 어휘 의미 모호성을 크게 해소하여 그 성능을 높일 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에 따른 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치를 보인 블록도이다.

도면을 참조하면, 본 의미 자동 태깅장치는 크게 2가지 단계로 나뉜다. 우선 입력 문장에 대해 문장에서 단문 단위의 문장 범위를 결정하기 위해 구문 구조 분석 단계를 거치며, 이후 용언의 논항, 명사구의 논항 및 복합 명사에서 나타나는 명사들의 의미를 의미 공기 정보를 사용하여 결정한다.

첫번째 구조 분석단계를 통해, 문장의 구문 구조정보인 국소 구문관계 정보를 추출한다. 이를 위해 단문 인식부(102)에서는 각 형태소 품사들간의 통사적 결합 관계를 제어하는 의존 구문 규칙(111), 각 명사 논항은 인접 용언과의 결합을 우선한다는 등의 구문 구조 휴리스틱 규칙으로 구성된 기본 구문 구조 생성 규칙(112), 용언과 각 의미 논항의 패턴으로 구성되어 있는 의미 격틀(113) 및 명사의미, 조사, 용언의 쌍으로 구성되어 있는 용언구 의미 공기사전(115)을 이용하여 입력 문장에 대한 용언구 단위의 문장 분할을 시도한다. 단문 인식을 시도하면서 보조사 격 복원부(103)에서는 해당 용언의 의미 격틀 및 용언구 의미 공기사전(115)을 이용하여 은, 는, 도, 만 등의 보조사 격을 결정한다. 도면중 미설명 부호 107은 인쇄부, 108은 표시 제어부, 109는 인쇄장치, 110은 표시장치이다.

본 발명에서는 문장에서 한 동사가 지배하는 논항의 범위를 결정하기 위해서, 의존 구문 규칙(111), 의미 격틀(113) 및 용언구 의미 공기사전(115)을 이용한 단문 인식부(102)를 사용하여 입력문의 단문 구조를 파악한다. 이 때 A=사람[나]!가 B=사람[그녀]!에게 호감!가 가!다의 형태의 의미 격틀은 용언과 이 용언이 공기하는 명사의 의미 논항으로 구성되며 용언구 의미 공기사전(115)은 (사람, 가, 가다) 등과 같이 명사의미, 격조사 및 용언으로 구성된다.

용언구 의미 공기사전(115)은 명사의미, 격조사, 용언 쌍을 의미 격틀(113)로부터 추출하여 의존 관계를 결정할 때 적용하여 의존 트리의 수를 감소시키는 제약 조건으로 사용한다. 관형절의 경우 피수식어가 수식절의 격 정보를 채우게 되므로 피수식어를 포함한 수식절을 별도의 단문으로 취급하여 적용한다.

이때 사용하는 의미는 데이터 부족 현상을 극복할 수 있는 적용률(Coverage)을 확보할 수 있고, 의미의 변별력을 지닐 수 있도록 용언과 명사간의 통사적인 의미 공기 관계를 고려하여 4 레벨의 200개의 의미코드를 사용한다.

다음 표 1은 본 발명에서 사용하는 명사 의미 계층 구조의 일례를 보여준다.

레벨1	레벨2	레벨3	레벨4	예
구체명사	생물	동물	포유류	개, 고양이, 호랑이, 사자 ...
	식물기관			뿌리, 줄기, 잎, 열매
	동물기관			머리, 눈, 허파, 위, 경락
	.....			.....
추상명사	의무			책임, 과제, 숙제, 역할
	업적			공훈, 세계신기록, 공로, 구매실적
	.....			.....
활동명사	정신활동			기억, 인식, 추론, 증명, 착각
	종교활동			기도, 예배, 설교, 찬불
				.....

본 발명은 의미 태깅을 위한 구문 구조 분석에 있어, 복합문의 수식 구조, 즉 용언구들간의 수식 관계는 현재 기술 수준으로는 파악하기 어려운 문제이지만 본 발명에서 제안하는 단문 용언구 단위의 의미 정보 적용 방안에는 영향을 미치지 않으며, 의존 구문 규칙, 한국어 의미 격틀 및 용언구 의미 공기사전을 유용하게 사용하면 정확한 단문 구조 인식이 가능하다.

이와 같이 용언구들의 구문 범위가 결정되면 각 용언구내에서의 용언과 논 항들, 그리고 명사구내에서의 명사 구조 관계에 근거하여 의미 모호성을 해소한다.

예를 들어, "전자 통신 연구원에서 근무한다." 라는 문장에서 "근무하다" 라고 하는 동사는 명사 어휘 "연구원" 과 "에서"는 밀접한 의미적 공기 관계를 가지지만, (통신, 근무하다), (전자, 근무하다)는 명사구와 용언구의 국소 구문관계를 넘어서는 공기 관계가 약한 정보이다.

대신 "연구원에서 근무하다" 라고 하는 용언구와 "전자 통신 연구원" 이라고 하는 명사구의 국소 구문관계 내에서 각 단어들에 대한 공기 관계를 파악해야 한다. 따라서 명사 어휘 모호성 해소를 위한 정확한 의미 공기 관계 파악을 위해서는 도 2와 같이 한 문장에 있어 용언구와 명사구에 대한 의미 공기 관계의 단계별 적용이 필요하다.

도 2를 참조하면, "올 여름에 전자 통신 연구원의 신입 연구원들이 대전 연수원에서 교육을 받았다."라는 문장에서 "받다"라고 하는 동사는 "올여름에", "연원들이", "연수원에서", "교육을" 과는 밀접한 공기 관계를 갖지만 명사구1,2의 자매성분과는 국소 구문 관계에서는 공기 관계가 밀접하지 않다. 즉, 동사구 "받다"와 명사구1의 자매 성분인 "전자", "통신", "연구원의", "신입"은 공기 관계가 약한 정보이다.

따라서, 동사구와 명사구의 국소 구분관계 내에서 각 단어들에 대한 정확한 공기관계를 파악하여 어휘 모소성을 해소할 수 있는 의미 공기 관계의 단계별 적용이 필요하다.

용언구내에서의 의미 태깅이란 한 용언구의 구성성분인 논항의 핵심어 어휘들의 리스트 w₁,_n, 격 조사들의 리스트 p₁,_n 및 용언 v가 주어졌을 때, 이 용언구에 대한 의미 확률을 최대로 하는 어휘들(w₁,_n)의 의미 리스트 s₁,_n을 구하는 함수 WSD로 볼 수 있다. 이를 다음과 같이 수학식 1로 나타낼 수 있다.

형태소 태깅에 있어 현재의 태그는 이전의 태그에만 의존한다는 HMM 모델의 Markov 가정과는 달리, 용언구의 각 논항은 인접 논항들보다는 문미의 용언과 공기하는 경향이 강하다. 따라서 본 발명에서 용언구내의 의미열에 대한 확률값은 각 논항의 핵심어 의미와 용언과의 공기값의 합을 반영하며, 다음의 수학식 2와 같이 정의한다.

이때 명사 의미, 조사, 용언의 용언구 공기사전은 기존의 의미 격틀에서 자동 추출할 수 있으며, 품사 태깅된 말뭉치에서 구조 분석의 애매성이 존재하지 않는 문미의 문장에서 자동으로 추출하여 사용한다.

명사구에 대한 정확한 의미 결정을 위해서는 명사구 내에서의 구문관계를 고려해야 한다. 명사구에서는 용언구의 논항 핵심어가 명사구 구조의 뿌리 노드가 되는 구문 구조를 가지며 이때 단일 명사 또는 복합 명사가 관형격 조사나 콤마 등의 기호와 연결되어 하나의 노드를 형성한다.

예를 들어, 도 3에서 "전자 통신 연구원의 신입 연구원" 이라는 명사구에서는 복합 명사인 "전자 통신 연구원"과 관형격 조사 "의"로 구성되는 관형격 논항과 명사구의 뿌리 노드인 "신입 연구원" 으로 구분된다. 따라서 명사구 NP의 뿌리 노드의 핵심어 "연구원" 과 논항의 핵심어 "연구원"이 먼저 의미 분별이 이루어져야 하고 이후 각 복합 명사 CN1, CN2 내에서의 명사 의미가 결정되어 진다.

이때 명사구 의미 결정에 있어 필요한 명사의미, 조사, 명사의미 공기 정보는 품사 태깅된 말뭉치에서 명사구를 자동으로 추출하고 명사 의미가 하나로 결정되는 명사구에서 의미 공기 정보를 자동으로 추출한다. 복합 명사에서 사용하는 명사-명사 의미 공기 정보 사전 또한 같은 방법으로 자동 추출 가능하다.

관형격 조사와 그 명사의 핵심어들의 조합으로 M개의 노드로 이루어진 명사구 NP(w₁p1, w₂p2, , w_m-1pm-1, w_m)에 있어서 명사구의 핵심어 w_m의 의미는 용언구에서의 논항 의미 결정에 의해 s_m으로 이미 결정되어 있다. 따라서 최적의 의미열 s₁,_m-1 을 탐색하기 위하여 통계적인 어휘 의미 확률 및 이진 의미 공기 정보를 이용하며, 다음의 수학식 3과 같이 각 의미들을 역방향(backward)으로 차례로 결정한다. 이 때 수학식 3에서 의미와 어휘간의 공기 확률 정보는 데이터 부족 현상으로 인하여 반영하지 않는다.

명사구내의 각 논항의 핵심어 의미를 결정한 후, N개의 단어들로 이루어진 복합 명사 w₁ w₂ w_n에 대한 의미를 결정한다. 이때, 복합 명사에서 핵심어 w_n의 의미 또한 용언구 및 명사구의 논항 의미 결정에 의해 s_n으로 이미 결정되어 있다. 따라서 통계적인 의미 공기 이진 관계를 고려하여 식 (2)에서 조사와의 공기 관계 P(p_i|s_i,s_j)를 제외하고는 같은 계산식으로 최적 의미열 s₁, _n-1을 결정할 수 있다

이상에 설명한 바와 같이 본 발명에 의하면 구문 구조 정보를 이용하여 기존의 다른 의미 모호성 장치들보다 정확한 공기 정보인 구문 문맥 정보를 이용할 수 있어 명사의 의미 모호성을 보다 정확히 해결할 수 있다. 따라서 기존의 정보 검색장치의 검색 결과의 정확률 향상 및 자동 번역장치의 정확한 번역 대역문 생성에 의한 번역 정확율 향상을 기대할 수 있다.

이상에서 설명한 것은 본 발명에 따른 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치를 설명한 하나의 실시 예에 불과한 것으로써, 본 발명은 상기한 실시 예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 사상이 미친다고 할 것이다.

도 1은 본 발명에 따른 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치를 보인 블록 구성도이다.

도 2는 본 발명에 따른 국소 구문관계를 보인 도면,

도 3은 본 발명에 따른 명사구의 2단계 구문 구조를 보인 도면,

* 도면의 주요부분에 대한 부호의 설명 *

101;형태소 분석장치 102;단문 인식부

103;보조사 격 복원부 104;논항 명사 의미 결정부

105;명사구 의미 결정부 106;복합 명사 의미 결정부

111;기본 구문구조 생성규칙 112;의문 구문 규칙

113;의미 격틀 114;형태소 의미 전자사전

115;용언구 의미 공기사전 116;명사구 의미 공기사전

Claims (3)

1. 원시문장 형태소 분석 결과로부터 기본 구문 구조 생성 규칙, 의존 구문 규칙, 형태소 의미 전자 사전, 의미 격틀 및 용언구 의미 공기사전을 이용하여 단문을 인식하는 단문 인식수단;

   의미 격틀 및 용언구 의미 공기사전을 이용하여 보조사에 대한 격 복원을 수행하는 보조사 격 복원수단;

   용언구 공기사전을 이용하여 용언의 논항 명사에 대한 의미를 결정하는 논항 명사 의미 결정수단; 및

   명사/조사/명사, 명사/명사의 공기정보로 구성된 명사구 의미 공기사전을 이용하여 명사구내의 명사 및 복합 명사내의 명사들에 대한 의미를 결정하는 명사구 의미 결정수단;

   을 포함하는 것을 특징으로 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치.
2. 제 1항에 있어서, 상기 논항 명사 의미 결정수단은

   인식된 국소 구문관계에 근거하여 용언과 논항의 명사 및 조사와의 용언구 의미 공기사전을 이용하여 동사구의 논항 명사들에 대해 의미를 결정하는 것을 특징으로 하는 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치.
3. 제 1항에 있어서, 상기 명사구 의미 결정수단은,

   논항의 명사가 명사구로 이루어진 경우 명사구의 구문 구조와 명사 의미 공기사전을 이용하여 명사구내의 명사 의미를 결정하는 것을 특징으로 하는 국소 구문관계 및 의미 공기사전에 기반한 형태소 의미 자동 태깅장치.