KR20120053207A - 술어-논항구조 기반의 관계 식별 방법 및 장치 - Google Patents

Abstract

PAS(Predicate-Argument Structure, 술어-논항 구조) 기반의 어휘적 패턴을 이용한 관계 추출 방법 및 장치가 제공된다.
본 발명에 따른 개체간 관계 예측 방법은 문장의 predicate-argument(술어-논항) 관계를 분석하여 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS 패턴을 얻는 과정; 상기 추출된 predicate-argument 패턴을 참조하여 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 자질벡터를 생성하는 과정; 상기 자질벡터를 기계학습기에 입력하여 개체간의 의미적 연관관계를 식별하는 과정을 포함하는 것을 특징으로 한다.
본 발명에 따른 관계 식별 방법 및 장치는 문장의 의미가 핵심 역할을 수행하는 정보추출, 자동요약, 질의응답과 같은 고수준 자연어 처리 애플리케이션에서 PAS 패턴은 유용하게 사용될 수 있다.

Description

술어-논항구조 기반의 관계 식별 방법 및 장치{Method for recognizing relation based on PAS(Predicate-Argument Structure) and apparatus thereof}

본 발명은 문서 내에 존재하는 개체들 간의 관계를 식별하는 방법에 관한 것으로서, 더욱 상세하게는 PAS(Predicate-Argument Structure, 술어-논항 구조) 기반의 어휘적 패턴을 이용한 관계 식별 방법 및 장치에 관한 것이다.

자연어 처리 및 텍스트 마이닝 분야에서 정보 추출(Information Extraction)은 핵심적인 영역으로 인식되고 있다. 정보 추출의 최종 목표는 비정형적인 텍스트 데이터 내에서 테이블화된 정형 데이터를 추출 및 변환하기 위해서 텍스트 내에 존재하는 중요하고 연관성 있는 정보를 식별하는 것이다. 이러한 정보 추출 기술을 구성하는 요소 기술로서 (1) 개체명 인식(Named-Entity Recognition), (2) 관계 추출(Relation Extraction), (3) 대용어 참조 해소(Co-reference Resolution)가 있다. 이 중 관계 추출은 현재까지도 가장 난이도가 높은 미해결 분야로 인식되고 있다.

현재까지 관계추출의 성능을 높이기 위해서 다양한 지도 학습(Supervised Learning) 기반의 관계 추출 기법이 소개되었다. 이들은 (1) 규칙기반 방법(Rule-based Methods), (2) 자질기반 방법(Feature-based Methods), (3) 커널기반 방법(Kernel-based Methods)의 세 가지 유형으로 분류될 수 있다.

이들 중 비교적 최근에 개발된 방법으로서, 관계추출에 특화된 커널 함수를 새롭게 구성하여 이를 기반으로 SVM(Support Vector Machine)에 적용하는 커널기반 방법의 효과가 주목받고 있다. 관계추출 분야에서 커널기반 방법의 특징은 한 문장에 존재하는 두 개체간의 관계를 가장 잘 표현하고, 이를 포함하는 두 관계 포함 문장들 간의 유사도를 가장 효과적으로 계산하는 커널을 구성하기만 하면, 그 성능이 매우 높게 나타난다는 것이다.

본 발명에서는 PAS(Predicate-Argument Structure, 술어-논항 구조) 패턴 기반의 어휘 자질들을 활용하여 관계 추출 성능을 향상시키는 방법을 제시한다.

본 발명은 문장 내에 존재하는 개체들 사이의 관계를 유의미하게 표현해주는 PAS 패턴을 활용하여 관계를 예측하는 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 다른 목적을 상기의 방법에 적합한 장치를 제공하는 것에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 개체간 관계 식별 방법은

문장 내에 존재하는 두 개체간의 관계 식별 방법에 있어서,

문장의 predicate-argument(술어-논항) 관계를 분석하여 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS 패턴을 얻는 과정;

상기 추출된 PAS 패턴을 참조하여 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 자질벡터를 생성하는 과정;

상기 자질벡터를 기계학습기에 입력하여 개체간의 의미적 연관관계를 식별하는 과정을 포함하는 것을 특징으로 한다.

여기서, HPSG(Head-Driven Phrase Structure Grammar)를 사용하는 파서를 이용하여 문장의 predicate-argument 관계를 분석하는 것을 특징으로 한다.

또한, 상기 기계학습기는 SVM(Support Vector Machine)의 RBF(Radias Basis Function)인 것을 특징으로 한다.

상기의 다른 목적을 달성하기 위한 본 발명에 따른 개체간 관계 식별 장치는

문장 내에 존재하는 두 개체간의 관계 식별 장치에 있어서,

문장의 predicate-argument 관계를 분석하여 두 개체를 연결하는 predicate-argument 관계 그래프를 얻는 파서;

상기 파서의 출력으로부터 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS만을 추출하여 PAS 패턴을 구성하는 PAS 패턴 추출기;

상기 PAS 패턴 상에서 연결되는 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 자질 벡터를 생성하는 자질 벡터 생성기;

상기 자질 벡터를 이용하여 관계 추출 모델을 생성하는 관계 모델 학습기; 및

상기 관계 추출 모델과 실행 집합으로부터 생성된 자질 벡터를 이용하여 두 개체 사이의 관계를 예측하는 관계 예측기를 포함하는 것을 특징을 한다.

본 발명에 따른 관계 인식 장치는 개체의 고유한 특성 정보를 이용하여 개체가 가지고 있는 중요한 식별 정보를 추출하는 개체 자질 추출기를 더 구비하며, 여기서, 상기 자질 벡터 생성기는 상기 PAS 패턴 추출기와 개체 자질 추출기의 결과를 이용하여 최종적인 자질 벡터를 구성하는 것을 특징으로 한다.

본 발명의 관계 식별 방법 및 장치는 문장을 구성하는 각 단어에 대한 predicate-argument 관계를 이용하여 문장 내에 존재하는 각 단어 간의 유의미한 관계를 표현하고 있는 PAS 구조를 자질 벡터로 사용하여 문장에 있는 단어들 사이의 의미적 연관관계를 파악할 수 있는 효과를 갖는다.

따라서, 본 발명에 따른 관계 식별 방법 및 장치는 문장의 의미가 핵심 역할을 수행하는 정보추출, 자동요약, 질의응답과 같은 고수준 자연어 처리 애플리케이션에서 PAS 패턴은 유용하게 사용될 수 있다.

도 1은 본 발명에 따른 관계 식별 방법을 보이는 흐름도이다.
도 2는 Enju 파서를 이용한 문장 분석 결과의 예를 도시한다.
도 3은 Enju 파서에서 제공된 결과를 이용하여 얻어지는 각 단어의 predicate-argument 관계 그래프를 도시한다.
도 4는 도 3에 도시된 관계그래프로부터 실제적으로 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS만을 추출하여 패턴을 구성한 것을 도시한다.
도 5는 본 발명에서 개발된 PAS 기반의 관계 식별 장치의 구성을 도시한다.

PAS는 predicate-argument 관계를 이용하여 문장 내에 존재하는 각 단어 간의 유의미한 연관관계를 표현하는 구조이다. 그리고 PAS 패턴은 문장을 구성하는 모든 단어에 대한 predicate-argument 관계 그래프에서, 중요하게 지정된 개체와 개체를 연결하는 최소 집합의 predicate-argument로 구성된 순서 열을 의미한다.

이러한 특성 때문에 PAS 패턴은 문장 내에서 상호작용하는 두 개체 간의 연관 관계를 표현해주는 중요한 자질 정보가 된다. 따라서 한 개체로부터 시작해서 다른 개체로까지의 의미적 연결고리를 제공해주는 PAS 패턴을 이용하여 관계 식별을 수행할 수 있다.

도 1은 본 발명에 따른 관계 식별 방법을 보이는 흐름도이다. 도 1을 참조하면, 본 발명에 따른 관계 인식 방법은 파서를 이용하여 predicate-argument 관계 그래프를 얻는 과정(s102), predicate-argument 관계 그래프로부터 PAS 패턴을 얻는 과정(s104), PAS 패턴으로부터 자질벡터를 생성하는 과정(s106) 그리고 자질 벡터를 이용하여 개체간의 의미적 연관 관계를 식별하는 과정(s108)을 포함한다.

s102과정에서는 문장의 predicate-argument 관계를 분석하여 predicate-argument 관계 그래프를 얻는다. 본 발명에서는 Enju 파서를 이용하여 문장을 분석하였다. Enju 파서는 Tokyo 대학 Computer Science부의 Tsujii laboratory에서 개발한 HPSG를 사용하는 파서이다.

도 2는 Enju 파서를 이용한 문장 분석 결과의 예를 도시한다.

도 2를 참조하면, Enju 파서는 문장을 입력으로 받아서 문장을 구성하는 각 단어의 predicate-argument 관계를 분석하여 제공한다. 행으로 나열된 predicate-argument 분석 결과의 각 필드에 대한 설명은 아래의 표와 같다.

열 번호	상세 설명
1	predicate 단어
2	predicate 단어의 기본형
3	predicate 단어의 품사
4	predicate 단어의 기본형의 품사
5	문장에서 predicate 단어의 위치
6	predicate 종류
7	predicate와 argument 사이의 관계 레이블
8	argument 단어
9	argument 단어의 기본형
10	argument 단어의 품사
11	argument 단어의 기본형의 품사
12	문장에서 argument 단어의 위치

상기의 표에서 설명한 내용을 바탕으로 “Radon_exposure is the second leading cause of lung_cancer in the general population.” 문장에 대한 분석 결과인 도 2의 2번째 행과 3번째 행을 설명하면, 우선 단어 ‘is’는 동사로서 argument 1과 2를 갖는데 그 중 argument 1은 명사인 단어 ‘radon_exposure’를 지칭하고 argument 2는 또 다른 명사인 단어 ‘cause’를 지칭한다는 사실을 나타낸다.

분석 결과의 1번째 행은 단순히 문장의 root predicate를 표현하는 것이고, 4번째 행부터는 2번째와 3번째 행을 해석한 것과 같은 방식으로 해석하면 된다.

도 3은 Enju 파서에서 제공된 결과를 이용하여 얻어지는 각 단어의 predicate-argument 관계 그래프를 도시한다.

s104과정에서는 predicate-argument 관계 그래프로부터 문장 내에 존재하는 두 개체간의 유의미한 관계를 표현하는 PAS만을 추출하여 PAS 패턴을 구성한다.

도 4는 도 3에 도시된 관계그래프로부터 실제적으로 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS만을 추출하여 패턴을 구성한 것을 도시한다. 도 4를 참조하면, 화살표의 연결은 한 개체로부터 상호작용하는 다른 개체로까지의 predicate-argument 관계를 추적할 수 있다는 것을 의미한다.

따라서 ‘radon_exposure’와 ‘lung_cancer’ 사이의 관계를 추적해보면 ‘is cause of’와 같은 중요한 어휘적 패턴을 기반으로 관계가 형성되어 있음을 알 수 있다. 다시 한 번 말하지만, 이러한 패턴은 두 개체 간의 상호작용을 식별하는데 중요한 자질로 사용될 수 있다.

결과적으로 개체 1과 개체 2의 관계는 두 개체를 유의미한 관계로 연결해주는 PAS 패턴에 의하여 식별될 수 있다.

따라서 관계별로 나타나는 패턴의 집합을 구축하여 이 패턴 집합을 관계 예측의 근거 자질로 활용하면 개체 간의 관계를 추출하는 관계 추출 시스템에 활용할 수 있다.

s106과정에서는 PAS 패턴으로부터 기계학습을 위한 자질벡터를 생성한다. PAS 패턴을 어휘 자질로 활용하기 위해서, 본 발명에서는 predicate-argument 구조, 즉 도 4에서 화살표로 연결되는 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 벡터 값을 생성하였다.

s108과정에서는 생성된 자질 벡터를 이용하여 기계학습을 수행하여 관계 식별을 수행한다. 본 발명에서는 이 벡터 값을 SVM(Support Vector machine)의 내장 커널 중 하나인 RBF(Radial Basis Function) 커널을 이용하여 관계 식별을 수행하였다.

도 5는 본 발명에서 개발된 PAS 기반의 관계 식별 장치의 구성을 도시한다. 도 5를 참조하면, 본 발명에 따른 PAS 기반의 관계 식별 장치는 통합자질 처리 모듈(100) 및 SVM 모듈(200)을 포함한다.

통합자질 처리 모듈(100)은 기반 언어 분석 도구로서 구문 분석기(Parser, 104), 기저구 인식기(Chunker, 112), 품사 태거(POS-tagger, 114)를 사용하였다. 다양한 형태의 언어자질 추출을 위해서 기저구 인식기(112) 및 품사 태거(114)를 독립적으로 개발하여 시스템에 결합하였고, 구문 분석기(104)는 Enju Parser를 도입하여 시스템에 이식시켰다.

통합 자질 처리 모듈(100)은 이렇게 개발된 언어 분석 도구를 이용하여 기계 학습을 위한 자질 벡터를 생성한다. 구문 분석기(104)를 이용하는 PAS 패턴 추출기(106)는 문장의 predicate-argument 관계를 분석하여 두 개체를 연결하는 PAS 패턴을 추출한다.

그리고 개체 자질 추출기(116)는 개체의 고유한 특성 정보를 이용하여 개체가 가지고 있는 중요한 식별 정보를 추출한다. PAS 패턴 추출기(106)와 개체 자질 추출기(116)의 결과를 이용하여 통합 자질 처리 모듈은 최종적인 자질 벡터를 구성한다. 그렇지만, 학습 집합(102)이나 실행 집합(110)에서 개체의 특성 정보가 존재하지 않는 경우에는 PAS 패턴 단독으로 자질 벡터를 구성할 수도 있다.

이렇게 구성된 자질 벡터는 기계학습 알고리즘인 SVM(Support Vector Machine) 모듈(200)의 내장(built-in) 커널(202)을 이용한 관계모델 학습기(204)와 관계 예측기(208)의 입력으로 사용된다. 관계모델 학습기(204)는 학습 집합으로부터 생성된 자질 벡터를 이용하여 관계추출 모델(206)을 생성하고, 관계 예측기(208)는 관계추출 모델(206)과 통합자질 처리모듈(100)로부터 생성된 자질 벡터를 이용하여 실제적으로 두 개체 사이의 관계가 무엇인지를 예측한다.

< 실시예>

PAS 패턴이 관계 예측의 유용한 자질로 활용될 수 있는지의 가능성을 검사해보기 위해서 AIMed 컬렉션을 대상으로 다음과 같이 실험을 수행하였다.

첫 번째로 개체 간의 유의미한 관계를 표현해주는 모든 PAS 패턴을 대상으로 관계 식별 실험을 수행하였다. 여기서 대상으로 삼은 패턴은 어휘적 패턴뿐만 아니라 괄호나 쉼표와 같은 기호적 패턴까지도 포함하였다.

두 번째로 개체 간의 유의미한 관계가 가장 잘 표현되는 동사구가 포함된 패턴만을 대상으로 실험을 수행하였다. 동사구를 일정 수준 이상으로 추상화하면 관계 종류가 될 정도로 동사구는 관계 식별에 중요한 단서가 될 수 있다.

libsvm을 이용하여 위에서 제시한 두 가지 실험을 수행하였는데, 실험 결과는 표 2와 같다.

	옵션 값		결과 값
	cost	gamma	accuracy
모든 패턴	512.0	0.0078125	86.2478
동사구포함패턴	8.0	0.5	87.1499

본 실시예를 통해서, 개체 간의 관계를 추출할 때 두 개체를 연결하는 PAS 패턴이 아주 유용한 단서가 될 수 있음을 파악하였고, 더불어서 동사구와 같은 핵심 단어가 포함된 패턴이 성능 향상에 좀 더 기여할 수 있음을 확인하였다. 따라서 관계 추출 시스템을 개발할 때 본 발명을 통하여 얻어진 결과들을 활용하면 좀 더 성능 좋은 관계 추출 시스템을 개발할 수 있다.

본 발명에서는 문장 내에 존재하는 개체 간의 유의미한 관계를 표현해주는 PAS 패턴을 활용하여 관계 추출 시스템을 개발하였고, 실험을 통하여 PAS 패턴이 관계 추출을 위한 중요한 자질로 활용될 수 있음을 증명하였다.

향후 연구로는 본 발명에서 증명한 PAS 패턴의 관계 식별력을 기존의 다른 자질 활용 방법, 예를 들면 구문트리의 유사성을 이용하는 방법과 결합하여 혼합 커널을 구성하는 방법에 대한 연구가 필요하다.

구문적 유사성을 활용하는 구문트리 기법과 의미적 유사성을 활용하는 PAS 패턴 기법을 결합하면 보다 성능 좋은 관계 추출 시스템을 개발할 수 있을 것으로 사료된다.

100...통합자질 처리모듈 200...SVM 모듈
102...학습집합 104...구문분석기
106...PAS 패턴 추출기 108...자질벡터 생성기
110...실행집합 112...기저구인식기
114...품사태거 116...개체자질 추출기
202...내장 커널 204...관계모델 학습기
206...관계추출모델 208...관계 예측기

Claims (5)

1. 문장의 predicate-argument(술어-논항) 관계를 분석하여 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS 패턴을 얻는 과정;
   상기 추출된 PAS 패턴을 참조하여 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 자질벡터를 생성하는 과정; 및
   상기 자질벡터를 기계학습기에 입력하여 개체간의 의미적 연관관계를 식별하는 과정을 포함하는 관계 식별 방법.
   
2. 제1항에 있어서,
   HPSG(Head-Driven Phrase Structure Grammar)를 사용하는 파서를 이용하여 문장의 predicate-argument 관계를 분석하는 것을 특징으로 하는 관계 식별 방법.
   
3. 제1항에 있어서,
   상기 기계학습기는 SVM(Support Vector Machine)의 RBF(Radias Basis Function)인 것을 특징으로 하는 관계 식별 방법.
   
4. 문장의 predicate-argument 관계를 분석하여 두 개체를 연결하는 predicate-argument 관계 그래프를 얻는 파서;
   상기 파서의 출력으로부터 문장 내에 존재하는 두 개체 간의 유의미한 관계를 표현하는 PAS만을 추출하여 PAS 패턴을 구성하는 PAS 패턴 추출기;
   상기 PAS 패턴상에서 연결되는 predicate 단어와 argument 단어, predicate의 종류, 그리고 predicate와 argument 사이의 관계 레이블을 이용하여 자질 벡터를 생성하는 지질 벡터 생성기;
   상기 자질 벡터를 이용하여 관계 추출 모델을 생성하는 관계 모델 학습기; 및
   상기 관계 추출 모델과 실행 집합으로부터 생성된 자질 벡터를 이용하여 두 개체 사이의 관계를 예측하는 관계 예측기를 포함하는 관계 식별 장치.
   
5. 제4항에 있어서,
   개체의 고유한 특성 정보를 이용하여 개체가 가지고 있는 중요한 식별 정보를 추출하는 개체 자질 추출기를 더 구비하며,
   여기서, 상기 자질 벡터 생성기는 상기 PAS 패턴 추출기와 개체 자질 추출기의 결과를 이용하여 최종적인 자질 벡터를 구성하는 것을 특징으로 하는 관계 식별 장치.

Images