KR102382914B1

KR102382914B1 - 개체 간 관계 추출 방법 및 장치

Info

Publication number: KR102382914B1
Application number: KR1020200073918A
Authority: KR
Inventors: 신동훈; 이연수; 이경호; 이상학; 서승민; 오병국
Original assignee: 주식회사 엔씨소프트; 연세대학교 산학협력단
Priority date: 2020-06-17
Filing date: 2020-06-17
Publication date: 2022-04-06
Also published as: KR20210156152A

Abstract

개체 간 관계 추출 방법 및 장치가 개시된다. 개시되는 일 실시예에 따른 개체 간 관계 추출 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 문장에서 기 설정된 개체(Entity)를 추출하며, 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 동작, 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 동작, 및 문장 경로 관련 벡터 및 문장 관계 관련 벡터를 기초로 추출한 개체들 간의 다항 관계를 판단하는 동작을 포함한다.

Description

개체 간 관계 추출 방법 및 장치{METHOD AND APPARATUS FOR RELATION EXTRACTION BETWEEN ENTITIES}

개시되는 실시예는 정보 추출 기술로서, 보다 자세하게는 개체 간 관계 추출 기술과 관련된다.

정보 추출 기술은 비구조적 또는 반구조적인 텍스트에서 의미 있는 정보를 추출하여 구조화하는 기술로, 질의 응답, 문서 요약, 및 기계 독해 등 여러 자연어 처리 응용에 활용되고 있다.

관계 추출(Relation Extraction)은 정보 추출 기술 중 하나이며, 정보 추출과 같은 목적으로 다양한 텍스트 데이터에서 개체(Entity) 사이의 상관 관계를 도출해낸다. 즉, 관계 추출 기술은 주석이 달리지 않은 하나의 문장에 참여하는 개체 쌍 사이의 이항 상관관계(Binary Relation)를 찾는 것을 목표로 한다.

종래의 관계 추출 기술은 하나의 문장에 포함된 개체 쌍 사이의 이진 관계를 추출하였는 바, 여러 문장에서 나타나는 개체들의 관계는 파악할 수 없다는 한계가 있다.

개시되는 실시예는 문장 내 개체 간 관계 추출을 위한 새로운 기법을 제공하기 위한 것이다.

개시되는 일 실시예에 따른 개체 간 관계 추출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 동작; 상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 동작; 및 상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 동작을 포함한다.

상기 개체 간 관계 추출 방법은, 상기 의존 분석 트리에서 상기 추출한 개체들의 위치를 표시하여 개체 표시 의존 분석 트리를 생성하는 동작을 더 포함할 수 있다.

상기 문장 경로 관련 벡터를 생성하는 동작은, 상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 개체 경로 은닉 상태 벡터를 생성하는 동작; 상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 비개체 경로 은닉 상태 벡터를 생성하는 동작; 및 상기 각 문장의 개체 경로 은닉 상태 벡터와 상기 각 문장의 비개체 경로 은닉 상태 벡터를 합하여 각 문장 별로 문장 경로 관련 벡터를 생성하는 동작을 포함할 수 있다.

상기 개체 경로 은닉 상태 벡터를 생성하는 동작은, 상기 개체 표시 의존 분석 트리의 경로들 중 개체를 포함하는 경로가 개체를 포함하지 않는 경로들보다 높은 가중치가 부여되도록 할 수 있다.

상기 개체 경로 은닉 상태 벡터를 생성하는 동작은, 상기 개체 표시 의존 분석 트리에서 개체가 포함된 경로 별로 해당 경로에 포함된 노드들을 모아 개체 경로 별 단어 벡터를 생성하는 동작; 및 생성한 상기 개체 경로 별 단어 벡터를 기반으로 해당 문장의 개체 경로 은닉 상태 벡터를 생성하는 동작을 포함할 수 있다.

상기 개체 경로 별 단어 벡터를 생성하는 동작은, 하기의 수학식을 통해 각 문장에서 개체 경로 별 단어 벡터를 생성할 수 있다.

(수학식)

: 각 문장의 개체 경로 별 단어 벡터

x : 개체 표시 의존 분석 트리에서 해당 노드의 단어에 대응하는 벡터

j : 개체 표시 의존 분석 트리에서 해당 노드의 부모 노드

k : 개체 표시 의존 분석 트리에서 해당 노드의 자식 노드

l : 개체 표시 의존 분석 트리에서 해당 노드의 의존성 레이블(Dependency Label)

E^p : 개체 표시 의존 분석 트리에서 개체를 포함하는 경로

상기 개체 경로 은닉 상태 벡터를 생성하는 동작은, 하기의 수학식을 통해 상기 문장의 개체 경로 은닉 상태 벡터를 출력할 수 있다.

(수학식)

: 해당 문장의 개체 경로 은닉 상태 벡터

: 해당 문장에서 i번째 개체 경로의 개체 경로 은닉 상태 벡터

상기 비개체 경로 은닉 상태 벡터를 생성하는 동작은, 상기 개체 표시 의존 분석 트리에서 개체가 포함되지 않는 경로들의 노드를 모아 비개체 경로 별 단어 벡터를 생성하는 동작; 및 생성한 상기 비개체 경로 별 단어 벡터를 기반으로 해당 문장의 비개체 경로 은닉 상태 벡터를 생성하는 동작을 포함할 수 있다.

상기 비개체 경로 별 단어 벡터를 생성하는 동작은, 하기의 수학식을 통해 통해 각 문장에서 비개체 경로 별 단어 벡터를 생성할 수 있다.

(수학식)

: 각 문장의 비개체 경로 별 단어 벡터

j : 개체 표시 의존 분석 트리에서 해당 노드의 부모 노드

k : 개체 표시 의존 분석 트리에서 해당 노드의 자식 노드

Eⁿ: 개체 표시 의존 분석 트리에서 개체를 포함하지 않는 경로

상기 비개체 경로 은닉 상태 벡터를 생성하는 동작은, 하기 수학식을 통해 상기 문장의 비개체 경로 은닉 상태 벡터를 생성할 수 있다.

(수학식)

: 해당 문장의 비개체 경로 은닉 상태 벡터

: 해당 문장에서 i번째 비개체 경로의 비개체 경로 은닉 상태 벡터

α: 주의 집중 가중치(Attention Weight)

상기 문장 관계 관련 벡터를 생성하는 동작은, 상기 각 문장의 의존 분석 트리를 입력으로 하여 문장 별로 문장 트리 인코딩 벡터를 각각 생성하는 동작; 및 상기 각 문장들의 문장 트리 인코딩 벡터를 입력으로 하여 각 문장들의 관계에 대한 문장 관계 관련 벡터를 생성하는 동작을 포함할 수 있다.

상기 문장 관계 관련 벡터를 생성하는 동작은, 상기 각 문장들의 문장 트리 인코딩 벡터가 입력되는 경우, 상기 문단 내에서 각 문장들의 내용 및 순서를 고려하여 원인, 결과, 순차, 및 대조 중 하나를 포함하는 문장 관계 관련 벡터를 생성할 수 있다.

상기 문장 관계 관련 벡터를 생성하는 동작은, 상기 각 문장들의 문장 트리 인코딩 벡터를 순방향으로 입력하여 각 문장에 대한 순방향 문장 관계 벡터를 생성하는 동작; 상기 각 문장들의 문장 트리 인코딩 벡터를 역방향으로 입력하여 각 문장에 대한 역방향 문장 관계 벡터를 생성하는 동작; 상기 순방향 문장 관계 벡터 및 상기 역방향 문장 관계 벡터를 기반으로 각 문장의 양방향 문장 관계 벡터를 생성하는 동작; 및 상기 각 문장의 양방향 문장 관계 벡터를 기반으로 상기 문단 내 문장 간의 s(s는 자연수)번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 생성하는 동작을 포함할 수 있다.

상기 문장의 양방향 문장 관계 벡터를 생성하는 동작은, 하기의 수학식을 통해 각 문장의 양방향 문장 관계 벡터를 생성할 수 있다.

(수학식)

: s번째 문장의 양방향 문장 관계 벡터

: s번째 문장의 순방향 문장 관계 벡터

: s번째 문장의 역방향 문장 관계 벡터

상기 개체 간 관계 추출 방법은, 상기 각 문장들의 문장 경로 관련 벡터 및 상기 각 문장들의 문장 관계 관련 벡터를 입력으로 하여 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 더 포함할 수 있다.

상기 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작은, 상기 각 문장들의 문장 경로 관련 벡터와 상기 각 문장들의 문장 관계 관련 벡터를 연결하여 각 문장에 대응하는 연결 벡터를 생성하는 동작; 및 상기 각 문장에 대응하는 연결 벡터를 입력으로 하여 해당 문단에 대한 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 포함할 수 있다.

상기 연결 벡터를 생성하는 동작은, 상기 문단 중 s(s는 자연수)번째 문장의 문장 경로 관련 벡터에 s번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 연결하여 s번째 문장에 대응하는 연결 벡터를 생성하는 동작; 및 상기 문단 중 마지막 문장의 문장 경로 관련 벡터에 제로 벡터(Zero Vector)를 연결하여 마지막 문장에 대응하는 연결 벡터를 생성하는 동작을 포함할 수 있다.

상기 개체 간 관계 추출 방법은, 상기 문단을 입력으로 하여 단순 문단 인코딩 벡터를 생성하는 동작; 상기 문단에 포함된 개체들의 집합에 대해 개체 관련 벡터를 생성하는 동작; 상기 문단에 대한 개체 경로 중심 문단 인코딩 벡터, 상기 단순 문단 인코딩 벡터, 및 상기 개체 관련 벡터를 연결하여 연결 벡터를 생성하는 동작; 및 상기 연결 벡터를 기반으로 해당 문단에 포함된 각 개체들 간의 다항 관계 분류 값을 출력하는 동작을 더 포함할 수 잇다.

상기 개체 간 관계 추출 방법은, 상기 의존 분석 트리에서 상기 추출한 개체들의 위치를 표시하여 개체 표시 의존 분석 트리를 생성하는 동작을 더 포함하고, 상기 문장 경로 관련 벡터를 생성하는 동작은, 상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 문장 경로 관련 벡터를 생성하며, 상기 문장 관계 관련 벡터를 생성하는 동작은, 상기 각 문장의 의존 분석 트리를 입력으로 하여 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성할 수 있다.

상기 문장 경로 관련 벡터를 생성하는 동작은, 상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 개체 경로 은닉 상태 벡터를 생성하는 동작을 포함하고, 상기 개체 간 관계 추출 방법은, 상기 각 문장의 개체 경로 은닉 상태 벡터 및 상기 각 문장의 문장 관계 관련 벡터를 입력으로 하여 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 더 포함하며, 상기 다항 관계를 판단하는 동작은, 상기 개체 경로 중심 문단 인코딩 벡터를 기반으로 상기 추출한 개체들 간의 다항 관계를 판단할 수 있다.

개시되는 일 실시예에 따른 개체 간 관계 추출 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 전처리 모듈; 상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 인코더 모듈; 및 상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 분류 모듈을 포함한다.

개시되는 실시예에 의하면, 제1 인코더 모듈에서 의존 분석 트리의 경로들 중 개체를 포함하는 경로에 보다 높은 가중치가 부여되도록 학습되고, 제2 인코더 모듈에서 문장 간의 관계 정보가 반영되는 바, 문단에 포함된 각 객체들의 다항 관계 추출시 그 정확도를 향상시킬 수 있게 된다.

도 1은 개시되는 일 실시예에 따른 개체 간 관계 추출 장치의 구성을 나타낸 블록도
도 2는 개시되는 일 실시예에 따른 개체 간 관계 추출 장치에서 문단 내 개체 간 관계를 분류하여 출력하기 위한 과정을 개략적으로 나타낸 도면
도 3은 개시되는 일 실시예에서 입력되는 문단에 대해 의존성 분석을 수행한 결과를 나타낸 도면
도 4는 도 3의 의존 분석 트리에서 개체 경로(루트 노드부터 개체에 대응하는 노드까지의 경로)를 분석한 상태를 나타낸 도면
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 명세서에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

도 1은 개시되는 일 실시예에 따른 개체 간 관계 추출 장치의 구성을 나타낸 블록도이고, 도 2는 개시되는 일 실시예에 따른 개체 간 관계 추출 장치에서 문단 내 개체 간 관계를 분류하여 출력하기 위한 과정을 개략적으로 나타낸 도면이다. 설명의 편의상, 도 2에서는 문단에 4개의 문장이 포함된 것을 일 예로 나타내었다.

도 1 및 도 2를 참조하면, 개체 간 관계 추출 장치(100)는 전처리 모듈(102), 제1 인코더 모듈(104), 제2 인코더 모듈(106), 통합 모듈(108), 및 관계 분류 모듈(110)을 포함할 수 있다. 개시되는 실시예에서, 관계 추출 장치(100)는 문단 내 개체들의 다항 관계(N-ary Relation)를 추출하기 위한 것일 수 있다.

전처리 모듈(102)은 복수 개의 문장이 포함되는 문단(Paragraph)을 입력 받을 수 있다. 전처리 모듈(102)은 입력된 문단의 각 문장에서 기 설정된 개체(Entity)를 추출할 수 있다. 여기서, 개체는 입력된 문단의 내용이 속하는 분야(경제, 미술, 스포츠, 정치, 사회, 기술 등)에서 의미 있는 단어들이 기 설정될 수 있다. 전처리 모듈(102)은 입력된 문단의 각 문장에서 다항 관계에 참여하는 개체들을 추출할 수 있다.

전처리 모듈(102)은 입력된 문단의 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 문서 그래프를 생성할 수 있다. 여기서, 의존성 분석은 문장 내 단어와 단어 간의 관계를 지배소와 피지배소의 의존 관계로 분석하여 트리 형태로 표현한 것을 의미한다.

도 3은 개시되는 일 실시예에서 입력되는 문단에 대해 의존성 분석을 수행한 결과를 나타내었다. 여기서는, 뉴스 기사에서 "23일", "조상우", "박동원", "성폭행", "참가활동정지" 등이 개체로 추출된 경우를 나타내었다. 도 3을 참조하면, 전처리 모듈(102)에서 각 문장에 대해 의존성 분석을 수행하는 경우, 문장 내 각 단어는 노드로 표현될 수 있다. 그리고, 문장 내 각 노드와 기 설정된 루트 노드와의 연결 관계가 트리 형태로 표현될 수 있다. 문서 그래프는 입력된 문단에 대해 의존성 분석을 수행한 결과인 의존 분석 트리를 포함할 수 있다.

도 4는 도 3의 의존 분석 트리에서 개체 경로(루트 노드부터 개체에 대응하는 노드까지의 경로)를 분석한 상태를 나타낸 도면이다. 도 4를 참조하면, 의존 분석 트리에서 각 개체에 대응하는 노드(박동원, 23일, 성폭행 등)로부터 루트 노드(말소, 받, 빼, 조치 등)까지의 경로(개체 경로)를 확인할 수 있게 된다.

전처리 모듈(102)은 기 추출한 개체들의 집합을 의존 분석 트리에 표시할 수 있다. 즉, 전처리 모듈(102)은 기 추출한 각 개체들이 의존 분석 트리에서 어느 위치(즉, 어느 노드)에 해당하는지를 표시(또는 매핑)할 수 있다. 이하, 의존 분석 트리에 각 개체들의 위치가 표시된 것을 개체 표시 의존 분석 트리라고 지칭할 수 있다.

제1 인코더 모듈(104)은 전처리 모듈(102)로부터 문단의 각 문장에 대해 의존성 분석을 수행한 의존 분석 트리를 입력 받을 수 있다. 보다 자세하게는, 제1 인코더 모듈(104)은 전처리 모듈(102)로부터 개체 표시 의존 분석 트리를 입력 받을 수 있다. 제1 인코더 모듈(104)은 개체 표시 의존 분석 트리에 기반하여 각 문장 별로 문장 경로 관련 벡터를 출력할 수 있다. 제1 인코더 모듈(104)은 제1 딥러닝 모델(104-1) 및 제2 딥러닝 모델(104-2)을 포함할 수 있다.

제1 딥러닝 모델(104-1)은 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 각 문장에 대한 개체 경로 은닉 상태 벡터(Entity Path Hidden State Vector)를 출력할 수 있다. 제1 딥러닝 모델(104-1)은 입력되는 개체 표시 의존 분석 트리의 경로들 중 개체를 포함하는 경로가 다른 경로들 보다 높은 가중치가 부여되도록 학습된 모델일 수 있다.

즉, 개체 표시 의존 분석 트리에는 각 개체의 위치가 표시되어 있으므로, 제1 딥러닝 모델(104-1)은 개체 표시 의존 분석 트리의 경로들 중 개체를 포함하는 경로를 다른 경로들보다 더 높은 가중치를 부여할 수 있다. 예시적인 실시예에서, 제1 딥러닝 모델(104-1)은 Tree LSTM(Long Short Term Memory)가 사용될 수 있으나, 이에 한정되는 것은 아니다. 개체 표시 의존 분석 트리에서 개체를 포함하는 경로에는 개체 간 관계에 중요한 영향을 미치는 핵심 단어들이 포함될 수 있으므로, 개체를 포함하는 경로에 보다 높은 가중치를 부여할 수 있다.

구체적으로, 제1 딥러닝 모델(104-1)은 개체 표시 의존 분석 트리에서 개체가 포함된 경로(즉, 개체 경로) 별로 해당 경로에 포함된 노드들을 모아 개체 경로 별 단어 벡터를 생성하고, 생성한 개체 경로 별 단어 벡터를 기반으로 해당 문장의 개체 경로 은닉 상태 벡터를 출력할 수 있다.

제1 딥러닝 모델(104-1)은 하기의 수학식 1을 통해 각 문장에서 개체가 포함된 경로 별로 개체 경로 별 단어 벡터를 생성할 수 있다.

(수학식 1)

여기서,

는 각 문장의 개체 경로 별 단어 벡터를 나타내고, x는 해당 노드의 단어에 대응하는 벡터를 나타내며, j는 해당 노드의 부모 노드를 나타내고, k는 해당 노드의 자식 노드를 나타내며, l는 해당 노드의 의존성 레이블(Dependency Label)을 나타내며, E^p는 개체 표시 의존 분석 트리에서 개체를 포함하는 경로를 나타낸다.

또한, 제1 딥러닝 모델(104-1)은 하기의 수학식 2를 통해 해당 문장의 개체 경로 은닉 상태 벡터를 출력할 수 있다.

(수학식 2)

여기서,

는 해당 문장의 개체 경로 은닉 상태 벡터를 나타내고,

는 해당 문장에서 i번째 개체 경로의 개체 경로 은닉 상태 벡터를 나타낸다.

제2 딥러닝 모델(104-2)은 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 각 문장에 대한 비개체 경로 은닉 상태 벡터(Non-Entity Path Hidden State Vector)를 출력할 수 있다. 예시적인 실시예에서, 제2 딥러닝 모델(104-2)은 Tree LSTM(Long Short Term Memory)가 사용될 수 있으나, 이에 한정되는 것은 아니다.

구체적으로, 제2 딥러닝 모델(104-2)은 개체 표시 의존 분석 트리에서 개체가 포함되지 않는 경로(즉, 비개체 경로)들의 노드를 모아 비개체 경로 별 단어 벡터를 생성하고, 생성한 비개체 경로 별 단어 벡터를 기반으로 해당 문장의 비개체 경로 은닉 상태 벡터를 출력할 수 있다. 제2 딥러닝 모델(104-2)은 하기의 수학식 3을 통해 각 문장에서 개체가 포함되지 않은 경로 별로 비개체 경로 별 단어 벡터를 생성할 수 있다.

(수학식 3)

여기서,

는 각 문장의 비개체 경로 별 단어 벡터를 나타내고, Eⁿ은 개체 표시 의존 분석 트리에서 개체를 포함하지 않는 경로를 나타낸다.

또한, 제2 딥러닝 모델(104-2)은 하기의 수학식 4를 통해 해당 문장의 비개체 경로 은닉 상태 벡터를 출력할 수 있다.

(수학식 4)

여기서,

는 해당 문장의 비개체 경로 은닉 상태 벡터를 나타내고,

는 해당 문장에서 i번째 비개체 경로의 비개체 경로 은닉 상태 벡터를 나타내며, α는 주의 집중 가중치(Attention Weight)를 나타낸다. 주의 집중 가중치는 기 공지된 기술을 통해 산출할 수 있는 바, 이에 대한 자세한 설명은 생략하기로 한다.

제2 딥러닝 모델(104-2)에는 주의 집중 메커니즘(Attention Mechanism)이 적용될 수 있다. 이를 통해, 제2 딥러닝 모델(104-2)은 개체 표시 의존 분석 트리에서 개체가 포함되지 않은 경로의 노드들 중 어떤 노드에 집중해야 하는지를 알 수 있게 된다. 즉, 개체 표시 의존 분석 트리에서 개체를 포함하지 않는 경로에도 개체 간 관계에 영향을 미치는 단어가 포함될 수 있으므로, 주의 집중 메커니즘을 통해 해당 단어에 주의 집중 가중치를 부여할 수 있다.

제1 인코더 모듈(104)은 제1 딥러닝 모델(104-1)에서 출력되는 각 문장의 개체 경로 은닉 상태 벡터와 제2 딥러닝 모델(104-2)에서 출력되는 각 문장의 비개체 경로 은닉 상태 벡터를 합하여 각 문장 별로 문장 경로 관련 벡터를 출력할 수 있다. 즉, 제1 인코더 모듈(104)은 하기 수학식 5를 통해 각 문장에 대해 문장 경로 관련 벡터(

)를 출력할 수 있다.

(수학식 5)

제2 인코더 모듈(106)은 전처리 모듈(102)로부터 문단의 각 문장에 대해 의존성 분석을 수행한 의존 분석 트리를 입력 받을 수 있다. 즉, 제2 인코더 모듈(106)은 각 개체의 위치가 별도로 표시되어 있지 않은 의존 분석 트리를 입력 받을 수 있다. 제2 인코더 모듈(106)은 각 문장들의 의존 분석 트리에 기반하여 이웃하는 문장 간의 문장 관계 관련 벡터를 출력할 수 있다.

제2 인코더 모듈(106)은 제3 딥러닝 모델(106-1) 및 제4 딥러닝 모델(106-2)을 포함할 수 있다. 제3 딥러닝 모델(106-1)은 각 문장에 대한 의존 분석 트리를 입력으로 하여 문장 별로 문장 트리 인코딩 벡터를 각각 출력할 수 있다. 예시적인 실시예에서, 제3 딥러닝 모델(106-1)은 Tree LSTM(Long Short Term Memory)을 기반으로 각 문장의 의존 분석 트리에서 각 노드들을 인코딩하여 해당 문장에 대한 문장 트리 인코딩 벡터를 출력할 수 있다.

제4 딥러닝 모델(106-2)은 제3 딥러닝 모델(106-1)에서 출력되는 각 문장들의 문장 트리 인코딩 벡터를 입력 받을 수 있다. 제4 딥러닝 모델(106-2)은 각 문장들의 문장 트리 인코딩 벡터를 기반으로 각 문장들의 관계에 대한 문장 관계 관련 벡터를 출력할 수 있다.

제4 딥러닝 모델(106-2)은 각 문장들의 문장 트리 인코딩 벡터가 입력되는 경우, 문단 내에서 각 문장들의 내용 및 순서를 고려하여 원인, 결과, 순차, 및 대조 등과 같이 문장 간의 관계를 나타내는 벡터인 문장 관계 관련 벡터를 출력하도록 학습된 모델일 수 있다. 예시적인 실시예에서, 제4 딥러닝 모델(106-2)은 양방향 LSTM(Bidirectional LSTM)일 사용할 수 있으나, 이에 한정되는 것은 아니다.

예시적인 실시예에서, 문단에 m(m은 자연수)개의 문장이 포함된 경우, 제3 딥러닝 모델(106-1)은 m개의 문장에 대해 제1 문장 트리 인코딩 벡터 내지 제m 문장 트리 인코딩 벡터를 출력하게 된다.

제4 딥러닝 모델(106-2)은 제1 문장 트리 인코딩 벡터 내지 제m 문장 트리 인코딩 벡터를 순방향으로 입력하여 각 문장에 대한 순방향 문장 관계 벡터를 생성할 수 있다. 또한, 제4 딥러닝 모델(106-2)은 제1 문장 트리 인코딩 벡터 내지 제m 문장 트리 인코딩 벡터를 역방향으로 입력하여 각 문장에 대한 역방향 문장 관계 벡터를 생성할 수 있다.

제4 딥러닝 모델(106-2)은 각 문장의 순방향 문장 관계 벡터 및 역방향 문장 관계 벡터를 기반으로 각 문장의 양방향 문장 관계 벡터를 생성할 수 있다. 제4 딥러닝 모델(106-2)은 하기 수학식 6을 통해 각 문장의 양방향 문장 관계 벡터를 생성할 수 있다.

(수학식 6)

여기서,

는 s번째 문장의 양방향 문장 관계 벡터이고,

는 s번째 문장의 순방향 문장 관계 벡터이며,

는 s번째 문장의 역방향 문장 관계 벡터를 나타낸다.

제4 딥러닝 모델(106-2)은 각 문장의 양방향 문장 관계 벡터를 기반으로 문단 내 s번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 출력할 수 있다. 해당 문단에 m개의 문장이 포함되는 경우, 제4 딥러닝 모델(106-2)은 m-1개의 문장 관계 관련 벡터를 출력하게 된다.

통합 모듈(108)은 제1 인코더 모듈(104)로부터 출력되는 각 문장들의 문장 경로 관련 벡터 및 제2 인코더 모듈(106)로부터 출력되는 문장 관계 관련 벡터를 기반으로 개체 경로 중심 문단 인코딩 벡터를 출력할 수 있다. 예시적인 실시예에서, 통합 모듈(108)은 제1 벡터 연결부(108-1) 및 제5 딥러닝 모델(108-2)을 포함할 수 있다.

제1 벡터 연결부(108-1)는 제1 인코더 모듈(104)로부터 출력되는 각 문장들의 문장 경로 관련 벡터와 제2 인코더 모듈(106)로부터 출력되는 문장 관계 관련 벡터를 연결하여 각 문장에 대응하는 연결 벡터를 생성할 수 있다.

제1 벡터 연결부(108-1)는 문단 중 s번째 문장의 문장 경로 관련 벡터에 s번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 연결하여 s번째 문장에 대응하는 연결 벡터를 생성할 수 있다. 이때, 제1 벡터 연결부(108-1)는 문단 중 마지막 문장의 문장 경로 관련 벡터에는 제로 벡터(Zero Vector)를 연결할 수 있다. 제로 벡터는 각 성분이 0인 벡터를 의미할 수 있다.

즉, 문단이 m개의 문장으로 이루어진 경우, 제2 인코더 모듈(106)은 m-1개의 문장 관계 관련 벡터를 출력하게 되므로, 문단의 마지막 문장의 문장 경로 관련 벡터에는 그와 쌍을 이루는 문장 관계 관련 벡터가 없게 되는 바, 제로 벡터를 연결할 수 있다.

제5 딥러닝 모델(108-2)은 제1 벡터 연결부(108-1)에서 출력되는 각 문장에 대응하는 연결 벡터를 입력으로 하여 해당 문단에 대한 개체 경로 중심 문단 인코딩 벡터를 출력할 수 있다. 예시적인 실시예에서, 제5 딥러닝 모델(108-2)은 LSTM(Long Short Term Memory)을 기반으로 각 문장에 대응하는 연결 벡터들을 인코딩하여 해당 문단에 대한 개체 경로 중심 문단 인코딩 벡터를 출력할 수 있다.

관계 분류 모듈(110)은 문단 내 포함된 개체들 간의 다항 관계에 대한 분류 값을 출력할 수 있다. 예시적인 실시예에서, 관계 분류 모듈(110)은 단순 문단 인코딩 벡터 생성부(110-1), 개체 관련 벡터 생성부(110-2), 제2 벡터 연결부(110-3), 및 분류부(110-4)를 포함할 수 있다.

단순 문단 인코딩 벡터 생성부(110-1)는 문단을 입력으로 하여 단순 문단 인코딩 벡터를 생성할 수 있다. 예시적인 실시예에서, 단순 문단 인코딩 벡터 생성부(110-1)는 LSTM(Long Short Term Memory)을 기반으로 입력되는 문단으로부터 단순 문단 인코딩 벡터를 생성할 수 있다.

단순 문단 인코딩 벡터 생성부(110-1)는 의존성 분석을 거치지 않은 문단을 입력 받을 수 있다. 단순 문단 인코딩 벡터 생성부(110-1)는 문단에 포함된 각 단어의 임베딩 벡터를 생성하고, 각 임베딩 벡터를 LSTM에 입력하여 단순 문단 인코딩 벡터를 생성할 수 있다.

개체 관련 벡터 생성부(110-2)는 문단에 포함된 개체(Entity)들의 집합에 대해 개체 관련 벡터를 생성할 수 있다. 개체 관련 벡터 생성부(110-2)는 문단에 포함된 각 개체에 대응하는 단어들을 임베딩(Embedding)하여 개체 임베딩 벡터를 생성할 수 있다. 개체 관련 벡터 생성부(110-2)는 각 개체들의 개체 임베딩 벡터를 기반으로 개체들의 집합에 대한 개체 관련 벡터를 생성할 수 있다.

예시적인 실시예에서, 개체 관련 벡터 생성부(110-2)는 각 개체들의 개체 임베딩 벡터의 평균 벡터를 개체 관련 벡터로 산출할 수 있다. 그러나, 이에 한정되는 것은 아니며, 개체 관련 벡터 생성부(110-2)는 각 개체들의 개체 임베딩 벡터를 합하거나 곱하여 개체 관련 벡터를 산출할 수도 있으며, 그 이외의 다양한 방법을 통해 개체 관련 벡터를 산출할 수 있다.

제2 벡터 연결부(110-3)는 해당 문단에 대한 개체 경로 중심 문단 인코딩 벡터, 단순 문단 인코딩 벡터, 및 개체 관련 벡터를 연결하여 연결 벡터를 생성할 수 있다.

분류부(110-4)는 제2 벡터 연결부(110-3)에서 출력되는 연결 벡터를 기반으로 해당 문단에 포함된 각 개체들 간의 다항 관계 분류값을 출력할 수 있다. 예시적인 실시예에서, 분류부(110-4)는 제2 벡터 연결부(110-3)에서 출력되는 연결 벡터를 소프트맥스(Softmax) 함수에 입력하여 해당 문단에 포함된 각 개체들 간의 다항 관계 분류값을 출력할 수 있다.

개시되는 실시예에 의하면, 제1 인코더 모듈(104)에서 의존 분석 트리의 경로들 중 개체를 포함하는 경로에 보다 높은 가중치가 부여되도록 학습되고, 제2 인코더 모듈(106)에서 문장 간의 관계 정보가 반영되는 바, 문단에 포함된 각 객체들의 다항 관계 추출시 그 정확도를 향상시킬 수 있게 된다.

본 명세서에서 모듈이라 함은, 개시되는 실시예들의 기술적 사상을 수행하기 위한 하드웨어 및 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 본 명세서에서 "모듈"은 소정의 코드 및 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.

도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 개체 간 관계 추출 장치(100)일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 개체 간 관계 추출 장치
102 : 전처리 모듈
104 : 제1 인코더 모듈
104-1 : 제1 딥러닝 모델
104-2 : 제2 딥러닝 모델
106 : 제2 인코더 모듈
106-1 : 제3 딥러닝 모델
106-2 : 제4 딥러닝 모델
108 : 통합 모듈
108-1 : 제1 벡터 연결부
108-2 : 제5 딥러닝 모델
110 : 분류 모듈
110-1 : 단순 문단 인코딩 벡터 생성부
110-2 : 개체 관련 벡터 생성부
110-3 : 제2 벡터 연결부
110-4 : 분류부

Claims

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
복수 개의 문장을 포함하는 문단을 입력 받고, 상기 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 동작;
상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 동작; 및
상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 동작을 포함하며,
상기 개체 간 관계 추출 방법은,
상기 의존 분석 트리에서 상기 추출한 개체들의 위치를 표시하여 개체 표시 의존 분석 트리를 생성하는 동작을 더 포함하는, 개체 간 관계 추출 방법.
삭제
청구항 1에 있어서,
상기 문장 경로 관련 벡터를 생성하는 동작은,
상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 개체 경로 은닉 상태 벡터를 생성하는 동작;
상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 비개체 경로 은닉 상태 벡터를 생성하는 동작; 및
상기 각 문장의 개체 경로 은닉 상태 벡터와 상기 각 문장의 비개체 경로 은닉 상태 벡터를 합하여 각 문장 별로 문장 경로 관련 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 3에 있어서,
상기 개체 경로 은닉 상태 벡터를 생성하는 동작은,
상기 개체 표시 의존 분석 트리의 경로들 중 개체를 포함하는 경로가 개체를 포함하지 않는 경로들보다 높은 가중치가 부여되도록 하는, 개체 간 관계 추출 방법.
청구항 4에 있어서,
상기 개체 경로 은닉 상태 벡터를 생성하는 동작은,
상기 개체 표시 의존 분석 트리에서 개체가 포함된 경로 별로 해당 경로에 포함된 노드들을 모아 개체 경로 별 단어 벡터를 생성하는 동작; 및
생성한 상기 개체 경로 별 단어 벡터를 기반으로 해당 문장의 개체 경로 은닉 상태 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 5에 있어서,
상기 개체 경로 별 단어 벡터를 생성하는 동작은,
하기의 수학식을 통해 각 문장에서 개체 경로 별 단어 벡터를 생성하는, 개체 간 관계 추출 방법.
(수학식)

: 각 문장의 개체 경로 별 단어 벡터
x : 개체 표시 의존 분석 트리에서 해당 노드의 단어에 대응하는 벡터
j : 개체 표시 의존 분석 트리에서 해당 노드의 부모 노드
k : 개체 표시 의존 분석 트리에서 해당 노드의 자식 노드
l : 개체 표시 의존 분석 트리에서 해당 노드의 의존성 레이블(Dependency Label)
E^p : 개체 표시 의존 분석 트리에서 개체를 포함하는 경로
청구항 6에 있어서,
상기 개체 경로 은닉 상태 벡터를 생성하는 동작은,
하기의 수학식을 통해 상기 문장의 개체 경로 은닉 상태 벡터를 출력하는, 개체 간 관계 추출 방법.
(수학식)

: 해당 문장의 개체 경로 은닉 상태 벡터

: 해당 문장에서 i번째 개체 경로의 개체 경로 은닉 상태 벡터
청구항 3에 있어서,
상기 비개체 경로 은닉 상태 벡터를 생성하는 동작은,
상기 개체 표시 의존 분석 트리에서 개체가 포함되지 않는 경로들의 노드를 모아 비개체 경로 별 단어 벡터를 생성하는 동작; 및
생성한 상기 비개체 경로 별 단어 벡터를 기반으로 해당 문장의 비개체 경로 은닉 상태 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 8에 있어서,
상기 비개체 경로 별 단어 벡터를 생성하는 동작은,
하기의 수학식을 통해 통해 각 문장에서 비개체 경로 별 단어 벡터를 생성하는, 개체 간 관계 추출 방법.
(수학식)

: 각 문장의 비개체 경로 별 단어 벡터
x : 개체 표시 의존 분석 트리에서 해당 노드의 단어에 대응하는 벡터
j : 개체 표시 의존 분석 트리에서 해당 노드의 부모 노드
k : 개체 표시 의존 분석 트리에서 해당 노드의 자식 노드
l : 개체 표시 의존 분석 트리에서 해당 노드의 의존성 레이블(Dependency Label)
Eⁿ: 개체 표시 의존 분석 트리에서 개체를 포함하지 않는 경로
청구항 9에 있어서,
상기 비개체 경로 은닉 상태 벡터를 생성하는 동작은,
하기 수학식을 통해 상기 문장의 비개체 경로 은닉 상태 벡터를 생성하는, 개체 간 관계 추출 방법.
(수학식)

: 해당 문장의 비개체 경로 은닉 상태 벡터

: 해당 문장에서 i번째 비개체 경로의 비개체 경로 은닉 상태 벡터
α: 주의 집중 가중치(Attention Weight)
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
복수 개의 문장을 포함하는 문단을 입력 받고, 상기 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 동작;
상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 동작; 및
상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 동작을 포함하며,
상기 문장 관계 관련 벡터를 생성하는 동작은,
상기 각 문장의 의존 분석 트리를 입력으로 하여 문장 별로 문장 트리 인코딩 벡터를 각각 생성하는 동작; 및
상기 각 문장들의 문장 트리 인코딩 벡터를 입력으로 하여 각 문장들의 관계에 대한 문장 관계 관련 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 11에 있어서,
상기 문장 관계 관련 벡터를 생성하는 동작은,
상기 각 문장들의 문장 트리 인코딩 벡터가 입력되는 경우, 상기 문단 내에서 각 문장들의 내용 및 순서를 고려하여 원인, 결과, 순차, 및 대조 중 하나를 포함하는 문장 관계 관련 벡터를 생성하는, 개체 간 관계 추출 방법.
청구항 12에 있어서,
상기 문장 관계 관련 벡터를 생성하는 동작은,
상기 각 문장들의 문장 트리 인코딩 벡터를 순방향으로 입력하여 각 문장에 대한 순방향 문장 관계 벡터를 생성하는 동작;
상기 각 문장들의 문장 트리 인코딩 벡터를 역방향으로 입력하여 각 문장에 대한 역방향 문장 관계 벡터를 생성하는 동작;
상기 순방향 문장 관계 벡터 및 상기 역방향 문장 관계 벡터를 기반으로 각 문장의 양방향 문장 관계 벡터를 생성하는 동작; 및
상기 각 문장의 양방향 문장 관계 벡터를 기반으로 상기 문단 내 문장 간의 s(s는 자연수)번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 13에 있어서,
상기 문장의 양방향 문장 관계 벡터를 생성하는 동작은,
하기의 수학식을 통해 각 문장의 양방향 문장 관계 벡터를 생성하는, 개체 간 관계 추출 방법.
(수학식)

: s번째 문장의 양방향 문장 관계 벡터

: s번째 문장의 순방향 문장 관계 벡터

: s번째 문장의 역방향 문장 관계 벡터
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
복수 개의 문장을 포함하는 문단을 입력 받고, 상기 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 동작;
상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 동작; 및
상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 동작을 포함하며,
상기 개체 간 관계 추출 방법은,
상기 각 문장들의 문장 경로 관련 벡터 및 상기 각 문장들의 문장 관계 관련 벡터를 입력으로 하여 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 더 포함하는, 개체 간 관계 추출 방법.
청구항 15에 있어서,
상기 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작은,
상기 각 문장들의 문장 경로 관련 벡터와 상기 각 문장들의 문장 관계 관련 벡터를 연결하여 각 문장에 대응하는 연결 벡터를 생성하는 동작; 및
상기 각 문장에 대응하는 연결 벡터를 입력으로 하여 해당 문단에 대한 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 16에 있어서,
상기 연결 벡터를 생성하는 동작은,
상기 문단 중 s(s는 자연수)번째 문장의 문장 경로 관련 벡터에 s번째 문장과 s+1번째 문장 간의 문장 관계 관련 벡터를 연결하여 s번째 문장에 대응하는 연결 벡터를 생성하는 동작; 및
상기 문단 중 마지막 문장의 문장 경로 관련 벡터에 제로 벡터(Zero Vector)를 연결하여 마지막 문장에 대응하는 연결 벡터를 생성하는 동작을 포함하는, 개체 간 관계 추출 방법.
청구항 15에 있어서,
상기 개체 간 관계 추출 방법은,
상기 문단을 입력으로 하여 단순 문단 인코딩 벡터를 생성하는 동작;
상기 문단에 포함된 개체들의 집합에 대해 개체 관련 벡터를 생성하는 동작;
상기 문단에 대한 개체 경로 중심 문단 인코딩 벡터, 상기 단순 문단 인코딩 벡터, 및 상기 개체 관련 벡터를 연결하여 연결 벡터를 생성하는 동작; 및
상기 연결 벡터를 기반으로 해당 문단에 포함된 각 개체들 간의 다항 관계 분류 값을 출력하는 동작을 더 포함하는, 개체 간 관계 추출 방법.
청구항 1에 있어서,
상기 문장 경로 관련 벡터를 생성하는 동작은, 상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 문장 경로 관련 벡터를 생성하며,
상기 문장 관계 관련 벡터를 생성하는 동작은, 상기 각 문장의 의존 분석 트리를 입력으로 하여 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는, 개체 간 관계 추출 방법.
청구항 19에 있어서,
상기 문장 경로 관련 벡터를 생성하는 동작은,
상기 각 문장의 개체 표시 의존 분석 트리를 입력으로 하여 상기 각 문장에 대한 개체 경로 은닉 상태 벡터를 생성하는 동작을 포함하고,
상기 개체 간 관계 추출 방법은,
상기 각 문장의 개체 경로 은닉 상태 벡터 및 상기 각 문장의 문장 관계 관련 벡터를 입력으로 하여 개체 경로 중심 문단 인코딩 벡터를 생성하는 동작을 더 포함하며,
상기 다항 관계를 판단하는 동작은, 상기 개체 경로 중심 문단 인코딩 벡터를 기반으로 상기 추출한 개체들 간의 다항 관계를 판단하는, 개체 간 관계 추출 방법.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
복수 개의 문장을 포함하는 문단을 입력 받고, 상기 문장에서 기 설정된 개체(Entity)를 추출하며, 상기 각 문장에 대해 의존성 분석(Dependency Parsing)을 수행하여 의존 분석 트리를 생성하는 전처리 모듈;
상기 의존 분석 트리에 기초하여 각 문장 별로 문장 경로 관련 벡터를 생성하고, 상기 문단에 포함된 문장 간의 문장 관계 관련 벡터를 생성하는 인코더 모듈; 및
상기 문장 경로 관련 벡터 및 상기 문장 관계 관련 벡터를 기초로 상기 추출한 개체들 간의 다항 관계를 판단하는 분류 모듈을 포함하며,
상기 인코더 모듈은,
상기 각 문장의 의존 분석 트리를 입력으로 하여 문장 별로 문장 트리 인코딩 벡터를 각각 생성하고, 상기 각 문장들의 문장 트리 인코딩 벡터를 입력으로 하여 각 문장들의 관계에 대한 문장 관계 관련 벡터를 생성하는, 개체 간 관계 추출 장치.