KR20210092151A

KR20210092151A - 텍스트 엔티티의 시맨틱 설명 처리 방법, 장치 및 기기

Info

Publication number: KR20210092151A
Application number: KR1020210005895A
Authority: KR
Inventors: 송타이 다이; 신웨이 펑; 미아오 위; 화뉴 저우; 순차오 송; 펑청 위안
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-01-15
Filing date: 2021-01-15
Publication date: 2021-07-23
Also published as: JP7113097B2; US11669690B2; US20210216722A1; EP3852000A1; CN111259671B; JP2021111420A; CN111259671A

Abstract

본 출원은 텍스트 엔티티의 시맨틱 설명 처리 방법, 장치 및 기기를 제공하고, 지식 그래프 기술 분야에 속한 것이며, 구체적인 실현 방안은 아래와 같다: 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하고; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하며; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산하고; 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정한다. 따라서, 엔티티에 대한 서로 다른 텍스트의 설명의 시맨틱 유사도를 결정하여, 동일 엔티티에 대한 서로 다른 텍스트의 설명의 유사 정도를 정확하게 획득할 수 있다.

Description

텍스트 엔티티의 시맨틱 설명 처리 방법, 장치 및 기기{METHOD, APPARATUS, AND DEVICE FOR PROCESSING SEMATIC DESCRIPTION OF TEXT ENTITY}

본 출원은 컴퓨터 기술 분야에 관한 것이고, 특히 지식 그래프 기술 분야에 관한 것이며, 텍스트 엔티티의 시맨틱 설명 처리 방법, 장치 및 기기를 제공한다.

텍스트 유사도는, 자연 언어 처리, 지식 그래프 등 분야에서 널리 사용되고 있고, 현재 텍스트 유사도를 결정하는 다양한 방안이 있는데, 예를 들어, 언어 모델로 텍스트 유사도를 계산할 수 있다. 하지만, 서로 다른 텍스트 중 동일 엔티티에 대한 설명이 유사한지 여부를 구분해야 할 시나리오가 존재하는데, 예를 들어, 동일한 인물명을 포함한 두 편의 텍스트에서, 해당 인물에 대한 시맨틱 설명이 유사한지 여부에 대한 판단이 필요할 수 있다.

상술의 시나리오에 있어서, 엔티티에 대한 서로 다른 텍스트의 시맨틱 설명이 유사한지 여부를 결정하는 방안이 필요하다.

본 출원은 적어도 일정 수준에서 관련 기술 분야의 기술 문제 중 하나를 해결하고자 한다.

따라서, 본 출원의 첫 번째 목적은, 동일 엔티티에 대한 서로 다른 텍스트 의 설명의 유사 정도를 정확하게 획득하는, 텍스트 엔티티의 시맨틱 설명 처리 방법을 제공하는 것이다.

본 출원의 두 번째 목적은, 텍스트 엔티티의 시맨틱 설명 처리 장치를 제공하는 것이다.

본 출원의 세 번째 목적은, 전자 기기를 제공하는 것이다.

본 출원의 네 번째 목적은, 컴퓨터 판독 가능 저장 매체를 제공하는 것이다.

본 출원의 제1 측면의 실시예는, 텍스트 엔티티의 시맨틱 설명 처리 방법을 제공하는데,

메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 상기 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하는 단계;

각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 단계;

각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 단계; 및

서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리에 따라, 상기 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정하는 단계를 포함한다.

본 출원의 제2 측면의 실시예는, 텍스트 엔티티의 시맨틱 설명 처리 장치를 제공하는데,

메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 상기 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하는 추출 모듈;

각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 획득 모듈;

각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 생성 모듈; 및

서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리에 따라, 상기 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정하는 결정 모듈을 포함한다.

본 출원의 제3 측면의 실시예는, 전자 기기를 제공하는데, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고, 여기서, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법 등을 수행하도록 한다.

본 출원의 제4 측면의 실시예는, 컴퓨터 명령이 저장되는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는데, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 측면의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법 등을 수행하도록 한다.

본 출원의 제5 측면의 실시예는, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1 측면의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법이 실행된다.

상기 출원의 일 실시예의 장점 또는 유익한 효과는 아래와 같다: 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하고; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하며; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산하고; 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정하는 방법을 사용하였다. 따라서, 엔티티에 대한 서로 다른 텍스트의 설명의 시맨틱 유사도를 결정하는 것을 통하여, 특정 엔티티에 대한 서로 다른 텍스트의 설명 정보를 비교하고, 기타 무관한 엔티티를 생략할 수 있으므로, 동일 엔티티에 대한 서로 다른 텍스트의 설명이 동일한지 여부를 정확하게 판단하여, 스마트 Q&A의 다양한 문장 교정, 백과사전 항목의 분류 등 시나리오에 사용될 수 있다.

전술된 선택 가능한 방식의 기타 효과는 아래의 구체적인 실시예와 결합하여 설명할 것이다.

도면은 본 출원의 기술 방안을 보다 잘 이해하기 위한 것으로, 본 출원을 한정하는 것은 아니다. 여기서,
도 1은 본 출원의 실시예에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다.
도 2는 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다.
도 3은 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다.
도 4는 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다.
도 5는 본 출원의 실시예에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 장치의 구조 개략도이다.
도 6은 본 출원의 실시예를 구현하기 위한 예시적인 전자 기기의 블록도이다.

이하, 첨부된 도면을 참조하여 본 출원의 예시적인 실시예들을 설명하는데, 본 출원의 실시예에 포함된 다양한 세부사항은 이해를 돕기 위한 것으로, 예시적인 목적일 뿐이다. 따라서, 이해해야 하는 바로는, 본 기술 분야에서 통상의 지식을 가진 자는 본 출원의 범위 및 사상으로부터 벗어나지 않는 한, 본 명세서에 기술된 실시예들에 대하여 다양한 변경 및 수정을 할 수 있다. 또한, 명확하고 간결하게 설명하기 위하여, 아래 설명에서 공지의 기능 및 구조에 대한 설명은 생략하기로 한다.

도 1은 본 출원의 실시예에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다. 도 1과 같이, 상기 방법은 아래와 같은 단계를 포함한다.

단계(101): 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하고, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출한다.

실제 응용에서, 두 편의 텍스트 중 특정 엔티티에 대한 설명이 동일하거나 유사한지 여부를 결정해야 할 시나리오가 존재한다. 예를 들어, 엔티티: 인물 XXX를 포함하는 두 편의 텍스트가 있는 경우, 해당 엔티티 설명에 대한 두 편의 텍스트의 시맨틱 유사도를 결정하여, 두 편의 텍스트가 동일 인물을 설명하는 것인지를 결정해야 한다.

본 실시예에서, 여러 편의 텍스트 중 메인 엔티티 사이의 시맨틱 관계를 결정할 때, 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출할 수 있다.

일 예로서, 메인 엔티티를 포함하는 여러 타겟 텍스트를 획득하고, 관련 명칭 엔티티 식별 방법을 통하여 엔티티 집합을 획득할 수 있는데, 엔티티 집합에 메인 엔티티 및 타겟 텍스트 중 기타 엔티티를 포함하고, 식별된 기타 엔티티를 메인 엔티티를 설명하는 기타 관련 엔티티로 할 수 있다.

다른 예로서, 각 타겟 텍스트에 대하여 명칭 엔티티 식별을 수행하여, 후보 엔티티 집합을 획득한다. 따라서, 후보 엔티티 집합 중 각 후보 엔티티와 메인 엔티티의 타겟 텍스트에서의 거리를 획득하고, 타겟 텍스트에서 메인 엔티티와의 거리가 미리 설정된 거리보다 작은 후보 엔티티를 결정하여, 메인 엔티티를 설명하는 기타 관련 엔티티로 한다.

단계(102): 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

본 실시예에서, 각 타겟 텍스트에 대하여 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득할 수 있는데, 예를 들어, 메인 엔티티가 A이고, 관련 엔티티가 B와 C를 포함한 경우, A와 B 사이의 서브 관계 벡터, A와 C 사이의 서브 관계 벡터를 획득할 수 있다. 여기서, 여러 가지 방식으로 서브 관계 벡터를 획득할 수 있다.

본 출원의 일 실시예에서, 타겟 텍스트 중 각 글자의 제1 벡터 표현을 획득하고, 따라서 미리 훈련된 변환 모델로 제1 벡터 표현, 상기 메인 엔티티, 및 각 관련 엔티티에 대하여 가중 처리하여, 타겟 텍스트에서 메인 엔티티 및 각 관련 엔티티와 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득한다. 제2 벡터 표현을 풀링 처리하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 생성한다.

본 출원의 일 실시예에서, 미리 훈련된 관계 추출 모델로 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하여, 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득한다. 따라서, 미리 훈련된 매핑 모델에 따라 확률 분포를 매핑하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

단계(103): 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다.

본 출원의 일 실시예에서, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터의 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산하고, 따라서, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다.

일 예로서, 메인 엔티티 A와 관련 엔티티 B사이의 서브 관계 벡터(1), 및 메인 엔티티 A와 관련 엔티티 C사이의 서브 관계 벡터(2)를 획득하고, 서브 관계 벡터(1)와 서브 관계 벡터(2)의 합을 구하여, 메인 엔티티에 대응되는 메인 관계 벡터를 계산한다. 따라서, 각 타겟 텍스트에 대하여 메인 엔티티에 대응되는 메인 관계 벡터를 각각 획득하여, 메인 관계 벡터에 기반하여 유사도를 계산하고, 이로부터, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다. 여기서, 유사도의 계산 방식은 한정 받지 않고, 수요에 따라 선택될 수 있다.

단계(104): 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정한다.

본 실시예에서, 유사도 거리에 따라 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정할 수 있는데, 예를 들어, 유사도 거리가 가까울수록, 메인 엔티티에 대한 두 편의 텍스트의 설명의 시맨틱이 더욱 유사하다.

본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법은, 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하고; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하며; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산하고; 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정한다. 따라서, 엔티티에 대한 서로 다른 텍스트의 설명의 시맨틱 유사도를 결정하는 것을 통하여, 특정 엔티티에 대한 서로 다른 텍스트의 설명 정보를 비교하고, 기타 무관한 엔티티를 생략할 수 있으므로, 동일 엔티티에 대한 서로 다른 텍스트의 설명이 동일한지 여부를 정확하게 판단하여, 스마트 Q&A의 다양한 문장 교정, 백과사전 항목의 분류 등 시나리오에 사용될 수 있다.

아래에서, 상기 실시예에 기반하여 서브 관계 벡터에 따라 메인 관계 벡터를 획득하는 것에 대하여 설명한다.

도 2는 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다. 도 2와 같이, 상기 방법은 아래와 같은 단계를 포함한다.

단계(201): 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 대하여 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산한다.

본 출원의 일 실시예에서, 엔티티 설명 모델을 미리 훈련할 수 있는데, 여기서, 엔티티 설명 모델의 입력은 서브 관계 벡터이고, 출력은 메인 관계 벡터이다. 미리 설정된 엔티티를 포함하는 샘플 텍스트 집합을 획득하고, 샘플 텍스트 집합에서 미리 설정된 엔티티의 유사 여부를 레이블링하며, 샘플 텍스트 집합에 따라 미리 설정된 엔티티와 관련 엔티티의 서브 관계 벡터를 획득하고, 따라서, 서브 관계 벡터를 미리 설정된 모델에 입력하여 처리하고, 메인 관계 벡터를 생성하며, 나아가, 메인 관계 벡터에 따라 미리 설정된 엔티티의 설명의 유사도 예측 결과를 획득하고, 예측 결과와 레이블링 결과에 따라, 역 전파 방식으로 미리 설정된 모델의 처리 파라미터를 훈련하여, 엔티티 설명 모델을 결정한다. 여기서, 미리 설정된 모델은 Graph Attention Neural Network를 통하여 실현될 수 있다.

본 실시예에서, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 복수의 서브 관계 벡터를 획득한 후, 복수의 서브 관계 벡터를 미리 훈련된 엔티티 설명 모델에 입력하고 가중 처리하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 획득한다.

단계(202): 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다.

일 예로서, 제1 텍스트와 제2 텍스트를 획득하는데, 제1 텍스트와 제2 텍스트는 모두 메인 엔티티를 포함한다. 따라서, 제1 텍스트 중 메인 엔티티가 대응하는 N개의 관련 엔티티를 결정하여, N개 서브 관계 벡터를 획득하고, 나아가, N개 서브 관계 벡터에 따라 메인 엔티티가 대응하는 메인 관계 벡터(1)를 계산한다. 제2 텍스트에 대하여 메인 엔티티가 대응하는 M개 관련 엔티티를 결정하여, M개 서브 관계 벡터를 획득하고, 나아가, M개 서브 관계 벡터에 따라 메인 엔티티가 대응하는 메인 관계 벡터(2)를 계산한다. 메인 관계 벡터(1)과 메인 관계 벡터(2)를 통하여 유사도를 계산하고, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 결정한다.

본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법은, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 대하여 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산한다. 따라서, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다. 이로부터, 메인 엔티티를 설명하는 메인 관계 벡터를 획득하여, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도의 계산 정확도를 더욱 향상시킬 수 있다.

아래에서, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 하나의 실현 방식을 설명한다.

도 3은 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다. 도 3과 같이, 상기 방법은 아래와 같은 단계를 포함한다.

단계(301): 타겟 텍스트 중 각 글자의 제1 벡터 표현을 획득한다.

하나의 가능한 실현 방식으로, 언어 모델로 타겟 텍스트를 처리하여, 타겟 텍스트 중 각 글자의 벡터 표현을 획득하여 제1 벡터 표현으로 할 수 있다. 여기서, 언어 모델은 BERT 모델(Bidirectional Encoder Representations from Transformers), 지식 증강 시맨틱 표현 모델(ERNIE, Enhanced Representation from kNowledge IntEgration）등을 포함하고, 이에 한정되지 않는다.

단계(302): 미리 훈련된 변환 모델에 따라 제1 벡터 표현, 메인 엔티티 및 각 관련 엔티티에 대하여 가중 처리하여, 타겟 텍스트에서 메인 엔티티 및 각 관련 엔티티와 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득한다.

본 출원의 일 실시예에서, 샘플 텍스트 집합을 획득할 수 있는데, 여기서, 샘플 텍스트 집합에서 미리 설정된 엔티티 페어의 관계가 유사한지 여부를 레이블링 할 수 있다. 따라서, 샘플 텍스트 집합을 미리 설정된 모델에 입력하고 처리하여, 미리 설정된 엔티티 페어의 관계에 대한 유사도 예측 결과를 획득하고, 유사도 예측 결과와 레이블링 결과에 따라 미리 설정된 모델의 처리 파라미터를 훈련하여, 변환 모델을 결정한다.

일 예로서, 미리 설정된 모델은 트랜스포머(transformer) 구조, 풀링 레이어, 및 유사도 계산 부분을 포함할 수 있고, 샘플 텍스트 집합 중의 제1 텍스트와 제2 텍스트에 있어서, 샘플 텍스트는 미리 설정된 엔티티 A와 B를 포함하고, 미리 설정된 엔티티 A와 B 사이의 관계가 해당 두 편의 텍스트에서 유사한지 여부를 레이블링 한다. 제1 텍스트를 언어 모델에 입력하여, 제1 텍스트 중 각 글자의 벡터 표현을 획득한다. 미리 설정된 엔티티 페어와 각 글자의 벡터 표현에 따라 트랜스포머 구조에 입력하고 가중 처리하여, 가중 처리된 벡터 표현에 따라 풀링 레이어에 입력하고 풀링 처리하여, 제1 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터를 획득한다. 또한, 제1 텍스트의 방식을 참조하여 제2 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터를 획득한다. 나아가, 제1 텍스트와 제2 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터에 따라 유사도를 계산하여, 미리 설정된 엔티티 페어의 시맨틱 관계의 유사도 예측 결과를 결정한다. 예측 결과 및 레이블링 결과가 매칭될 때까지, 예측 결과와 레이블링 결과에 따라 역 전파의 방식으로 트랜스포머 구조의 처리 파라미터를 조절하여, 훈련을 통하여 변환 모델을 획득한다.

본 실시예에서, 타겟 텍스트 중의 메인 엔티티와 각 관련 엔티티가 엔티티 페어를 구성하고, 미리 훈련된 변환 모델로 제1 벡터 표현과 엔티티 페어를 처리하여, 메인 엔티티와 각 관련 엔티티에 대하여, 타겟 텍스트에서 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득한다.

단계(303): 제2 벡터 표현을 풀링 처리하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

일 예로서, N×M 매트릭스의 제2 벡터 표현(N개 글자, M개 차원)에 있어서, 각 글자의 m 번째 차원에 따라 평균치를 계산한다. 각 차원에 대하여 평균치를 계산함으로써, 1×M 형식의 서브 관계 벡터를 생성한다.

설명이 필요한 것은, 전술된 풀링 처리 방식은 예시일 뿐, 예를 들어, 각 차원의 최대치/최소치를 계산하는 방식을 사용할 수도 있는데, 여기서 한정하지 않는다.

본 출원의 실시예는, 미리 훈련된 변환 모델과 풀링 레이어를 통하여 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하여, 메인 엔티티와 각 관련 엔티티 페어의 서브 관계 벡터를 생성하고, 엔티티 페어 사이의 관계에 대한 벡터 표현을 획득하였다.

아래에서, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 다른 실현 방식을 설명한다.

도 4는 본 출원의 실시예에서 제공하는 다른 텍스트 엔티티의 시맨틱 설명 처리 방법의 개략적인 흐름도이다. 도 4와 같이, 상기 방법은 아래와 같은 단계를 포함한다.

단계(401): 미리 훈련된 관계 추출 모델에 따라 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하고, 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득한다.

본 실시예에서, 미리 훈련된 관계 추출 모델에 따라 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하고, 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득한다. 예를 들어, 메인 엔티티가 엔티티 A를 포함하고, 관련 엔티티가 엔티티 B와 C를 포함한 경우, A와 B 관계의 확률 분포 [0.6, 0.2, 0.2], A와 C 관계의 확률 분포 [0.2, 0.7, 0.1]를 획득한다. 여기서, 관계 수취 모델을 훈련하는 구현 방식은 수요에 따라 선택될 수 있으며, 중복되는 설명은 생략하기로 한다.

단계(402): 미리 훈련된 매핑 모델에 따라 확률 분포를 매핑하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

본 출원의 일 실시예에서, 샘플 텍스트 집합을 획득하고, 샘플 텍스트 집합에서 미리 설정된 엔티티 페어의 관계의 유사 여부를 레이블링 할 수 있다. 따라서, 샘플 텍스트 집합을 미리 설정된 모델에 입력하고 처리하여, 미리 설정된 엔티티 페어의 관계에 대한 유사도 예측 결과를 획득하고, 예측 결과와 레이블링 결과에 따라 미리 설정된 모델의 처리 파라미터를 훈련하여, 매핑 모델을 결정한다. 선택적으로, 매핑 모델은 완전 연결 레이어를 통하여 구현될 수 있다.

일 예로서, 미리 설정된 모델은, 관계 추출 모델과 완전 연결 레이어를 포함한다. 샘플 텍스트 집합 중의 제1 텍스트 및 제2 텍스트에 있어서, 샘플 텍스트는 미리 설정된 엔티티 A와 B를 포함하는데, 미리 설정된 엔티티 A와 B 사이의 관계가 해당 두 편의 텍스트에서 유사한지 여부를 레이블링하고, 제1 텍스트와 미리 설정된 엔티티 페어를 관계 추출 모델에 입력하여, 제1 텍스트 중 미리 설정된 엔티티 페어의 관계의 확률 분포를 획득하고, 확률 분포에 따라 완전 연결 레이어에 입력하여, 제1 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터를 획득한다. 또한, 제1 텍스트의 방식을 참조하여 제2 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터를 획득한다. 나아가, 제1 텍스트와 제2 텍스트 중 미리 설정된 엔티티 페어의 서브 관계 벡터에 따라 유사도를 계산하여, 미리 설정된 엔티티 페어의 관계에 대한 유사도 예측 결과를 결정한다. 예측 결과와 레이블링 결과가 매칭될 때까지, 예측 결과와 레이블링 결과에 따라 역 전파의 방식으로 완전 연결 레이어의 처리 파라미터를 조절하여, 훈련을 통하여 매핑 모델을 결정한다.

본 실시예에서, 미리 훈련된 매핑 모델에 따라 확률 분포를 처리하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다. 예를 들어, A와 B 관계의 확률 분포 [0.6, 0.2, 0.2], A와 C관계의 확률 분포 [0.2, 0.7, 0.1]에 대하여 각각 서브 관계 벡터(1)과 서브 관계 벡터(2)를 획득한다.

본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법은, 관계 추출 모델과 매핑 모델로 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하여, 메인 엔티티와 각 관련 엔티티 페어의 서브 관계 벡터를 획득하여, 엔티티 페어 사이의 관계의 벡터 표현을 획득하였다.

상술의 실시예를 구현하기 위하여, 분 출원은 텍스트 엔티티의 시맨틱 설명 처리 장치를 더 제공한다.

도 5는 본 출원의 실시예에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 장치의 구조 개략도이고, 도 5와 같이, 상기 장치는, 추출 모듈(10), 획득 모듈(20), 생성 모듈(30), 및 결정 모듈(40)을 포함한다.

여기서, 추출 모듈(10)은, 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출한다.

획득 모듈(20)은, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

생성 모듈(30)은, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다.

결정 모듈(40)은, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정한다.

본 출원의 일 실시예에서, 추출 모듈(10)은 구체적으로, 각 타겟 텍스트에 대하여 명칭 엔티티 식별을 수행하여, 후보 엔티티 집합을 획득하고; 타겟 텍스트에서 메인 엔티티와의 거리가 미리 설정된 거리보다 작은 후보 엔티티 집합 중의 후보 엔티티를 획득하여, 메인 엔티티를 설명하는 기타 관련 엔티티로 한다.

본 출원의 일 실시예에서, 획득 모듈(20)은 구체적으로, 타겟 텍스트 중 각 글자의 제1 벡터 표현을 획득하고; 미리 훈련된 변환 모델에 따라 제1 벡터 표현, 메인 엔티티, 및 각 관련 엔티티를 가중 처리하여, 타겟 텍스트에서 메인 엔티티 및 각 관련 엔티티와 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득하며; 제2 벡터 표현을 풀링 처리하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 생성한다.

본 출원의 일 실시예에서, 획득 모듈(20)은 구체적으로, 미리 훈련된 관계 추출 모델에 따라 타겟 텍스트, 메인 엔티티, 및 각 관련 엔티티를 처리하여, 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득하고; 미리 훈련된 매핑 모델에 따라 확률 분포를 매핑하여, 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득한다.

본 출원의 일 실시예에서, 생성 모듈(30)은 구체적으로, 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 대하여 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산하고; 각 타겟 텍스트 중의 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산한다.

설명이 필요한 것은, 앞서 설명한 실시예의 텍스트 엔티티의 시맨틱 설명 처리 방법은 본 실시예의 텍스트 엔티티의 시맨틱 설명 처리 장치에도 적용되며, 중복되는 설명은 생략하기로 한다.

본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 장치는, 메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하고; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하며; 각 타겟 텍스트 중 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리를 계산하고; 서로 다른 타겟 텍스트 사이에서의 메인 엔티티의 유사도 거리에 따라, 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정한다. 따라서, 엔티티에 대한 서로 다른 텍스트의 설명의 시맨틱 유사도를 결정하는 것을 통하여, 특정 엔티티에 대한 서로 다른 텍스트의 설명 정보를 비교하고, 기타 무관한 엔티티를 생략할 수 있으므로, 동일 엔티티에 대한 서로 다른 텍스트의 설명이 동일한지 여부를 정확하게 판단하여, 스마트 Q&A의 다양한 문장 교정, 백과사전 항목의 분류 등 시나리오에 사용될 수 있다.

상술의 실시예를 실현하기 위하여, 본 출원은 컴퓨터 프로그램 제품을 더 제공하고, 컴퓨터 프로그램 제품의 명령이 프로세서에 의해 실행될 때, 앞서 설명된 어느 하나 실시예의 텍스트 엔티티의 시맨틱 설명 처리 방법을 구현할 수 있다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다. 본 발명의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 텍스트 엔티티의 시맨틱 설명 처리 방법이 실행된다.

도 6은 본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법을 구현하는 전자 기기의 블록도이다. 전자 기기는 랩탑 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것이다. 전자 기기는 개인 디지털 프로세싱, 휴대 전화, 스마트 폰, 웨어러블 장치, 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 도시된 부품, 그들의 연결 및 관계, 및 그들의 기능은 예시일 뿐, 본 명세서에서 설명 및/또는 보호하고자 하는 본 출원의 구현을 제한하는 것은 아니다.

도 6에 도시된 바와 같이, 전자 기기는, 하나 또는 그 이상의 프로세서(701), 메모리(702), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부품을 연결하는 인터페이스를 포함한다. 각 부품은 상이한 버스에 의해 상호 연결되고, 공통 메인보드에 장착되거나 또는 수요에 따라 다른 방식으로 장착될 수도 있다. 프로세서는 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링되는 디스플레이 장치)에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리에 저장된 명령을 포함한 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 방식에서, 수요에 따라 복수의 프로세서 및/또는 복수의 버스는, 복수의 메모리와 함께 사용될 수 있다. 또한, 다수의 전자 기기를 연결할 수 있는데, 각 장치는 일부 필요한 동작(예를 들어, 서버 어레이, 블레이드 서버 세트, 또는 멀티 프로세서 시스템)을 제공할 수 있다. 도 6에서는 프로세서(701)가 하나인 경우를 예로 하였다.

메모리(702)는 본 출원에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 저장하여, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 방법을 실행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는, 컴퓨터가 본 출원에서 제공하는 텍스트 엔티티의 시맨틱 설명 처리 방법을 실행하도록 하는 컴퓨터 명령을 저장한다.

메모리(702)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법이 대응하는 프로그램 명령/모듈(예를 들어, 도 5의 추출 모듈(10), 획득 모듈(20), 생성 모듈(30), 결정 모듈(40))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하는데, 즉 전술된 방법 실시예에 따른 텍스트 엔티티의 시맨틱 설명 처리 방법을 구현한다.

메모리(702)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있는데, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 영역은 전자 기기의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 다른 비일시적 고체 메모리 장치와 같은 적어도 하나의 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 비해 원격으로 설치된 저장 장치를 선택적으로 포함할 수 있는데, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 이러한 네트워크의 예로서, 인터넷, 기업 인트라넷, 로컬 영역 네트워크, 이동 통신 네트워크, 및 이들의 조합을 포함하지만, 이에 한정되지 않는다.

텍스트 엔티티의 시맨틱 설명 처리 방법을 수행하는 전자 기기는, 입력 장치(703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703), 및 출력 장치(704)는 버스 또는 다른 수단에 의해 연결될 수 있으며, 도 6에서 버스를 통한 연결이 예시되어 있다.

입력 장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있을 뿐만 아니라, 전자 기기의 사용자 설정 및 기능 제어에 관련된 키 신호 입력을 생성할 수 있는데, 입력 장치의 예로서, 터치 스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 그 이상의 마우스 버튼, 트랙볼, 조이스틱 등이 있다. 출력 장치(704)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 및 햅틱 피드백 장치(예를 들어, 진동 모터)등을 포함할 수 있다. 해당 디스플레이 장치는 액정표시장치(LCD), 발광 다이오드(LED) 디스플레이, 및 플라즈마 디스플레이를 포함할 수 있으나, 이에 한정되지 않는다. 일부 실시 방식에서, 디스플레이 장치는 터치 스크린일 수 있다.

본 명세서에 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 집적 회로(ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 그 이상의 컴퓨터 프로그램에 의해 구현될 수 있는데, 해당 하나 또는 그 이상의 컴퓨터 프로그램은, 적어도 하나의 프로그램 가능 시스템에 의해 실행 및/또는 해석될 수 있고, 해당 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 해당 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로 전송할 수 있다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 디바이스, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 소자(PLD))를 가리키며, 기계 판독 가능 신호인 기계 명령을 수신하기 위한 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 지칭한다.

사용자와 상호 작용하기 위하여, 컴퓨터로 본 명세서에 설명한 시스템 및 기술을 구현할 수 있는데, 해당 컴퓨터는, 사용자에게 정보를 디스플레이 하는 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 액정표시장치(LCD) 모니터), 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드 및 포인팅 장치로 컴퓨터에 입력을 제공할 수 있다. 다른 종류의 장치로 사용자와의 상호 작용을 제공할 수 있는데, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고, 사용자로부터의 입력은 임의의 형태(음향 입력, 음성 입력, 또는 촉각 입력을 포함하는)로 수신될 수 있다.

본 명세서에서 설명한 시스템 및 기술은, 백그라운드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프론트-엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있는데, 사용자는 이러한 그래픽 사용자 인터페이스 또는 웹 브라우저를 통하여 본 명세서에서 설명한 시스템 및 기술의 실시 방식과 상호 작용을 구현할 수 있음), 또는 이러한 백그라운드 구성 요소, 미들웨어 구성 요소 또는 프론트-엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는, 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통하여 서로 연결될 수 있다. 통신 네트워크의 예시로는, 근거리 통신망(LAN), 광대역통신망(WAN), 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있고, 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 대응되는 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 생성된다.

본 출원의 실시예의 기술 방안에 따르면, 획득한 후보 블록의 위치가 더욱 정확하여, 텍스트 엔티티가 밀집된 시나리오에서 시맨틱 설명을 처리함에 있어서, 획득한 후보 블록의 정확도를 향상시켜야 하는 문제점을 해결하여, 텍스트 엔티티의 시맨틱 설명 처리 정확도를 향상시켰다.

전술된 다양한 형태의 과정을 통하여 각 단계를 재배열, 부가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계들은, 본 출원에 개시된 기술 방안이 기대하는 결과를 구현할 수 있는 한, 동시에 실행되거나 순차적으로 또는 다른 순서로 실행될 수 있고, 본 명세서에서 이를 한정하지 않는다.

본 출원의 보호 범위는 전술된 구체적인 실시 방식에 의해 한정되지 않는다. 설계 요구와 기타 요인에 따라 다양한 수정, 조합, 하위 조합, 및 대체가 이루어 질 수 있다는 것은 본 기술분야의 통상의 지식을 가진 자에게 자명한 것이다. 본 출원의 사상과 원리 내에서 이루어진 모든 수정, 등가물, 및 개선은 모두 본 출원의 보호 범위 내에 속한다.

Claims

텍스트 엔티티의 시맨틱 설명 처리 방법에 있어서,
메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 상기 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하는 단계;
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 단계;
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 단계; 및
서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리에 따라, 상기 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정하는 단계
를 포함하는 것을 특징으로 하는 텍스트 엔티티의 시맨틱 설명 처리 방법.
제1항에 있어서,
상기 각 타겟 텍스트에서 상기 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하는 단계는,
각 타겟 텍스트에 대하여 명칭 엔티티 식별을 수행하여, 후보 엔티티 집합을 획득하는 단계; 및
상기 타겟 텍스트에서 상기 메인 엔티티와의 거리가 미리 설정된 거리보다 작은 상기 후보 엔티티 집합 중 후보 엔티티를 획득하여, 상기 메인 엔티티를 설명하는 기타 관련 엔티티로 하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 단계는,
상기 타겟 텍스트 중 각 글자의 제1 벡터 표현을 획득하는 단계;
미리 훈련된 변환 모델에 따라 상기 제1 벡터 표현, 상기 메인 엔티티, 및 각 관련 엔티티를 가중 처리하여, 타겟 텍스트에서 상기 메인 엔티티 및 각 관련 엔티티와 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득하는 단계; 및
상기 제2 벡터 표현을 풀링 처리하여, 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 생성하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 단계는,
미리 훈련된 관계 추출 모델에 따라 타겟 텍스트, 상기 메인 엔티티, 및 각 관련 엔티티를 처리하여, 상기 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득하는 단계; 및
미리 훈련된 매핑 모델에 따라 상기 확률 분포를 매핑하여, 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 단계는,
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 대하여 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산하는 단계; 및
각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 단계
를 포함하는 것을 특징으로 하는 방법.
텍스트 엔티티의 시맨틱 설명 처리 장치에 있어서,
메인 엔티티를 포함하는 복수의 타겟 텍스트를 획득하여, 각 타겟 텍스트에서 상기 메인 엔티티를 설명하는 기타 관련 엔티티를 추출하는 추출 모듈;
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 획득 모듈;
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 생성 모듈; 및
서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리에 따라, 상기 메인 엔티티에 대한 서로 다른 타겟 텍스트의 설명의 시맨틱 유사도를 결정하는 결정 모듈
을 포함하는 것을 특징으로 하는 텍스트 엔티티의 시맨틱 설명 처리 장치.
제6항에 있어서,
상기 추출 모듈은 구체적으로,
각 타겟 텍스트에 대하여 명칭 엔티티 식별을 수행하여, 후보 엔티티 집합을 획득하고;
상기 타겟 텍스트에서 상기 메인 엔티티와의 거리가 미리 설정된 거리보다 작은 상기 후보 엔티티 집합 중 후보 엔티티를 획득하여, 상기 메인 엔티티를 설명하는 기타 관련 엔티티로 하는 것
을 특징으로 하는 장치.
제6항에 있어서,
상기 획득 모듈은 구체적으로,
상기 타겟 텍스트 중 각 글자의 제1 벡터 표현을 획득하고;
미리 훈련된 변환 모델에 따라 상기 제1 벡터 표현, 상기 메인 엔티티, 및 각 관련 엔티티를 가중 처리하여, 타겟 텍스트에서 상기 메인 엔티티 및 각 관련 엔티티와 연관된 텍스트 콘텐츠의 제2 벡터 표현을 획득하며;
상기 제2 벡터 표현을 풀링 처리하여, 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 생성하는 것
을 특징으로 하는 장치.
제6항에 있어서,
상기 획득 모듈은 구체적으로,
미리 훈련된 관계 추출 모델에 따라 타겟 텍스트, 상기 메인 엔티티, 및 각 관련 엔티티를 처리하여, 상기 메인 엔티티와 각 관련 엔티티 페어의 관계에 대한 확률 분포를 획득하고;
미리 훈련된 매핑 모델에 따라 상기 확률 분포를 매핑하여, 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터를 획득하는 것
을 특징으로 하는 장치.
제6항에 있어서,
상기 생성 모듈은 구체적으로,
각 타겟 텍스트 중 상기 메인 엔티티와 각 관련 엔티티 페어 사이의 서브 관계 벡터에 대하여 합을 구하여, 각 타겟 텍스트 중 메인 엔티티에 대응되는 메인 관계 벡터를 계산하고;
각 타겟 텍스트 중의 메인 엔티티에 대응되는 메인 관계 벡터에 따라, 서로 다른 타겟 텍스트 사이에서의 상기 메인 엔티티의 유사도 거리를 계산하는 것
을 특징으로 하는 장치.
전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리
를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제5항 중 어느 한 항의 텍스트 엔티티의 시맨틱 설명 처리 방법을 수행하도록 하는 것
을 특징으로 하는 전자 기기.
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제5항 중 어느 한 항의 텍스트 엔티티의 시맨틱 설명 처리 방법을 수행하도록 하는 것
을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제5항 중 어느 한 항의 텍스트 엔티티의 시맨틱 설명 처리 방법이 실행되는 것
을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.