KR20210152924A

KR20210152924A - 엔티티 연결 방법, 장치, 기기 및 저장 매체

Info

Publication number: KR20210152924A
Application number: KR1020200172512A
Authority: KR
Inventors: 쥐지에 리우; 치 왕; 쥐판 펑; 춘광 차이; 용 주
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-06-09
Filing date: 2020-12-10
Publication date: 2021-12-16
Also published as: EP3923178A1; US11727216B2; JP7317791B2; JP2021197138A; CN111428507A; US20210383069A1; CN111428507B; KR102448129B1

Abstract

본 출원은 엔티티를 연결하는 방법, 장치, 기기 및 저장 매체를 개시하는 바, 지식 그래프, 심층학습 기술 분야에 관한 것이다. 구체적인 구현 방안으로는, 대상 텍스트를 획득하고, 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하고, 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 후보 엔티티의 임베딩 벡터를 결정하고, 대상 텍스트 및 각 임베딩 벡터에 따라 대상 텍스트의 문맥 의미 정보를 결정하고, 적어도 하나의 엔티티 멘션의 유형 정보를 결정하며, 각 임베딩 벡터, 문맥 의미 정보 및 각 유형 정보에 따라 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정한다. 본 구현 방식은 외부 지식을 충분히 이용할 수 있음으로써, 엔티티 연결의 정확성을 향상시킨다.

Description

엔티티 연결 방법, 장치, 기기 및 저장 매체{METHOD, APPARATUS, DEVICE, AND STORAGE MEDIUM FOR LINKING ENTITY}

본 출원은 컴퓨터 기술분야에 관한 것으로, 구체적으로 지식 그래프, 심층학습 기술 분야에 관한 것이고, 특히 엔티티 연결(entity linking) 방법, 장치, 기기 및 저장 매체에 관한 것이다.

기계가 텍스트를 더 잘 이해하도록 하기 위하여, 기계로 텍스트 내의 엔티티를 인식함과 동시에 텍스트 내의 엔티티를 대응하는 지식 베이스 내의 엔티티에 1대1로 대응시키는 것이 필요하다. 지식 베이스 내에는 같은 이름의 엔티티들이 많이 존재하기에, 이들에 대한 엔티티 연결(Entity Linking) 작업이 필요하다. 엔티티 연결은 많은 자연어 처리 및 정보검색 작업에 대해 긍정적인 도움을 줄 수 있다.

종래의 엔티티 연결 방안은 외부 지식 정보를 충분히 효과적으로 이용할 수 없는 바, 이로 인해 엔티티 연결의 정확성이 비교적 낮다.

엔티티 연결 방법, 장치, 기기 및 저장 매체가 제공된다.

제1 측면에 따르면, 엔티티 연결 방법이 제공되는 바, 상기 방법은, 대상 텍스트를 획득하는 단계; 상기 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 상기 엔티티 멘션에 대응되는 후보 엔티티를 결정하는 단계; 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 후보 엔티티의 임베딩 벡터를 결정하는 단계; 상기 대상 텍스트 및 각 상기 임베딩 벡터에 따라 상기 대상 텍스트의 문맥 의미 정보를 결정하는 단계; 상기 적어도 하나의 엔티티 멘션의 유형 정보를 결정하는 단계; 및 각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계를 포함한다.

제2 측면에 따르면, 엔티티 연결 장치가 제공되는 바, 상기 장치는 대상 텍스트를 획득하도록 구성되는 대상 텍스트 획득 유닛; 상기 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 상기 엔티티 멘션에 대응되는 후보 엔티티를 결정하도록 구성되는 후보 엔티티 결정 유닛; 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 후보 엔티티의 임베딩 벡터를 결정하도록 구성되는 임베딩 벡터 결정 유닛; 상기 대상 텍스트 및 각 상기 임베딩 벡터에 따라 상기 대상 텍스트의 문맥 의미 정보를 결정하도록 구성되는 문맥 결정 유닛; 상기 적어도 하나의 엔티티 멘션의 유형 정보를 결정하도록 구성되는 유형 정보 결정 유닛; 및 각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하도록 구성되는 엔티티 연결 유닛;을 포함한다.

제3 측면에 따르면, 엔티티 연결을 위한 전자 기기가 제공되는 바, 상기 기기는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 여기서, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 적어도 하나의 프로세서에 의해 실행됨으로써 적어도 하나의 프로세서가 제1 측면에 따른 방법을 수행하도록 한다.

제4 측면에 따르면, 컴퓨터 명령어가 저장되어 있는 비일시적 컴퓨터 판독 가능한 저장 매체가 제공되는 바, 상기 컴퓨터 명령어는 컴퓨터가 제1 측면에 따른 방법을 수행하도록 한다.

본 출원의 기술에 따르면 외부 지식을 충분히 이용할 수 있고, 따라서 엔티티 연결의 정확성을 향상시킬 수 있다.

상기 설명된 내용은 본 개시의 실시예의 핵심 또는 중요 특징을 표식하고자 하는 것이 아니며 본 개시의 범위를 한정하고자 하는 것도 아님을 이해하여야 한다. 본 개시의 다른 특징들은 아래의 명세서를 통해 쉽게 이해될 수 있을 것이다.

첨부도면은 본 방안에 대한 이해를 도모하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원의 일 실시예가 적용 가능한 예시적인 시스템 아키텍처 도이다.
도 2는 본 출원에 따른 엔티티 연결 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 엔티티 연결 방법의 한 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 엔티티 연결 방법 중 후보 엔티티의 임베딩 벡터를 결정하는 일 실시예의 흐름도이다.
도 5는 본 출원에 따른 엔티티 연결 방법 중 문맥 의미 정보를 결정하는 일 실시예의 흐름도이다.
도 6은 도 5에 도시한 실시예에서 Attention 메커니즘을 이용하여 단어 벡터 시퀀스 및 각 후보 엔티티의 임베딩 벡터를 학습하는 개략도이다.
도 7은 본 출원에 따른 엔티티 연결 방법 중 엔티티 멘션의 유형 정보를 결정하는 일 실시예의 흐름도이다.
도 8은 본 출원에 따른 엔티티 연결 방법의 다른 일 실시예의 흐름도이다.
도 9는 본 출원에 따른 엔티티 연결 장치의 일 실시예의 개략적인 구조도이다.
도 10은 본 출원의 실시예의 엔티티 연결 방법을 구현하기 위한 전자 기기의 블록도이다.

아래, 첨부도면을 결부하여 본 출원의 시범적인 실시예를 설명하고자 하는데, 여기에는 이해를 도모하고자 본 출원의 실시예의 다양한 세부사항이 포함되어 있으며, 이는 단지 시범적인 것으로만 간주되어야 한다. 따라서, 당업자라면 본 출원의 범위와 사상을 위배하지 않는 범위 내에서, 여기서 설명하는 실시예에 대해 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 간단명료한 설명을 위해, 하기의 설명에서는 공지된 기능과 구조에 대한 설명을 생략하기로 한다.

부연하면, 상충되지 않는 상황하에, 본 출원의 실시예 및 실시예에서의 특징은 서로 조합될 수 있다. 아래, 첨부도면을 참조하고 실시예를 결부하여 본 출원을 상세히 설명하고자 한다.

도 1은 본 출원의 엔티티 연결 방법 또는 엔티티 연결 장치의 실시예를 응용 가능한 예시적인 시스템 아키텍처(100)를 도시한다.

도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103) 및 서버(105) 사이에서 통신 링크를 제공하는 매체이다. 네트워크(104)는 다양한 연결 유형, 예컨대 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.

사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메시지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 메시징 클라이언트 애플리케이션, 예컨대 검색 애플리케이션 등이 설치될 수 있다.

단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우, 다양한 전자 기기일 수 있는 바, 스마트폰, 태블릿 컴퓨터, 전자책 리더, 차량 탑재 컴퓨터, 랩톱 휴대형 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말 기기(101, 102, 103)가 소프트웨어인 경우, 이상 나열한 전자 기기에 설치될 수 있다. 이는 복수의 소프트웨어 또는 소프트웨어 모듈(예컨대 분산 서비스를 제공함)로 구현될 수도 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 이에 대해 특별히 제한하지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버, 예컨대 단말 기기(101, 102, 103)에서 송신되는 정보를 처리하는 백스테이지 서버일 수 있다. 백스테이지 서버는 단말에서 송신되는 텍스트 내의 엔티티를 인식하고 상술한 엔티티를 지식 베이스 내의 엔티티에 연관시킬 수 있다. 수행 주체는 또한 엔티티 연결 결과를 단말 기기(101, 102, 103)에 피드백할 수 있다.

부연하면, 서버(105)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버(105)가 하드웨어인 경우, 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 하나의 서버로 구현될 수도 있다. 서버(105)가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈(예컨대 분산 서비스를 제공함)로 구현될 수도 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 이에 대해 특별히 제한하지 않는다.

부연하면, 본 출원의 실시예에 의해 제공되는 엔티티 연결 방법은 일반적으로 서버(105)에 의해 수행된다. 따라서, 엔티티 연결 장치는 일반적으로 서버(105)에 설치된다.

도 1에서의 단말 기기, 네트워크 및 서버의 수는 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수의 단말 기기, 네트워크 및 서버가 구비될 수 있다.

계속하여 도 2를 참조하면, 본 출원에 따른 엔티티 연결 방법의 일 실시예의 흐름(200)이 도시되어 있다. 엔티티 연결은 일반적으로 엔티티 인식(개체 인식) 및 엔티티 디스엠비규에이션(개체 중의성 해결; entity disambiguation) 두 부분을 포함할 수 있는 바, 엔티티 인식은 텍스트 내의 엔티티를 인식하는 것을 가리키고, 엔티티 디스엠비규에이션은 인식된 엔티티를 지식 베이스 내의 기존의 엔티티에 연결시키는 것을 가리킨다. 엔티티 연결을 통해 텍스트의 의미를 정확하게 이해할 수 있다. 본 실시예의 엔티티 연결 방법은, 하기 단계들을 포함한다.

단계 201, 대상 텍스트를 획득한다.

본 실시예에서, 엔티티 연결 방법의 수행 주체(예컨대 도 1에 도시한 서버(105))는 유선 연결 또는 무선 연결 방식으로 대상 텍스트를 획득할 수 있다. 상술한 대상 텍스트는 사용자가 단말을 통해 입력한 텍스트일 수 있다. 대상 텍스트에는 하나의 검색 문구일 수 있고, 이에 적어도 하나의 엔티티 멘션이 포함될 수 있다. 예컨대, 대상 텍스트는 "올 여름에는 어디로 가서 놀면 좋을가"일 수 있다.

단계 202, 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 엔티티 멘션에 대응되는 후보 엔티티를 결정한다.

수행 주체는 대상 텍스트를 획득한 후, 대상 텍스트에 대한 다양한 처리를 진행함으로써 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션(엔티티 mention)를 결정할 수 있다. 예컨대, 수행 주체는 대상 텍스트를 단어 분리(Segmentation) 처리하고 획득한 명사를 엔티티 멘션으로 할 수 있다. 또는, 수행 주체는 대상 텍스트에 대하여 개체명 인식(Named Entity Recognition)을 수행하고 획득한 이름을 가진 개체(named entity)를 엔티티 멘션으로 할 수 있다. 여기서, 엔티티 멘션은 엔티티의 텍스트 표현 형식을 가리키는 바, 이름을 가진 개체, 일반 명사구, 대명사 등일 수 있다. 예컨대, 엔티티 "푸단대학"에 있어서, 그 엔티티 멘션은 "푸단대학", "푸단", "단대" 등을 포함할 수 있다.

수행 주체는 사전 설정된 적어도 하나의 지식 베이스를 연결할 수 있는 바, 상술한 지식 베이스는 텍스트의 어의적 정보를 풍부화하는 것을 포함할 수 있다. 상술한 지식 베이스는 영문 지식 베이스인 TAP, 위키피디아, Freebase, YAGO 및 중문 지식 베이스인 바이두 백과, 후둥 백과, 중문 위키피디아 등을 포함할 수 있다. 수행 주체는 상술한 지식 베이스에서 각 엔티티 멘션에 대응되는 후보 엔티티를 검색할 수 있다. 여기서, 후보 엔티티는 지식 베이스에 존재하는 것으로, 엔티티 멘션에 연관되는 엔티티이다. 후보 엔티티의 명칭은 엔티티 멘션의 명칭과 같을 수도 있고 엔티티 멘션의 별칭일 수도 있다. 예컨대, 엔티티 멘션 "여름"에 있어서, 이에 대응되는 후보 엔티티는 영화 『여름』(2008년에 개봉된 독일 멜로 영화), 노래 『여름』(중국 가수 리룽하오에 의해 만들어진 노래, 2010년 7월에 발매됨), 여름철(사계절 중의 두 번째 계절, 영어로는 summer)을 포함할 수 있다.

단계 203, 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 후보 엔티티의 임베딩 벡터를 결정한다.

본 실시예에서, 수행 주체는 각 후보 엔티티를 사전 트레이닝된 엔티티 임베딩 벡터 결정 모델에 입력하여 각 후보 엔티티의 임베딩 벡터(embedding)을 획득할 수 있다. 상술한 엔티티 임베딩 벡터 결정 모델은 후보 엔티티와 임베딩 벡터의 대응관계를 특징짓는다. 상술한 엔티티 임베딩 벡터 결정 모델은 종래의 복수의 언어 모델, 예컨대, Bert(Bidirectional Encoder Representation from Transformers, 변환기의 양방향 인코더 표현), Ernie(Ernie는 바이두의 심층학습 프레임워크 패들을 기반으로 구축된 것임) 등일 수 있다. 임베딩 벡터는 후보 엔티티의 벡터 표상으로서, 엔티티 멘션의 어의적 정보를 포함한다.

단계 204, 대상 텍스트 및 각 임베딩 벡터에 따라 대상 텍스트의 문맥 의미 정보를 결정한다.

수행 주체는 또한 대상 텍스트 및 각 후보 엔티티의 임베딩 벡터에 따라 대상 텍스트의 문맥 의미 정보를 결정할 수 있다. 구체적으로, 수행 주체는 Attention 메커니즘을 이용하여 후보 엔티티의 임베딩 벡터를 학습함으로써 대상 텍스트에서 엔티티 멘션 의미에 가장 관련되는 문맥 어휘 또는 엔티티 멘션 의미에 가장 관련되는 문맥 엔티티를 선택할 수 있다. 여기서 문맥 의미 정보는 이러한 문맥 어휘 또는 엔티티를 포함할 수도 있고 이러한 문맥 어휘 또는 엔티티의 벡터를 포함할 수도 있다. 예컨대, 수행 주체는 종래의 인코딩 알고리즘을 이용하여 문맥 어휘를 인코딩하여 문맥 어휘의 벡터를 획득할 수 있다.

단계 205, 적어도 하나의 엔티티 멘션의 유형 정보를 결정한다.

본 실시예에서, 수행 주체는 또한 각 엔티티 멘션의 유형 정보를 결정할 수 있다. 구체적으로, 수행 주체는 각 엔티티 멘션의 문맥 어휘에 따라 엔티티 멘션의 유형 정보를 결정할 수 있다. 상술한 유형 정보는 엔티티 멘션의 유형을 나타낸다. 대상 텍스트가 "장산은 베이징에서 태어났다"인 경우를 예로 들면 다음과 같다. 여기서, 엔티티 멘션 "베이징"의 유형은 그 뒤에 따른 어휘 "태어났다"에 따라 결정될 수 있는데, 여기서 그 유형은 "지점"이다.

단계 206, 각 임베딩 벡터, 문맥 의미 정보 및 각 유형 정보에 따라 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정한다.

수행 주체는 획득한 각각의 정보에 따라 각 엔티티 멘션의 엔티티 연결 결과를 결정할 수 있다. 구체적으로, 수행 주체는 각각의 정보를 사전 설정된 모델에 입력하여 각 엔티티 멘션의 벡터를 결정하고 상술한 벡터와 당해 엔티티 멘션의 후보 엔티티의 벡터의 유사도를 계산할 수 있다. 유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 한다.

도 3은 본 출원에 따른 엔티티 연결 방법의 일 응용 시나리오의 개략도를 도시한다. 도 3의 응용 시나리오에서, 사용자는 단말(301) 내의 검색 애플리케이션을 통해 문구 "유XX가 부른 노래 아이스Y"를 입력한다. 서버(302)는 상술한 입력 문구를 수신하여 엔티티 멘션 "유XX" 및 "아이스Y"를 획득한다. 서버(302)는 단계 202 내지 단계 206의 처리를 거친 후, 이러한 엔티티를 중의성 해결 처리를 통해 "중국 홍콩의 남성 연기자, 가수, 프로듀서, 작사가 유XX"를 정확한 엔티티로 결정한다.

본 출원의 상술한 실시예에 의해 제공되는 엔티티 연결 방법은, 엔티티 연결 과정에서 엔티티 멘션의 임베딩 벡터(즉, 상응한 후보 엔티티의 임베딩 벡터), 대상 텍스트의 문맥 정보 및 엔티티 멘션의 유형 정보를 충분히 이용함으로써 엔티티 연결의 정확성을 향상시킬 수 있다.

계속하여 도 4를 참조하면, 이는 본 출원에 따른 엔티티 연결 방법 중 후보 엔티티의 임베딩 벡터를 결정하는 일 실시예의 흐름(400)을 도시한다. 본 실시예에서, 엔티티 임베딩 벡터 결정 모델은 제1 벡터 결정 모델 및 제2 벡터 결정 모델을 포함하고, 제1 벡터 결정 모델은 엔티티의 설명 텍스트와 임베딩 벡터의 대응관계를 특징짓고, 제2 벡터 결정 모델은 엔티티 간의 관계 정보와 임베딩 벡터의 대응관계를 특징짓는다. 여기서, 설명 텍스트는 엔티티를 설명하는 것에 관련되는 텍스트일 수 있는 바, 예컨대 지식 베이스에서 엔티티에 대한 의미항 설명, 요약 등을 포함할 수 있다. 엔티티의 설명 텍스트는 엔티티의 의미 관련 단어를 포함할 수 있다. 예를 들면, 텍스트 "이백(李白)은 당나라 시인이다"에 있어서, "당나라 시인"은 엔티티 "이백"의 의미 관련 단어이다. 엔티티 간의 관계 정보는 지식 베이스 내의 엔티티 사이의 관계를 나타낸다. 예를 들면, 텍스트 "이백과 두보(杜甫)는 절친이다"의 경우, 엔티티 "이백"과 엔티티 "두보"의 관계는 "절친"이다.

제1 벡터 결정 모델을 통해 제1 임베딩 벡터를 획득할 수 있고, 제1 벡터 결정 모델은 엔티티와 그의 설명 텍스트 내 의미 관련 단어의 관계를 학습하고, 획득한 엔티티의 제1 임베딩 벡터와 의미 관련 단어의 벡터 사이의 거리가 더 가까워지게끔 할 수 있다. 이로써, 제1 임베딩 벡터가 엔티티의 의미 정보를 포함하게 되고 엔티티 연결의 정확률을 향상시킬 수 있다. 제2 벡터 결정 모델을 통해 엔티티와 엔티티 사이의 관계를 학습할 수 있다. 제2 벡터 결정 모델을 통해 획득한 제2 임베딩 벡터는 엔티티 간의 관계 정보를 포함한다.

상술한 제1 벡터 결정 모델과 제2 벡터 결정 모델은 대응되는 심층학습 태스크 데이터 트레이닝을 통해 획득될 수 있다. 이는 복수의 종래의 모델을 포함할 수 있고, 예컨대 언어 모델(LM), 장단기 기억 네트워크(LSTM) 등을 포함할 수 있다.

도 4에 도시한 바와 같이, 본 실시예의 엔티티 연결 방법은 하기 단계들을 통해 후보 엔티티의 임베딩 벡터를 결정할 수 있다.

단계 401, 각 후보 엔티티의 설명 텍스트를 획득한다.

수행 주체는 각 엔티티 멘션에 대응되는 각 후보 엔티티를 획득한 후, 각 후보 엔티티의 설명 텍스트를 결정할 수 있다. 구체적으로, 수행 주체는 지식 베이스 또는 기타 전자 기기로부터 후보 엔티티의 설명 텍스트를 획득할 수 있다.

단계 402, 각 설명 텍스트 및 제1 벡터 결정 모델에 따라 각 후보 엔티티의 제1 임베딩 벡터를 결정한다.

수행 주체는 각 후보 엔티티의 설명 텍스트를 제1 벡터 결정 모델에 입력함으로써 각 후보 엔티티의 제1 임베딩 벡터를 결정할 수 있다. 제1 벡터 결정 모델은 후보 엔티티의 설명 텍스트를 세그멘테이션하여 복수의 단어를 획득할 수 있다. 다음 상술한 복수의 단어 중의 불용어(Stop Words; 스탑 워즈)를 필터링해낸다. 상술한 불용어는 "이다", "인 것이다" 등을 포함할 수 있다. 나머지 어휘를 후보 엔티티의 의미 관련 단어로 한다. 예를 들면, 설명 텍스트가 "이백은 자객 중에서 가장 간단한 자객이다"인 경우, 여기서의 엔티티는 "이백"이다. 세그멘테이션 및 필터링을 거친 후, "자객", "간단" 및 "자객"을 엔티티 "이백"의 의미 관련 단어로 결정한다. 엔티티 "이백"에 대응되는 후보 엔티티는 후보 엔티티1(Entity1) "이백" - 그 설명 텍스트는 "이백, 당나라 시인, 자는 이태백..."임 - 및 후보 엔티티2(Entity2) "이백" - 그 설명 텍스트는 "이백: 왕자영요에서 자객형 영웅 캐릭터"임 - 을 포함한다. Entity1의 의미 관련 단어는 "당나라", "시인", "자(字)", "태백"을 포함한다. Entity2의 의미 관련 단어는 "왕자영요", "자객", "영웅", "캐릭터"를 포함한다. 제1 벡터 결정 모델을 거쳐 획득한 후보 엔티티 "이백"의 제1 임베딩 벡터는 "왕자영요", "자객", "영웅", "캐릭터"의 벡터에 더 근접하다.

단계 403, 각 후보 엔티티 간의 관계 정보를 결정한다.

수행 주체는 또한 설명 텍스트를 의미 분석함으로써 각 후보 엔티티 간의 관계 정보를 결정할 수 있다. 예컨대, 설명 텍스트가 "『왕자영요』 역풍국에서 한신이 플레이하기 어려운가요"인 경우, 이에 포함된 엔티티는 "왕자영요"와 "한신"이다. 상술한 설명 텍스트를 분석함으로써, "왕자영요"와 "한신"의 관계 정보는 "메인 캐릭터"임을 결정할 수 있고 "한신"과 "왕자영요"의 관계 정보는 "해당 게임"임을 결정할 수 있다.

단계 404, 각 후보 엔티티 간의 관계 정보 및 제2 벡터 결정 모델에 따라 각 엔티티 멘션의 제2 임베딩 벡터를 결정한다.

수행 주체는 각 후보 엔티티 간의 관계 정보를 획득한 후, 각 후보 엔티티 간의 관계 정보를 제2 벡터 결정 모델에 입력할 수 있고, 각 후보 엔티티의 제2 임베딩 벡터를 획득할 수 있다. 제2 벡터 결정 모델은 이러한 관계 정보를 학습함으로써, 획득한 제2 임베딩 벡터이 이러한 관계 정보들을 포함하도록 함으로써, 엔티티 연결 효과를 향상시킬 수 있다.

단계 405, 제1 임베딩 벡터 및 제2 임베딩 벡터에 따라 임베딩 벡터를 결정한다.

수행 주체는 제1 임베딩 벡터 및 제2 임베딩 벡터를 획득한 후, 양자를 병합하거나 또는 연결하거나 또는 기타의 처리를 통해 임베딩 벡터를 획득할 수 있다.

본 출원의 상술한 실시예에 의해 제공되는 엔티티 연결 방법은, 설명 텍스트 내의 후보 엔티티 간의 관계 정보를 충분히 학습할 수 있고, 또한 후보 엔티티의 의미 관련 단어를 학습함으로써, 외부 지식에 대한 충분한 이용을 구현하고 엔티티 연결의 정확률을 향상시킬 수 있다.

계속하여 도 5를 참조하면, 이는 본 출원에 따른 엔티티 연결 방법 중 문맥 의미 정보를 결정하는 일 실시예의 흐름(500)을 도시한다. 도 5에 도시한 바와 같이, 본 실시예의 엔티티 연결 방법은, 하기 단계들을 통해 문맥 의미 정보를 결정할 수 있다.

단계 501, 대상 텍스트의 단어 벡터 시퀀스를 결정한다.

수행 주체는 대상 텍스트를 단어 벡터 결정 모델에 입력하여 단어 벡터 시퀀스를 결정할 수 있다. 또는, 수행 주체는 우선 대상 텍스트를 단어 분리할 수 있다. 다음 각 분리된 단어를 단어 벡터 결정 모델에 입력하여 각 단어의 벡터를 획득한다. 각 단어의 벡터를 조합함으로써 단어 벡터 시퀀스를 획득한다. 상술한 단어 벡터 결정 모델은 char2vec일 수 있다.

단계 502, 단어 벡터 시퀀스 및 각 임베딩 벡터에 따라 문맥 의미 정보를 결정한다.

수행 주체는 어텐션(Attention) 메커니즘을 이용하여 단어 벡터 시퀀스 및 각 후보 엔티티의 임베딩 벡터를 학습하고 문맥 정보를 결정할 수 있다. 여기서 문맥 정보는 대상 텍스트를 나타내는 하나의 벡터일 수도 있고 대상 텍스트를 나타내는 하나의 어휘 등일 수 있다. Attention 메커니즘은 인간 주의력을 모방하여 제시된 문제를 해결하는 방법으로서, 간단히 말해 대량의 정보로부터 고가치 정보를 빠르게 선별한다.

도 6은 본 실시예에서 Attention 메커니즘을 이용하여 단어 벡터 시퀀스 및 각 후보 엔티티의 임베딩 벡터를 학습하는 개략도이다. 도 6에서, 좌측은 대상 텍스트의 단어 벡터 시퀀스이고, 여기서 각 열은 하나의 단어 벡터를 대표한다. 우측은 각 후보 엔티티의 임베딩 벡터이다. Attention 메커니즘은 파라미터 매트릭스A를 이용하여 양자(兩者)를 학습하여 하나의 벡터를 획득한다. 당해 벡터는 대상 텍스트 전체와 후보 엔티티의 관련성 정보를 포함하고, 당해 벡터에서의 각각의 값은 하나의 가중을 나타낸다. 당해 벡터를 대상 텍스트의 단어 벡터 시퀀스와 가중평균하여 최종의 문맥 의미 정보를 획득한다.

본 실시예의 일부 선택적인 구현 방식에서, 단계 501은 도 5에 도시하지 않은 하기 단계들을 통해 구현할 수 있다. 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 획득한 것에 응답하여, 엔티티 연결 결과에 대응되는 엔티티의 임베딩 벡터를 결정하고, 결정된 임베딩 벡터를 이용하여 단어 벡터 시퀀스를 업데이트한다.

본 구현 방식에서, 수행 주체는 각 엔티티 멘션의 엔티티 연결 결과를 획득할 수 있다. 대상 텍스트에는 복수의 엔티티 멘션이 존재할 수 있는 바, 후보 엔티티에 연결된 엔티티 멘션이 존재한다면, 수행 주체는 당해 후보 엔티티의 임베딩 벡터를 당해 엔티티 멘션의 단어 벡터로 할 수 있다. 이로써, 획득한 단어 벡터에 포함된 엔티티 멘션의 정보가 더 풍부하게 된다.

본 출원의 상술한 실시예에 의해 제공되는 엔티티 연결 방법은, 어텐션 메커니즘을 이용하여 대상 텍스트의 문맥 정보를 획득할 수 있으므로, 외부 지식의 이용률을 향상시키고, 엔티티 연결 결과 정확률의 향상에 유리하다.

계속하여 도 7을 참조하면, 이는 본 출원에 따른 엔티티 연결 방법 중 엔티티 멘션의 유형 정보를 결정하는 일 실시예의 흐름(700)을 도시한다. 도 7에 도시한 바와 같이, 본 실시예는 하기 단계들을 통해 엔티티 멘션의 유형 정보를 결정할 수 있다.

단계 701, 각 엔티티 멘션에 대하여, 대상 텍스트에서 당해 엔티티 멘션을 차폐한다.

본 실시예에서, 각 엔티티 멘션에 대하여, 수행 주체는 마스크를 사용하여 당해 엔티티 멘션을 차폐할 수 있다. 상술한 마스크는 [mask]일 수 있다. 예컨대, 대상 텍스트는 "장산은 베이징에서 태어났다"이다. 여기에는 엔티티 멘션 "장산"과 "베이징"이 포함된다. 수행 주체는 "장산"을 차폐하여 차폐된 대상 텍스트 "[mask]은 베이징에서 태어났다"를 획득할 수 있다. 또한 "베이징"을 차폐하여 차폐된 대상 텍스트 "장산은 [mask]에서 태어났다"를 획득할 수 있다.

단계 702, 차폐된 대상 텍스트 및 사전 트레이닝된 언어 모델에 따라 당해 엔티티 멘션의 유형 정보를 결정한다.

수행 주체는 차폐된 대상 텍스트를 사전 트레이닝된 언어 모델에 입력하여 당해 엔티티 멘션의 유형 정보를 획득할 수 있다. 사전 트레이닝된 언어 모델은 Bert(Bidirectional Encoder Representation from Transformers, 변환기의 양방향 인코더 표현), Ernie(Ernie는 바이두의 심층학습 프레임워크 패들을 기반으로 구축된 것임) 등일 수 있다. 수행 주체는 차폐된 대상 텍스트를 이용하여 사전 트레이닝된 언어 모델을 미세조절할 수 있다. 이로써, 사전 트레이닝된 언어 모델은 대상 텍스트의 문맥 정보를 강화학습할 수 있는 바, 즉, 차폐된 엔티티 멘션에 가장 근접한 어휘와 차폐된 엔티티 멘션의 관계를 학습할 수 있다. 상술한 언어 모델의 출력은 유형 정보를 나타내는 하나의 벡터이고, 수행 주체는 상술한 벡터를 분석하여 엔티티 멘션의 유형 정보를 결정할 수 있다.

본 출원의 상술한 실시예에 의해 제공되는 엔티티 연결 방법은, 엔티티 멘션의 유형 정보를 캡처할 수 있는 바, 이로써 엔티티 연결 유형이 틀리는 문제를 해결할 수 있다.

계속하여 도 8을 참조하면, 이는 본 출원에 따른 엔티티 연결 방법의 다른 일 실시예의 흐름(800)을 도시한다. 도 8에 도시한 바와 같이, 본 실시예의 엔티티 연결 방법은 하기 단계들을 포함할 수 있다.

단계 801, 대상 텍스트를 획득한다.

단계 802, 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 엔티티 멘션에 대응되는 후보 엔티티를 결정한다.

단계 803, 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 후보 엔티티의 임베딩 벡터를 결정한다.

단계 804, 대상 텍스트 및 각 임베딩 벡터에 따라 대상 텍스트의 문맥 의미 정보를 결정한다.

단계 805, 적어도 하나의 엔티티 멘션의 유형 정보를 결정한다.

수행 주체는 각 엔티티 멘션의 임베딩 벡터, 대상 텍스트의 문맥 의미 정보 및 각 엔티티 멘션의 유형 정보를 획득한 후, 단계 8061를 통해 엔티티 연결 결과를 획득할 수도 있고, 단계 8062, 단계 8072를 통해 엔티티 연결 결과를 획득할 수도 있고, 단계 8063, 단계 8073를 통해 엔티티 연결 결과를 획득할 수도 있다.

단계 8061, 각 임베딩 벡터, 문맥 의미 정보, 각 유형 정보 및 사전 설정된 랭킹 학습 모델에 따라 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하고, 결정된 후보 엔티티를 상술한 적어도 하나의 엔티티 멘션의 엔티티 연결 결과로 한다.

본 실시예에서, 수행 주체는 각 엔티티 멘션의 임베딩 벡터, 대상 텍스트의 문맥 의미 정보 및 각 엔티티 멘션의 유형 정보를 상술한 랭킹 학습(Learning to Rank, LTR) 모델에 입력하여 각 엔티티 멘션에 대응되는 각 후보 엔티티의 랭크를 획득할 수 있다. 수행 주체는 각 엔티티 멘션에 대응되는 랭크에서 첫 자리에 위치하는 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 할 수 있다.

상술한 LTR 모델은 Pairwise 알고리즘, Listwise 알고리즘 및 Pointwise 알고리즘을 포함할 수 있다. 여기서, Pairwise 알고리즘은 대상 텍스트와 2개의 후보 엔티티(하나의 참 및 하나의 거짓을 포함)를 입력하여야 하고, 삼자를 병합하여 표시한 후, 퍼셉트론 네트워크(perceptron network)를 거쳐 2개의 후보 엔티티에 스코어링(채점)하고, 랭킹 손실 함수를 사용한다. Listwise 알고리즘은 대상 텍스트와 모든 후보 엔티티를 입력하여야 하는데, 대상 텍스트를 모든 후보 엔티티와 병합하여 표시하고, 각 후보 엔티티를 스코어링하고, 랭킹 손실 함수를 사용한다. Pointwise 알고리즘은 랭킹 문제를 분류 문제로 전환하고, 대상 텍스트 및 하니의 후보 엔티티를 입력하여야 하는데, 이항 분류 예측 결과의 신뢰도를 후보 엔티티 스코어링으로 사용하고, 분류 손실 함수를 사용한다.

단계 8062, 각 엔티티 멘션에 대하여, 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터, 당해 엔티티 멘션의 유형 정보 및 당해 엔티티 멘션에 대응되는 각 후보 엔티티의 임베딩 벡터에 따라 각 엔티티 멘션과 각 후보 엔티티의 유사도를 결정한다.

단계 8072, 유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 결정한다.

본 실시예에서, 각 엔티티 멘션에 대하여, 수행 주체는 또한 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터, 당해 엔티티 멘션의 유형 정보를 연결하여 당해 엔티티 멘션의 하나의 벡터 표상을 획득할 수 있다. 다음, 당해 벡터 표상과 각 후보 엔티티의 벡터 사이의 거리를 계산한다. 여기서, 거리는 당해 엔티티 멘션과 각 후보 엔티티의 유사도를 나타낸다. 다음, 유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 한다.

단계 8063, 각 엔티티 멘션에 대하여, 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터에 따라 당해 엔티티 멘션의 엔티티 연결 결과를 결정한다.

단계 8073, 당해 엔티티 멘션의 유형 정보를 이용하여 엔티티 연결 결과를 검증한다.

본 실시예에서, 각 엔티티 멘션에 대하여, 수행 주체는 또한 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터에 따라 당해 엔티티 멘션의 엔티티 연결 결과를 결정할 수 있다. 다음, 엔티티 멘션의 유형 정보를 이용하여 엔티티 연결 결과를 검증하는 바, 엔티티 연결의 정확성을 나아가 더 향상시킬 수 있다.

본 출원의 상술한 실시예에 의해 제공되는 엔티티 연결 방법은, 엔티티 멘션의 임베딩 벡터, 대상 텍스트의 문맥 정보 및 엔티티 멘션의 유형 정보를 충분히 이용할 수 있음으로써, 엔티티 연결의 정확성을 향상시킬 수 있다.

나아가 도 9를 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 엔티티 연결 장치의 일 실시예를 제공하는 바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 당해 장치는 구체적으로 다양한 전자 기기에 응용 가능하다.

도 9에 도시한 바와 같이, 본 실시예의 엔티티 연결 장치(900)는 대상 텍스트 획득 유닛(901), 후보 엔티티 결정 유닛(902), 임베딩 벡터 결정 유닛(903), 문맥 결정 유닛(904), 유형 정보 결정 유닛(905) 및 엔티티 연결 유닛(906)을 포함한다.

대상 텍스트 획득 유닛(901)은 대상 텍스트를 획득하도록 구성된다.

후보 엔티티 결정 유닛(902)은 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하도록 구성된다.

임베딩 벡터 결정 유닛(903)은 각 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 엔티티 멘션의 임베딩 벡터를 결정하도록 구성된다.

문맥 결정 유닛(904)은 대상 텍스트 및 각 임베딩 벡터에 따라 대상 텍스트의 문맥 의미 정보를 결정하도록 구성된다.

유형 정보 결정 유닛(905)은 적어도 하나의 엔티티 멘션의 유형 정보를 결정하도록 구성된다.

엔티티 연결 유닛(906)은 각 임베딩 벡터, 문맥 의미 정보 및 각 유형 정보에 따라 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하도록 구성된다.

본 실시예의 일부 선택적인 구현 방식에서, 엔티티 임베딩 벡터 결정 모델은 제1 벡터 결정 모델 및 제2 벡터 결정 모델을 포함하고, 제1 벡터 결정 모델은 엔티티의 설명 텍스트와 임베딩 벡터의 대응관계를 특징짓고, 상기 제2 벡터 결정 모델은 엔티티 간의 관계 정보와 임베딩 벡터의 대응관계를 특징짓는다.

본 실시예의 일부 선택적인 구현 방식에서, 임베딩 벡터 결정 유닛(903)은 나아가 도 9에 도시하지 않은 제1 벡터 결정 모듈, 제2 벡터 결정 모듈 및 임베딩 벡터 결정 모듈을 더 포함할 수 있다.

제1 벡터 결정 모듈은 각 후보 엔티티의 설명 텍스트를 획득하고, 각 설명 텍스트 및 상기 제1 벡터 결정 모델에 따라 각 후보 엔티티의 제1 임베딩 벡터를 결정하도록 구성된다.

제2 벡터 결정 모듈은 각 상기 후보 엔티티 간의 관계 정보를 결정하고, 각 상기 후보 엔티티 간의 관계 정보 및 상기 제2 벡터 결정 모델에 따라 각 상기 엔티티 멘션의 제2 임베딩 벡터를 결정하도록 구성된다.

임베딩 벡터 결정 모듈은 제1 임베딩 벡터 및 제2 임베딩 벡터에 따라 임베딩 벡터를 결정하도록 구성된다.

본 실시예의 일부 선택적인 구현 방식에서, 문맥 결정 유닛(904)은 나아가 도 9에 도시하지 않은 단어 벡터 시퀀스 결정 모듈 및 문맥 결정 모듈을 더 포함할 수 있다.

단어 벡터 시퀀스 결정 모듈은 대상 텍스트의 단어 벡터 시퀀스를 결정하도록 구성된다.

문맥 결정 모듈은 단어 벡터 시퀀스 및 각 임베딩 벡터에 따라 문맥 의미 정보를 결정하도록 구성된다.

본 실시예의 일부 선택적인 구현 방식에서, 단어 벡터 시퀀스 결정 모듈은 나아가, 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 획득한 것에 응답하여, 엔티티 연결 결과에 대응되는 후보 엔티티의 임베딩 벡터를 결정하고, 결정된 임베딩 벡터를 이용하여 단어 벡터 시퀀스를 업데이트하도록 구성된다.

본 실시예의 일부 선택적인 구현 방식에서, 유형 정보 결정 유닛(905)은 나아가, 각 엔티티 멘션에 대하여, 대상 텍스트에서 당해 엔티티 멘션을 차폐하고, 차폐된 대상 텍스트 및 사전 트레이닝된 언어 모델에 따라 당해 엔티티 멘션의 유형 정보를 결정하도록 구성될 수 있다.

본 실시예의 일부 선택적인 구현 방식에서, 엔티티 연결 유닛(906)은 나아가, 각 임베딩 벡터, 문맥 의미 정보, 각 유형 정보 및 사전 설정된 랭킹 학습 모델에 따라 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하고, 결정된 후보 엔티티를 상술한 적어도 하나의 엔티티 멘션의 엔티티 연결 결과로 하도록 구성될 수 있다.

본 실시예의 일부 선택적인 구현 방식에서, 엔티티 연결 유닛(906)은 나아가, 각 엔티티 멘션에 대하여, 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터, 당해 엔티티 멘션의 유형 정보 및 당해 엔티티 멘션에 대응되는 각 후보 엔티티의 벡터에 따라 각 엔티티 멘션과 각 후보 엔티티의 유사도를 결정하고, 유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 결정하도록 구성될 수 있다.

본 실시예의 일부 선택적인 구현 방식에서, 엔티티 연결 유닛(906)은 나아가, 각 엔티티 멘션에 대하여, 문맥 의미 정보, 당해 엔티티 멘션의 임베딩 벡터에 따라 당해 엔티티 멘션의 엔티티 연결 결과를 결정하고, 당해 엔티티 멘션의 유형 정보를 이용하여 엔티티 연결 결과를 검증하도록 구성될 수 있다.

엔티티 연결 장치(900)에 대해 기재한 유닛(901) 내지 유닛(905)은 각각 도 2를 참조하여 설명한 방법에서의 각 단계에 대응된다는 것을 이해하여야 한다. 따라서, 상술한 엔티티 연결 방법에 대하여 설명한 조작과 특징은 마찬가지로 장치(900) 및 그에 포함되는 유닛에 적용 가능하므로, 이에 대한 설명은 생략하기로 한다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 비일시적 컴퓨터 판독 가능한 저장 매체를 더 제공한다.

도 10에 도시한 바와 같이, 본 출원의 실시예의 엔티티 연결 방법을 수행하는 전자 기기의 블록도이다. 전자 기기는 다양한 형식의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 기타의 적합한 컴퓨터를 나타내고자 하는 것이다. 전자 기기는 또한 다양한 형식의 이동 장치, 예컨대, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 기타의 유사한 컴퓨팅 장치를 나타낼 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 설명한 및/또는 요구하는 본 출원의 구현을 한정하고자 하는 것은 아니다.

도 10에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(1001), 메모리(1002) 및 각 부품을 연결하는 인터페이스를 포함하는 바, 고속 인터페이스와 저속 인터페이스가 포함된다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공용 메인보드에 설치되거나 또는 필요에 따라 기타의 방식으로 설치될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령어를 처리할 수 있는 바, 메모리 내 또는 메모리에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링되는 디스플레이 기기)에 GUI의 그래픽 정보를 표시하는 명령어가 포함된다. 기타의 실시예에서, 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있는 바, 각 전자 기기는 일부 필요한 조작을 제공한다(예컨대, 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서). 도 10은 하나의 프로세서(1001)를 예로 든다.

메모리(1002)는 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능한 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있음으로써, 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 엔티티 연결 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능한 저장 매체는 컴퓨터 명령어를 저장하고, 당해 컴퓨터 명령어는 컴퓨터가 본 출원에 의해 제공되는 엔티티 연결 방법을 수행하도록 한다.

메모리(1002)는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예를 들어 본 출원의 실시예의 엔티티 연결 방법에 대응되는 프로그램 명령어/모듈(예컨대, 도 9에 도시한 대상 텍스트 획득 유닛(901), 후보 엔티티 결정 유닛(902), 임베딩 벡터 결정 유닛(903), 문맥 결정 유닛(904), 유형 정보 결정 유닛(905) 및 엔티티 연결 유닛(906))을 저장할 수 있다. 프로세서(1001)는 메모리(1002)에 저장된 비일시적 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 수행하는 바, 즉 상술한 방법 실시예의 엔티티 연결 방법을 구현한다.

메모리(1002)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 엔티티 연결을 수행하는 전자 기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(1002)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리, 예컨대 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 기타의 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시예에서, 메모리(1002)는 선택적으로 프로세서(1001)에 대해 원격으로 설치되는 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 엔티티 연결을 수행하는 전자 기기에 연결될 수 있다. 상술한 네트워크의 실시예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.

엔티티 연결 방법을 수행하는 전자 기기는 입력 장치(1003)와 출력 장치(1004)를 더 포함할 수 있다. 프로세서(1001), 메모리(1002), 입력 장치(1003) 및 출력 장치(1004)는 기타의 방식으로 연결될 수 있는 바, 도 10에서는 버스를 통한 연결을 예로 든다.

입력 장치(1003)는 입력되는 숫자 또는 문자(character) 정보를 수신하고 엔티티 연결을 수행하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는 바, 예컨대 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종 스틱 등 입력 장치가 있다. 출력 장치(1004)는 디스플레이 기기, 보조 조명장치(예컨대, LED) 및 촉각 피드백 장치(예컨대, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나, 이에 한정되지 않는다. 일부 실시예에서 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템과 기술의 다양한 실시예는 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시예는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행되거나 및/또는 분석될 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 당해 프로그램 가능 프로세서는 전용 또는 범용의 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령어를 수신하고, 데이터와 명령어를 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램 가능 프로세서의 기계 명령어를 포함하며, 고급 절차 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여, 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독 가능한 매체'와 '컴퓨터 판독 가능한 매체'는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키는 바, 기계 판독 가능한 신호로서의 기계 명령어를 수신하는 기계 판독 가능한 매체를 포함한다. 용어 '기계 판독 가능한 신호'는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.

사용자와의 인터랙션을 제공하기 위해, 여기서 설명하는 시스템과 기술을 컴퓨터에서 실시할 수 있는 바, 당해 컴퓨터는 사용자한테 정보를 디스플레이하기 위한 디스플레이 장치(예컨대, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터) 및 키보드와 포인팅 장치(예컨대, 마우스 또는 트랙볼)를 포함하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 종류의 장치도 사용자와의 인터랙션을 제공하는 데 사용될 수 있는 바; 예를 들어, 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형태(소리 입력, 음성 입력 또는 촉각 입력을 포함함)로 사용자로부터의 입력이 수신될 수 있다.

여기서 설명하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예컨대, 데이터 서버로서), 미들웨어를 포함하는 컴퓨팅 시스템(예컨대, 애플리케이션 서버), 프런트 엔드 부품을 포함하는 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터일 수 있는 바, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통하여, 여기서 설명하는 시스템 및 기술의 실시예와 인터랙션할 수 있음) 또는 이러한 백스테이지 부품, 미들웨어 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 구현할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로는 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트 - 서버 관계를 이루는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계가 발생된다.

본 출원의 실시예에 따른 기술 방안은, 외부 지식을 충분히 이용할 수 있음으로써, 엔티티 연결의 정확성을 향상시킨다.

위에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재배치, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예컨대, 본 출원에서 개시하는 기술 방안에 대한 기대 효과를 구현할 수만 있다면, 본 출원에 기재된 각 단계는 병행으로 실행될 수도 있고, 순차로 실행될 수도 있고, 서로 다른 순서로 실행될 수도 있으며, 본 명세서는 이에 대해 한정하지 않는다.

상술한 구체적인 실시예는 본 출원의 보호 범위를 한정하지 않는다. 설계 요구와 기타 요소에 따른 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 점은 당업자에 있어서 자명할 것이다. 본 출원의 사상과 원칙 이내에 있는 임의의 수정, 등가 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims

엔티티 연결 방법으로서,
대상 텍스트를 획득하는 단계;
상기 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 상기 엔티티 멘션 각각에 대응되는 후보 엔티티를 결정하는 단계;
각 상기 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 상기 후보 엔티티의 임베딩 벡터를 결정하는 단계;
상기 대상 텍스트 및 각 상기 임베딩 벡터에 따라 상기 대상 텍스트의 문맥 의미 정보를 결정하는 단계;
상기 적어도 하나의 엔티티 멘션의 유형 정보를 결정하는 단계; 및
각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
상기 엔티티 임베딩 벡터 결정 모델은 제1 벡터 결정 모델 및 제2 벡터 결정 모델을 포함하고, 상기 제1 벡터 결정 모델은 엔티티의 설명 텍스트와 임베딩 벡터 사이의 대응관계를 특징짓고, 상기 제2 벡터 결정 모델은 엔티티 간의 관계 정보와 임베딩 벡터의 대응관계를 특징짓는 것을 특징으로 하는 엔티티 연결 방법.
제2항에 있어서,
상기 각 상기 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 상기 후보 엔티티의 임베딩 벡터를 결정하는 단계는,
각 상기 후보 엔티티의 설명 텍스트를 획득하는 단계;
각 상기 설명 텍스트 및 상기 제1 벡터 결정 모델에 따라 각 상기 후보 엔티티의 제1 임베딩 벡터를 결정하는 단계;
각 상기 후보 엔티티 간의 관계 정보를 결정하는 단계;
각 상기 후보 엔티티 간의 관계 정보 및 상기 제2 벡터 결정 모델에 따라 각 상기 후보 엔티티의 제2 임베딩 벡터를 결정하는 단계; 및
상기 제1 임베딩 벡터 및 상기 제2 임베딩 벡터에 따라 각 상기 후보 엔티티의 임베딩 벡터를 결정하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
상기 대상 텍스트 및 각 상기 임베딩 벡터에 따라 상기 대상 텍스트의 문맥 의미 정보를 결정하는 단계는,
상기 대상 텍스트의 단어 벡터 시퀀스를 결정하는 단계; 및
상기 단어 벡터 시퀀스 및 각 상기 임베딩 벡터에 따라 상기 문맥 의미 정보를 결정하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제4항에 있어서,
상기 대상 텍스트의 단어 벡터 시퀀스를 결정하는 단계는,
상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 획득한 것에 응답하여, 상기 엔티티 연결 결과에 대응되는 후보 엔티티의 임베딩 벡터를 결정하는 단계; 및
결정된 임베딩 벡터를 이용하여 상기 단어 벡터 시퀀스를 업데이트하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
상기 적어도 하나의 엔티티 멘션의 유형 정보를 결정하는 단계는,
각 엔티티 멘션에 대하여, 상기 대상 텍스트에서 당해 엔티티 멘션을 차폐하는 단계; 및
차폐된 대상 텍스트 및 사전 트레이닝된 언어 모델에 따라 당해 엔티티 멘션의 유형 정보를 결정하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
상기 각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계는,
각 상기 임베딩 벡터, 상기 문맥 의미 정보, 각 상기 유형 정보 및 사전 설정된 랭킹 학습 모델에 따라 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하고 결정된 후보 엔티티를 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과로 하는 단계를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계는,
각 엔티티 멘션에 대하여, 상기 문맥 의미 정보, 상기 임베딩 벡터, 당해 엔티티 멘션의 유형 정보 및 당해 엔티티 멘션에 대응되는 각 후보 엔티티의 임베딩 벡터에 따라 각 엔티티 멘션과 각 후보 엔티티의 유사도를 결정하는 단계; 및
유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 결정하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
제1항에 있어서,
상기 각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계는,
각 엔티티 멘션에 대하여, 상기 문맥 의미 정보, 상기 임베딩 벡터에 따라 당해 엔티티 멘션의 엔티티 연결 결과를 결정하는 단계; 및
당해 엔티티 멘션의 유형 정보를 이용하여 상기 엔티티 연결 결과를 검증하는 단계
를 포함하는 것을 특징으로 하는 엔티티 연결 방법.
엔티티 연결 장치로서,
대상 텍스트를 획득하도록 구성되는 대상 텍스트 획득 유닛;
상기 대상 텍스트에 포함된 적어도 하나의 엔티티 멘션 및 상기 엔티티 멘션 각각에 대응되는 후보 엔티티를 결정하도록 구성되는 후보 엔티티 결정 유닛;
각 상기 후보 엔티티 및 사전 설정된 엔티티 임베딩 벡터 결정 모델에 따라 각 상기 후보 엔티티의 임베딩 벡터를 결정하도록 구성되는 임베딩 벡터 결정 유닛;
상기 대상 텍스트 및 각 상기 임베딩 벡터에 따라 상기 대상 텍스트의 문맥 의미 정보를 결정하도록 구성되는 문맥 결정 유닛;
상기 적어도 하나의 엔티티 멘션의 유형 정보를 결정하도록 구성되는 유형 정보 결정 유닛;
각 상기 임베딩 벡터, 상기 문맥 의미 정보 및 각 상기 유형 정보에 따라 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 결정하도록 구성되는 엔티티 연결 유닛;을 포함하는 것을 특징으로 하는 엔티티 연결 장치.
제10항에 있어서,
상기 엔티티 임베딩 벡터 결정 모델은 제1 벡터 결정 모델 및 제2 벡터 결정 모델을 포함하고, 상기 제1 벡터 결정 모델은 엔티티의 설명 텍스트와 임베딩 벡터 사이의 대응관계를 특징짓고, 상기 제2 벡터 결정 모델은 엔티티 간의 관계 정보와 임베딩 벡터의 대응관계를 특징짓는 것을 특징으로 하는 엔티티 연결 장치.
제11항에 있어서,
상기 임베딩 벡터 결정 유닛은 제1 벡터 결정 모듈, 제2 벡터 결정 모듈 및 임베딩 벡터 결정 모듈을 포함하되,
상기 제1 벡터 결정 모듈은 각 상기 후보 엔티티의 설명 텍스트를 획득하고, 각 상기 설명 텍스트 및 상기 제1 벡터 결정 모델에 따라 각 상기 후보 엔티티의 제1 임베딩 벡터를 결정하도록 구성되고,
상기 제2 벡터 결정 모듈은 각 상기 후보 엔티티 간의 관계 정보를 결정하고, 각 상기 후보 엔티티 간의 관계 정보 및 상기 제2 벡터 결정 모델에 따라 각 상기 후보 엔티티의 제2 임베딩 벡터를 결정하도록 구성되고,
상기 임베딩 벡터 결정 모듈은 상기 제1 임베딩 벡터 및 상기 제2 임베딩 벡터에 따라 각 상기 후보 엔티티의 임베딩 벡터를 결정하도록 구성되는 것을 특징으로 하는 엔티티 연결 장치.
제10항에 있어서,
상기 문맥 결정 유닛은,
상기 대상 텍스트의 단어 벡터 시퀀스를 결정하도록 구성되는 단어 벡터 시퀀스 결정 모듈; 및
상기 단어 벡터 시퀀스 및 각 상기 임베딩 벡터에 따라 상기 문맥 의미 정보를 결정하도록 구성되는 문맥 결정 모듈
을 포함하는 것을 특징으로 하는 엔티티 연결 장치.
제13항에 있어서,
상기 단어 벡터 시퀀스 결정 모듈은,
상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과를 획득한 것에 응답하여, 상기 엔티티 연결 결과에 대응되는 후보 엔티티의 임베딩 벡터를 결정하고,
결정된 임베딩 벡터를 이용하여 상기 단어 벡터 시퀀스를 업데이트하도록
더 구성되는 것을 특징으로 하는 엔티티 연결 장치.
제10항에 있어서,
상기 유형 정보 결정 유닛은,
각 엔티티 멘션에 대하여, 상기 대상 텍스트에서 당해 엔티티 멘션을 차폐하고,
차폐된 대상 텍스트 및 사전 트레이닝된 언어 모델에 따라 당해 엔티티 멘션의 유형 정보를 결정하도록
더 구성되는 것을 특징으로 하는 엔티티 연결 장치.
제10항에 있어서,
상기 엔티티 연결 유닛은,
각 상기 임베딩 벡터, 상기 문맥 의미 정보, 각 상기 유형 정보 및 사전 설정된 랭킹 학습 모델에 따라 각 엔티티 멘션에 대응되는 후보 엔티티를 결정하고 결정된 후보 엔티티를 상기 적어도 하나의 엔티티 멘션의 엔티티 연결 결과로 하도록 더 구성되는 것을 특징으로 하는 엔티티 연결 장치.
제10항에 있어서,
상기 엔티티 연결 유닛은,
각 엔티티 멘션에 대하여, 상기 문맥 의미 정보, 상기 임베딩 벡터, 당해 엔티티 멘션의 유형 정보 및 당해 엔티티 멘션에 대응되는 각 후보 엔티티의 임베딩 벡터에 따라 각 엔티티 멘션과 각 후보 엔티티의 유사도를 결정하고,
유사도가 가장 높은 후보 엔티티를 당해 엔티티 멘션의 엔티티 연결 결과로 결정하도록
더 구성되는 것을 특징으로 하는 엔티티 연결 장치.
제17항에 있어서,
상기 엔티티 연결 유닛은,
각 엔티티 멘션에 대하여, 상기 문맥 의미 정보, 상기 임베딩 벡터에 따라 당해 엔티티 멘션의 엔티티 연결 결과를 결정하고,
당해 엔티티 멘션의 유형 정보를 이용하여 상기 엔티티 연결 결과를 검증하도록
더 구성되는 것을 특징으로 하는 엔티티 연결 장치.
엔티티 연결을 위한 전자 기기로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리
를 포함하되, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되어 있고, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 것을 특징으로 하는 엔티티 연결을 위한 전자 기기.
컴퓨터 명령어가 저장되어 있는 비일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 명령어는 컴퓨터가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능한 저장 매체.