WO2021095987A1 - 다중타입 엔티티에 기반한 지식 보완 방법 및 장치 - Google Patents

다중타입 엔티티에 기반한 지식 보완 방법 및 장치 Download PDF

Info

Publication number
WO2021095987A1
WO2021095987A1 PCT/KR2019/018701 KR2019018701W WO2021095987A1 WO 2021095987 A1 WO2021095987 A1 WO 2021095987A1 KR 2019018701 W KR2019018701 W KR 2019018701W WO 2021095987 A1 WO2021095987 A1 WO 2021095987A1
Authority
WO
WIPO (PCT)
Prior art keywords
entity
vector
information
relationship
entities
Prior art date
Application number
PCT/KR2019/018701
Other languages
English (en)
French (fr)
Inventor
박영택
자그바랄바트셀렘
이완곤
노재승
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Publication of WO2021095987A1 publication Critical patent/WO2021095987A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a method and apparatus for supplementing knowledge on a knowledge graph by reflecting characteristics of entities having multiple types.
  • the present invention is to provide a knowledge supplement method and apparatus capable of efficiently processing a large-capacity knowledge graph with better performance than existing knowledge supplementation techniques while reflecting the characteristics of entities having various types.
  • a plurality of entities included in the individual paths Extracting entity information, which is information about and relationship information, which is information about two relationships among the plurality of entities; Generating a path vector corresponding to each of the plurality of paths based on the entity information, the relationship information, type information, which is information about at least one entity type corresponding to each of the plurality of entities, and a predetermined embedding size.
  • the step of generating a path vector corresponding to each of the plurality of paths includes applying a predetermined deep learning technique to each of the plurality of entities included in the entity information, and at least one path vector included in the type information.
  • a vector of a single row is generated by summing the values of all rows based on each column constituting the first entity vector, and then the vector of the single row for each of the plurality of entities is combined to generate a second entity vector.
  • the step of doing Generating a relationship vector having a row corresponding to the relationship included in the relationship information and a column corresponding to the embedding size; And generating the path vector by combining the second entity vector and the relationship vector.
  • the step of generating the path vector by combining the second entity vector and the relational vector comprises a row of the second entity vector and the relational vector according to an order of entities and relations constituting an individual path. Can be created in combination.
  • the type information may be stored in a database that stores information on at least one entity type corresponding to each of the plurality of entities.
  • the step of calculating the encoded path vector and determining whether the predetermined target relationship is valid based on the attention model, different from the encoded path vector corresponding to each of the plurality of paths. It further includes assigning a weight, and the relationship model may be learned by further using the different weights.
  • a knowledge supplement device based on a multi-type entity for achieving the above object includes a plurality of paths included in an individual path for each of a plurality of paths connecting two entities included in the knowledge graph.
  • a data extracting unit for extracting entity information, which is information about an entity of, and relationship information, which is information about two relationships among the plurality of entities;
  • a path for generating a path vector corresponding to each of the plurality of paths based on the entity information, the relationship information, type information, which is information about at least one entity type corresponding to each of the plurality of entities, and a predetermined embedding size Generation unit;
  • a learning unit for calculating a path vector encoded from the path vector using a convolutional neural network (CNN) and a Bidirectional Long A Short-Term Memory (Bi-LSTM); And a determination unit determining whether a predetermined target relationship between the two entities is valid, using a relationship model learned to predict the relationship between the two entities using the plurality of paths and the plurality of encode
  • the path generation unit applies a predetermined deep learning technique to each of the plurality of entities included in the entity information, and determines a row corresponding to at least one entity type included in the type information and the embedding size. After learning a first entity vector having a corresponding column, summing the values of all rows based on each column constituting the first entity vector, a vector of a single row is generated, and then the vector for each of the plurality of entities is A second entity vector is generated by combining vectors of a single row, a relationship vector having a row corresponding to the relationship included in the relationship information and a column corresponding to the embedding size is generated, and the second entity vector and the relationship By combining vectors, the path vector can be generated.
  • the path generation unit when the path generation unit combines the second entity vector and the relationship vector to generate the path vector, the second entity vector and the relationship are in accordance with an order of entities and relationships constituting an individual path. It can be created by combining rows of vectors.
  • the type information may be stored in a database that stores information on at least one entity type corresponding to each of the plurality of entities.
  • the relationship model can be further trained by using the different weights. have.
  • the method and apparatus for supplementing knowledge based on a multi-type entity according to the present invention has an effect of compensating for an incomplete knowledge graph by modeling a multi-type entity, which is a part that the existing method cannot process through an artificial neural network.
  • the method and apparatus for supplementing knowledge based on a multi-type entity according to the present invention exhibits superior performance than the existing technology even for a multi-type entity, and has an effect of enabling efficient processing for a large-scale knowledge graph.
  • the method and apparatus for supplementing knowledge based on a multi-type entity facilitates extraction of meaningful information such as customized services specialized for individual users, and thus various service fields of artificial intelligence (Q&A system, recommendation system, interactive agent system) Etc.).
  • Q&A system recommendation system
  • interactive agent system interactive agent system
  • FIG. 1 is a flowchart illustrating a method of supplementing knowledge based on a multi-type entity according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of supplementing knowledge based on a multi-type entity according to another embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a path vector generation method according to another embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an apparatus for supplementing knowledge based on a multi-type entity according to an embodiment of the present invention.
  • 5 is a diagram showing a knowledge graph.
  • FIG. 6 is a diagram illustrating a process of generating an encoded path vector using CNN and Bi-LSTM according to an embodiment of the present invention.
  • FIG. 7 is a diagram for describing various types of entities according to an embodiment of the present invention.
  • FIGS. 8 to 10 are diagrams for explaining a method of generating a path vector according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an attention model according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
  • the term and/or includes a combination of a plurality of related items or any of a plurality of related items.
  • FIG. 1 is a flowchart illustrating a method of supplementing knowledge based on a multi-type entity according to an embodiment of the present invention.
  • step S110 for each of a plurality of paths connecting two entities included in the knowledge graph by the knowledge supplement apparatus, entity information, which is information about a plurality of entities included in the individual paths. And relation information, which is information about two relations among the plurality of entities, is extracted.
  • the knowledge supplement apparatus may extract paths for the two entities from the knowledge graph using a path ranking algorithm (PRA).
  • PRA path ranking algorithm
  • a random walk on graph algorithm can be used, and the random walk on graph algorithm is a simple but efficient algorithm that starts from a source entity and moves through another entity in the middle to reach a target entity.
  • the knowledge supplement apparatus may extract entity information, which is information about an entity corresponding to a node included in the path, and relationship information, which is information about a relationship between two entities included in the path. .
  • the entity information includes Trump, WhiteHouse, Washington, USA corresponding to each node, and the relationship information corresponds to the link connecting the node. Includes workedIn, locatedIn, and cityOf.
  • the knowledge supplement apparatus corresponds to each of the plurality of paths based on entity information, relationship information, type information, which is information about at least one entity type corresponding to each of the plurality of entities, and a predetermined embedding size. Create a path vector.
  • the type information corresponding to the entity of Trump includes entity types of Person, President, CEO, and Male
  • the type information of WhiteHouse includes entity types of Workplace and Building, and type information of Washington. Includes the entity type of State and Capital
  • the type information of USA includes the entity type of Country.
  • the knowledge supplement device checks the relationship between types from semantic information of schema data along with information on the type of each entity in the knowledge graph, and uses this as information on the entity to extend the graph, and additionally required You can expand the graph to the next level, so that detailed information about each entity is included.
  • the knowledge supplement apparatus may expand information on the corresponding entity with respect to two entities in a target relationship.
  • the embedding size may be a size corresponding to the number of columns embedded in each vector when the knowledge supplement apparatus generates an entity vector from entity information and type information or a relationship vector from relationship information.
  • the type information may be stored in a database that stores information on at least one entity type corresponding to each of the plurality of entities.
  • the knowledge supplementation apparatus may include a database inside or be connected to the database through a wired or wireless network to obtain type information, which is information about at least one entity type corresponding to each of the plurality of entities. .
  • step S130 the knowledge supplement device calculates an encoded path vector from the path vector using a Convolutional Neural Network (CNN) and a Bidirectional Long A Short-Term Memory (Bi-LSTM).
  • CNN Convolutional Neural Network
  • Bi-LSTM Bidirectional Long A Short-Term Memory
  • the knowledge supplement apparatus may extract characteristic information of an individual path included in the path vector using the CNN.
  • the knowledge supplementation apparatus may input the extracted characteristic information into Bi-LSTM to generate an encoded path vector including all context information related to the paths input before and after each individual path.
  • step S140 the knowledge supplement apparatus uses the learned relationship model to predict the relationship between the two entities using the plurality of paths and the plurality of encoded path vectors, and a predetermined target relationship between the two entities. Determine if is valid.
  • the knowledge supplement apparatus may learn a relationship model using a plurality of paths for the two entities and a plurality of encoded path vectors corresponding to the plurality of paths.
  • the relationship model may determine whether a specific relationship between the two entities is valid or not as 0 (false) or 1 (true).
  • the knowledge supplement apparatus may determine whether the target relationship is valid using the learned relationship model as 0 (invalid) or 1 (valid).
  • the knowledge supplement apparatus may determine whether a target relationship called nationality between two entities, Trump and USA, is valid using the learned relationship model.
  • the knowledge supplement device can supplement the knowledge graph by adding a new relationship called nationality between Trump and the USA, if the target relationship of nationality between Trump and the USA is valid.
  • the knowledge supplementation apparatus may supplement the knowledge graph by determining the validity of the target relationship between various entities existing on the knowledge graph.
  • the method of supplementing knowledge based on a multi-type entity has an effect of supplementing an incomplete knowledge graph by modeling a multi-type entity that is a part that the existing method cannot process through an artificial neural network.
  • FIG. 2 is a flowchart illustrating a method of supplementing knowledge based on a multi-type entity according to another embodiment of the present invention.
  • step S210 for each of the plurality of paths connecting the two entities included in the knowledge graph, the knowledge supplementing apparatus relates entity information, which is information about a plurality of entities included in the individual path, and two relationships among the plurality of entities. Extracts relational information, which is related information.
  • the knowledge supplement apparatus corresponds to each of the plurality of paths based on entity information, relationship information, type information, which is information about at least one entity type corresponding to each of the plurality of entities, and a predetermined embedding size. Create a path vector.
  • step S230 the knowledge supplement apparatus calculates an encoded path vector from the path vector using the CNN and Bi-LSTM.
  • step S240 the knowledge supplement apparatus assigns different weights to the encoded path vector corresponding to each of the plurality of paths based on the attention model.
  • the knowledge supplement apparatus of the present invention may additionally use an attention layer that performs an operation on paths generated between two entities connected in a target relationship. That is, the knowledge supplement device can create a model for learning weights with the aim of finding a path that has different weights and is more important or meaningful for paths included in the encoded path vector. have.
  • the score may be calculated using Equation 1 below.
  • p i is the encoded path vector for the i-th path
  • u is the path between two entities connected by the target relationship
  • a i is the matching score
  • q is the state vector
  • e s ,e o ) is the probability score for the relationship r of the entity pair (e s ,e o ).
  • step S250 the knowledge supplement apparatus uses the learned relationship model to predict the relationship between the two entities using the plurality of paths, the plurality of encoded path vectors, and the different weights, and the two entities It is determined whether a predetermined target relationship between the two is valid.
  • the knowledge supplement apparatus may learn a relationship model using a plurality of paths for the two entities, a plurality of encoded path vectors corresponding to the plurality of paths, and different weights for each path vector.
  • the relationship model may determine whether a specific relationship between the two entities is valid as 0 or 1 (binary classification).
  • a plurality of paths for the two entities may be divided into three data sets into a training data set, a validation data set, and a test data set.
  • the training data is used to train the relational model
  • the test dataset is used to evaluate the performance of the trained model
  • the validation dataset is used to determine the threshold value for comparing the scores of the new data calculated through the trained model.
  • I can.
  • the test data set data corresponding to 1 (true) or 0 (false) is changed by randomly changing the entity at the target position to a different value for two entities that exist as 1 (true) for the target relationship. By creating all of them, it is possible to check whether the classification model is a model biased to true.
  • Equation 2 the objective function of the relationship model
  • the goal of the objective function is to learn so that the correct triple has a higher value. This has an effect on lowering the loss of the relational model and at the same time lowering the score of the wrong triple, and the knowledge supplement device uses the binary cross entropy loss and the Adaptive Moment Estimation (Adam) optimizer to optimize the relational model until the loss value becomes the most optimal. By learning iteratively, an optimized relationship model can be created.
  • Adam Adaptive Moment Estimation
  • L( ⁇ ) is the objective function of the relational model
  • ⁇ is all parameters that need to be learned in the relational model
  • N is the number of triples in the training datanet
  • T + and T - are correct triples and incorrect triples, respectively.
  • the knowledge supplement method based on a multi-type entity uses an attention layer for a combination of paths, so that each path has a different weight and has an effect of finding a path that is more important or meaningful. .
  • FIG. 3 is a flowchart illustrating a path vector generation method according to another embodiment of the present invention.
  • step S310 by applying a predetermined deep learning technique to each of the plurality of entities included in the entity information, the knowledge supplement apparatus applies a row corresponding to at least one entity type included in the type information and a column corresponding to the embedding size.
  • the first entity vector with is trained.
  • the knowledge supplement device has 4 rows corresponding to the entity types Person, President, CEO, and Male corresponding to the Obama entity, and 6 columns corresponding to the embedding size of 6. 1
  • An entity vector can be trained by applying a deep learning technique.
  • the knowledge supplement apparatus may generate a first entity vector by creating a new layer using Keras and Lambda operations (Keras' backend).
  • the knowledge supplement apparatus may generate a first entity vector for entities of WhiteHouse, Washington, and USA.
  • step S320 the knowledge supplement device generates a vector of a single row by summing the values of all rows based on each column constituting the first entity vector, and then combines the vector of a single row for each of the plurality of entities. Thus, a second entity vector is generated.
  • the knowledge supplement apparatus adds vector values from the first row to the fourth row with respect to a first column with respect to a first entity vector corresponding to an Obama entity. It can be set as a vector value for the first column. Also, the knowledge supplement apparatus may equally add vector values from the first row to the fourth row from the second column to the sixth column and set the vector value of the vector of a single row.
  • the knowledge supplement apparatus may generate second entity vectors (Entity representations) by combining vectors of a single row for Obama, WhiteHouse, Washington, and USA entities.
  • entity vectors Entity representations
  • step S330 the knowledge supplement apparatus generates a relationship vector having a row corresponding to the relationship included in the relationship information and a column corresponding to the embedding size.
  • the knowledge supplement apparatus may generate a relationship vector having 3 rows for the relationship workedIn, locatedIn, and cityOf and 6 columns corresponding to 6, which is an embedding size.
  • step S340 the knowledge supplement apparatus combines the second entity vector and the relational vector to generate a path vector.
  • the knowledge supplement apparatus may generate a path vector by combining the second entity vector and the relationship vector.
  • the knowledge supplement apparatus when the knowledge supplement apparatus generates a path vector by combining the second entity vector and the relationship vector in step S340, the second entity vector and the relationship vector are It can be created by combining rows.
  • the knowledge supplement device stores the second entity vector and the relationship vector in row units according to the order in which entities and relationships are listed in the individual path. It can be combined to create a path vector.
  • the knowledge supplement apparatus includes 1 row of the second entity vector, 1 row of the relationship vector, 2 rows of the second entity vector, 2 rows of the relationship vector, 3 rows of the second entity vector, 3 rows of the relationship vector, and A path vector can be generated by combining the second entity vector in the order of 4 rows.
  • FIG. 4 is a block diagram illustrating an apparatus for supplementing knowledge based on a multi-type entity according to an embodiment of the present invention.
  • a knowledge supplement device 400 based on a multi-type entity includes a data extraction unit 410, a path generation unit 420, a learning unit 430, and a determination unit 440. ). In addition, it may optionally further include a weight extraction unit (not shown).
  • the knowledge supplement device 400 based on a multi-type entity may be mounted on a desktop PC, a notebook PC, a smart phone, a tablet PC, and a server computer.
  • the data extracting unit 410 For each of a plurality of paths connecting two entities included in the knowledge graph, the data extracting unit 410 relates entity information, which is information about a plurality of entities included in the individual paths, and two relationships among the plurality of entities. Extracts relational information, which is information.
  • the path generation unit 420 is based on entity information, relationship information, type information, which is information about at least one entity type corresponding to each of the plurality of entities, and a predetermined embedding size, and a path corresponding to each of the plurality of paths Create a vector.
  • the path generation unit 420 applies a predetermined deep learning technique to each of a plurality of entities included in the entity information, and the row corresponding to at least one entity type included in the type information and the embedding are performed.
  • a first entity vector having a column corresponding to the size is trained, a vector of a single row is created by summing the values of all rows based on each column constituting the first entity vector, and then a vector of a single row is generated for each of the plurality of entities.
  • a second entity vector is created by combining the vectors of a single row for the relationship information, a relationship vector having a row corresponding to the relationship included in the relationship information and a column corresponding to the embedding size are generated, and the second entity vector and the relationship vector are In combination, a path vector can be generated.
  • the path generation unit 420 when the path generation unit 420 combines the second entity vector and the relationship vector to generate a path vector, the second entity vector It can be created by combining the rows of and relational vectors.
  • the type information may be stored in a database that stores information on at least one entity type corresponding to each of the plurality of entities.
  • the learning unit 430 calculates an encoded path vector from the path vector using a Convolutional Neural Network (CNN) and a Bidirectional Long A Short-Term Memory (Bi-LSTM).
  • CNN Convolutional Neural Network
  • Bi-LSTM Bidirectional Long A Short-Term Memory
  • the determination unit 440 determines whether a predetermined target relationship between the two entities is valid by using the relationship model learned to predict the relationship between the two entities using the plurality of paths and the plurality of encoded path vectors. do.
  • the weight setting unit (not shown) gives different weights to the encoded path vector corresponding to each of the plurality of paths based on the attention model.
  • the relational model can be learned by further using the different weights.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

다중타입 엔티티에 기반한 지식 보완 방법을 개시한다. 본 발명의 다른 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법은 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 상기 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출하는 단계; 상기 엔티티정보, 상기 관계정보, 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 단계; CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 상기 경로벡터로부터 인코딩된 경로벡터를 산출하는 단계; 및 상기 복수의 경로 및 상기 복수의 인코딩된 경로벡터를 이용하여 상기 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 상기 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단하는 단계를 포함한다.

Description

다중타입 엔티티에 기반한 지식 보완 방법 및 장치
본 발명은 다중타입을 갖는 엔티티의 특징을 반영하여 지식 그래프 상에서 지식을 보완하는 방법 및 장치에 관한 것이다.
지식 그래프는 일반적으로 불완전하기 때문에 이에 대한 지식 보완은 반드시 필요하다. 지식 보완에 대한 성능이 우수한 기존 연구들은 크게 두 가지 방법으로 지식 그래프의 엔티티(entity)와 관계(relation)를 저차원으로 임베딩하여 누락된 링크를 예측하거나 경로를 기반으로 추론을 하는 방법을 사용하였다. 그러나, 이러한 연구들에서는 주로 직접 트리플(triple) 관계를 알아내는 데 중점을 두어 엔티티 간의 의미 관계 모델링에 어려움이 존재했다.
따라서, 기존 지식 보완 기법보다 더 정확하게 보완함으로써, 동적으로 변화하는 지식 그래프를 대상으로 보다 효율적인 처리를 가능하게 하는 기술에 대한 필요성이 대두되고 있다.
구체적으로는, 지식 그래프의 엔티티와 관계에 대한 임베딩 벡터를 사용하여 엔티티 간의 의미 있는 경로를 학습하며, 다양한 타입을 갖는 엔티티의 특성을 활용함으로써, 보다 우수한 성능을 나타내는 지식 그래프의 보완 기술에 대한 필요성이 제기되고 있다.
상술한 문제점을 해결하기 위해 본 발명은 다양한 타입을 가지는 엔티티의 특징을 반영하면서도, 기존 지식 보완 기법보다 우수한 성능과 대용량 지식 그래프를 대상으로 효율적 처리가 가능한 지식 보완 방법 및 장치를 제공하고자 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법은 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 상기 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출하는 단계; 상기 엔티티정보, 상기 관계정보, 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 단계; CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 상기 경로벡터로부터 인코딩된 경로벡터를 산출하는 단계; 및 상기 복수의 경로 및 상기 복수의 인코딩된 경로벡터를 이용하여 상기 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 상기 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단하는 단계를 포함한다.
바람직하게는, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 단계는 상기 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 상기 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시키는 단계; 상기 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 상기 복수의 엔티티 각각에 대한 상기 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성하는 단계; 상기 관계정보에 포함된 관계에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성하는 단계; 및 상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성하는 단계를 포함할 수 있다.
바람직하게는, 상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성하는 단계는 개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 상기 제2 엔티티벡터와 상기 관계벡터의 행을 조합하여 생성할 수 있다.
바람직하게는, 상기 타입정보는 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장될 수 있다.
바람직하게는, 상기 인코딩된 경로벡터를 산출하는 단계와 상기 소정의 목표 관계가 유효한지 판단하는 단계의 사이에, Attention 모델에 기초하여, 상기 복수의 경로 각각에 대응되는 상기 인코딩된 경로벡터에 상이한 가중치를 부여하는 단계를 더 포함하고, 상기 관계모델은 상기 상이한 가중치를 더 이용하여 학습될 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 장치는 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 상기 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출하는 데이터추출부; 상기 엔티티정보, 상기 관계정보, 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 경로생성부; CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 상기 경로벡터로부터 인코딩된 경로벡터를 산출하는 학습부; 및 상기 복수의 경로 및 상기 복수의 인코딩된 경로벡터를 이용하여 상기 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 상기 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단하는 판단부를 포함한다.
바람직하게는, 상기 경로생성부는 상기 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 상기 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시키고, 상기 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 상기 복수의 엔티티 각각에 대한 상기 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성하고, 상기 관계정보에 포함된 관계에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성하고, 상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성할 수 있다.
바람직하게는, 상기 경로생성부가 상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성할 때, 개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 상기 제2 엔티티벡터와 상기 관계벡터의 행을 조합하여 생성할 수 있다.
바람직하게는, 상기 타입정보는 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장될 수 있다.
바람직하게는, Attention 모델에 기초하여, 상기 복수의 경로 각각에 대응되는 상기 인코딩된 경로벡터에 상이한 가중치를 부여하는 가중치설정부를 더 포함하고, 상기 관계모델은 상기 상이한 가중치를 더 이용하여 학습될 수 있다.
본 발명에 따른 다중타입 엔티티에 기반한 지식 보완 방법 및 장치는 인공신경망을 통해 기존 방식이 처리하지 못하는 부분인 다중타입 엔티티를 모델링하여 불완전한 지식 그래프를 보완할 수 있는 효과가 있다.
또한, 본 발명에 따른 다중타입 엔티티에 기반한 지식 보완 방법 및 장치는 다중타입을 갖는 엔티티에 대하여도 기존의 기술보다 우수한 성능을 나타내며, 대용량 지식 그래프를 대상으로 효율적 처리가 가능한 효과가 있다.
또한, 본 발명에 따른 다중타입 엔티티에 기반한 지식 보완 방법 및 장치는 사용자 개인에 특화된 맞춤 서비스와 같은 의미 있는 정보 추출이 용이하여, 인공지능의 다양한 서비스 분야(Q&A 시스템, 추천 시스템, 대화형 에이전트 시스템 등)에서 활용할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 경로벡터 생성 방법을 설명하기 위한 흐름도이다.
도 4은 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 장치를 나타내는 블록도이다.
도 5는 지식 그래프를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 CNN과 Bi-LSTM을 이용하여 인코딩된 경로벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 엔티티의 다양한 타입을 설명하기 위한 도면이다.
도 8 내지 10은 발명의 일 실시예에 따른 경로벡터를 생성하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 Attention 모델을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법을 설명하기 위한 흐름도이다.
단계 S110에서는, 지식 보완 장치가 지식 그래프(knowledge graph)에 포함된 2개의 엔티티(entity)를 연결하는 복수의 경로(path) 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 그 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출한다.
이때, 지식 보완 장치는 PRA(path ranking algorithm)을 이용하여, 지식 그래프로부터 그 2개의 엔티티에 관한 경로를 추출할 수 있다. 이때, 랜덤워크 온 그래프 알고리즘(random walk on graph algorithm)을 이용할 수 있으며, 랜덤워크 온 그래프 알고리즘은 소스 엔티티에서 출발하여 중간에 다른 엔티티를 통해 이동하면서 타겟 엔티티에 도달하는 단순하지만 효율적인 알고리즘이다.
예컨대, 도 5의 지식 그래프를 참조하면, 지식 그래프의 노드에 대응되는 2개의 엔티티인 Trump와 USA를 연결하는 복수의 경로가 존재한다. 구체적으로, “Trump bornIn NY locatedIn USA”, “Trump marriedTo Melania nationality USA”, “Trump workedIn WhiteHouse locatedAt Washington cityOf USA”와 같은 3개의 경로가 존재한다.
이때, 지식 보완 장치는 그 3개의 경로 각각에 대하여, 경로에 포함되는 노드에 해당하는 엔티티에 관한 정보인 엔티티정보와 경로에 포함된 2개의 엔티티 간의 관계에 관한 정보인 관계정보를 추출할 수 있다.
도 8을 참조하여 “Trump workedIn WhiteHouse locatedAt Washington cityOf USA”의 경로를 살펴보면, 엔티티정보에는 각각의 노드에 대응되는 Trump, WhiteHouse, Washington, USA가 포함되고, 관계정보에는 노드를 연결하는 링크에 대응되는 workedIn, locatedIn, cityOf가 포함된다.
단계 S120에서는, 지식 보완 장치가 엔티티정보, 관계정보, 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 그 복수의 경로 각각에 대응되는 경로벡터를 생성한다.
예컨대, 도 8을 참조하면, Trump의 엔티티에 대응되는 타입정보는 Person, President, Ceo, Male의 엔티티타입을 포함하고, WhiteHouse의 타입정보는 Workplace, Building의 엔티티타입을 포함하고, Washington의 타입정보는 State, Capital의 엔티티타입을 포함하고, USA의 타입정보는 Country의 엔티티타입을 포함한다.
나아가, 지식 보완 장치는 지식 그래프의 각 엔티티가 가지고 있는 타입에 대한 정보와 함께 스키마 데이터의 시맨틱 정보들로부터 타입들간의 관계를 확인하고, 이를 엔티티에 대한 정보로 사용하여 그래프를 확장하고, 추가적으로 필요한 단계까지 그래프를 확장하여, 각 엔티티에 대한 자세한 정보가 포함되도록 할 수 있다. 예컨대, 도 7을 참조하면, 지식 보완 장치는 타겟 관계(Target Relation)에 있는 2개의 엔티티에 대하여, 해당 엔티티에 대한 정보를 확장할 수 있다.
또한, 임베딩 크기는 지식 보완 장치가 엔티티정보 및 타입정보로부터 엔티티벡터를 생성하거나, 관계정보로부터 관계벡터를 생성할 때, 각 벡터에 임베딩되는 열의 개수에 대응되는 크기일 수 있다.
한편, 지식 보완 장치가 경로벡터를 생성하는 자세한 방법은 도 3에 대한 설명에서 구체적으로 후술한다.
다른 실시예에서는, 타입정보는 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장할 수 있다.
이때, 지식 보완 장치는 데이터베이스를 내부에 포함하고 있거나, 데이터베이스와 유선 또는 무선의 네트워크를 통해 연결되어, 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보를 획득할 수 있다.
단계 S130에서는, 지식 보완 장치가 CNN(Convolutional Neural Network)와 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 그 경로벡터로부터 인코딩된 경로벡터를 산출한다.
이때, 도 6을 참조하면, 지식 보완 장치는 CNN을 이용하여, 그 경로벡터에 포함된 개별 경로의 특성 정보를 추출할 수 있다. 그리고, 지식 보완 장치는 그 추출된 특성 정보를 Bi-LSTM에 입력하여, 각 개별 경로의 앞뒤로 입력된 경로와 관련된 문맥 정보를 모두 포함하는 인코딩된 경로벡터를 생성할 수 있다.
마지막으로 단계 S140에서는, 지식 보완 장치가 그 복수의 경로 및 복수의 인코딩된 경로벡터를 이용하여 그 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 그 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단한다.
이때, 지식 보완 장치는 그 2개의 엔티티에 대한 복수의 경로 및 그 복수의 경로에 대응되는 복수의 인코딩된 경로벡터를 이용하여, 관계모델을 학습시킬 수 있다. 또한, 관계모델은 그 2개의 엔티티 간에 특정한 관계가 유효(valid)한지를 0(false) 또는 1(true)로 판단(binary classification)할 수 있다.
즉, 지식 보완 장치는 2개의 엔티티와 목표 관계에 관한 트리플을 입력받는 경우, 그 학습된 관계모델을 이용하여 그 목표 관계가 유효한지에 대하여 0(무효) 또는 1(유효)로 판단할 수 있다.
예컨대, 도 5를 참조하면, 지식 보완 장치는 그 학습된 관계모델을 이용하여 2개의 엔티티인 Trump와 USA 간에 nationality라는 목표 관계가 유효한지를 판단할 수 있다. 그 결과, 지식 보완 장치는 Trump와 USA 간에 nationality라는 목표 관계가 유효하면, Trump와 USA 간에 nationality라는 새로운 관계를 추가하여 지식 그래프를 보완할 수 있다. 나아가, 지식 보완 장치는 지식 그래프 상에 존재하는 다양한 엔티티 간에 목표 관계의 유효성을 판단하여, 그 지식 그래프를 보완해 나갈 수 있다.
이와 같이, 본 발명에 따른 다중타입 엔티티에 기반한 지식 보완 방법은 인공신경망을 통해 기존 방식이 처리하지 못하는 부분인 다중타입 엔티티를 모델링하여 불완전한 지식 그래프를 보완할 수 있는 효과가 있다.
도 2는 본 발명의 다른 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 방법을 설명하기 위한 흐름도이다.
단계 S210에서는, 지식 보완 장치가 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 그 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출한다.
단계 S220에서는, 지식 보완 장치가 엔티티정보, 관계정보, 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 그 복수의 경로 각각에 대응되는 경로벡터를 생성한다.
단계 S230에서는, 지식 보완 장치가 CNN와 Bi-LSTM을 이용하여, 그 경로벡터로부터 인코딩된 경로벡터를 산출한다.
단계 S240에서는, 지식 보완 장치가 Attention 모델에 기초하여, 그 복수의 경로 각각에 대응되는 그 인코딩된 경로벡터에 상이한 가중치를 부여한다.
기존의 경로 기반 추론 기법들은 max pooling 연산을 통해 가장 유력한 경로만을 사용하거나 mean 연산을 통해 모든 경로에 대하여 동일한 정도의 학습을 하여 각 경로들마다 가지는 중요도와 의미를 고려하지 않았다.
하지만, 도 11을 참조하면, 본 발명의 지식 보완 장치는 타겟 관계로 연결되는 두 엔티티 간에 생성된 경로들에 대하여 연산을 수행하는 Attention 레이어를 추가적으로 이용할 수 있다. 즉, 지식 보완 장치는 그 인코딩된 경로벡터에 포함된 경로들에 대하여 각각의 경로가 서로 다른 가중치를 가지며 보다 중요하거나 의미를 갖는 경로를 찾는 것을 목표로 하여, 가중치를 학습하는 모델을 생성할 수 있다.
이때, 스코어는 아래 수학식 1을 이용하여 산출될 수 있다.
[수학식 1]
Figure PCTKR2019018701-appb-I000001
여기서, pi는 i번째 경로에 대한 인코딩된 경로벡터이고, u는 타겟 관계로 연결되는 두 엔티티 간의 경로이고, ai는 매칭 스코어이고, q는 상태벡터이고, P(r|es,eo)는 엔티티 쌍(es,eo)의 관계 r에 대한 확률 스코어이다.
마지막으로 단계 S250에서는, 지식 보완 장치가 그 복수의 경로, 그 복수의 인코딩된 경로벡터 및 상기 상이한 가중치를 이용하여 그 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 그 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단한다.
이때, 지식 보완 장치는 그 2개의 엔티티에 대한 복수의 경로, 그 복수의 경로에 대응되는 복수의 인코딩된 경로벡터, 경로벡터별 상이한 가중치를 이용하여, 관계모델을 학습시킬 수 있다. 또한, 관계모델은 그 2개의 엔티티 간에 특정한 관계가 유효(valid)한지를 0 또는 1로 판단(binary classification)할 수 있다.
한편, 그 2개의 엔티티에 대한 복수의 경로는 트레이닝(training) 데이터셋, 밸리데이션(validation) 데이터셋 및 테스트(test) 데이터셋으로 3개의 데이터 셋으로 분리될 수 있다. 트레이닝 데이터는 관계모델 학습에 사용되고, 테스트 데이터셋은 학습된 모델의 성능을 평가하기 위해 사용되며, 밸리데이션 데이터셋은 학습된 모델을 통해 계산된 새로운 데이터의 점수를 비교하기 위한 threshold 값을 정하기 위해 사용될 수 있다. 이때, 테스트 데이터 셋의 경우 해당 타겟 관계에 대하여 1(true)로 존재하는 두 엔티티에 대하여 목적어 위치의 엔티티를 무작위로 다른 값으로 변경함으로써, 1(true) 또는 0(false) 에 해당하는 데이터를 모두 생성하여 classification 모델이 true로 편향된 모델이 아닌가에 대한 확인이 가능하도록 할 수 있다.
또한, 관계모델의 목적함수는 아래 수학식 2와 같이 정의될 수 있다.
이때, 목적함수의 목표는 올바른 트리플이 보다 높은 값을 가지도록 학습하는 것이다. 이는 관계모델의 loss를 낮추면서 동시에 잘못된 트리플의 점수를 낮추는 것에 영향을 주며, 지식 보완 장치는 binary cross entropy loss와 Adaptive Moment Estimation (Adam) optimizer를 통해 loss 값이 가장 최적이 될 때까지 관계모델을 반복적으로 학습하여 최적화된 관계모델을 생성할 수 있다.
[수학식 2]
Figure PCTKR2019018701-appb-I000002
여기서, L(θ)는 관계모델의 목적함수이고, θ는 관계모델에서 학습해야 하는 모든 파라미터이고, N은 트레이닝 데이터넷의 트리플 개수이고, T+와 T-는 각각 정확한(correct) 트리플과 잘못된(corrupted) 트리플의 집합이다.
이와 같이, 본 발명에 따른 다중타입 엔티티에 기반한 지식 보완 방법은 경로들의 조합에 대하여 Attention 레이어를 사용함으로써, 각각의 경로가 서로 다른 가중치를 가지며 보다 중요하거나 의미를 갖는 경로를 찾을 수 있는 효과가 있다.
도 3은 본 발명의 다른 실시예에 따른 경로벡터 생성 방법을 설명하기 위한 흐름도이다.
단계 S310에서는, 지식 보완 장치가 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시킨다.
예컨대, 도 8 및 9를 참조하면, 지식 보완 장치는 Obama 엔티티에 대응되는 엔티티타입인 Person, President, Ceo, Male에 대응되는 4개의 행과, 임베딩 크기인 6에 대응되는 6개의 열을 갖는 제1 엔티티벡터를 딥러닝 기법을 적용하여 학습시킬 수 있다. 예컨대, 지식 보완 장치는 Keras와 Lambda operation(Keras의 backend)을 이용하여 새로운 레이어를 생성함으로써, 제1 엔티티벡터를 생성할 수 있다. 마찬가지로, 지식 보완 장치는 WhiteHouse, Washington, USA 엔티티에 대하여도 제1 엔티티벡터를 생성할 수 있다.
단계 S320에서는, 지식 보완 장치가 그 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 그 복수의 엔티티 각각에 대한 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성한다.
예컨대, 도 9를 참조하면, 지식 보완 장치는 Obama 엔티티에 대응되는 제1 엔티티벡터에 대하여 첫번째 열에 대하여, 첫번째 행부터 네번째 행까지의 벡터값을 합(Element-wise sum)하여 단일 행의 벡터의 첫번째 열에 대한 벡터값으로 설정할 수 있다. 또한, 지식 보완 장치는 두번째 열부터 여섯번째 열까지 동일하게 첫번째 행부터 네번째 행까지의 벡터값을 합하여 단일 행의 벡터의 벡터값으로 설정할 수 있다.
그리고, 도 10을 참조하면, 지식 보완 장치는 Obama, WhiteHouse, Washington, USA 엔티티에 대한 단일 행의 벡터를 결합하여, 제2 엔티티벡터(Entity representations)를 생성할 수 있다.
단계 S330에서는, 지식 보완 장치가 관계정보에 포함된 관계에 대응되는 행과 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성한다.
예컨대, 도 10을 참조하면, 지식 보완 장치는 workedIn, locatedIn, cityOf 관계에 대한 3개의 행과 임베딩 크기인 6에 대응되는 6개의 열을 갖는 관계벡터를 생성할 수 있다.
단계 S340에서는, 지식 보완 장치가 그 제2 엔티티벡터와 관계벡터를 조합하여, 경로벡터를 생성한다.
즉, 지식 보완 장치는 제2 엔티티벡터와 관계벡터를 조합함으로써, 경로벡터를 생성할 수 있다.
다른 실시예에서는, 지식 보완 장치가 단계 S340에서 제2 엔티티벡터와 관계벡터를 조합하여 경로벡터를 생성할 때, 개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 제2 엔티티벡터와 관계벡터의 행을 조합하여 생성할 수 있다.
예컨대, 도 10을 참조하면, 지식 보완 장치는 개별 경로가 “Obama workedIn WhiteHouse locatedIn cityOf USA”인 경우, 그 개별 경로에 엔티티와 관계가 나열된 순서에 따라서, 제2 엔티티벡터와 관계벡터를 행 단위로 조합하여 경로벡터를 생성할 수 있다.
보다 구체적으로, 지식 보완 장치는 제2 엔티티벡터의 1행, 관계벡터의 1행, 제2 엔티티벡터의 2행, 관계벡터의 2행, 제2 엔티티벡터의 3행, 관계벡터의 3행, 제2 엔티티벡터의 4행의 순서로 조합하여, 경로벡터를 생성할 수 있다.
도 4은 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 장치를 나타내는 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 장치(400)는 데이터추출부(410), 경로생성부(420), 학습부(430) 및 판단부(440)를 포함한다. 또한, 선택적으로 가중치추출부(미도시)를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 다중타입 엔티티에 기반한 지식 보완 장치(400)는 데스크탑PC, 노트북PC, 스마트폰, 태블릿PC 및 서버 컴퓨터 등에 탑재될 수 있다.
데이터추출부(410)는 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 그 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출한다.
경로생성부(420)는 엔티티정보, 관계정보, 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 그 복수의 경로 각각에 대응되는 경로벡터를 생성한다.
다른 실시예에서는, 경로생성부(420)는 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시키고, 그 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 그 복수의 엔티티 각각에 대한 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성하고, 관계정보에 포함된 관계에 대응되는 행과 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성하고, 그 제2 엔티티벡터와 관계벡터를 조합하여, 경로벡터를 생성할 수 있다.
또 다른 실시예에서는, 경로생성부(420)가 그 제2 엔티티벡터와 관계벡터를 조합하여, 경로벡터를 생성할 때, 개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 그 제2 엔티티벡터와 관계벡터의 행을 조합하여 생성할 수 있다.
또 다른 실시예에서는, 타입정보는 그 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장될 수 있다.
학습부(430)는 CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 경로벡터로부터 인코딩된 경로벡터를 산출한다.
판단부(440)는 그 복수의 경로 및 복수의 인코딩된 경로벡터를 이용하여 그 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 그 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단한다.
가중치설정부(미도시)는 Attention 모델에 기초하여, 그 복수의 경로 각각에 대응되는 그 인코딩된 경로벡터에 상이한 가중치를 부여한다.
이때, 관계모델은 그 상이한 가중치를 더 이용하여 학습될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 상기 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출하는 단계;
    상기 엔티티정보, 상기 관계정보, 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 단계;
    CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 상기 경로벡터로부터 인코딩된 경로벡터를 산출하는 단계; 및
    상기 복수의 경로 및 상기 복수의 인코딩된 경로벡터를 이용하여 상기 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 상기 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단하는 단계
    를 포함하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 방법.
  2. 제1항에 있어서,
    상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 단계는
    상기 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 상기 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시키는 단계;
    상기 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 상기 복수의 엔티티 각각에 대한 상기 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성하는 단계;
    상기 관계정보에 포함된 관계에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성하는 단계; 및
    상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 방법.
  3. 제2항에 있어서,
    상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성하는 단계는
    개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 상기 제2 엔티티벡터와 상기 관계벡터의 행을 조합하여 생성하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 방법.
  4. 제1항에 있어서,
    상기 타입정보는
    상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장되는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 방법.
  5. 제1항에 있어서
    상기 인코딩된 경로벡터를 산출하는 단계와 상기 소정의 목표 관계가 유효한지 판단하는 단계의 사이에,
    Attention 모델에 기초하여, 상기 복수의 경로 각각에 대응되는 상기 인코딩된 경로벡터에 상이한 가중치를 부여하는 단계
    를 더 포함하고,
    상기 관계모델은
    상기 상이한 가중치를 더 이용하여 학습되는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 방법.
  6. 지식 그래프에 포함된 2개의 엔티티를 연결하는 복수의 경로 각각에 대하여, 개별 경로에 포함된 복수의 엔티티에 관한 정보인 엔티티정보와 상기 복수의 엔티티 중 2개의 관계에 관한 정보인 관계정보를 추출하는 데이터추출부;
    상기 엔티티정보, 상기 관계정보, 상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보인 타입정보 및 소정의 임베딩 크기에 기초하여, 상기 복수의 경로 각각에 대응되는 경로벡터를 생성하는 경로생성부;
    CNN(Convolutional Neural Network)과 Bi-LSTM(Bidirectional Long A Short-Term Memory)을 이용하여, 상기 경로벡터로부터 인코딩된 경로벡터를 산출하는 학습부; 및
    상기 복수의 경로 및 상기 복수의 인코딩된 경로벡터를 이용하여 상기 2개의 엔티티 간의 관계를 예측하도록 학습된 관계모델을 이용하여, 상기 2개의 엔티티 간에 소정의 목표 관계가 유효한지 판단하는 판단부
    를 포함하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 장치.
  7. 제6항에 있어서,
    상기 경로생성부는
    상기 엔티티정보에 포함된 복수의 엔티티 각각에 대하여, 소정의 딥러닝 기법을 적용하여, 상기 타입정보에 포함된 적어도 하나의 엔티티타입에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 제1 엔티티벡터를 학습시키고,
    상기 제1 엔티티벡터를 구성하는 각각의 열을 기준으로 모든 행의 값을 합하여 단일 행의 벡터를 생성한 후, 상기 복수의 엔티티 각각에 대한 상기 단일 행의 벡터를 결합하여 제2 엔티티벡터를 생성하고,
    상기 관계정보에 포함된 관계에 대응되는 행과 상기 임베딩 크기에 대응되는 열을 갖는 관계벡터를 생성하고,
    상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 장치.
  8. 제7항에 있어서,
    상기 경로생성부가 상기 제2 엔티티벡터와 상기 관계벡터를 조합하여, 상기 경로벡터를 생성할 때,
    개별 경로를 구성하는 엔티티와 관계의 순서에 따라서, 상기 제2 엔티티벡터와 상기 관계벡터의 행을 조합하여 생성하는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 장치.
  9. 제6항에 있어서,
    상기 타입정보는
    상기 복수의 엔티티 각각에 대응되는 적어도 하나의 엔티티타입에 관한 정보를 저장하는 데이터베이스에 저장되는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 장치.
  10. 제6항에 있어서,
    Attention 모델에 기초하여, 상기 복수의 경로 각각에 대응되는 상기 인코딩된 경로벡터에 상이한 가중치를 부여하는 가중치설정부
    를 더 포함하고,
    상기 관계모델은
    상기 상이한 가중치를 더 이용하여 학습되는 것을 특징으로 하는 다중타입 엔티티에 기반한 지식 보완 장치.
PCT/KR2019/018701 2019-11-14 2019-12-30 다중타입 엔티티에 기반한 지식 보완 방법 및 장치 WO2021095987A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190146102A KR102223382B1 (ko) 2019-11-14 2019-11-14 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
KR10-2019-0146102 2019-11-14

Publications (1)

Publication Number Publication Date
WO2021095987A1 true WO2021095987A1 (ko) 2021-05-20

Family

ID=75185070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018701 WO2021095987A1 (ko) 2019-11-14 2019-12-30 다중타입 엔티티에 기반한 지식 보완 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102223382B1 (ko)
WO (1) WO2021095987A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779255A (zh) * 2021-09-13 2021-12-10 广州汇通国信科技有限公司 一种基于lstm神经网络和知识图谱的识别方法及装置
WO2023214933A1 (en) * 2022-05-05 2023-11-09 Lemon Inc. Feature crossing for machine learning

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220127128A (ko) * 2021-03-10 2022-09-19 서울대학교산학협력단 텍스트 기반 관계 추출 방법 및 장치
CN113190686B (zh) * 2021-04-25 2022-04-05 浙江大学软件学院（宁波）管理中心（宁波软件教育中心） 一种面向数控机床设备维护的知识图谱关系补全方法
CN113836244B (zh) * 2021-09-27 2023-04-07 天弘基金管理有限公司 样本获取方法、模型训练方法、关系预测方法及装置
CN115510245B (zh) * 2022-10-14 2024-05-14 北京理工大学 一种面向非结构化数据的领域知识抽取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法
KR20180092733A (ko) * 2017-02-10 2018-08-20 강원대학교산학협력단 관계 추출 학습 데이터 생성 방법
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
KR20190064641A (ko) * 2016-10-28 2019-06-10 페이스북, 인크. 딥러닝 모델을 사용한 추천의 생성

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160064826A (ko) 2014-11-28 2016-06-08 한국전자통신연구원 지식 그래프 기반에서의 의미적 검색 서비스 제공장치 및 그 방법
US10474962B2 (en) * 2015-09-04 2019-11-12 Microsoft Technology Licensing, Llc Semantic entity relation detection classifier training
WO2018057945A1 (en) * 2016-09-22 2018-03-29 nference, inc. Systems, methods, and computer readable media for visualization of semantic information and inference of temporal signals indicating salient associations between life science entities
CN109902298B (zh) * 2019-02-13 2023-04-18 东北师范大学 一种自适应学习系统中领域知识建模及知识水平估测方法
CN110232186A (zh) * 2019-05-20 2019-09-13 浙江大学 融合实体描述、层次化类型和文本关系信息的知识图谱表示学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064641A (ko) * 2016-10-28 2019-06-10 페이스북, 인크. 딥러닝 모델을 사용한 추천의 생성
KR20180092733A (ko) * 2017-02-10 2018-08-20 강원대학교산학협력단 관계 추출 학습 데이터 생성 방법
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, WAN-GON ET AL.: "Partial Embedding Approach for Knowledge Completion", JOURNAL OF KIISE, November 2018 (2018-11-01), pages 1168 - 1175 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779255A (zh) * 2021-09-13 2021-12-10 广州汇通国信科技有限公司 一种基于lstm神经网络和知识图谱的识别方法及装置
WO2023214933A1 (en) * 2022-05-05 2023-11-09 Lemon Inc. Feature crossing for machine learning

Also Published As

Publication number Publication date
KR102223382B1 (ko) 2021-03-08

Similar Documents

Publication Publication Date Title
WO2021095987A1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
WO2021096009A1 (ko) 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN111538819B (zh) 一种基于文档集多跳推理的问答系统的构建方法
WO2020111314A1 (ko) 개념 그래프 기반 질의응답 장치 및 방법
WO2021054514A1 (ko) 지식 그래프 기반의 사용자 맞춤형 질의 응답 시스템
CN111737551A (zh) 一种基于异构图注意力神经网络的暗网线索检测方法
WO2019093675A1 (ko) 빅데이터 분석을 위한 데이터 병합 장치 및 방법
WO2021112463A1 (ko) 기업을 위한 정보 제공 장치 및 방법
WO2013157705A1 (ko) Ｓｎｓ에서 사회적 이웃의 관심사와 사회적 활동의 토픽을 통해 사용자 관심사를 추론하는 방법 및 그 시스템
WO2016088942A1 (ko) 쌍별 비교 데이터를 이용한 다중랭킹 추정 방법 및 장치
WO2021125517A1 (ko) 전용 인공 지능 시스템
WO2018088664A1 (ko) 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
CN113593661A (zh) 临床术语标准化方法、装置、电子设备及存储介质
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2022145829A1 (ko) 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법
WO2023063486A1 (ko) 기계학습모델의 생성 방법 및 그 장치
US20160156578A1 (en) Ingesting Forum Content
WO2022114368A1 (ko) 뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치
CN112101358B (zh) 一种基于解耦和干预的图网络对齐短语和图片区域的方法
WO2021132760A1 (ko) 신경망 기반 자연어로부터 sql 질의 번역 시 사용되는 컬럼 및 테이블을 예측하는 방법
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2023149660A1 (ko) 그룹 서명 기반 연합학습 방법 및 시스템, 이를 수행하기 위한 기록 매체
WO2021256578A1 (ko) 이미지 캡션 자동 생성 장치 및 방법
WO2022163996A1 (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
Zhang et al. Modeling temporal-modal entity graph for procedural multimodal machine comprehension

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952422

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.09.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19952422

Country of ref document: EP

Kind code of ref document: A1