WO2020143184A1 - 知识融合方法、装置、计算机设备和存储介质 - Google Patents

知识融合方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2020143184A1
WO2020143184A1 PCT/CN2019/092597 CN2019092597W WO2020143184A1 WO 2020143184 A1 WO2020143184 A1 WO 2020143184A1 CN 2019092597 W CN2019092597 W CN 2019092597W WO 2020143184 A1 WO2020143184 A1 WO 2020143184A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
knowledge
entity
attribute
word vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/092597
Other languages
English (en)
French (fr)
Inventor
孙佳兴
胡逸凡
陈泽晖
黄鸿顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020143184A1 publication Critical patent/WO2020143184A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of knowledge graph technology, and in particular, to a knowledge fusion method, device, computer equipment, and storage medium.
  • knowledge data is composed of three parts, namely: entity information, relationship information and attribute information.
  • entity information entity information
  • relationship information relationship information
  • attribute information attribute information
  • Knowledge fusion refers to the discovery of different expressions of the same concept in heterogeneous databases. It organizes and manages distributed data sources and knowledge sources, and transforms, integrates, and integrates knowledge elements in accordance with application requirements to obtain valuable information. Or available new knowledge, at the same time optimize the structure and connotation of knowledge objects, and provide knowledge-based services.
  • the research of knowledge fusion has certain value for knowledge sharing, knowledge system interaction, integration and collaborative work, and optimization of knowledge service quality in the distributed knowledge base environment. It is also useful for researching knowledge discovery based on knowledge connotation and creation of new knowledge. , Organization, evaluation and optimization are of great significance.
  • a method of knowledge fusion including:
  • a knowledge fusion device includes the following modules:
  • the data acquisition module is set to acquire several knowledge data from the source of knowledge data
  • the vector generation module is configured to extract entity data from any of the knowledge data, convert the entity data into vectors, and generate multidimensional word vectors;
  • a data vectorization module configured to reduce the dimension of the multi-dimensional word vector to obtain a two-dimensional word vector, multiply the two-dimensional word vector and the original two-dimensional word vector to obtain an entity data matrix, and the entity The elements in the data matrix are vectorized entity data;
  • the attribute value obtaining module is set to extract the original attribute data in any of the knowledge data, filter the original attribute data to obtain real attribute data, and obtain the attribute value of the real attribute data;
  • the fusion determination module is configured to input the elements in the entity data matrix and the attribute values of the real attribute data into the credibility recognition model, and after obtaining the parameters, obtain the credibility of the knowledge data, and then convert the The reliability is compared with a preset reliability threshold, and if it is greater than the reliability threshold, the extracted original attribute data is fused, otherwise it is not fused.
  • a computer device includes a memory and a processor.
  • the memory stores computer-readable instructions.
  • the steps of the knowledge fusion method are caused.
  • a storage medium storing computer-readable instructions, when the computer-readable instructions are executed by one or more processors, causes the one or more processors to perform the steps of the above knowledge fusion method.
  • the above knowledge fusion method, device, computer equipment, and storage medium include: acquiring several pieces of knowledge data from a source of knowledge data; extracting entity data from any of the knowledge data, and vectorizing the entity data to generate multidimensional Word vector; reducing the dimension of the multi-dimensional word vector to obtain a two-dimensional word vector, and transposing the two-dimensional word vector and the original two-dimensional word vector to obtain an entity data matrix.
  • the elements are vectorized entity data; extract the original attribute data in any of the knowledge data, filter the original attribute data to obtain real attribute data, and obtain the attribute values of the real attribute data; convert the entity data
  • the elements in the matrix and the attribute values of the real attribute data are entered into the credibility recognition model, and after obtaining the parameters, the credibility of the knowledge data is obtained, and the credibility is compared with a preset credibility threshold In comparison, if it is greater than the credibility threshold, the extracted original attribute data is fused, otherwise it is not fused.
  • FIG. 1 is an overall flowchart of a knowledge fusion method in an embodiment of this application
  • FIG. 2 is a schematic diagram of a data acquisition process of a knowledge fusion method in an embodiment of the present application
  • FIG. 3 is a schematic diagram of a vector generation process of a knowledge fusion method in an embodiment of the present application
  • FIG. 4 is a structural diagram of a knowledge fusion device in an embodiment of the present application.
  • FIG. 1 is an overall flowchart of a knowledge fusion method in an embodiment of the present application. As shown in FIG. 1, a knowledge fusion method includes:
  • the knowledge data in this step may come from the same knowledge data source, or may come from different data sources, may come from local data, or may come from network data. If it comes from local data, you need to get the storage path of the knowledge data when you get the knowledge data; if you come from the network data source, you need to get the network address of the knowledge data source when you get the knowledge data.
  • the entity name list stored in the database is obtained, at least one entity name in the entity name list is randomly extracted, and entity data is extracted from the knowledge data according to the entity name.
  • entity data is extracted from the knowledge data according to the entity name.
  • the entity names of the entity data are "soccer", "volleyball” and other ball sports nouns.
  • PCA can be used to reduce the dimension of multidimensional word vectors. For example, if there are m pieces of n-dimensional data, the following steps can be used to reduce the dimension:
  • the matrix Q is the data after dimensionality reduction to k-dimension.
  • the original attribute data can be divided into several sub-data segments, and then the attribute word query can be performed on the data in each sub-data segment. If there is no attribute word, the sub-data segment is cleared.
  • the elements in the entity data matrix and the attribute values of the real attribute data are entered into a credibility recognition model, and after obtaining the parameters, the credibility of the knowledge data is obtained, and the credibility is predicted
  • the set credibility threshold is compared, and if it is greater than the credibility threshold, the extracted original attribute data is fused, otherwise it is not fused.
  • credibility is reliability, which refers to the degree of consistency of the results obtained when the same method is repeatedly measured on the same object.
  • credibility refers to the reliability of measured data.
  • the preset credibility threshold is obtained based on historical data statistics, and the general credibility threshold is set to 95%.
  • FIG. 2 is a schematic diagram of a data acquisition process of a knowledge fusion method in an embodiment of the present application. As shown in the figure, the S1 acquires several knowledge data from a source of knowledge data, including:
  • the network address of the source of the knowledge data of the knowledge data to be extracted is obtained, and the type of the network address is determined according to the format of the network address, that is, whether the network address is a static IP address or a dynamic IP address, if it is a static IP Address, then retrieve the IP address table from the database for comparison, determine whether the static IP address is on the IP address table, send a knowledge data acquisition instruction when it is, and not send it if it is not; if it is a dynamic IP address, then Performing DNS resolution on the dynamic IP address to obtain a DNS resolution code corresponding to the dynamic IP address, and then calling a DNS resolution code table in a database to compare the DNS resolution code to determine whether the DNS resolution code is in the On the DNS resolution code table, the knowledge data acquisition instruction is sent when it is not, and it is not sent when it is not.
  • the format of the network address that is, whether the network address is a static IP address or a dynamic IP address, if it is a static IP Address, then retrieve the IP address table from the database
  • S102 Receive feedback information of the knowledge data source, extract keywords of the data source type from the feedback information, and determine the type of the knowledge source data source according to the keywords;
  • the formal keyword refers to whether the knowledge data is structured data, semi-structured data, or unstructured data.
  • the keyword of the form “table” corresponds to structured data
  • the keyword of the form “webpage” corresponds to semi-structured data
  • the key of the form “text” appears Words correspond to unstructured data.
  • S103 Acquire an extraction method corresponding to the type of the knowledge data source, and extract several knowledge data of the knowledge data source according to the extraction method.
  • different forms of data sources correspond to different data extraction methods.
  • semi-structured web page information is usually crawled by web crawlers.
  • unstructured text text language is usually used for extraction.
  • the data form of the source of knowledge data is determined, so that the knowledge data of the source of knowledge data can be extracted by using the correct extraction method.
  • FIG. 3 is a schematic diagram of a vector generation process of a knowledge fusion method in an embodiment of the present application.
  • the S2 extracts any entity data in the knowledge data, and vectors the entity data Conversion to generate multidimensional word vectors, including:
  • the length of the initial segment of the entity data is set according to the historical data of the length value of the entity words in the entity data. For example, in the historical data stored in the database, the length of the entity word is from 1 to 10, then the length of the initial segment is set to a maximum value of 10.
  • the length of each sub-data block may be inconsistent, that is, the length of each sub-data block is determined according to the length of actual entity words.
  • Extract the entity data in the final sub-data block extract the semantic features of the entity data in the final sub-data block, apply the word vector conversion method to convert the semantic features into an initial multi-dimensional word vector, and convert the final
  • the segment length of the sub-data block is used as a coefficient to multiply the initial multi-dimensional word vector to obtain the final multi-dimensional word vector.
  • semantic features include elements such as semantics, grammar, and structure.
  • the word vector conversion method usually uses the Word2Vector algorithm. This algorithm can link each semantic feature up and down, thereby transforming the related semantic features into an initial multi-dimensional word vector.
  • the entity data is numerically represented, which is convenient for using a machine learning method to perform similarity calculation.
  • the two-dimensional word vector is reduced to obtain a two-dimensional word vector, and the two-dimensional word vector is transposed and the original two-dimensional word vector is multiplied to obtain an entity data matrix,
  • the elements in the entity data matrix are vectorized entity data, including:
  • sample points refer to each point in the multi-dimensional vector; each sample point in the multi-dimensional space N has directly connected points on the same plane, these points become nearest neighbors, and the value range of K is 1 ⁇ n, n is a non-zero positive integer.
  • the local weight matrix W i ⁇ w i1 ,w i2 ,...,w iK ⁇ of each sample point is established;
  • each sample point is mapped to a low-dimensional space, and the mapping conditions are:
  • ⁇ (Y) is the value of the loss function
  • y ij is the value of the neighbor
  • y n is the output vector of the neighbor
  • W ij is the element in the local weight matrix
  • K is the number of neighbors
  • N is the output vector of the neighbor
  • discretization refers to the mapping of finite individuals in infinite space into a limited space to improve the space-time efficiency of the algorithm.
  • the unique() function is developed by C++, PHP, Matlab, etc. or
  • the deduplication function supported by the scientific computing environment is used to remove duplicate values in a set, or take a single value from a set.
  • the vector dimension of the original attribute data is equal to the quantity of the original attribute data.
  • the original attribute data is real attribute data, if the difference is not within the error threshold, based on The difference value removes redundant attribute data in the original attribute data to obtain the real attribute data;
  • the characteristic value of the real attribute data matrix is obtained, and the characteristic value is the attribute value.
  • a two-dimensional attribute vector can be obtained, the two-dimensional attribute vector can be transposed to obtain a transposed two-dimensional attribute vector, and the product of the two-dimensional attribute vector and the transposed two-dimensional attribute vector can be multiplied. Then get the real attribute vector.
  • the real attribute value is better obtained.
  • the elements in the entity data matrix and the attribute values of the real attribute data are entered into a credibility recognition model, and after obtaining the parameters, the credibility of the knowledge data is obtained, Comparing the credibility with a preset credibility threshold, if it is greater than the credibility threshold, the extracted original attribute data is fused, otherwise not fused, including:
  • L(m 1 , m 2 ) is the similarity distance function, m 1 is the element, m 2 is the attribute value;
  • Crd(m) is a credibility function
  • L(m 1 , m 2 ) is a similarity distance function
  • the cosine algorithm or the Euclidean distance algorithm can also be used in the similarity calculation.
  • the credibility threshold is obtained based on historical data statistics.
  • an extraction method corresponding to the type of the knowledge data source is obtained, and extracting several pieces of knowledge data of the knowledge data source according to the extraction method includes:
  • extracting using a web crawler tool includes:
  • Keyword group in the task queue for obtaining pre-extracted knowledge data the keyword group contains multiple keywords; among them, the keyword group in the task queue may be some trait phrases, such as: "ball”, in this
  • the keywords included under the keyword group may include “basketball”, “football”, “table tennis” and so on.
  • the entity information refers to the information related to the "entity" such as the name of the entity.
  • entity information When imported into the preset knowledge data table, the entity name in the preset knowledge data table is retrieved first, if a certain entity information If the entity name in is not in the preset knowledge data table, the entity information cannot be imported.
  • the preset knowledge data table is stored in the database, which is collected after collecting all previous knowledge data.
  • the required knowledge data can be effectively extracted from the web page information, and the efficiency of knowledge data extraction can be improved.
  • a knowledge fusion device As shown in FIG. 4, it includes the following modules:
  • the data acquisition module 41 is configured to acquire several knowledge data from the source of knowledge data;
  • the vector generation module 42 is configured to extract entity data from any of the knowledge data, convert the entity data into vectors, and generate multidimensional word vectors;
  • the data vectorization module 43 is configured to obtain a two-dimensional word vector after reducing the dimension of the multi-dimensional word vector, and multiply the two-dimensional word vector with the original two-dimensional word vector to obtain an entity data matrix.
  • the elements in the entity data matrix are vectorized entity data;
  • the attribute value obtaining module 44 is set to extract original attribute data in any of the knowledge data, filter the original attribute data to obtain real attribute data, and obtain attribute values of the real attribute data;
  • the fusion determination module 45 is configured to input the elements in the entity data matrix and the attribute values of the real attribute data into the credibility recognition model, obtain the credibility of the knowledge data after the parameters are obtained, and convert the The credibility is compared with a preset credibility threshold, and if it is greater than the credibility threshold, the extracted original attribute data is fused, otherwise it is not fused.
  • the vector generation module is further set to:
  • the data acquisition module is further set to:
  • the initial segment containing at least one of the entity data; according to the segment length of the initial segment, the knowledge data is divided into several An initial sub-data block, if any one of the initial sub-data blocks contains two or more entity data, the initial sub-data block is divided again to obtain a final sub-data block containing only one of the entity data; Extract the entity data in the final sub-data block, extract the semantic features of the entity data in the final sub-data block, apply the word vector conversion method to convert the semantic features into an initial multi-dimensional word vector, and convert the final sub-data
  • the segment length of the block is used as a coefficient to multiply the initial multidimensional word vector to obtain the final multidimensional word vector.
  • the data vectorization module is further set to:
  • the elements in the entity data matrix are vectorized entity data.
  • the attribute value acquisition module is also set to:
  • the characteristic value of the real attribute data matrix is obtained, and the characteristic value is the attribute value.
  • the fusion determination module is further configured to:
  • the vector generation module is further set to:
  • the keyword group contains multiple keywords; traverse the keyword group, crawl a webpage corresponding to each keyword in the keyword group through a web crawler Information; obtain all the entity information in the information on the web page, import the entity information into the preset knowledge data table, if there is one or more entity information cannot be imported into the preset knowledge data table, Then crawl the webpage through the web crawler again, otherwise the webpage information is used as the knowledge data.
  • a computer device in one embodiment, includes a memory and a processor.
  • the memory stores computer-readable instructions.
  • the computer device executes the steps of the knowledge fusion method described in the above embodiments.
  • a storage medium storing computer-readable instructions.
  • the computer-readable instructions are executed by one or more processors, the one or more processors execute the above-mentioned embodiments. Describe the steps of the knowledge fusion method.
  • the storage medium may be a non-volatile storage medium.
  • the program may be stored in a computer-readable storage medium, and the storage medium may include: Read only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及知识图谱技术领域，尤其涉及一种知识融合方法、装置、计算机设备和存储介质，包括：获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较后进行融合。本申请实现了同一实体中多个属性的有效融合。

Description

知识融合方法、装置、计算机设备和存储介质
本申请要求于2019年1月11日提交中国专利局、申请号为201910025114.4、发明名称为“知识融合方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及知识图谱技术领域，尤其涉及一种知识融合方法、装置、计算机设备和存储介质。
背景技术
在当今互联网上存在着大量的知识，在各个网页包含的数据信息中存在各种样式的知识数据。其中，知识数据有三个部分组成，分别是：实体信息、关系信息和属性信息。在对知识数据进行梳理时，需要对知识数据进行融合，这一过程称为知识融合。
知识融合，是指发现异构数据库中相同概念的不同表达，它通过对分布式数据源和知识源进行组织和管理，结合应用需求对知识元素进行转化、集成和融合等处理，从而获取有价值或可用的新知识，同时对知识对象的结构和内涵进行优化，提供基于知识的服务。知识融合的研究对于分布式知识库环境中的知识共享、知识系统的交互、集成和协同工作、知识服务质量的优化等方面具有一定的价值，对于研究基于知识内涵的知识发现以及新知识的创建、组织、评价和优化等方面具有相当重要的意义。
目前，在进行知识融合的过程中存在着不能对属性进行精准判断，从而导致在融合的过程中，无法将属于同一实体的多个属性的有效进行合并的问题。
发明内容
基于此，有必要针对无法将属于同一实体的多个属性的有效进行合并的问题，提供一种知识融合方法、装置、计算机设备和存储介质。
一种知识融合方法，包括：
获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和 所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
一种知识融合装置，包括如下模块：
数据获取模块，设置为获取知识数据来源中的数个知识数据；
向量生成模块，设置为抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；
数据向量化模块，设置为将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；
属性值获取模块，设置为抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；
融合判定模块，设置为将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述知识融合方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述知识融合方法的步骤。
上述知识融合方法、装置、计算机设备和存储介质，包括：获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。本技术方案通过对实体和属性的精确匹配， 实现了同一实体的多个属性的有效融合。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请在一个实施例中的一种知识融合方法的整体流程图；
图2为本申请在一个实施例中的一种知识融合方法的数据获取过程示意图；
图3为本申请在一个实施例中的一种知识融合方法的向量生成过程示意图；
图4为本申请在一个实施例中的一种知识融合装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请在一个实施例中的一种知识融合方法的整体流程图，如图1所示，一种知识融合方法，包括：
S1，获取知识数据来源中的数个知识数据；
具体的，本步骤中的知识数据可以来自于同一知识数据来源，也可以来自于不同数据来源，可以来自于本地数据，也可以来自网络数据。若来自于本地数据，则在获取知识数据时，需要获得知识数据的存储路径；若来自于网络数据来源，则在获取知识数据时，需要获得知识数据来源的网络地址。
S2，抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；
具体的，获取存储在数据库中的实体名称列表，随机抽取实体名称列表中的至少一个实体名称，根据所述实体名称从所述知识数据中抽取出实体数据。同时，在进行实体数据抽取时，可以采用近义词抽取的方法；比如在实体名称列表中抽取出的实体名称是“篮球”，那么在对所述知识数据中的实体数据进行抽取时，可以抽取出的实体数据的实体名称为“足球”、“排球”等球类运动名词。
S3，将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；
具体的，在对多维词向量进行降维时可以采用PCA降维，比如，设有m条n维数据，降维操作可以采用如下步骤：
1)将原始数据按列组成n行m列形成矩阵X；2)将X的每一行(代表一个属性字段)进行零均值化，即减去这一行的均值；3)求出X矩阵的协方差矩阵Y；4)求出协方差矩阵Y的特征值及对应的特征向量r；5)将特征向量按对应特征值大小从上到下按行排列成矩阵Z，取前k行组成矩阵Q；6)矩阵Q即为降维到k维后的数据。
S4，抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；
具体的，在进行过滤时，主要是过滤掉与语义无关的词语。可以将原始属性数据进行分割，分割成数个子数据段，然后对每一个子数据段中的数据进行属性词查询，若不存在属性词，则将所述子数据段清除。
S5，将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
具体的，可信度即可靠性，它指的是采取同样的方法对同一对象重复进行测量时，其所得结果相一致的程度。从另一方面来说，可信度就是指测量数据的可靠程度。其中，预设的可信度阈值是根据历史数据统计后得到的，一般可信度阈值设定为95％。
本实施例，通过对实体数据和属性数据进行有效加工，从而实现了同一实体的多个属性的有效融合。
图2为本申请在一个实施例中的一种知识融合方法的数据获取过程示意图，如图所示，所述S1，获取知识数据来源中的数个知识数据，包括：
S101、发送知识数据抽取指令至待抽取知识数据的所述知识数据来源；
具体的，获取所述待抽取知识数据的知识数据来源的网络地址，根据所述网络地址的格式确定所述网络地址的类型，即所述网络地址是静态IP地址还是动态IP地址，若是静态IP地址，则从数据库中调取IP地址表进行比对后，确定所述静态IP地址是否在所述IP地址表上，在则发送知识数据获取指令，不在则不发送；若是动态IP地址，则对所述动态IP地址进行DNS解析得到所述动态IP地址对应的DNS解析代码，而后调用数据库中的DNS解析代码表对所述DNS解析代码进行比对，确定所述DNS解析代码是否在所述DNS解析代码表上，在则发送知识数据获取指令，不在则不发送。
S102、接收所述知识数据来源的反馈信息，从所述反馈信息中抽取出数据来源类型的关键词，根据所述关键词确定所述知识来数据源的类型；
具体的，形式关键词是指知识数据是结构化数据、半结构化数据还是非结构化数据。比如，反馈信息中出现“表”这一形式关键词，则对应的是结构化数据；出现“网页”这一形式关键词，则对应的是半结构化数据；出现“文本”这一形式关键词，则对应非结构化数据。
S103、获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据。
具体的，不同形式的数据来源对应不同的数据抽取方法，比如，半结构化的网页信息通常采用网络爬虫进行爬取，对于非结构化的文本，通常采用文本语言进行抽取。
本实施例，通过对知识数据来源的反馈信息进行分析，确定知识数据来源的数据形式，从而能够采用正确的抽取方式对知识数据来源的知识数据进行抽取。
图3为本申请在一个实施例中的一种知识融合方法的向量生成过程示意图，如图所示，所述S2，抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量，包括：
S201、设置一抽取所述知识数据中的实体数据的初始语段，所述初始语段中至少包含一个所述实体数据；
具体的，根据实体数据中实体词语的长度值历史数据，设定实体数据的初始语段的长度。比如，在数据库中存储的历史数据中，实体词语的长度从1～10，那么初始语段的长度设置为最大值10。
S202、根据所述初始语段的语段长度，将所述知识数据分割成数个初始子数据块，若任意一个所述初始子数据块中包含有两个或者以上的实体数据，则将所述初始子数据块进行再次分割得到只包含一个所述实体数据的最终子数据块；
具体的，在对初始语段进行分割时，每一个子数据块的长度可以不一致，即根据实际实体词语的长度确定每一个子数据块的长度。
S203、抽取所述最终子数据块中的实体数据，提取所述最终子数据块中的实体数据的语义特征，应用词向量转化法将所述语义特征转换成初始多维词向量，将所述最终子数据块的语段长度作为系数与所述初始多维词向量进行乘积后得到最终多维词向量。
具体的，语义特征包含语义、语法、结构等多方面的要素。词向量转化法通常使用的是Word2Vector算法，此算法可以对每一个语义特征进行上下联系，从而将相互关联的语义特征一起转换成初始多维词向量。
本实施例，通过实体数据进行向量化转换后，使实体数据数值化表示，便于使用机器学习方法进行相似性计算。
在一个实施例中，所述S3，将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据，包括：
获取所述多维词向量中的每一个样本点的K个近邻点；
具体的，样本点是指多维向量中的每一个点；在多维空间N上每一个样本点存在着在同一平面上的直接连接的点，这些点成为近邻点，K的取值范围为1～n，n为非零正整数。
根据每个样本点的K个近邻点，建立所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}；
根据所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}，将每个样本点映射到低维空间，映射条件为：
Figure PCTCN2019092597-appb-000001
式中：ε(Y)为损失函数值，y ij为近邻点数值，y n为近邻点输出向量，W ij是局部权重矩阵中的元素，K为近邻点个数，N为近邻 点输出向量中元素的个数，映射后得到二维词向量Y＝{y 1,y 2,…,y N}；将所述二维词向量转置后得到转置二维词向量，将所述二维词向量与所述转置二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据。
本实施例，通过将多维词向量进行降维成二维词向量，从而方便实体信息和属性信息进行匹配。
在一个实施例中，所述S4、抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值，包括：
抽取所述任一所述知识数据中的原始属性数据，离散化处理所述原始属性数据后得到所述原始属性数据的离散值；
具体的，离散化是指把无限空间中有限的个体映射到有限的空间中去，以此来提高算法的时空效率。在进行离散化处理前，可以使用如unique()去重函数去除知识数据中的重复数据，而后再对知识数据离散化，其中，unique()函数是一种被C++、PHP、Matlab等开发或者科学计算环境所支持的去重函数，用于去除集合中的重复值，或者从集合中取单值。
根据所述知识数据中的所述原始属性数据的数量，获取所述原始属性数据对应的向量维度；
其中，原始属性数据的向量维度等于原始属性数据的数量。
将所述离散值和所述向量维度进行做差，若差值在预设的误差阈值以内，则所述原始属性数据为真实属性数据，若所述差值不在所述误差阈值以内，则根据所述差值去除所述原始属性数据中的多余属性数据，得到所述真实属性数据；
根据所述真实属性数据的数量，获取所述真实属性数据对应的向量维度，建立真实属性数据向量；
将所述真实属性数据向量降维后形成一真实属性数据矩阵，获取所述真实属性数据矩阵的特征值，所述特征值为所述属性值。
具体的，将所述真实属性数据降维后，可以得到一二维属性向量，将二维属性向量转置后得到转置二维属性向量，将二维属性向量和转置二维属性向量乘积后得到真实属性向量。
本实施例，通过对原始属性数据进行降维并进行矩阵化处理，更好的得到真实的属性值。
在一个实施例中，所述S5，将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合，包括：
获取任一所述实体数据矩阵中的元素和任一所述真实属性数据的属性值，将所述元素和所述属性值入参到相似度距离函数中计算相似度距离，计算公式：
Figure PCTCN2019092597-appb-000002
式中：L(m 1,m 2)为相似度距离函数，m 1为元素，m 2为属性值；
根据所述相似度距离，计算得到所述元素和所述属性值的可信度，计算公式为：
Figure PCTCN2019092597-appb-000003
式中：Crd(m)为可信度函数，L(m 1,m 2)为相似度距离函数；将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的同一实体数据对应的所述原始属性数据融合，否则不融合。
具体的，在进行相似度计算时还可以采用余弦算法或者欧式距离算法等，可信度阈值是根据历史数据统计后得到的。
本实施例，通过对实体数据和属性数据可信度的计算，从而提升了属性数据融合的准确性。
在一个实施例中，所述S103、获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据包括：
若所述获取所述知识数据来源的形式为网页，则应用网络爬虫工具进行抽取，包括：
获取预抽取知识数据的任务队列中的关键词组，所述关键词组中包含有多个关键词；其中，任务队列中的关键词组可以是一些性状性的词组，比如：“球类”，在这个关键词组下所包含的关键词可以有“篮球”、“足球”、“乒乓球”等。
遍历所述关键词组，通过网络爬虫爬取与所述关键词组中每一个关键词对应的网页上的信息；获取所述网页上的信息中的所有实体信息，将所述实体信息导入到预设的知识数据表中，若有一个及以上的实体信息无法导入到预设的 知识数据表中，则重新通过网络爬虫爬取网页，否则将所述网页信息作为所述知识数据。
具体的，实体信息是指实体名称等和“实体”相关的信息，在导入到预设的知识数据表中时，先检索所述预设的知识数据表中的实体名称，若某一个实体信息中的实体名称不在预设的知识数据表中，则无法将所述实体信息导入。其中，预设的知识数据表存储在数据库中，其根据历次知识数据采集后汇总而成。
本实施例，能够有效的从网页信息中抽取出所需要的知识数据，提升知识数据抽取的效率。
在一个实施例中，提出了一种知识融合装置，如图4所示，包括如下模块：
数据获取模块41，设置为获取知识数据来源中的数个知识数据；
向量生成模块42，设置为抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；
数据向量化模块43，设置为将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；
属性值获取模块44，设置为抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；
融合判定模块45，设置为将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
在一个实施例中，所述向量生成模块，还设置为：
发送知识数据抽取指令至待抽取知识数据的所述知识数据来源；接收所述知识数据来源的反馈信息，从所述反馈信息中抽取出数据来源类型的关键词，根据所述关键词确定所述知识来数据源的类型；获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据。
在一个实施例中，所述数据获取模块，还设置为：
设置一抽取所述知识数据中的实体数据的初始语段，所述初始语段中至少包含一个所述实体数据；根据所述初始语段的语段长度，将所述知识数据分割成数个初始子数据块，若任意一个所述初始子数据块中包含有两个或者以上的实体数据，则将所述初始子数据块进行再次分割得到只包含一个所述实体数据的最终子数据块；抽取所述最终子数据块中的实体数据，提取所述最终子数据 块中的实体数据的语义特征，应用词向量转化法将所述语义特征转换成初始多维词向量，将所述最终子数据块的语段长度作为系数与所述初始多维词向量进行乘积后得到最终多维词向量。
在一个实施例中，所述数据向量化模块，还设置为：
获取所述多维词向量中的每一个样本点的K个近邻点；根据每个样本点的K个近邻点，建立所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}；
根据所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}，将每个样本点映射到低维空间，映射后得到二维词向量Y＝{y 1,y 2,…,y N}；将所述二维词向量转置后得到转置二维词向量，将所述二维词向量与所述转置二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据。
在一个实施例中，所述属性值获取模块，还设置为设置为：
抽取所述任一所述知识数据中的原始属性数据，离散化处理所述原始属性数据后得到所述原始属性数据的离散值；根据所述知识数据中的所述原始属性数据的数量，获取所述原始属性数据对应的向量维度；将所述离散值和所述向量维度进行做差，若差值在预设的误差阈值以内，则所述原始属性数据为真实属性数据，若所述差值不在所述误差阈值以内，则根据所述差值去除所述原始属性数据中的多余属性数据，得到所述真实属性数据；根据所述真实属性数据的数量，获取所述真实属性数据对应的向量维度，建立真实属性数据向量；
将所述真实属性数据向量降维后形成一真实属性数据矩阵，获取所述真实属性数据矩阵的特征值，所述特征值为所述属性值。
在一个实施例中，所述融合判定模块，还设置为：
获取任一所述实体数据矩阵中的元素和任一所述真实属性数据的属性值，将所述元素和所述属性值入参到相似度距离函数中计算相似度距离；根据所述相似度距离，计算得到所述元素和所述属性值的可信度；将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的同一实体数据对应的所述原始属性数据融合，否则不融合。
在一个实施例中，所述向量生成模块，还设置为：
获取预抽取知识数据的任务队列中的关键词组，所述关键词组中包含有多个关键词；遍历所述关键词组，通过网络爬虫爬取与所述关键词组中每一个关键词对应的网页上的信息；获取所述网页上的信息中的所有实体信息，将所述实体信息导入到预设的知识数据表中，若有一个及以上的实体信息无法导入到预设的知识数据表中，则重新通过网络爬虫爬取网页，否则将所述网页信息作为所述知识数据。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述各实施例中所述知识融合方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述知识融合方法的步骤。所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其中描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种知识融合方法，其中，包括：
    获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
  2. 根据权利要求1所述的知识融合方法，其中，所述获取知识数据来源中的数个知识数据，包括：
    发送知识数据抽取指令至待抽取知识数据的所述知识数据来源；接收所述知识数据来源的反馈信息，从所述反馈信息中抽取出数据来源类型的关键词，根据所述关键词确定所述知识来数据源的类型；获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据。
  3. 根据权利要求1所述的知识融合方法，其中，所述抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量，包括：
    设置一抽取所述知识数据中的实体数据的初始语段，所述初始语段中至少包含一个所述实体数据；根据所述初始语段的语段长度，将所述知识数据分割成数个初始子数据块，若任意一个所述初始子数据块中包含有两个或者以上的实体数据，则将所述初始子数据块进行再次分割得到只包含一个所述实体数据的最终子数据块；抽取所述最终子数据块中的实体数据，提取所述最终子数据块中的实体数据的语义特征，应用词向量转化法将所述语义特征转换成初始多维词向量，将所述最终子数据块的语段长度作为系数与所述初始多维词向量进行乘积后得到最终多维词向量。
  4. 根据权利要求1所述的知识融合方法，其中，所述将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据，包括：
    获取所述多维词向量中的每一个样本点的K个近邻点；根据每个样本点的K个近邻点，建立所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}；根据所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}，将每个样本点映射到低维空间，映射条件为：
    Figure PCTCN2019092597-appb-100001
    式中：ε(Y)为损失函数值，y ij为近邻点数值，y n为近邻点输出向量，w ij是局部权重矩阵中的元素，K为近邻点的个数，N为近邻点输出向量中元素的个数，映射后得到二维词向量Y＝{y 1,y 2,…,y N}；将所述二维词向量转置后得到转置二维词向量，将所述二维词向量与所述转置二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据。
  5. 根据权利要求1所述的知识融合方法，其中，所述抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值，包括：
    抽取所述任一所述知识数据中的原始属性数据，离散化处理所述原始属性数据后得到所述原始属性数据的离散值；根据所述知识数据中的所述原始属性数据的数量，获取所述原始属性数据对应的向量维度；将所述离散值和所述向量维度进行做差，若差值在预设的误差阈值以内，则所述原始属性数据为真实属性数据，若所述差值不在所述误差阈值以内，则根据所述差值去除所述原始属性数据中的多余属性数据，得到所述真实属性数据；根据所述真实属性数据的数量，获取所述真实属性数据对应的向量维度，建立真实属性数据向量；将所述真实属性数据向量降维后形成一真实属性数据矩阵，获取所述真实属性数据矩阵的特征值，所述特征值为所述属性值。
  6. 根据权利要求1所述的知识融合方法，其中，所述将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合，包括：
    获取任一所述实体数据矩阵中的元素和任一所述真实属性数据的属性值，将所述元素和所述属性值入参到相似度距离函数中计算相似度距离，计算公式为：
    Figure PCTCN2019092597-appb-100002
    式中：L(m 1,m 2)为相似度距离函数，m 1为元素，m 2为属性值；根据所述相似度距离，计算得到所述元素和所述属性值的可信度，计算公式为：
    Figure PCTCN2019092597-appb-100003
    式中：Crd(m)为可信度函数，L(m 1,m 2)为相似度距离函数；将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的同一实体数据对应的所述原始属性数据融合，否则不融合。
  7. 根据权利要求2所述的知识融合方法，其中，所述获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据包括：若所述获取所述知识数据来源的形式为网页，则应用网络爬虫工具进行抽取，包括：获取预抽取知识数据的任务队列中的关键词组，所述关键词组中包含有多个关键词；遍历所述关键词组，通过网络爬虫爬取与所述关键词组中每一个关键词对应的网页上的信息；获取所述网页上的信息中的所有实体信息，将所述实体信息导入到预设的知识数据表中，若有一个及以上的实体信息无法导入到预设的知识数据表中，则重新通过网络爬虫爬取网页，否则将所述网页信息作为所述知识数据。
  8. 一种知识融合装置，其中，包括：
    数据获取模块，设置为获取知识数据来源中的数个知识数据；
    向量生成模块，设置为抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；
    数据向量化模块，设置为将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；
    属性值获取模块，设置为抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；
    融合判定模块，设置为将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
  9. 根据权利要求8所述的知识融合装置，其中，所述向量生成模块，还设置为：
    发送知识数据抽取指令至待抽取知识数据的所述知识数据来源；接收所述知识数据来源的反馈信息，从所述反馈信息中抽取出数据来源类型的关键词， 根据所述关键词确定所述知识来数据源的类型；获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据。
  10. 根据权利要求8所述的知识融合装置，其中，所述数据获取模块，还设置为：
    设置一抽取所述知识数据中的实体数据的初始语段，所述初始语段中至少包含一个所述实体数据；根据所述初始语段的语段长度，将所述知识数据分割成数个初始子数据块，若任意一个所述初始子数据块中包含有两个或者以上的实体数据，则将所述初始子数据块进行再次分割得到只包含一个所述实体数据的最终子数据块；抽取所述最终子数据块中的实体数据，提取所述最终子数据块中的实体数据的语义特征，应用词向量转化法将所述语义特征转换成初始多维词向量，将所述最终子数据块的语段长度作为系数与所述初始多维词向量进行乘积后得到最终多维词向量。
  11. 根据权利要求8所述的知识融合装置，其中，所述数据向量化模块，还设置为：
    获取所述多维词向量中的每一个样本点的K个近邻点；根据每个样本点的K个近邻点，建立所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}；
    根据所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}，将每个样本点映射到低维空间，映射后得到二维词向量Y＝{y 1,y 2,…,y N}；将所述二维词向量转置后得到转置二维词向量，将所述二维词向量与所述转置二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据。
  12. 根据权利要求8所述的知识融合装置，其中，所述属性值获取模块，还设置为：
    抽取所述任一所述知识数据中的原始属性数据，离散化处理所述原始属性数据后得到所述原始属性数据的离散值；根据所述知识数据中的所述原始属性数据的数量，获取所述原始属性数据对应的向量维度；将所述离散值和所述向量维度进行做差，若差值在预设的误差阈值以内，则所述原始属性数据为真实属性数据，若所述差值不在所述误差阈值以内，则根据所述差值去除所述原始属性数据中的多余属性数据，得到所述真实属性数据；根据所述真实属性数据的数量，获取所述真实属性数据对应的向量维度，建立真实属性数据向量；
    将所述真实属性数据向量降维后形成一真实属性数据矩阵，获取所述真实属性数据矩阵的特征值，所述特征值为所述属性值。
  13. 根据权利要求8所述的知识融合装置，其中，所述融合判定模块，还设置为：
    获取任一所述实体数据矩阵中的元素和任一所述真实属性数据的属性值，将所述元素和所述属性值入参到相似度距离函数中计算相似度距离；根据所述相似度距离，计算得到所述元素和所述属性值的可信度；将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的同一实体数据对应的所述原始属性数据融合，否则不融合。
  14. 根据权利要求9所述的知识融合装置，其中，所述向量生成模块，还设置为：
    获取预抽取知识数据的任务队列中的关键词组，所述关键词组中包含有多个关键词；遍历所述关键词组，通过网络爬虫爬取与所述关键词组中每一个关键词对应的网页上的信息；获取所述网页上的信息中的所有实体信息，将所述实体信息导入到预设的知识数据表中，若有一个及以上的实体信息无法导入到预设的知识数据表中，则重新通过网络爬虫爬取网页，否则将所述网页信息作为所述知识数据。
  15. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
    获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实属性数据，获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
  16. 一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
    获取知识数据来源中的数个知识数据；抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量；将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据；抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤后得到真实 属性数据，获取所述真实属性数据的属性值；将所述实体数据矩阵中的元素和所述真实属性数据的属性值入参到可信度识别模型，出参后得到所述知识数据的可信度，将所述可信度与预设的可信度阈值进行比较，若大于所述可信度阈值则将抽取出的所述原始属性数据融合，否则不融合。
  17. 根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述获取知识数据来源中的数个知识数据时，使得所述处理器执行以下步骤：
    发送知识数据抽取指令至待抽取知识数据的所述知识数据来源；接收所述知识数据来源的反馈信息，从所述反馈信息中抽取出数据来源类型的关键词，根据所述关键词确定所述知识来数据源的类型；获取所述知识数据来源的类型对应的抽取方法，根据所述抽取方法抽取所述知识数据来源的数个知识数据。
  18. 根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述抽取任一所述知识数据中的实体数据，将所述实体数据进行向量化转换，生成多维词向量时，使得所述处理器执行以下步骤：
    设置一抽取所述知识数据中的实体数据的初始语段，所述初始语段中至少包含一个所述实体数据；根据所述初始语段的语段长度，将所述知识数据分割成数个初始子数据块，若任意一个所述初始子数据块中包含有两个或者以上的实体数据，则将所述初始子数据块进行再次分割得到只包含一个所述实体数据的最终子数据块；抽取所述最终子数据块中的实体数据，提取所述最终子数据块中的实体数据的语义特征，应用词向量转化法将所述语义特征转换成初始多维词向量，将所述最终子数据块的语段长度作为系数与所述初始多维词向量进行乘积后得到最终多维词向量。
  19. 根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述将所述多维词向量进行降维后得到二维词向量，将所述二维词向量转置后与原所述二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据时，使得所述处理器执行以下步骤：
    获取所述多维词向量中的每一个样本点的K个近邻点；根据每个样本点的K个近邻点，建立所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}；根据所述每个样本点的局部权重矩阵W i＝{w i1,w i2,…,w iK}，将每个样本点映射到低维空间，映射后得到二维词向量Y＝{y 1,y 2,…,y N}；将所述二维词向量转置后得到转置二维词向量，将所述二维词向量与所述转置二维词向量乘积得到实体数据矩阵，所述实体数据矩阵中的元素为向量化的实体数据。
  20. 根据权利要求16所述的一种存储有计算机可读指令的存储介质，其中，所述抽取任一所述知识数据中的原始属性数据，对所述原始属性数据进行过滤 后得到真实属性数据，获取所述真实属性数据的属性值时，使得所述处理器执行以下步骤：
    抽取所述任一所述知识数据中的原始属性数据，离散化处理所述原始属性数据后得到所述原始属性数据的离散值；根据所述知识数据中的所述原始属性数据的数量，获取所述原始属性数据对应的向量维度；将所述离散值和所述向量维度进行做差，若差值在预设的误差阈值以内，则所述原始属性数据为真实属性数据，若所述差值不在所述误差阈值以内，则根据所述差值去除所述原始属性数据中的多余属性数据，得到所述真实属性数据；根据所述真实属性数据的数量，获取所述真实属性数据对应的向量维度，建立真实属性数据向量；将所述真实属性数据向量降维后形成一真实属性数据矩阵，获取所述真实属性数据矩阵的特征值，所述特征值为所述属性值。
PCT/CN2019/092597 2019-01-11 2019-06-24 知识融合方法、装置、计算机设备和存储介质 Ceased WO2020143184A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910025114.4A CN109886294B (zh) 2019-01-11 2019-01-11 知识融合方法、装置、计算机设备和存储介质
CN201910025114.4 2019-01-11

Publications (1)

Publication Number Publication Date
WO2020143184A1 true WO2020143184A1 (zh) 2020-07-16

Family

ID=66925944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/092597 Ceased WO2020143184A1 (zh) 2019-01-11 2019-06-24 知识融合方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN109886294B (zh)
WO (1) WO2020143184A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036481A (zh) * 2020-08-31 2020-12-04 国家电网有限公司 一种提升融合效果的反向验证方法
CN112182320A (zh) * 2020-09-25 2021-01-05 中国建设银行股份有限公司 聚类数据处理方法、装置、计算机设备及存储介质
CN112784065A (zh) * 2021-02-01 2021-05-11 东北大学 基于多阶邻域注意力网络的无监督知识图谱融合方法及装置
CN112949745A (zh) * 2021-03-23 2021-06-11 中国检验检疫科学研究院 多源数据的融合处理方法、装置、电子设备及存储介质
CN113111657A (zh) * 2021-03-04 2021-07-13 浙江工业大学 一种跨语言知识图谱对齐与融合方法、装置及存储介质
CN113468255A (zh) * 2021-06-25 2021-10-01 西安电子科技大学 基于知识图谱的社会治安综合治理领域数据融合方法
CN113723047A (zh) * 2021-07-27 2021-11-30 山东旗帜信息有限公司 一种基于法律文件的图谱构建方法、设备及介质
CN114139547A (zh) * 2021-11-25 2022-03-04 北京中科闻歌科技股份有限公司 知识融合方法、装置、设备、系统及介质
CN114625875A (zh) * 2022-03-09 2022-06-14 平安科技（深圳）有限公司 多数据源信息的模式匹配方法、装置、存储介质及设备
CN117033541A (zh) * 2023-10-09 2023-11-10 中南大学 一种时空知识图谱索引方法及相关设备
CN117542353A (zh) * 2023-11-14 2024-02-09 贵州大学 一种基于知识图谱和语音特征融合网络的语音理解方法
CN120805082A (zh) * 2025-09-12 2025-10-17 电科云(北京)科技有限公司 海量数据的关联融合方法、设备及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886294B (zh) * 2019-01-11 2024-01-23 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质
CN110807102B (zh) * 2019-09-19 2023-09-29 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质
CN111159328A (zh) * 2019-11-20 2020-05-15 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 情报知识融合系统及方法
CN111782818B (zh) * 2020-06-05 2024-11-26 杭州德睿智药科技有限公司 生物医疗知识图谱的构建装置、方法、系统及存储器
CN112908303A (zh) * 2021-01-28 2021-06-04 广东优碧胜科技有限公司 音频信号的处理方法、装置以及电子设备
CN112988964B (zh) * 2021-02-20 2024-03-08 平安科技（深圳）有限公司 文本韵律边界预测的方法、装置、设备及存储介质
CN114357114A (zh) * 2022-01-04 2022-04-15 新华智云科技有限公司 一种基于无监督学习的实体清洗方法及系统
CN114860822A (zh) * 2022-03-24 2022-08-05 北京华宇信息技术有限公司 信息数据融合方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536664A (zh) * 2017-03-01 2018-09-14 华东师范大学 商品领域的知识融合方法
US20180268024A1 (en) * 2017-03-20 2018-09-20 International Business Machines Corporation Image support for cognitive intelligence queries
CN108647318A (zh) * 2018-05-10 2018-10-12 北京航空航天大学 一种基于多源数据的知识融合方法
CN109886294A (zh) * 2019-01-11 2019-06-14 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810526B (zh) * 2014-01-28 2016-09-21 北京仿真中心 一种基于d-s证据理论的知识融合方法
CN108804521B (zh) * 2018-04-27 2021-05-14 南京柯基数据科技有限公司 一种基于知识图谱的问答方法及农业百科问答系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536664A (zh) * 2017-03-01 2018-09-14 华东师范大学 商品领域的知识融合方法
US20180268024A1 (en) * 2017-03-20 2018-09-20 International Business Machines Corporation Image support for cognitive intelligence queries
CN108647318A (zh) * 2018-05-10 2018-10-12 北京航空航天大学 一种基于多源数据的知识融合方法
CN109886294A (zh) * 2019-01-11 2019-06-14 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036481A (zh) * 2020-08-31 2020-12-04 国家电网有限公司 一种提升融合效果的反向验证方法
CN112036481B (zh) * 2020-08-31 2024-04-05 国家电网有限公司 一种提升融合效果的反向验证方法
CN112182320A (zh) * 2020-09-25 2021-01-05 中国建设银行股份有限公司 聚类数据处理方法、装置、计算机设备及存储介质
CN112182320B (zh) * 2020-09-25 2023-12-26 中国建设银行股份有限公司 聚类数据处理方法、装置、计算机设备及存储介质
CN112784065A (zh) * 2021-02-01 2021-05-11 东北大学 基于多阶邻域注意力网络的无监督知识图谱融合方法及装置
CN112784065B (zh) * 2021-02-01 2023-07-14 东北大学 基于多阶邻域注意力网络的无监督知识图谱融合方法及装置
CN113111657A (zh) * 2021-03-04 2021-07-13 浙江工业大学 一种跨语言知识图谱对齐与融合方法、装置及存储介质
CN113111657B (zh) * 2021-03-04 2024-05-03 浙江工业大学 一种跨语言知识图谱对齐与融合方法、装置及存储介质
CN112949745A (zh) * 2021-03-23 2021-06-11 中国检验检疫科学研究院 多源数据的融合处理方法、装置、电子设备及存储介质
CN112949745B (zh) * 2021-03-23 2024-04-19 中国检验检疫科学研究院 多源数据的融合处理方法、装置、电子设备及存储介质
CN113468255B (zh) * 2021-06-25 2023-04-07 西安电子科技大学 基于知识图谱的社会治安综合治理领域数据融合方法
CN113468255A (zh) * 2021-06-25 2021-10-01 西安电子科技大学 基于知识图谱的社会治安综合治理领域数据融合方法
CN113723047A (zh) * 2021-07-27 2021-11-30 山东旗帜信息有限公司 一种基于法律文件的图谱构建方法、设备及介质
CN114139547B (zh) * 2021-11-25 2023-07-04 北京中科闻歌科技股份有限公司 知识融合方法、装置、设备、系统及介质
CN114139547A (zh) * 2021-11-25 2022-03-04 北京中科闻歌科技股份有限公司 知识融合方法、装置、设备、系统及介质
CN114625875B (zh) * 2022-03-09 2024-03-29 平安科技（深圳）有限公司 多数据源信息的模式匹配方法、装置、存储介质及设备
CN114625875A (zh) * 2022-03-09 2022-06-14 平安科技（深圳）有限公司 多数据源信息的模式匹配方法、装置、存储介质及设备
CN117033541B (zh) * 2023-10-09 2023-12-19 中南大学 一种时空知识图谱索引方法及相关设备
CN117033541A (zh) * 2023-10-09 2023-11-10 中南大学 一种时空知识图谱索引方法及相关设备
CN117542353A (zh) * 2023-11-14 2024-02-09 贵州大学 一种基于知识图谱和语音特征融合网络的语音理解方法
CN120805082A (zh) * 2025-09-12 2025-10-17 电科云(北京)科技有限公司 海量数据的关联融合方法、设备及介质

Also Published As

Publication number Publication date
CN109886294A (zh) 2019-06-14
CN109886294B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
WO2020143184A1 (zh) 知识融合方法、装置、计算机设备和存储介质
CN109359172B (zh) 一种基于图划分的实体对齐优化方法
CN109885692B (zh) 知识数据存储方法、装置、计算机设备和存储介质
CN110929038B (zh) 基于知识图谱的实体链接方法、装置、设备和存储介质
CN101567011B (zh) 文档处理装置、文档处理方法以及检索系统
CN112037920A (zh) 医疗知识图谱构建方法、装置、设备及存储介质
US20190347281A1 (en) Apparatus and method for semantic search
CN120873195A (zh) 用于基于图谱的动态信息检索及合成的系统和方法
CN108304378A (zh) 文本相似度计算方法、装置、计算机设备和存储介质
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
KR102059743B1 (ko) 딥러닝 기반의 지식 구조 생성 방법을 활용한 의료 문헌 구절 검색 방법 및 시스템
JP2003030222A (ja) 大規模データベースにおける主要クラスタおよびアウトライア・クラスタの検索、検出および同定のための方法、システム、記録媒体、およびサーバ
CN108319583A (zh) 从中文语料库提取知识的方法与系统
CN113486187A (zh) 佛学知识图谱构建方法、装置、设备及存储介质
CN118779439A (zh) 基于检索增强的问答方法、装置、设备及存储介质
CN113204696A (zh) 一种基于文本图谱的智能搜索引擎的检索方法
CN113590755B (zh) 词权重的生成方法、装置、电子设备及存储介质
CN118626631A (zh) 基于大语言模型的专利文本推荐方法、系统、设备及介质
CN119046303A (zh) 一种基于大数据的文字相似度检索分析方法及系统
CN117851597A (zh) 条款数据处理方法、装置、设备及计算机可读存储介质
CN112836014A (zh) 一种面向多领域跨学科的专家遴选方法
CN120372022B (zh) 基于语义计算的多源知识融合方法、装置和设备
CN114691845B (zh) 语义搜索方法、装置、电子设备、存储介质及产品
CN118690001B (zh) 一种基于检测增强生成技术的查询优化方法及系统
JP5533272B2 (ja) データ出力装置、データ出力方法およびデータ出力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 01.09.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19909177

Country of ref document: EP

Kind code of ref document: A1