WO2022267953A1 - 基于多视图对比学习的引文网络图表示学习系统及方法 - Google Patents

基于多视图对比学习的引文网络图表示学习系统及方法 Download PDF

Info

Publication number
WO2022267953A1
WO2022267953A1 PCT/CN2022/098948 CN2022098948W WO2022267953A1 WO 2022267953 A1 WO2022267953 A1 WO 2022267953A1 CN 2022098948 W CN2022098948 W CN 2022098948W WO 2022267953 A1 WO2022267953 A1 WO 2022267953A1
Authority
WO
WIPO (PCT)
Prior art keywords
graph
node
representation
sample
learning
Prior art date
Application number
PCT/CN2022/098948
Other languages
English (en)
French (fr)
Inventor
朱信忠
徐慧英
李苗苗
涂文轩
李洪波
张长旺
殷建平
Original Assignee
浙江师范大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江师范大学 filed Critical 浙江师范大学
Priority to US18/274,224 priority Critical patent/US20240104376A1/en
Publication of WO2022267953A1 publication Critical patent/WO2022267953A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Definitions

  • the present application relates to the technical field of graph representation learning for citation networks, in particular to a system and method for graph representation learning of citation networks based on multi-view contrastive learning.
  • a citation network refers to a collection of citation and cited relationships between documents, including scientific journals, patent documents, conference proceedings, scientific reports, and thesiss.
  • a large amount of English data exists in various applications in real life. By analyzing it in different dimensions, it can help users understand the data structure of different documents, the development of scientific fields, and the relationship between disciplines. How to effectively represent citations, graph machine learning is the most commonly used technology, which plays a huge role in the analysis of citation network structure and feature extraction of citation network nodes.
  • the network graph representation information In addition to extracting the high-dimensional representation of its own attribute information, the network graph representation information also needs to include high-dimensional feature representations related to surrounding neighbors and high-dimensional feature representations of the global graph. In practical applications, the cost of obtaining labeled citation network data is very high. Therefore, unsupervised graph representation learning emerged as the times require, which refers to the study of an encoder that learns a node representation to preserve the attribute and structural information of the graph without the guidance of artificial label information. Unsupervised graph representation learning represents the vertices in the graph as low-dimensional vectors by retaining the network topology and node content information of the graph, which can be processed by machine learning algorithms.
  • DGI Deep Graph Information
  • MI mutual information maximization of representative node features that mutually capture the global information content of the entire graph.
  • Tang et al [Qingyun Sun, HaoPeng, Jianxin Li, Jia Wu, YuanxingNing, Philip S.Yu, and Lifang He. 2021.
  • SUGAR Subgraph Neural Network with Reinforcement Pool-ing and Self-Supervised Mutual Information Mechanism.
  • MVGRL proposed to augment the input graph using graph diffusion, and then estimate the MI maximization between nodes and cross-view representations of the graph.
  • Node - Node-level representation learning method Different from the node graph model, these methods directly maximize the MI between two representations (e.g., the input and output of an encoder) at the fine-grained node level to preserve the basic topology and property information in the input graph.
  • Graph Mutual Information proposes to jointly maximize edge MI and feature MI using a node-node contrastive scheme for graph representation learning.
  • GraphCL first generates two correlated graph views by randomly performing node perturbations, and then learns a representation of the graph by directly maximizing the node-level consistency between dual-source representations.
  • GCA considers augmented views of graph data in an adaptive manner and simplifies previous node graph comparison schemes by defining comparison targets at the node level.
  • GCL-based methods usually employ a single-range MI estimation scheme to learn graph representations that are insufficient to represent the attribute information of the original graph, resulting in suboptimal performance.
  • Difficult sample mining refers to classifying samples with a classifier, putting the misclassified samples (hard negative) into the negative sample set and continuing to train the classifier.
  • a deep cascaded representation model (HDCE) based on hard sample awareness integrates a set of modules with different complexity in a cascaded manner, while mining hard samples from a multi-level perspective.
  • He et al. Alexander Hermans, Lucas Beyer, and Bastian Leibe.2017.In Defense of the Triplet Loss for Person Re-Identification.ArXiv abs/1703.07737] select the most difficult positive and negative samples through carefully designed triplet loss to improve human The re-identified metrics represent the learned performance.
  • SHNM Stochastic Hard Negative Mining
  • the purpose of this application is to address the shortcomings of the existing technology, and provide a system and method for citation network graph representation learning based on multi-view contrastive learning, which uses estimation to maximize in a hierarchical manner, obtains richer structural information, and achieves a more comprehensive graph Indicates learning.
  • a novel multi-view contrastive learning framework with hierarchical graph Infomax is introduced, enabling node representations to best reflect the global in different views Node, neighbor node and individual node information. In this way, complementary structural information can be encoded uniformly from different scales to improve the quality of graph representation.
  • a mutual information-based difficult sample mining module is designed to force the network to pay more attention to indistinguishable sample pairs. Therefore, the resulting network will be able to sequentially reveal the intrinsic structural information of difficult nodes to enhance the recognition ability of each discriminator.
  • Citation network graph representation learning system based on multi-view contrastive learning including:
  • the sample construction module is used to represent the corresponding original graph node in the citation network graph as a positive sample, and construct a negative corresponding sample based on the original graph;
  • the graph enhancement module is used to enhance the graph structure and initial node features in the positive sample based on the personalized page ranking algorithm and the Laplac smoothing algorithm, and obtain positive sample graphs and negative sample graphs related to the positive sample node set;
  • the fusion module is used to extract positive and negative sample graph representations based on the GCN encoder, integrate positive sample graph representations and negative sample graph representations, and centralize the fusion layer through cross-views to obtain consensus representations of positive sample graphs and negative sample graphs ;
  • the mutual information estimation module is used to compare the learning representation of the positive sample pair constructed by the node in the positive sample graph and the negative sample pair constructed by the node in the negative sample graph through the discriminator;
  • the difficult sample mining module is used to represent the consistency between negative sample pairs according to the pre-calculated affinity vector, and to select and retain nodes that are difficult to express global or neighbor information according to the calculated affinity vector to achieve a more comprehensive graph representation study.
  • the learning representation of comparing the positive sample graph and the negative sample graph through the discriminator in the mutual information estimation module is specifically: comparing the positive sample pair and the negative sample Learned representations for sample pairs.
  • the learning representation of comparing the positive sample pair and the negative sample pair through the node-graph level is specifically:
  • Zv denotes the positive sample graph representation of the v-th view extracted by the graph encoder
  • D represents the discriminator
  • z i represents the positive sample
  • s v indicates the global information of the positive sample pair for encoding
  • ⁇ indicates the activation function
  • W indicates the learnable tensor
  • the learning representation of comparing the positive sample pair and the negative sample pair through the node-neighbor level is specifically:
  • the local structure A'v of the selected node is augmented with the v-th view representation Z'v of the selected node, and the local structure represented by the augmented selected node is computed as:
  • H′ v ⁇ (A′ v Z′ v )
  • H'v represents the local structure represented by the enhanced selected node
  • ⁇ represents the activation function
  • X' v represents the feature matrix of the v-th view sample;
  • A' v represents the adjacency matrix of the v-th view sample;
  • z i ' represents the positive sample node representation in the vth view; represents the adjacent digest corresponding to the node representation in the vth view;
  • N′′ represents the number of positive samples of subsampling
  • M′′ represents the number of negative samples of subsampling
  • X′′ v represents the feature matrix of subsampling of the vth view
  • A′′ v represents the vth view two The adjacency matrix of subsampling
  • z′′ i represents the central node representation of subsampling
  • Negative node representation representing subsampling is the central node representation of subsampling.
  • the consistency between the negative sample pairs is expressed according to the pre-calculated affinity vector, and the nodes that are difficult to express global or neighbor information are selected and retained according to the calculated affinity vector, so as to achieve a more comprehensive
  • the graph representation learning of specifically:
  • s pos ⁇ s pos1 +(1- ⁇ )s pos2
  • Spos and Sneg represent the sub-vectors of the fused mutual information consistency;
  • ⁇ represents the learnable coefficient;
  • idx represents the index slice
  • an optimization module which is used to optimize the learning representation of positive sample pairs and negative sample pairs at the node-graph level, node-neighbor level, and node-node level, wherein the optimized loss function is:
  • GCN encoder in the fusion module is expressed as:
  • f v ( ) represents the encoder
  • G v represents the original graph collection.
  • the method further includes: subtracting Spos from Sneg to obtain a set of affinity vectors.
  • a citation network graph representation learning method based on multi-view comparative learning including:
  • Fig. 1 is the structure diagram of the citation network diagram representation learning system based on multi-view comparative learning provided by Embodiment 1;
  • Fig. 2 is a schematic diagram of the framework of the citation network graph representation learning system based on multi-view contrastive learning provided by Embodiment 1;
  • Fig. 3 is a schematic diagram of a mutual information-based difficult sample mining module provided in Embodiment 1.
  • the purpose of this application is to provide a citation network graph representation learning system and method based on multi-view contrastive learning to address the shortcomings of the prior art.
  • This embodiment provides a citation network graph representation learning system based on multi-view comparative learning, including:
  • the sample construction module 11 is used to represent the corresponding original graph node in the citation network graph as a positive sample, and construct a negative corresponding sample based on the original graph;
  • the graph enhancement module 12 is used to enhance the graph structure and initial node features in the positive sample based on the personalized page ranking algorithm and the Laplac smoothing algorithm, and obtain positive sample graphs and negative sample graphs related to the positive sample node set;
  • the fusion module 13 is used to extract positive sample graph representations and negative sample graph representations based on the GCN encoder, integrate positive sample graph representations and negative sample graph representations, and centralize the fusion layer through cross-views to obtain a consensus on positive sample graphs and negative sample graphs express;
  • the mutual information estimation module 14 is used to compare the learning representation of the positive sample pair constructed by the node in the positive sample graph and the negative sample pair constructed by the node in the negative sample graph by the discriminator;
  • the difficult sample mining module 15 is used to represent the consistency between negative sample pairs according to the pre-calculated affinity vector, and to select and retain nodes that are difficult to express global or neighbor information according to the calculated affinity vector, so as to realize a more comprehensive graph Indicates learning.
  • This embodiment proposes a new multi-view GCL-based framework, in which the multi-view contrastive learning (GCL) framework follows the general GCL paradigm, called Multi-view Hierarchical Graph Infomax (MHGI), and the network passes through the corresponding representation Maximize mutual information to learn graph representations.
  • GCL multi-view contrastive learning
  • MHGI Multi-view Hierarchical Graph Infomax
  • the corresponding original graph nodes in the citation network graph are represented as positive samples, and negative corresponding samples are constructed based on the original graph.
  • This embodiment is different from the existing single sample pair construction method. This embodiment establishes three combinations, namely node-graph level, node-neighbor level and node-node level modes, to construct positive sample pairs and negative sample pairs respectively. pair of samples.
  • the graph structure and initial node features in the positive samples are enhanced based on the personalized page ranking algorithm and the Laplac smoothing algorithm, and the relevant positive sample graphs and negative sample graphs in the positive sample node set are obtained.
  • the positive sample graph representation and the negative sample graph representation are extracted, the positive sample graph representation and the negative sample graph representation are integrated, and the fusion layer is concentrated through the cross-view to obtain the consensus of the positive sample graph and the negative sample graph express.
  • the learned representations of positive sample pairs constructed by nodes in the positive sample graph and negative sample pairs constructed by nodes in the negative sample graph are compared by a discriminator.
  • Positive sample pairs and negative sample pairs are constructed through nodes in the positive sample graph and negative sample graph.
  • Three discriminators based on parameter sharing are used to compare positive sample pairs and negative sample pairs, where the consistency of positive sample pairs and negative sample pairs is judged by estimating mutual information (MI) between different views.
  • MI mutual information
  • graph mutual information maximization is performed in node representations to generate graph representations that can best reflect the multi-range structural information of the entire graph.
  • this embodiment estimates mutual information in a hierarchical manner, that is, node-graph level, node-neighbor level, node-node level to compare the learning of positive sample pairs and negative sample point pairs express.
  • the overall structure of hierarchical mutual information estimation is shown in Figure 2.
  • Node-graph-level mutual information maximization where the learning process of node-graph-level mutual information maximization includes three steps:
  • Zv denotes the positive sample graph representation of the v-th view extracted by the graph encoder
  • the graph representation z i from Z is regarded as a positive sample. Its corresponding negative sample is denoted as Then use a discriminator D, that is, a simple bilinear function, which can make the logarithmic value of positive samples as large as possible, and the logarithmic value of negative samples as small as possible, and further calculate the probability score assigned to the positive sample map, expressed as:
  • D represents the discriminator
  • z i represents the positive sample
  • Re represents the transposed matrix of the sample
  • s v represents the global information of the positive sample pair for encoding
  • ⁇ represents the activation function
  • W represents the learnable tensor
  • Hierarchization can maximize the mutual information between positive sample pairs (z i , S v ), and at the same time minimize negative sample pairs in all views mutual information between them.
  • V represents the number of views
  • N and M represent the number of positive and negative sample pairs, respectively
  • X v Represents the feature matrix of the vth view
  • a v represents the adjacency matrix of the vth view
  • Node-neighbor level mutual information maximization contrary to node-graph level mutual information maximization, exploring the association relationship between nodes and neighbor nodes is conducive to encoding rich local structural information.
  • the process of node-neighbor level mutual information estimation includes two steps:
  • H′ v ⁇ (A′ v Z′ v )
  • H'v represents the local structure represented by the enhanced selected node
  • ⁇ represents the activation function
  • X' v represents the feature matrix of the v-th view sample;
  • A' v represents the adjacency matrix of the v-th view sample;
  • z i ' represents the positive sample node representation in the vth view; represents the adjacent digest corresponding to the node representation in the vth view; Represents the negative sample node representation in the vth view; Indicates neighbor information.
  • the network strengthens the representation of nodes between different views, thus, the representation of the graph can capture more latent local structural information.
  • Node-node level mutual information maximization is specifically:
  • N′′ represents the number of positive samples of subsampling
  • M′′ represents the number of negative samples of subsampling
  • X′′ v represents the feature matrix of subsampling of the vth view
  • A′′ v represents the vth view two The adjacency matrix of subsampling
  • z′′ i represents the central node representation of subsampling
  • Negative node representation representing subsampling is the central node representation of subsampling.
  • the difficult sample mining module 15 the consistency between negative sample pairs is expressed according to the pre-calculated affinity vector, and the nodes that are difficult to express global or neighbor information are selected and retained according to the calculated affinity vector to achieve a more comprehensive graph Indicates learning.
  • this embodiment proposes a new difficult sample mining module based on mutual information, so that the network can pay more attention to difficult sample pairs.
  • the overall structure of the difficult sample mining module based on mutual information is shown in Figure 3, including four steps:
  • s pos ⁇ s pos1 +(1- ⁇ )s pos2
  • Spos and Sneg represent the sub-vectors of the fused mutual information consistency, which reflects the full interaction consistency between positive sample pairs and negative sample pairs;
  • ⁇ represents a learnable coefficient, which selectively determines the two importance of the information source. ⁇ is initialized to 0.5, and then the network is automatically adjusted using the gradient descent method;
  • the goal is to train the network by computing a contrastive objective (i.e., a loss function similar to cross-entropy), and make the prediction scores Spos, Sneg of positive and negative sample pairs gradually approach their corresponding true labels.
  • a hard node n i is based on a latent hypothesis where the positive pairs The prediction score is close to 0, and the negative sample pair The prediction score is close to 1. Following this assumption, use Sneg to subtract Spos to obtain a set of affinity vectors for measuring the with consistency difference between.
  • idx represents the index slice
  • the mutual information-based hard sample mining module is a new method to select confusing nodes based on the results of mutual information estimation.
  • the discriminativeness of any node can be evaluated according to the node-graph-level or node-neighbor-level dependencies; and the discriminative ability of the network can be improved by selecting difficult nodes and further revealing the intrinsic structural information; in addition , this module and the proposed hierarchical mutual information estimation are seamlessly co-learned in a unified framework to retain more information to improve the discriminative ability of network and graph representations.
  • an optimization module is also included, which is used to optimize the learning representation of positive sample pairs and negative sample pairs at the node-graph level, node-neighborhood level, and node-node level, wherein the optimized loss function is :
  • ⁇ and ⁇ represent predefined hyperparameters, which balance the importance of the three parts.
  • this embodiment has the following beneficial effects:
  • this embodiment also provides a citation network graph representation learning method based on multi-view contrastive learning, including:
  • Table 1 shows the comparison of node classification accuracy of different methods on six data sets (mean ⁇ standard deviation). Among them, the second column represents the input used by each method during the training process, where X, A and Y represent feature matrix, adjacency matrix and label respectively. Bold indicates best results. OOM means out of memory.
  • the degree matrix; t represents the frequency of the Laplacian smoothing filter, initialized to 1.
  • M means real value, set to 2/3.
  • the dual view formula with A dual single-layer GCN with 512 hidden dimensions is adopted as the encoder of this method, and the ablation study uses the Adam optimizer for training.
  • our method employs an early stopping strategy, where the optimization stops when the validation loss reaches a plateau.
  • the learning rates of the proposed MHGI and logistic regression classifiers are set to 1e ⁇ 3 and 1e ⁇ 2 , respectively.
  • two balanced hyperparameters ⁇ and ⁇ are fixed to 1.
  • Deepwalk [Bryan Perozzi, Rami Al-Rfou, and Steven Skiena.2014.DeepWalk:online learn-ing of social representations.InProceedings of the ACM SIGKDD Conference onKnowledge Discovery and Data Mining.701–710] and NodetoVec[Adity a Jure Leskovec.2016.node2vec:Scalable Feature Learning forNetworks..InProceedings of the ACM SIGKDD Conference on Knowledge Discoveryand Data Mining.855–864] is a representative of the classic unsupervised graph representation learning (UGRL) method.
  • UGRL unsupervised graph representation learning
  • VGAE [Thomas N.Kipf and Max Welling.2016.Variational Graph Auto-Encoders.ArXivabs/1611.07308(2016)] and AGE[Ganqu Cui,Jie Zhou,Cheng Yang,and Zhiyuan Liu.2020.Adaptive GraphEncoder for Attributed ding.Graph Embedded InProceedings of the ACM SIGKDDConference on Knowledge Discovery and Data Mining.976–985] represent reconstruction-based UGRL methods that learn graph representations for downstream tasks by reconstructing inputs and outputs.
  • DGI Peetar Velickovic, William Fedus, William L.Hamilton, Pietro Li ⁇ , Yoshua Bengio, and R.
  • Table 1 presents the accuracy performance comparison of the above methods. From this Table 1, the present embodiment has the following observations:
  • MHGI shows superior performance relative to the comparison methods. Specifically, Deepwalk and NodetoVec exploit graph structure information only based on the DFS (Depth First Sampling) strategy content, and only a few nodes close to the source node will be sampled, so the local structure information is easily ignored. In addition, these methods rarely consider attribute information, resulting in poor performance. In contrast, MHGI fully utilizes the available information of graph structure and node attributes, which greatly improves the network performance.
  • DFS Depth First Sampling
  • MHGI optimizes the contrastive objective by predicting the consistency between two representations in the graph, where the consistency between samples with similar semantic information is maximized, while samples with irrelevant semantic information Consistency is minimized. Therefore, the proposed MHGI improves the accuracy performance of existing reconstruction-based UGRL methods.
  • the proposed MHGI consistently outperforms them and achieves the best accuracy performance.
  • MVGRL is considered to be the strongest baseline among GCL-based unsupervised graph representation learning methods.
  • the proposed MHGI exceeds 0.6%, 1.2%, 1.5%, 0.7%, 0.8% and 2.0%.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开基于多视图对比学习的引文网络图表示学习系统及方法。其中，本申请涉及的引文网络图表示学习系统，包括：样本构造模块，将原始图节点表示作为正样本，并基于原始图构造负对应样本；图增强模块，基于个性化页面排名算法和拉普拉平滑算法对正样本节点特征进行增强，获得正样本图和负样本图；融合模块，基于编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；互信息估计模块，通过鉴别器来对比正样本对和负样本对的学习表示；困难样本挖掘模块，根据预先计算的亲和力向量表示负样本对之间的一致性，并选择和保留较难表达全局或邻居信息的节点。

Description

基于多视图对比学习的引文网络图表示学习系统及方法 技术领域
本申请涉及面向引文网络的图表示学习技术领域，尤其涉及基于多视图对比学习的引文网络图表示学习系统及方法。
背景技术
随着信息化的发展，存储空间的不断上升，互联网用户群体的不断扩大，每天都会产生大量的文献信息，如何利用这些文献来更好地服务于不同的技术行业和广大群体成为研究者重点关注的内容。引文网络是指文献间引用和被引用的关系构成的集合，这些文献资料包括科技期刊、专利文献、会议论文集、科技报告和学位论文等多种形式。英文数据大量的存在于现实生活的各类应用中，通过对其进行不同维度的分析，可以帮助用户了解不同文献的数据结构、科学领域的发展、学科间的关系等。如何对引文进行有效的表示，图机器学习是最为常用的一种技术，其在进行引文网络结构分析、引文网络节点特征抽取等方面发挥着巨大作用。
网络图表示信息除需要提取自身属性信息的高维表示以外，还需要包含与周围邻居有关的高维特征表示和全局图的高维特征表示。在实际应用中，获取有标注引文网络数据的成本十分高昂。因此，无监督图表示学习应运而生，其是指研究在没有人工标签信息的指导下，学习一种节点表示的编码器以保存图的属性与结构信息。无监督图表示学习通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量，以便机器学习算法进行处理。它的本质是将图中节点表示成低维、实值、稠密的向量形式，使其可以在向量空间中具有较强的表示与推理能力。在所有面向引文网络的无监督图表示学习方法中，基于对比学习的方法取得了令人印象深刻的性能。
将对比学习技术引入图神经网络(GNNs)，并在无监督图表示学习方面表现出了强有力的性能。这些方法可以大致地分为两种类型，即节点-图级和节点-节点级。
节点-图级表示学习方法。这类方法旨在预测节点表示与图摘要之间的一致性，迫使所有节点保留具有全局特征的互信息。例如，深度图信息(DGI)估计每个单一节点和全局节点的相似性，以学习通过相互捕获整个图的全局信息内容的代表性节点特征互信息(MI)最大化。类似地，唐等[Qingyun Sun,HaoPeng,Jianxin Li,Jia Wu,YuanxingNing,Philip  S.Yu,andLifang He.2021.SUGAR:Subgraph Neural Network with Reinforcement Pool-ing and Self-Supervised Mutual Information Mechanism.InProceedings of theInternational Conference on World Wide Web]提出了一种自监督的MI机制，以通过最大化子图表示的MI来增强其注意全局图的结构特性。最近，MVGRL提出使用图扩散来增强输入图，然后估计节点和图的交叉视图表示之间的MI最大化。
节点-节点级表示学习方法。与节点图模式不同的是，这些方法直接在细粒度节点级的两个表示(例如，编码器的输入和输出)之间的MI最大化，以保留输入图中的基本拓扑和属性信息。例如，图形互信息(GMI)提出利用图表示学习的节点-节点对比方案联合最大化边缘MI和特征MI。此外，GraphCL首先通过随机执行节点扰动来生成两个相关的图视图，然后通过直接最大化双源表示之间的节点级一致性来学习图的表示。此外，GCA以一种自适应的方式考虑图数据的增广视图，并通过在节点级定义对比目标来简化以前的节点图对比方案。
但是，这些基于GCL的方法通常采用单范围MI估计方案学习到的图表示不足以表示原始图的属性信息，导致次优性能。
困难样本挖掘是指用分类器对样本进行分类，把其中错误分类的样本(hard negative)放入负样本集合再继续训练分类器。具体地说，基于困难样本感知的深度级联表示模型(HDCE)以级联的方式集成一组具有不同复杂度的模块，同时从多层次的角度出发对困难样本进行挖掘。赫等[Alexander Hermans,Lucas Beyer,and Bastian Leibe.2017.In Defense of theTriplet Loss for Person Re-Identification.ArXiv abs/1703.07737]通过精心设计的三联体损失，选择最难的正负样本，以提高人重新识别的度量表示学习的性能。类似地，引入了一种随机困难负挖掘(SHNM)方法来采用在线跟踪特征表示的类签名，并使用签名识别困难负实例候选对象。虽然困难样本挖掘方案被证明是增强各种深度表示学习任务中隐表示判别性的关键操作，但在图表示学习领域很少被研究。
现有基于GCL的框架中利用MI估计实现了更好的性能增强，但观察到这些方法通常基于所有节点估计节点-图级或节点-节点级表示之间的互信息。这种互信息评估方式存在以下两点问题，1)仅从单一的视角去关注图结构信息，忽略了不同范围内子图结构的位置信息；2)不加区分地抽取所有节点信息，使得困难样本不易区分。通过上述方式，网络通常更加偏好拟合整体或极端局部的图表示，并且在识别困难节点时会产生混淆，进而导致节点表示之间的相似性估计不准确，学习到的图表示识别能力有限。
发明内容
本申请的目的是针对现有技术的缺陷，提供了基于多视图对比学习的引文网络图表示学习系统及方法，利用估计以层次方式最大化，获取更丰富的结构信息，以实现更全面的图表示学习。具体地说，由于保留多范围结构信息被证明对表示学习至关重要，因此引入了一种新的具有层次图Infomax的多视图对比学习框架，使节点表示能够最大限度地反映不同视图中的全局节点、相邻节点和单个节点信息。这样，互补的结构信息可以从不同的范围内统一编码，以提高图表示的质量。此外，随着对比细粒度的提高，设计了一个基于互信息的困难样本挖掘模块，以迫使网络更多地关注难以分辨的样本对。因此，所得到的网络将能够按顺序揭示困难节点的内在结构信息，以增强每个鉴别器的识别能力。
为了实现以上目的，本申请采用以下技术方案：
基于多视图对比学习的引文网络图表示学习系统，包括：
样本构造模块，用于将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
图增强模块，用于基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
融合模块，用于基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
互信息估计模块，用于通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
困难样本挖掘模块，用于根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
进一步的，所述互信息估计模块中通过鉴别器来对比正样本图和负样本图的学习表示具体为：通过节点-图级、节点-邻居级、节点-节点级来对比正样本对和负样本对的学习表示。
进一步的，所述通过节点-图级来对比正样本对和负样本对的学习表示具体为：
利用R函数对正样本图的全局信息进行编码，表示为：
s v＝R(Z v)
其中，Z v表示图编码器提取的第v个视图的正样本图表示；
计算分配给正样本图的概率分数，表示为：
Figure PCTCN2022098948-appb-000001
其中，D表示鉴别器；z i表示正样本；
Figure PCTCN2022098948-appb-000002
表示进行编码的节点信息；s v表示进行编码的正样本对的全局信息；σ表示指激活函数；W表示可学习张量；
计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
Figure PCTCN2022098948-appb-000003
其中，
Figure PCTCN2022098948-appb-000004
表示节点与整个图之间的亲和性；
Figure PCTCN2022098948-appb-000005
Figure PCTCN2022098948-appb-000006
表示任意节点和整个图之间的差异性；V表示视图数；N和M分别表示正样本对和负样本对的数量；X v表示第v个视图的特征矩阵；A v表示第v个视图的邻接矩阵；
Figure PCTCN2022098948-appb-000007
表示第v个视图的重构特征矩阵；
Figure PCTCN2022098948-appb-000008
表示负样本。
进一步的，所述通过节点-邻居级来对比正样本对和负样本对的学习表示具体为：
选定节点的局部结构A′v，增强选定节点的第v个视图表示Z′v，并计算增强选定节点表示的局部结构，表示为：
H′ v＝σ(A′ vZ′ v)
其中，H′v表示增强选定节点表示的局部结构；σ表示指激活函数；
计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
Figure PCTCN2022098948-appb-000009
其中，N′表示采样的正样本个数；M′表示采样的负样本个数；X′ v表示第v个视图采样的特征矩阵；A′ v表示第v个视图采样的邻接矩阵；
Figure PCTCN2022098948-appb-000010
表示第v个视图采样的重构特征矩阵；z i′表示第v个视图中的正样本节点表示；
Figure PCTCN2022098948-appb-000011
表示与第v个视图中的节点表示相应的相邻摘要；
Figure PCTCN2022098948-appb-000012
表示表示第v个视图中的负样本节点表示；
Figure PCTCN2022098948-appb-000013
表示节点邻居信息。
进一步的，所述通过节点-节点级来对比正样本对和负样本对的学习表示具体为：
用激活函数规范化表示第v个视图表示Z v，并计算节点的图表示之间的互信息，表示为：
Figure PCTCN2022098948-appb-000014
其中，N″表示二次采样的正样本个数；M″表示二次采样的负样本个数；X″ v表示第v个视图二次采样的特征矩阵；A″ v表示第v个视图二次采样的邻接矩阵；z″ i表示二次采样的中心节点表示；
Figure PCTCN2022098948-appb-000015
表示二次采样的其节点表示；
Figure PCTCN2022098948-appb-000016
表示第v个视图二次采样的重构特征矩阵；
Figure PCTCN2022098948-appb-000017
表示二次采样的负节点表示。
进一步的，所述困难样本挖掘模块中根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习，具体为：
给定两种视图的正样本对和负样本对向量的互信息分数，将正样本对和负样本对相对应的向量进行线性组合运算，得到一致的互信息估计向量，表示为：
s pos＝αs pos1+(1-α)s pos2
s neg＝αs neg1+(1-α)s neg2
其中，Spos、Sneg表示融合的互信息一致性的分向量；α表示可学习的系数；
将正样本对和负样本对的真实标签分别定义为1和0；
根据亲和力向量对所有节点进行排序，并根据所有节点的索引将top-K的节点定义为困难节点，表示为：
idx＝Top_rank((s neg-s pos),K)
其中，idx表示索引切片；
选择正样本对和负样本对，表示为：
Figure PCTCN2022098948-appb-000018
其中，
Figure PCTCN2022098948-appb-000019
表示负样本对；
Figure PCTCN2022098948-appb-000020
表示正样本对；x i表示预先分配的表示；
Figure PCTCN2022098948-appb-000021
表示正样本对；
Figure PCTCN2022098948-appb-000022
表示负样本对。
进一步的，还包括优化模块，用于对节点-图级、节点-邻居级、节点-节点级的对比正样本对和负样本对的学习表示进行优化，其中，优化的损失函数为：
L＝L graph+λL neighbor+γL vertex
其中，λ和γ表示预定义的超参数。
进一步的，所述融合模块中的GCN编码器，表示为：
f v(·)：Z v＝f v(G v)＝f v(X v,A v)
其中，f v(·)表示编码器；G v表示原始图集合。
进一步的，所述根据亲和力向量对所有节点进行排序之前还包括：利用Sneg减去Spos得到一组亲和向量。
相应的，还提供基于多视图对比学习的引文网络图表示学习方法，包括：
S1.将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
S2.基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
S3.基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
S4.通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
S5.根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
与现有技术相比，本申请具有以下有益效果：
1)在无监督场景中更自然地处理图表示学习：L损失通过从数据本身探索信息来完成图对比学习，没有任何标签指导；
2)全面性更好：以层次化的方式揭示整个图的内在结构信息，该框架不是以固定的模式进行图互信息运算，而是隐式地估计来自不同范围的互信息，从而通过逐步利用节点-图级、节点-邻居级和节点-节点级的关系来提取更全面的信息；
3)判别性更好：将分层互信息估计和基于互信息的困难样本挖掘的学习过程统一起来，以过滤易区分节点并使网络更加关注困难节点，以提高网络的判别能力。
附图说明
图1是实施例一提供的基于多视图对比学习的引文网络图表示学习系统结构图；
图2是实施例一提供的基于多视图对比学习的引文网络图表示学习系统框架示意图；
图3是实施例一提供的基于互信息的困难样本挖掘模块示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本申请的目的是针对现有技术的缺陷，提供了基于多视图对比学习的引文网络图表示学习系统及方法。
实施例一
本实施例提供基于多视图对比学习的引文网络图表示学习系统，包括：
样本构造模块11，用于将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
图增强模块12，用于基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
融合模块13，用于基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
互信息估计模块14，用于通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
困难样本挖掘模块15，用于根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
本实施例提出的一种新的基于多视图GCL的框架，其中多视图对比学习(GCL)框架遵循通用的GCL范式，，称为多视图层次图Infomax(MHGI)，网络通过在相应的表示中最大化互信息来学习图的表示。用于无监督图表示学习，它融合了来自不同视图的信息，并以层次的方式进行图Infomax，以提高图表示的质量。
在样本构造模块11中，将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本。
获取引文网络中的原始图，将原始图G{X，A}的节点表示作为正样本，并基于对正样本由显式函数按行打乱顺序进行扰乱，得到负对应样本。
本实施例与现有的单一样本对的构造方式不同，本实施例建立了三种组合，即节点- 图级、节点-邻居级和节点-节点级的模式，以分别构造正样本对和负样本对。
在图增强模块12中，基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图。
通过个性化页面排名(PPR)算法[Glen Jeh and Jennifer Widom.2003.Scaling personalized web search.InProceed-ings of the International Conference on World Wide Web.271–279]和拉普拉平滑算法[Ganqu Cui,Jie Zhou,Cheng Yang,and Zhiyuan Liu.2020.Adaptive GraphEncoder for Attributed Graph Embedding.InProceedings of the ACM SIGKDDConference on Knowledge Discovery and Data Mining.976–985]对正样本中的图结构和初始节点特征进行增强，获得正样本集合V中的正样本图G v以及相对应的负样本图Gb v。
在融合模块13中，基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示。
基于GCN的编码器f v(·)：Z v＝f v(G v)＝f v(X v,A v)，提取正样本图表示Z v和增强后的相应负样本图表示G vbZ v。然后以线性融合的方式将正样本及负样本的多视图隐空间表示进行元素级累加，以获得共识表示ZBZ。
在互信息估计模块14中，通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示。
正样本对和负样本对的构造是通过正样本图和负样本图中的节点构造的。
利用三个基于参数共享的鉴别器来对比正样本对、负样本对，其中，通过对不同视图之间的互信息(MI)估计判断正样本对、负样本对的一致性。根据这一原则，在节点表示中进行图互信息最大化，以生成能够最大地反映整个图多范围结构信息的图表示。
为了充分保持多范围的结构特征和信息，本实施例通过层次化的方式估计互信息，即节点-图级、节点-邻居级、节点-节点级来对比正样本对和负样本点对的学习表示。其中分层互信息估计的整体结构如图2所示。
节点-图级互信息最大化，其中节点-图级互信息最大化的学习过程包括三个步骤：
1、给定图编码器提取的第v个视图的图表示Z v，利用R函数对正样本图G v的全局信息进行编码，表示为：
s v＝R(Z v)
其中，Z v表示图编码器提取的第v个视图的正样本图表示；
2、对于任何节点n i，来自Z的图表示z i被视为一个正样本。它对应的负样本被表示为
Figure PCTCN2022098948-appb-000023
然后使用一个鉴别器D，即一个简单的双线性函数，可以尽可能的使正样本对数值较大，负样本对数值较小，进一步计算分配给正样本图的概率分数，表示为：
Figure PCTCN2022098948-appb-000024
其中，D表示鉴别器；z i表示正样本；
Figure PCTCN2022098948-appb-000025
表示增样本的转置矩阵；s v表示进行编码的正样本对的全局信息；σ表示指激活函数；W表示可学习张量；
3、采用层次化可以最大限度最大化正样本对(z i,S v)之间的互信息，同时可以最小化所有视图中负样本对
Figure PCTCN2022098948-appb-000026
之间的互信息。
因此，计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
Figure PCTCN2022098948-appb-000027
其中，
Figure PCTCN2022098948-appb-000028
表示节点与整个图之间的亲和性，
Figure PCTCN2022098948-appb-000029
Figure PCTCN2022098948-appb-000030
表示任意节点和整个图之间的差异性，这迫使学习到的节点尽可能多地捕获和保存全局信息；V表示视图数；N和M分别表示正样本对和负样本对的数量；X v表示第v个视图的特征矩阵；A v表示第v个视图的邻接矩阵；
Figure PCTCN2022098948-appb-000031
表示第v个视图的重构特征矩阵；
Figure PCTCN2022098948-appb-000032
表示负样本。
节点-邻居级的互信息最大化，与节点-图级互信息最大化相反，探索节点与邻居节点的关联关系有利于编码丰富的局部结构信息。如在下述公式，节点-邻居级互信息估计的过程包括两个步骤：
1、选定节点的局部结构A′v，增强选定节点的第v个视图表示Z′v，并计算增强选定节点表示的局部结构，表示为：
H′ v＝σ(A′ vZ′ v)
其中，H′v表示增强选定节点表示的局部结构；σ表示指激活函数；
2、对于正样本对，在第v个视图中将节点n j的节点表示z j′与其相应的相邻摘要
Figure PCTCN2022098948-appb-000033
之间的相互信息最大化。负样本对中的互信息最小化过程与节点-图级中的相似。
因此，计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
Figure PCTCN2022098948-appb-000034
其中，N′表示采样的正样本个数；M′表示采样的负样本个数；X′ v表示第v个视图采样的特征矩阵；A′ v表示第v个视图采样的邻接矩阵；
Figure PCTCN2022098948-appb-000035
表示第v个视图采样的重构特征矩阵；z i′表示第v个视图中的正样本节点表示；
Figure PCTCN2022098948-appb-000036
表示与第v个视图中的节点表示相应的相邻摘要；
Figure PCTCN2022098948-appb-000037
表示第v个视图中的负样本节点表示；
Figure PCTCN2022098948-appb-000038
表示邻居信息。
通过对比所有正样本对和负样本对，网络加强节点在不同视图之间的表示，因此，图的表示可以捕获更多潜在的局部结构信息。
节点-节点级互信息最大化具体为：
为了发掘每个视图中的特有信息，首先用激活函数规范化表示v图Z v，然后使节点n k的表示z k通过节点-节点级互信息最大化同时收集不同视图的特有信息。这种互信息使得节点表示偏好跨多视图数据本身的精细信息。
因此，计算节点的图表示之间的互信息，表示为：
Figure PCTCN2022098948-appb-000039
其中，N″表示二次采样的正样本个数；M″表示二次采样的负样本个数；X″ v表示第v个视图二次采样的特征矩阵；A″ v表示第v个视图二次采样的邻接矩阵；z″ i表示二次采样的中心节点表示；
Figure PCTCN2022098948-appb-000040
表示二次采样的其节点表示；
Figure PCTCN2022098948-appb-000041
表示第v个视图二次采样的重构特征矩阵；
Figure PCTCN2022098948-appb-000042
表示二次采样的负节点表示。
在困难样本挖掘模块15中，根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
由于困难节点通常会混淆图表示网络，因此平等对待所有节点会限制生成的图表示的可辨别性。在这些不易区分的节点中，引入尽可能多的判别信息至关重要。为此，本实施例提出了一种新的基于互信息的困难样本挖掘模块，使网络能够更多地关注困难样本对。 基于互信息的困难样挖掘模块总体结构如图3所示，包括四个步骤：
1、给定两种视图的正样本对和负样本对向量的互信息分数，将正样本对和负样本对相对应的向量进行线性组合运算，得到一组一致的互信息估计向量，表示为：
s pos＝αs pos1+(1-α)s pos2
s neg＝αs neg1+(1-α)s neg2
其中，Spos、Sneg表示融合的互信息一致性的分向量，它反映了正样本对、负样本对表示之间具有充分交互的一致性；α表示可学习的系数，它选择性地确定了两个信息源的重要性。α被初始化为0.5，然后使用梯度下降方法对网络进行自动调整；
2、将正样本对和负样本对的真实标签分别定义为1和0；
目标是通过计算对比目标(即类似交叉熵的损失函数)来训练网络，并使正样本对、负样本对的预测分数Spos、Sneg逐渐接近其相应的真实标签。直观地说，一个困难节点n i基于一个潜在的假设，其中正样本对
Figure PCTCN2022098948-appb-000043
的预测分数接近于0，负样本对
Figure PCTCN2022098948-appb-000044
的预测分数接近于1。遵循这个假设，利用Sneg减去Spos得到一组亲和向量，用于度量节点n i的
Figure PCTCN2022098948-appb-000045
和
Figure PCTCN2022098948-appb-000046
之间的一致性差异。
3、根据亲和力向量对所有节点进行排序，并根据所有节点的索引将top-K的节点定义为困难节点，表示为：
idx＝Top_rank((s neg-s pos),K)
其中，idx表示索引切片；
4、通过下式选择正样本对和负样本对，表示为：
Figure PCTCN2022098948-appb-000047
其中，
Figure PCTCN2022098948-appb-000048
表示负样本对；
Figure PCTCN2022098948-appb-000049
表示正样本对；x i表示预先分配的表示；
Figure PCTCN2022098948-appb-000050
表示正样本对；
Figure PCTCN2022098948-appb-000051
表示负样本对。
总体而言，基于互信息的困难样本挖掘模块是一种基于互信息估计的结果来选择易混淆节点的新方法。通过这种方式，可以根据节点-图级或节点-邻居级的依赖性来评估任何节点的辨别性；且通过选择困难节点并对其进一步揭示内在的结构信息，以提高网络的识别能力；此外，该模块和提出的分层互信息估计在统一框架中无缝地协同学习，以保留更多信息来提高网络和图表示的辨别能力。
在本实施例中，还包括优化模块，用于对节点-图级、节点-邻居级、节点-节点级的对比正样本对和负样本对的学习表示进行优化，其中，优化的损失函数为：
L＝L graph+λL neighbor+γL vertex
其中，λ和γ表示预定义的超参数，它们平衡了三个部分的重要性。
与现有技术相比，本实施例具有以下有益效果：
1)在无监督场景中更自然地处理图表示学习：L损失通过从数据本身探索信息来完成图对比学习，没有任何标签指导；
2)全面性更好：以层次化的方式揭示整个图的内在结构信息，该框架不是以固定的模式进行图互信息运算，而是隐式地估计来自不同范围的互信息，从而通过逐步利用节点-图级、节点-邻居级和节点-节点级的关系来提取更全面的信息；
3)判别性更好：将分层互信息估计和基于互信息的困难样本挖掘的学习过程统一起来，以过滤易区分节点并使网络更加关注困难节点，以提高网络的判别能力。
相应的，本实施例时还提供基于多视图对比学习的引文网络图表示学习方法，包括：
S1.将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
S2.基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
S3.基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
S4.通过鉴别器来对比正样本中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
S5.根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
实施例二
本实施例提供的基于多视图对比学习的引文网络图表示学习系统与实施例一的不同之处在于：
为了评估所提出的MHGI的有效性，在六个广泛使用的数据集上进行了广泛的实验，包括Cora1、Citeseer1、Pubmed1、Amap2、Amac2和Corafull3。对于Cora、CiteSeer和PubMed数据集，使用了相同的训练/验证/测试划分，如[Thomas N.Kipf and Max Welling.2017.Semi-Supervised Classification withGraph Convolutional Networks.InProceedings of the International Conference onLearning Representations]。对于其他三个数据集(即Amap，Amac和Corafull)，由于它们没有可用的公共划分标准，因此使用随机划分，其中分别选择了7％，7％和其余86％的节点作为训练，验证和测试集。
如表1所示为不同方法在六个数据集上的节点分类精度比较(平均值±标准差)。其 中，第二列表示训练过程中每种方法使用的输入，其中X、A和Y分别表示特征矩阵、邻接矩阵和标签。粗体表示最好的结果。OOM是指内存不足。
Figure PCTCN2022098948-appb-000052
表1
设置参数：
训练过程：本方法是用PyTorch平台和NVIDIA 3090GPU实现的。拟议的MHGI的训练包括两个步骤。首先，训练整个无监督图表示学习框架，通过最小化对比损失函数L(·)来优化图表示至少120次迭代。其次，遵循DGI[PetarVelickovic,William Fedus,William L.Hamilton,PietroLiò,YoshuaBengio,and R.Devon Hjelm.2019.Deep Graph Infomax.InProceedings of the InternationalConference on Learning Representations]并训练一个简单的逻辑回归分类器至少50次迭代直到收敛，以评估在半监督节点分类任务上生成的图表示的质量。对于所有比较的方法，为了减轻随机性的不利影响，将每个实验重复10次，并报告平均值和相应的标准偏差。
实现细节：视图构建的过程包括两个步骤。首先，遵循MVGRL[KavehHassani and Amir HoseinKhasAhmadi.2020.ContrastiveMulti-ViewRepresentation Learning on Graphs.InProceedings of the International Conferenceon Machine Learning.4116–4126]并通过图扩散将增强应用于邻接矩阵以生成结构增强邻接矩阵
Figure PCTCN2022098948-appb-000053
Figure PCTCN2022098948-appb-000054
接下来，为了过滤掉高频信号同时保留低频信号，遵循AGE[Ganqu Cui,Jie Zhou,Cheng Yang,and Zhiyuan Liu.2020.Adaptive GraphEncoder for Attributed Graph Embedding.InProceedings of the ACM SIGKDDConference on Knowledge Discovery and  Data Mining.976–985]并利用拉普拉斯平滑滤波器生成特征增强属性矩阵X L：
Figure PCTCN2022098948-appb-000055
X L＝H tX
其中，
Figure PCTCN2022098948-appb-000056
表示归一化邻接矩阵
Figure PCTCN2022098948-appb-000057
的度矩阵；t表示拉普拉斯平滑滤波器的频率，初始化为1。M表示实值，设置为2/3。
因此，将双视图公式
Figure PCTCN2022098948-appb-000058
和
Figure PCTCN2022098948-appb-000059
采用具有512个隐藏维度的双单层GCN作为本方法的编码器，消融研究使用Adam优化器进行训练。为了避免过度拟合，本方法采用了一种提前停止策略，即当验证损失达到平稳状态时优化停止。对于所有数据集，所提出的MHGI和逻辑回归分类器的学习率分别设置为1e -3和1e -2。根据参数敏感性测试的结果，将两个平衡的超参数γ和λ固定为1。由于Pubmed、Amap、Amac和Corafull的规模较大，需要利用MVGRL[KavehHassani and Amir HoseinKhasAhmadi.2020.Contrastive Multi-ViewRepresentation Learning on Graphs.InProceedings of the International Conferenceon Machine Learning.4116–4126]中引入的子采样技巧，使它们适合GPU内存。此外，在这些实验中评估了分类准确性方面的性能。
性能比较：
在这一部分，将本方法与几种最先进的方法进行比较，以说明其有效性。其中，Deepwalk[Bryan Perozzi,Rami Al-Rfou,and Steven Skiena.2014.DeepWalk:online learn-ing of social representations.InProceedings of the ACM SIGKDD Conference onKnowledge Discovery and Data Mining.701–710]和NodetoVec[Aditya Grover and Jure Leskovec.2016.node2vec:Scalable Feature Learning forNetworks..InProceedings of the ACM SIGKDD Conference on Knowledge Discoveryand Data Mining.855–864]是经典的无监督图表示学习(UGRL)方法的代表。VGAE[Thomas N.Kipf and Max Welling.2016.Variational Graph Auto-Encoders.ArXivabs/1611.07308(2016)]和AGE[Ganqu Cui,Jie Zhou,Cheng Yang,and Zhiyuan Liu.2020.Adaptive GraphEncoder for Attributed Graph Embedding.InProceedings of the ACM SIGKDDConference on Knowledge Discovery and Data Mining.976–985]表示基于重建的UGRL方法，它们通过重建输入和输出来学习下游任务的图表示。DGI[PetarVelickovic,William Fedus,William L.Hamilton,PietroLiò,YoshuaBengio,and R.Devon Hjelm.2019.Deep Graph Infomax.InProceedings of the InternationalConference on Learning Representations]、GMI[Zhen Peng,Wenbing  Huang,MinnanLuo,QinghuaZheng,Yu Rong,TingyangXu,and Junzhou Huang.2020.Graph Representation Learning via GraphicalMutual Information Maximization.InProceedings of the International Conferenceon World Wide Web.259–270]和MVGRL[KavehHassani and Amir HoseinKhasAhmadi.2020.Contrastive Multi-ViewRepresentation Learning on Graphs.InProceedings of the International Conferenceon Machine Learning.4116–4126]是典型的基于图对比学习的UGRL框架。在这些方法中，通过基于互信息估计对正样本对和负样本对进行区分，图表示是通过属性和结构信息来学习的。为了直接将本方法与有监督的方法进行比较，还报告了GCN[Thomas N.Kipf and Max Welling.2017.Semi-Supervised Classification withGraph Convolutional Networks.InProceedings of the International Conference onLearning Representations]、GAT[PetarVelickovic,GuillemCucurull,Arantxa Casanova,Adriana Romero,PietroLiò,and YoshuaBengio.2018.Graph Attention Networks.InProceedings of theInternational Conference on Learning Representation]和SS-GCNs[Yuning You,Tianlong Chen,Zhangyang Wang,and Yang Shen.2020.WhenDoes Self-Supervision Help Graph Convolutional Networks？.InProceedingsofthe International Conference on Machine Learning.10871–10880]的性能，它们以归纳方式训练网络进行节点分类。特别是，所提供了结果用于在原始特征上训练逻辑回归分类器。
表1给出了上述方法的精度性能比较。从该表1中，本实施例有以下观察结果：
1)在大多数情况下，MHGI相对于比较方法显示出优越的性能。具体来说，Deepwalk和NodetoVec仅基于DFS(深度优先采样)策略内容利用图结构信息，只有少数靠近源节点的节点会被采样，因此局部结构信息很容易被忽略。此外，这些方法很少考虑属性信息，导致性能较差。相比之下，MHGI充分地利用了图结构和节点属性的可用信息，极大地提高了网络性能。
2)基于重建的UGRL方法如VGAE和AGE无法与本方法相提并论，因为这些方法过分强调重建信息的质量，并且受到非结构化预测的影响。MHGI并非同等地重建所有信息，而是通过预测图中两种表示之间的一致性来优化对比目标，其中具有相似语义信息的样本之间的一致性最大化，而具有不相关语义信息的样本之间的一致性最小化。因此，所提出的MHGI提高了现有基于重建的UGRL方法的精度性能。
3)与基于GCL的方法相比，所提出的MHGI始终优于它们并实现了最佳的精度性能。例 如，MVGRL被认为是基于GCL的无监督图表示学习方法中最强的基线。就所有基准数据集ACC而言，拟议的MHGI超过了0.6％、1.2％、1.5％、0.7％、0.8％和2.0％。这些结果验证了所提出框架的有效性，并证明了本方法的分层互信息估计策略和基于互信息的困难样本挖掘模块能够通过收集和保留来自不同范围的更全面的信息来帮助提高图表示的判别能力。
4)本方法还与五种监督图表示学习方法进行了比较，包括GCN、GAT和SS-GCN的三种变体：SS-GCN-Clu、SS-GCN-Par和SS-GCN-Comp。在没有任何标签指导的情况下，本方法表现出与一些监督方法(如GCN和GAT)相当的结果，甚至在Cora和Citeseer数据集上的结果甚至比它们更好。假设这些好处源于这样一个事实，即通过分层互信息估计和基于互信息的困难样本挖掘模块学习的MHGI图表示继承了原始图的丰富结构信息和潜在语义属性。这些监督方法的图表示不是从数据本身探索丰富的信息，而是在极其稀疏的监督信号的指导下学习和优化，这可能会受到过拟合的威胁并导致次优性能。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

  1. 基于多视图对比学习的引文网络图表示学习系统，其特征在于，包括：
    样本构造模块，用于将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
    图增强模块，用于基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
    融合模块，用于基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
    互信息估计模块，用于通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
    困难样本挖掘模块，用于根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
  2. 根据权利要求1所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述互信息估计模块中通过鉴别器来对比正样本图和负样本图的学习表示具体为：通过节点-图级、节点-邻居级、节点-节点级来对比正样本对和负样本对的学习表示。
  3. 根据权利要求2所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述通过节点-图级来对比正样本对和负样本对的学习表示具体为：
    利用R函数对正样本图的全局信息进行编码，表示为：
    s v＝R(Z v)
    其中，Z v表示图编码器提取的第v个视图的正样本图表示；
    计算分配给正样本图的概率分数，表示为：
    Figure PCTCN2022098948-appb-100001
    其中，D表示鉴别器；z i表示正样本；
    Figure PCTCN2022098948-appb-100002
    表示进行编码的节点信息；s v表示进行编码的正样本对的全局信息；σ表示指激活函数；W表示可学习张量；
    计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
    Figure PCTCN2022098948-appb-100003
    其中，
    Figure PCTCN2022098948-appb-100004
    表示节点与整个图之间的亲和性；
    Figure PCTCN2022098948-appb-100005
    Figure PCTCN2022098948-appb-100006
    表示任意节点和整个图之间的差异性；V表示视图数；N和M分别表示正样本对和负样本对的数量；X v表示第v个视图的特征矩阵；A v表示第v个视图的邻接矩阵；
    Figure PCTCN2022098948-appb-100007
    表示第v个视图的重构特征矩阵；
    Figure PCTCN2022098948-appb-100008
    表示负样本。
  4. 根据权利要求2所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述通过节点-邻居级来对比正样本对和负样本对的学习表示具体为：
    选定节点的局部结构A′v，增强选定节点的第v个视图表示Z′v，并计算增强选定节点表示的局部结构，表示为：
    H′ v＝σ(A′ vZ′ v)
    其中，H′v表示增强选定节点表示的局部结构；σ表示指激活函数；
    计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：
    Figure PCTCN2022098948-appb-100009
    其中，N′表示采样的正样本个数；M′表示采样的负样本个数；X′ v表示第v个视图采样的特征矩阵；A′ v表示第v个视图采样的邻接矩阵；
    Figure PCTCN2022098948-appb-100010
    表示第v个视图采样的重构特征矩阵；z i′表示第v个视图中的正样本节点表示；
    Figure PCTCN2022098948-appb-100011
    表示与第v个视图中的节点表示相应的相邻摘要；
    Figure PCTCN2022098948-appb-100012
    表示表示第v个视图中的负样本节点表示；
    Figure PCTCN2022098948-appb-100013
    表示节点邻居信息。
  5. 根据权利要求2所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述通过节点-节点级来对比正样本对和负样本对的学习表示具体为：
    用激活函数规范化表示第v个视图表示Z v，并计算节点的图表示之间的互信息，表示为：
    Figure PCTCN2022098948-appb-100014
    其中，N″表示二次采样的正样本个数；M″表示二次采样的负样本个数；X″ v表示第v个视图二次采样的特征矩阵；A″ v表示第v个视图二次采样的邻接矩阵；z″ i表示二次采样的中心节点表示；
    Figure PCTCN2022098948-appb-100015
    表示二次采样的其节点表示；
    Figure PCTCN2022098948-appb-100016
    表示第v个视图二次采样的重构特征矩阵；
    Figure PCTCN2022098948-appb-100017
    表示二次采样的负节点表示。
  6. 根据权利要求2所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述困难样本挖掘模块中根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习，具体为：
    给定两种视图的正样本对和负样本对向量的互信息分数，将正样本对和负样本对相对应的向量进行线性组合运算，得到一致的互信息估计向量，表示为：
    s pos＝αs pos1+(1-α)s pos2
    s neg＝αs neg1+(1-α)s neg2
    其中，Spos、Sneg表示融合的互信息一致性的分向量；α表示可学习的系数；
    将正样本对和负样本对的真实标签分别定义为1和0；
    根据亲和力向量对所有节点进行排序，并根据所有节点的索引将top-K的节点定义为困难节点，表示为：
    idx＝Top_rank((s neg-s pos),K)
    其中，idx表示索引切片；
    选择正样本对和负样本对，表示为：
    Figure PCTCN2022098948-appb-100018
    其中，
    Figure PCTCN2022098948-appb-100019
    表示负样本对；
    Figure PCTCN2022098948-appb-100020
    表示正样本对；x i表示预先分配的表示；
    Figure PCTCN2022098948-appb-100021
    表示正样本对；
    Figure PCTCN2022098948-appb-100022
    表示负样本对。
  7. 根据权利要求6所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，还包括优化模块，用于对节点-图级、节点-邻居级、节点-节点级的对比正样本对和负样本对的学习表示进行优化，其中，优化的损失函数为：
    L＝L graph+λL neighbor+γL vertex
    其中，λ和γ表示预定义的超参数。
  8. 根据权利要求1所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述融合模块中的GCN编码器，表示为：
    f v(·)：Z v＝f v(G v)＝f v(X v,A v)
    其中，f v(·)表示编码器；G v表示原始图集合。
  9. 根据权利要求6所述的基于多视图对比学习的引文网络图表示学习系统，其特征在于，所述根据亲和力向量对所有节点进行排序之前还包括：利用Sneg减去Spos得到一组亲和向量。
  10. 基于多视图对比学习的引文网络图表示学习方法，其特征在于，包括：
    S1.将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；
    S2.基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；
    S3.基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；
    S4.通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；
    S5.根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。
PCT/CN2022/098948 2021-06-24 2022-06-15 基于多视图对比学习的引文网络图表示学习系统及方法 WO2022267953A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/274,224 US20240104376A1 (en) 2021-06-24 2022-06-15 Citation network graph representation learning system and method based on multi-view contrastive learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110706945.5A CN113627463A (zh) 2021-06-24 2021-06-24 基于多视图对比学习的引文网络图表示学习系统及方法
CN202110706945.5 2021-06-24

Publications (1)

Publication Number Publication Date
WO2022267953A1 true WO2022267953A1 (zh) 2022-12-29

Family

ID=78378345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098948 WO2022267953A1 (zh) 2021-06-24 2022-06-15 基于多视图对比学习的引文网络图表示学习系统及方法

Country Status (3)

Country Link
US (1) US20240104376A1 (zh)
CN (1) CN113627463A (zh)
WO (1) WO2022267953A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029357A (zh) * 2023-03-29 2023-04-28 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备
CN116401380A (zh) * 2023-06-07 2023-07-07 湖北工业大学 面向异构知识图谱的对比学习预测方法及系统
CN116595976A (zh) * 2023-04-26 2023-08-15 杭州睿数科技有限公司 一种科研创新平台控制方法及其系统
CN117829683A (zh) * 2024-03-04 2024-04-05 国网山东省电力公司信息通信公司 基于图对比学习的电力物联数据质量分析方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627463A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法
CN115906946B (zh) * 2022-12-11 2024-04-12 山西大学 一种多视图双曲-双曲图表示学习方法
CN116308856A (zh) * 2023-02-10 2023-06-23 华南师范大学 一种面向多层学习者关系网络的社区发现方法及装置
CN116108917B (zh) * 2023-02-21 2023-08-29 思腾合力(天津)科技有限公司 一种无标记样本增强的半监督图神经网络方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249961A1 (en) * 2019-06-14 2020-12-17 Vision Semantics Limited Optimised machine learning
CN112380435A (zh) * 2020-11-16 2021-02-19 北京大学 基于异构图神经网络的文献推荐方法及推荐系统
CN112784918A (zh) * 2021-02-01 2021-05-11 中国科学院自动化研究所 基于无监督图表示学习的节点识别方法、系统、装置
CN113627463A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047108B1 (ko) * 2008-11-19 2011-07-06 한국과학기술정보연구원 인용 네트웍을 이용한 핵심 문헌 추출 및 시각화 시스템 및방법
US8630975B1 (en) * 2010-12-06 2014-01-14 The Research Foundation For The State University Of New York Knowledge discovery from citation networks
CN111476261A (zh) * 2019-12-16 2020-07-31 天津工业大学 一种社区增强的图卷积神经网络方法
CN112529168B (zh) * 2020-12-29 2022-01-14 中国人民解放军国防科技大学 一种基于gcn的属性多层网络表示学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249961A1 (en) * 2019-06-14 2020-12-17 Vision Semantics Limited Optimised machine learning
CN112380435A (zh) * 2020-11-16 2021-02-19 北京大学 基于异构图神经网络的文献推荐方法及推荐系统
CN112784918A (zh) * 2021-02-01 2021-05-11 中国科学院自动化研究所 基于无监督图表示学习的节点识别方法、系统、装置
CN113627463A (zh) * 2021-06-24 2021-11-09 浙江师范大学 基于多视图对比学习的引文网络图表示学习系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YE ZHONGLIN, ZHAO HAIXING; ZHANG KE; ZHU YU; XIAO YUZHI: "Network Representation Learning Using the Optimizations of Neighboring Vertices and Relation Model", JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT, KEXUE CHUBANSHE, BEIJING, CN, vol. 56, no. 12, 15 December 2019 (2019-12-15), CN , pages 2562 - 2577, XP093017402, ISSN: 1000-1239, DOI: 10.7544/j.issn1000-1239.2019.20180566 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029357A (zh) * 2023-03-29 2023-04-28 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备
CN116029357B (zh) * 2023-03-29 2023-08-15 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备
CN116595976A (zh) * 2023-04-26 2023-08-15 杭州睿数科技有限公司 一种科研创新平台控制方法及其系统
CN116595976B (zh) * 2023-04-26 2024-05-24 杭州睿数科技有限公司 一种科研创新平台控制方法及其系统
CN116401380A (zh) * 2023-06-07 2023-07-07 湖北工业大学 面向异构知识图谱的对比学习预测方法及系统
CN116401380B (zh) * 2023-06-07 2023-08-11 湖北工业大学 面向异构知识图谱的对比学习预测方法及系统
CN117829683A (zh) * 2024-03-04 2024-04-05 国网山东省电力公司信息通信公司 基于图对比学习的电力物联数据质量分析方法及系统

Also Published As

Publication number Publication date
US20240104376A1 (en) 2024-03-28
CN113627463A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
WO2022267953A1 (zh) 基于多视图对比学习的引文网络图表示学习系统及方法
Gao et al. From classification to quantification in tweet sentiment analysis
Xu et al. Improving user recommendation by extracting social topics and interest topics of users in uni-directional social networks
CN110647626B (zh) 基于互联网服务域的rest数据服务聚类方法
CN104573130B (zh) 基于群体计算的实体解析方法及装置
Kang et al. Neural and attentional factorization machine-based web api recommendation for mashup development
Gao et al. Alleviating structural distribution shift in graph anomaly detection
Díaz-Morales Cross-device tracking: Matching devices and cookies
Payne Deep hyperedges: a framework for transductive and inductive learning on hypergraphs
Jatav An algorithm for predictive data mining approach in medical diagnosis
Zhou et al. ECMdd: Evidential c-medoids clustering with multiple prototypes
Dou et al. Predicting the popularity of online content with knowledge-enhanced neural networks
Eiras-Franco et al. A scalable decision-tree-based method to explain interactions in dyadic data
Chen et al. An ensemble model for link prediction based on graph embedding
Rathor et al. A review at Machine Learning algorithms targeting big data challenges
Chen et al. Multi-label learning with regularization enriched label-specific features
Asim et al. An adaptive model for identification of influential bloggers based on case-based reasoning using random forest
Albora et al. Sapling similarity: A performing and interpretable memory-based tool for recommendation
Lamirel et al. An overview of the history of Science of Science in China based on the use of bibliographic and citation data: a new method of analysis based on clustering with feature maximization and contrast graphs
Xu et al. Towards annotating media contents through social diffusion analysis
Sinha et al. Neural architecture search using covariance matrix adaptation evolution strategy
Peng et al. A new self-supervised task on graphs: Geodesic distance prediction
Sun et al. Graph embedding with rich information through heterogeneous network
Bi et al. Learning classifiers from dual annotation ambiguity via a min–max framework
Ding et al. Ego-network probabilistic graphical model for discovering on-line communities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22827448

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18274224

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE