WO2020248342A1 - 大规模网络表征学习的超参数优化方法和装置 - Google Patents

大规模网络表征学习的超参数优化方法和装置 Download PDF

Info

Publication number
WO2020248342A1
WO2020248342A1 PCT/CN2019/098235 CN2019098235W WO2020248342A1 WO 2020248342 A1 WO2020248342 A1 WO 2020248342A1 CN 2019098235 W CN2019098235 W CN 2019098235W WO 2020248342 A1 WO2020248342 A1 WO 2020248342A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
sub
networks
original network
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/098235
Other languages
English (en)
French (fr)
Inventor
朱文武
涂珂
崔鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of WO2020248342A1 publication Critical patent/WO2020248342A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This application relates to the field of network learning technology, and in particular to a method and device for optimizing hyperparameters of large-scale network representation learning.
  • Network representation learning is an effective way to process network data. In order to achieve good results, network representation learning usually requires careful adjustment of parameters. However, the large scale of the real network brings difficulties to the application of automatic machine learning to network representation learning methods.
  • This application aims to solve one of the technical problems in the related technology at least to a certain extent.
  • This application proposes a hyperparameter optimization method for large-scale network representation learning to solve the technical problem of low efficiency in optimizing hyperparameters for large-scale network representation learning in the prior art.
  • An embodiment of the present application proposes a hyperparameter optimization method for large-scale network representation learning, including:
  • the mapping of the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect is learned to generate the optimal hyper-parameters of the original network to pass
  • the original network performs information identification.
  • multiple sub-networks are obtained by sampling the original network, and the first image feature of the original network and the first image feature of each of the multiple sub-networks are extracted according to a preset algorithm.
  • Two image features according to the Gaussian process regression fitting the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final result, and the first image feature and each second image feature are calculated according to the similarity function to obtain
  • the network similarity between the original network and each sub-network according to the network similarity between the original network and each sub-network, learn the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect to generate the original
  • the optimal hyperparameters of the network for information identification through the original network.
  • the method optimizes the optimal hyperparameters of the original network by learning the hyperparameters in multiple sub-networks and the mapping of the second image feature to the final effect, and can quickly and effectively automatically adjust the hyperparameters of the original network.
  • Another embodiment of the present application proposes a hyperparameter optimization device for large-scale network representation learning, including:
  • the sampling module is used to sample the original network to obtain multiple sub-networks
  • An extraction module configured to extract the first image feature of the original network and the second image feature of each of the multiple sub-networks according to a preset algorithm
  • the fitting module is used to regression fit the second image features and hyperparameters of each of the multiple sub-networks to the final effect according to the Gaussian process;
  • the calculation module is used to perform the mapping of the first image according to the similarity function Calculation of features and each second image feature to obtain network similarity between the original network and each sub-network;
  • the generating module is configured to learn the mapping of the second image features and hyperparameters of each sub-network of the multiple sub-networks to the final effect according to the network similarity of the original network and each sub-network to generate the optimal of the original network Hyperparameters for information identification through the original network.
  • the hyperparameter optimization device for large-scale network representation learning in the embodiment of the present application obtains multiple sub-networks by sampling the original network, and extracts the first image feature of the original network and the first image feature of each of the multiple sub-networks according to a preset algorithm
  • Two image features according to the Gaussian process regression fitting the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect, and calculate the first image feature and each second image feature according to the similarity function to obtain
  • the network similarity between the original network and each sub-network according to the network similarity between the original network and each sub-network, learn the second image features and hyperparameters of each sub-network in multiple sub-networks to the final effect to generate the optimal original network Super-parameters for information identification through the original network.
  • the method optimizes the optimal hyperparameters of the original network by learning the hyperparameters in multiple sub-networks and the mapping of the second image feature to the final effect, and can quickly and effectively automatically adjust the hyper
  • FIG. 1 is a schematic flowchart of a hyperparameter optimization method for large-scale network representation learning provided by an embodiment of this application;
  • FIG. 2 is a schematic structural diagram of a hyperparameter optimization device for large-scale network representation learning provided by an embodiment of this application.
  • the embodiments of the present application provide a method for optimizing large-scale network representation learning hyperparameters.
  • the original network By sampling the original network, multiple sub-networks are obtained, and the first image features and multiple sub-networks of the original network are extracted according to a preset algorithm.
  • the second image features of each sub-network in the sub-networks are fitted according to the Gaussian process regression and the second image features and hyperparameters of each sub-network in the multiple sub-networks are mapped to the final effect.
  • the first image feature and each sub-network are mapped according to the similarity function.
  • Second image feature calculation to obtain the network similarity between the original network and each sub-network, and learn the second image features and hyperparameters of each sub-network in multiple sub-networks to the final effect according to the network similarity between the original network and each sub-network
  • the mapping generates the optimal hyperparameters of the original network for information identification through the original network.
  • FIG. 1 is a schematic flowchart of a hyperparameter optimization method for large-scale network representation learning provided by an embodiment of this application.
  • the method includes the following steps:
  • Step 101 Sample the original network to obtain multiple sub-networks.
  • the original network refers to a large-scale network used for network representation learning.
  • Network representation learning aims to represent the nodes in the network as low-dimensional, real-valued, and dense vector forms, so that the obtained vector form can have the ability to represent and reason in the vector space, so that it can be more flexibly applied to different data Excavating task.
  • the representation of a node can be used as a feature and sent to a classifier like a support vector machine.
  • the node representation can also be transformed into spatial coordinates for visualization tasks.
  • a multi-source random walk sampling algorithm is adopted to sample the original network to obtain multiple sub-networks. Specifically, starting from multiple nodes of the original network, randomly walk to its neighboring nodes, and then randomly move from the neighboring nodes until the preset number of times is reached, and finally take the subgraph composed of all the visited nodes as our sampling The sub-networks, thereby generating multiple sub-networks.
  • Step 102 Extract the first image feature of the original network and the second image feature of each of the multiple sub-networks according to a preset algorithm.
  • a preset signal extraction algorithm is used to extract signals from the original network and multiple sub-networks to obtain the first image feature of the original network and the second image feature of each of the multiple sub-networks. Specifically, the first candidate feature vector of the original network under the Laplacian matrix and the second candidate feature vector of each sub-network are calculated. Furthermore, low-pass filtering is performed on the first feature vector and the second feature vector to obtain the first feature vector of the original network and the second feature vector of each sub-network.
  • Step 103 Regression fits the mapping of the second image features and hyperparameters of each of the multiple sub-networks to the final effect according to the Gaussian process.
  • Gaussian process regression studies the relationship between variables and variables, that is, by establishing the relationship between the dependent variable and the independent variable, by establishing the regression function as much as possible, and obtaining the smallest mean square error in the case of not fitting.
  • a Gaussian process regression algorithm is used to map the second image features and hyperparameters of each of the multiple sub-networks obtained by sampling to the final effect.
  • Step 104 Calculate the first image feature and each second image feature according to the similarity function to obtain the network similarity between the original network and each sub-network.
  • the network similarity is the network structure similarity and super parameter similarity between the original network and the sub-network.
  • the first image feature and each second image feature are calculated according to the similarity function, and further, the network structure similarity and the hyperparameter similarity between the original network and each sub-network are obtained.
  • the similarity function can be used as the kernel function of the Gaussian process to ensure that the more similar the sub-network is to the original network, the more similar the optimal superparameters of the original network are finally predicted.
  • the kernel function refers to the so-called Radial Basis Function (RBF), which is a scalar function that is symmetric along the radial direction.
  • RBF Radial Basis Function
  • Step 105 According to the network similarity between the original network and each sub-network, learn the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect to generate the optimal hyper-parameters of the original network, so as to perform through the original network Information recognition.
  • the first image feature and each second image feature are calculated according to the similarity function, and the network similarity between the original network and each sub-network is obtained. Furthermore, according to the network similarity between the original network and each sub-network, the mapping of the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect is generated to generate the optimal hyper-parameters of the original network, so as to perform information through the original network Recognition.
  • This method can optimize the hyperparameters of the original network faster and obtain the original The optimal hyperparameter of the network. Furthermore, according to the optimized original network, face recognition and detection, anomaly detection, voice recognition, etc. are performed.
  • the hyperparameter optimization method for large-scale network characterization learning in the embodiment of this application obtains multiple sub-networks by sampling the original network, and extracts the first image feature of the original network and the first image feature of each of the multiple sub-networks according to a preset algorithm.
  • Two image features according to the Gaussian process regression fitting the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect, and calculate the first image feature and each second image feature according to the similarity function to obtain
  • the network similarity between the original network and each sub-network according to the network similarity between the original network and each sub-network, learn the second image features and hyperparameters of each sub-network in multiple sub-networks to the final effect to generate the optimal original network Super-parameters for information identification through the original network.
  • the method optimizes the optimal hyperparameters of the original network by learning the hyperparameters in multiple sub-networks and the mapping of the second image feature to the final effect, and can quickly and effectively automatically adjust the hyperparameters of the original network.
  • an embodiment of the present application also proposes a hyperparameter optimization device for large-scale network representation learning.
  • FIG. 2 is a schematic structural diagram of a hyperparameter optimization device for large-scale network representation learning provided by an embodiment of this application.
  • the hyperparameter optimization device for large-scale network representation learning includes: a sampling module 110, an extraction module 120, a fitting module 130, a calculation module 140, and a generation module 150.
  • the sampling module 110 is used to sample the original network to obtain multiple sub-networks.
  • the extraction module 120 is configured to extract the first image feature of the original network and the second image feature of each of the multiple sub-networks according to a preset algorithm.
  • the fitting module 130 is used to regressively fit the mapping of the second image features and hyperparameters of each of the multiple sub-networks to the final effect according to the Gaussian process.
  • the calculation module 140 is configured to calculate the first image feature and each second image feature according to the similarity function to obtain the network similarity of the original network and each sub-network.
  • the generating module 150 is used to learn the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect according to the network similarity of the original network and each sub-network to generate the optimal hyper-parameters of the original network to pass The original network performs information identification.
  • the sampling module 110 is specifically used for:
  • multiple nodes are randomly selected as the starting point from the nodes of the original network
  • fitting module 130 is specifically used for:
  • calculation module 140 is specifically configured to:
  • the extraction module 120 is specifically used for:
  • the hyperparameter optimization device for large-scale network representation learning in the embodiment of the present application obtains multiple sub-networks by sampling the original network, and extracts the first image feature of the original network and the first image feature of each of the multiple sub-networks according to a preset algorithm
  • Two image features according to the Gaussian process regression fitting the second image features and hyperparameters of each sub-network in the multiple sub-networks to the final effect, and calculate the first image feature and each second image feature according to the similarity function to obtain
  • the network similarity between the original network and each sub-network according to the network similarity between the original network and each sub-network, learn the second image features and hyperparameters of each sub-network in multiple sub-networks to the final effect to generate the optimal original network Super-parameters for information identification through the original network.
  • the method optimizes the optimal hyperparameters of the original network by learning the hyperparameters in multiple sub-networks and the mapping of the second image feature to the final effect, and can quickly and effectively automatically adjust the hyper
  • first and second are only used for descriptive purposes, and cannot be understood as indicating or implying relative importance or implicitly indicating the number of indicated technical features. Therefore, the features defined with “first” and “second” may explicitly or implicitly include at least one of the features. In the description of the present application, "a plurality of” means at least two, such as two, three, etc., unless specifically defined otherwise.
  • a "computer-readable medium” can be any device that can contain, store, communicate, propagate, or transmit a program for use by an instruction execution system, device, or device or in combination with these instruction execution systems, devices, or devices.
  • computer readable media include the following: electrical connections (electronic devices) with one or more wiring, portable computer disk cases (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable and editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer-readable medium may even be paper or other suitable media on which the program can be printed, because it can be used, for example, by optically scanning the paper or other media, and then editing, interpreting, or other suitable media if necessary. The program is processed in a manner to obtain the program electronically and then stored in the computer memory.
  • each part of this application can be implemented by hardware, software, firmware, or a combination thereof.
  • multiple steps or methods can be implemented by software or firmware stored in a memory and executed by a suitable instruction execution system.
  • Discrete logic gate circuits for implementing logic functions on data signals Logic circuit, application specific integrated circuit with suitable combinational logic gate, programmable gate array (PGA), field programmable gate array (FPGA), etc.
  • the functional units in the various embodiments of the present application may be integrated into one processing module, or each unit may exist alone physically, or two or more units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or software functional modules. If the integrated module is implemented in the form of a software function module and sold or used as an independent product, it may also be stored in a computer readable storage medium.
  • the aforementioned storage medium may be a read-only memory, a magnetic disk or an optical disk, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种大规模网络表征学习的超参数优化方法和装置，其中，方法包括：对原始网络进行采样，得到多个子网络(101)，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征(102)，根据高斯过程回归拟合每个子网络的第二图像特征和超参数到最终效果的映射(103)，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度(104)，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参数，以便通过原始网络进行信息识别(105)。该方法学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。

Description

大规模网络表征学习的超参数优化方法和装置
相关申请的交叉引用
本申请要求清华大学于2019年6月14日提交的、发明名称为“大规模网络表征学习的超参数优化方法和装置”的、中国专利申请号“201910515890.2”的优先权。
技术领域
本申请涉及网络学习技术领域，尤其涉及一种大规模网络表征学习的超参数优化方法和装置。
背景技术
网络表征学习是一种有效处理网络数据的方式。为了取得良好的效果，网络表征学习通常需要人为仔细的调参。但是，现实网络的大规模给自动机器学习应用于网络表征学习方法带来困难。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种大规模网络表征学习的超参数优化方法，以解决现有技术中对大规模网络表征学习的超参数进行优化效率较低的技术问题。
本申请一方面实施例提出了大规模网络表征学习的超参数优化方法，包括：
对原始网络进行采样，得到多个子网络；
根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；
根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；
根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；
根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。
本申请实施例的大规模网络表征学习的超参数优化方法，通过对原始网络进行采样， 得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终结果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。
本申请另一方面实施例提出了一种大规模网络表征学习的超参数优化装置，包括：
采样模块，用于对原始网络进行采样，得到多个子网络；
提取模块，用于根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；
拟合模块，用于根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；计算模块，用于根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；
生成模块，用于根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。
本申请实施例的大规模网络表征学习的超参数优化装置，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：
图1为本申请实施例提供的一种大规模网络表征学习的超参数优化方法的流程示意图；
图2为本申请实施例提供的一种大规模网络表征学习的超参数优化装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
现有技术中，对大规模网络表征学习的超参数优化时，是直接在采样后的小图上调参，但是，在采样得到小图时破坏了网络节点之间的联系，使得采样小图上的最优解并不是大图的最优解。并且，现实网络数据通常由很多不同异构单元组成，采样可能造成某些单元的丢失而影响最优解的选择。
针对上述技术问题，本申请实施例提供了一种大规模网络表征学习的超参数优化方法，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。
下面参考附图描述本申请实施例的大规模网络表征学习的超参数优化方法和装置。
图1为本申请实施例提供的一种大规模网络表征学习的超参数优化方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，对原始网络进行采样，得到多个子网络。
其中，原始网络，是指用于网络表征学习的大规模网络。网络表征学习旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空间中具有表示以及推理的能力，从而可以更加灵活地应用于不同的数据挖掘任务中。
举例来说，节点的表示可以作为特征，送到类似支持向量机的分类器中。同时，节点表示也可以转化成空间坐标，用于可视化任务。
本申请实施例中，采用多源随机游走采样算法，对原始网络进行采样，得到多个子网 络。具体地，从原始网络的多个节点出发，随机游走向它的邻节点，再从邻节点开始随机移动，直至达到预设次数，最后将游走到的所有节点构成的子图当作我们采样的子网络，从而生成多个子网络。
步骤102，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。
本实施例中，采用预设的信号提取算法对原始网络和多个子网络进行信号提取，得到原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。具体地，计算在拉普拉斯矩阵下原始网络的第一候选特征向量，和每个子网络的第二候选特征向量。进而，对第一特征向量和第二特征向量进行低通滤波，得到原始网络的第一特征向量和每个子网络的第二特征向量。
步骤103，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射。
其中，高斯过程回归研究的是变量与变量之间的关系，也就是通过建立因变量与自变量的关系，通过建立尽可能的回归函数，在不过拟合的情况下，获得最小均方误差。
本实施例中，通过高斯过程回归算法对采样得到的多个子网络中的每个子网络的第二图像特征和超参数到最终效果的映射。
步骤104，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度。
其中，网络相似度，为原始网络和子网络之间的网络结构相似度和超参相似度。
具体地，根据相似度函数对第一图像特征和每个第二图像特征计算，进而，得到原始网络和每个子网络之间的网络结构相似度和超参相似度。
需要说明的是，可以将相似度函数作为高斯过程的核函数，以保证子网络与原始网络越相似最终预测原始网络的最优超参越相似。其中，核函数指所谓径向基函数(Radial Basis Function简称RBF)，就是某种沿径向对称的标量函数。
步骤105，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。
本申请实施例中，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度之后。进而，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。
可以理解为，将多个子网络的超参数和第二图像特征到最终效果的映射，来最优原始 网络的最优超参，该方法能够更快的对原始网络的超参数进行优化，得到原始网络的最优超参。进而，根据优化后的原始网络进行人脸识别与检测、异常检测、语音识别等等。
本申请实施例的大规模网络表征学习的超参数优化方法，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。
为了实现上述实施例，本申请实施例还提出一种大规模网络表征学习的超参数优化装置。
图2为本申请实施例提供的一种大规模网络表征学习的超参数优化装置的结构示意图。
如图2所示，该大规模网络表征学习的超参数优化装置包括：采样模块110、提取模块120、拟合模块130、计算模块140以及生成模块150。
采样模块110，用于对原始网络进行采样，得到多个子网络。
提取模块120，用于根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征。
拟合模块130，用于根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射。
计算模块140，用于根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度。
生成模块150，用于根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。
作为一种可能的实现方式，采样模块110，具体用于：
根据多源随机游走采样算法，在原始网络的节点中随机选取多个节点为起点；
根据预设的概率随机游走到所述多个节点的邻节点，再从邻节点开始随机移动，直至达到预设次数，生成多个子网络。
作为另一种可能的实现方式，拟合模块130，具体用于：
将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。
作为另一种可能的实现方式，计算模块140，具体用于：
获取原始网络和每个子网络的网络结构相似度和超参数相似度。
作为另一种可能的实现方式，提取模块120，具体用于：
计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；
对所述第一特征向量和所述第二特征向量进行低通滤波，获取所述原始网络的第一特征向量和所述每个子网络的第二特征向量。
本申请实施例的大规模网络表征学习的超参数优化装置，通过对原始网络进行采样，得到多个子网络，根据预设算法提取原始网络的第一图像特征和多个子网络中每个子网络的第二图像特征，根据高斯过程回归拟合多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，根据相似度函数对第一图像特征和每个第二图像特征计算，获取原始网络和每个子网络的网络相似度，根据原始网络和每个子网络的网络相似度，学习多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成原始网络的最优超参，以便通过原始网络进行信息识别。该方法通过学习多个子网络中的超参数和第二图像特征到最终效果的映射，来最优化原始网络的最优超参，能够快速有效的自动化调整原始网络的超参数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

  1. 一种大规模网络表征学习的超参数优化方法，其特征在于，所述方法包括以下步骤：
    对原始网络进行采样，得到多个子网络；
    根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；
    根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；
    根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；
    根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。
  2. 如权利要求1所述的方法，其特征在于，所述对原始网络进行采样，得到多个子网络，包括：
    根据多源随机游走采样算法，在所述原始网络的节点中随机选取多个节点为起点；
    根据预设的概率随机游走到所述多个节点的邻节点，再从所述邻节点开始随机移动，直至达到预设次数，生成所述多个子网络。
  3. 如权利要求1或2所述的方法，其特征在于，所述根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射，包括：
    将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。
  4. 如权利要求1-3任一项所述的方法，其特征在于，所述获取所述原始网络和每个子网络的网络相似度，包括：
    获取所述原始网络和每个子网络的网络结构相似度和超参相似度。
  5. 如权利要求1-4任一项所述的方法，其特征在于，所述根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征，包括：
    计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；
    对所述第一特征向量和所述第二特征向量进行低通滤波，获取所述原始网络的第一特征向量和所述每个子网络的第二特征向量。
  6. 一种大规模网络表征学习的超参数优化装置，其特征在于，所述装置包括：
    采样模块，用于对原始网络进行采样，得到多个子网络；
    提取模块，用于根据预设算法提取所述原始网络的第一图像特征和所述多个子网络中每个子网络的第二图像特征；
    拟合模块，用于根据高斯过程回归拟合所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射；
    计算模块，用于根据相似度函数对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度；
    生成模块，用于根据所述原始网络和每个子网络的网络相似度，学习所述多个子网络中每个子网络的第二图像特征和超参数到最终效果的映射生成所述原始网络的最优超参，以便通过所述原始网络进行信息识别。
  7. 如权利要求6所述的装置，其特征在于，所述采样模块，具体用于：
    根据多源随机游走采样算法，在所述原始网络的节点中随机选取多个节点为起点；
    根据预设的概率随机游走到所述多个节点的邻节点，再从所述邻节点开始随机移动，直至达到预设次数，生成所述多个子网络。
  8. 如权利要求6或7所述的装置，其特征在于，所述拟合模块，具体用于：
    将所述相似度函数作为高斯过程的核函数，对所述第一图像特征和每个第二图像特征计算，获取所述原始网络和每个子网络的网络相似度。
  9. 如权利要求6-8任一项所述的装置，其特征在于，所述计算模块，具体用于：
    获取所述原始网络和每个子网络的网络结构相似度和超参数相似度。
  10. 如权利要求6-9任一项所述的装置，其特征在于，所述提取模块，具体用于：
    计算在拉普拉斯矩阵下所述原始网络的第一候选特征向量，和所述每个子网络的第二候选特征向量；
    对所述第一特征向量和所述第二特征向量进行低通滤波，获取所述原始网络的第一特征向量和所述每个子网络的第二特征向量。
PCT/CN2019/098235 2019-06-14 2019-07-29 大规模网络表征学习的超参数优化方法和装置 Ceased WO2020248342A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910515890.2 2019-06-14
CN201910515890.2A CN110322021B (zh) 2019-06-14 2019-06-14 大规模网络表征学习的超参数优化方法和装置

Publications (1)

Publication Number Publication Date
WO2020248342A1 true WO2020248342A1 (zh) 2020-12-17

Family

ID=68119641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/098235 Ceased WO2020248342A1 (zh) 2019-06-14 2019-07-29 大规模网络表征学习的超参数优化方法和装置

Country Status (2)

Country Link
CN (1) CN110322021B (zh)
WO (1) WO2020248342A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN108228728A (zh) * 2017-12-11 2018-06-29 北京航空航天大学 一种参数化的论文网络节点表示学习方法
CN108257093A (zh) * 2018-01-18 2018-07-06 洛阳理工学院 基于可控核与高斯过程回归的单帧图像超分辨方法
CN109242105A (zh) * 2018-08-17 2019-01-18 第四范式（北京）技术有限公司 机器学习模型中超参数的调优方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396651B2 (en) * 2014-03-19 2016-07-19 International Business Machines Corporation Auto-calibration for road traffic prediction
CN104794501B (zh) * 2015-05-14 2021-01-05 清华大学 模式识别方法及装置
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置
CN107341549A (zh) * 2017-07-26 2017-11-10 成都快眼科技有限公司 一种基于多通道竞争卷积神经网络参数优化方法
CN108710904A (zh) * 2018-05-10 2018-10-26 上海交通大学 基于递归神经网络的图像匹配方法及系统
CN108764308B (zh) * 2018-05-16 2021-09-14 中国人民解放军陆军工程大学 一种基于卷积循环网络的行人重识别方法
CN109086811B (zh) * 2018-07-19 2021-06-22 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109344855B (zh) * 2018-08-10 2021-09-24 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109858631B (zh) * 2019-02-02 2021-04-27 清华大学 用于概念迁移的流式数据分析的自动机器学习系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN108228728A (zh) * 2017-12-11 2018-06-29 北京航空航天大学 一种参数化的论文网络节点表示学习方法
CN108257093A (zh) * 2018-01-18 2018-07-06 洛阳理工学院 基于可控核与高斯过程回归的单帧图像超分辨方法
CN109242105A (zh) * 2018-08-17 2019-01-18 第四范式（北京）技术有限公司 机器学习模型中超参数的调优方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110322021A (zh) 2019-10-11
CN110322021B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109544598B (zh) 目标跟踪方法、装置及可读存储介质
US11263116B2 (en) Champion test case generation
US12159197B2 (en) Qubit detection system and detection method
EP3975117A1 (en) Image segmentation method and apparatus, and training method and apparatus for image segmentation model
CN111695622A (zh) 变电作业场景的标识模型训练方法、标识方法及装置
US20180211099A1 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
CN114202026B (zh) 多任务模型训练方法和装置、多任务处理方法和装置
CN111492382A (zh) 训练第一神经网络模型和第二神经网络模型
CN111582105A (zh) 基于局部全局双向推理的无监督点云特征学习方法及装置
CN112001401B (zh) 用于实例分割的模型及训练方法，实例分割网络
CN116778935B (zh) 水印生成、信息处理、音频水印生成模型训练方法和装置
JP2019003299A (ja) 画像認識装置および画像認識方法
US9904844B1 (en) Clustering large database of images using multilevel clustering approach for optimized face recognition process
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
KR102119057B1 (ko) 골절 진단모델의 학습 방법 및 장치
US12555022B2 (en) Systems and methods for embedding graphs using systolic algorithms
US9552662B2 (en) Method and apparatus for removing false intersection in ray tracing
JPWO2017126046A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111476814B (zh) 目标跟踪方法、装置、设备及存储介质
WO2024093099A1 (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
CN116127319A (zh) 多模态负样本构建、模型预训练方法、装置、设备及介质
US11881016B2 (en) Method and system for processing an image and performing instance segmentation using affinity graphs
US12100101B2 (en) Generating 2D mapping using 3D data
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN110322021B (zh) 大规模网络表征学习的超参数优化方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933040

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933040

Country of ref document: EP

Kind code of ref document: A1