WO2018036547A1 - 一种数据处理的方法以及装置 - Google Patents

一种数据处理的方法以及装置 Download PDF

Info

Publication number
WO2018036547A1
WO2018036547A1 PCT/CN2017/098862 CN2017098862W WO2018036547A1 WO 2018036547 A1 WO2018036547 A1 WO 2018036547A1 CN 2017098862 W CN2017098862 W CN 2017098862W WO 2018036547 A1 WO2018036547 A1 WO 2018036547A1
Authority
WO
WIPO (PCT)
Prior art keywords
particle
hyperparameter
xth
target value
parameter
Prior art date
Application number
PCT/CN2017/098862
Other languages
English (en)
French (fr)
Inventor
金鑫
涂丹丹
张友华
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2018036547A1 publication Critical patent/WO2018036547A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models

Abstract

本发明实施例公开了一种数据处理的方法，用于提高对待分析样本数据处理的准确率。本发明实施例包括：对M个超参数进行编码得到N个第1候选超参数集合；对第X候选超参数集合进行解码，得到第X超参数集合；对每个第X超参数集合进行参数评估，得到对应的第X目标值；根据每个粒子的第X目标值，确定个体最优超参数集合；根据N个第X目标值，确定并更新历史信息和种群最优超参数集合；根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；当粒子群收敛时，确定每个粒子包含的第X+1候选超参数集合为最优超参数集合；根据最优超参数集合对待分析样本数据进行处理。

Description

一种数据处理的方法以及装置
本申请要求于2016年8月26日提交中国专利局、申请号为201610738179.X、发明名称为“一种数据处理的方法以及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及计算机领域，尤其涉及数据处理的方法以及装置。
背景技术
数据挖掘(data mining，DM)过程中，最耗时和影响算法正确率，并且最需要算法理论基础和专业经验的步骤是：机器学习(machine learning，ML)模型超参调优。大规模参数机器学习算法的特点是超参数(hyper-parameter,HP)个数多，超参数类型多样。
对于深度学习问题，由于网络结构的复杂性，通常对每一层都需要设置许多超参数，导致整个网络的超参数个数会迅速增长。由机器学习专家手工(人工)选择超参数已经变的越来越不可能实现。专家手工选择超参数非常耗时(大数据集下，可能需要尝试几百甚至几千次，每次模型训练耗时几小时甚至几十小时以上)，并且需要丰富的算法经验和对数据的理解。
尤其在大数据背景下，模型越来越复杂，以深度学习(Deep Learning，DL)为代表的超大规模参数机器学习算法的涌现，都需要大量的时间来进行模型超参调优。在现有的模型超参调优过程中，粒子群优化方法是一种智能优化方法，它模拟鸟群的觅食行为，不需要知道目标函数的导数便可以进行函数优化，寻找目标函数的最优值。在搜索过程中，每个粒子会保存自己搜索得到的最优位置，算法也会记录整个种群目前找到的最优位置。每个粒子利用这些信息来指导下一步的搜索过程，可以保证搜索在期望取得最优值的区域进行搜索。
但是，因为每个粒子只保留了一个历史搜索到的最好位置，其他搜索记录都被丢失，基于这些单调的信息会使后面的搜索过程收敛到局部最优解，尤其是对于复杂的多峰值函数。那么，最后得到这个最好位置对应的超参数集合，再根据这个超参数集合对待分析样本数据进行分类时，得到的求解目标值就不是很准确。因为根据的这个超参数集合是一个局部最优的候选超参数集合，用来对待分析样本数据做参考，进行分类，得到的求解目标值很可能不准确。
发明内容
本发明实施例提供了一种数据处理的方法以及装置，用于在模型超参调优过程中，有效避免了传统方法依赖单一信息可能造成的粒子收敛到局部最优值，提高了根据最优超参数集合对待分析样本数据进行处理的准确率。
在本发明技术方案中，所应用的系统架构增加了高斯分布信息建模模块，并根据高斯分布信息、粒子个体最优位置、种群最优位置提出三种粒子搜索方法并选择最优结果作为 粒子的下一个位置。而且，本发明技术方案提出的方法可以处理连续数值参数、离散数值参数、离散类别参数以及不同参数之间的依赖关系，应用范围广。下面对其进行说明：
本发明实施例第一方面提供一种数据处理的方法，所述方法应用于数据处理系统，所述数据处理系统用于通过求解算法对待分析样本数据进行处理，所述求解算法包含M个超参数，M为正整数，所述方法可以包括：对求解算法包含的M个超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合，其中，每个粒子包括M个超参数取值构成的候选超参数集合，可称为第1候选超参数集合；对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，具体的，可以为：当X＝1时，对第1候选超参数集合进行解码得到的第1超参数集合，或者，当X>1时，该第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X、N和M为正整数；对该每个第X超参数集合进行参数评估，得到每个粒子与该第X超参数集合对应的第X目标值，应理解，这里进行参数评估通常所用的方法为交叉验证法，这里的目标值请参阅实施例中的具体说明；再根据该每个粒子的第X目标值，确定个体最优超参数集合，该个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；根据N个第X目标值，确定并更新历史信息，该历史信息是根据该n个粒子包含的每个超参数进行计算得到的，该n个粒子为目标值大于预置阈值的粒子，n为正整数，n≤N；根据该N个第X目标值，确定并更新种群最优超参数集合，该种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；当包含该第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的该第X+1候选超参数集合为最优超参数集合；再根据所述最优超参数集合通过所述求解算法对所述待分析样本数据进行处理。
在本发明实施例中，可根据历史信息、粒子个体最优位置、种群最优位置对每个粒子分别进行这几种更新，从中选择一个最优的作为下次的候选超参数集合，有效避免了传统方法依赖单一信息可能造成的粒子收敛到局部最优值，那么，根据这个最优超参数集合进行处理，得到的求解目标值就会相应的更准确。本发明通过提出针对不同类型参数的编码方法，对粒子群方法增加历史信息建模和多样化的粒子位置更新等改进，然后用于各种学习算法的超参选择，从而提升自动模型超参选择的准确率和时间性能，缩短数据挖掘项目所用的周期。
结合本发明实施例第一方面，在本发明实施例的第一方面的第一种可能的实现方式中，每个超参数的类型可以包括连续数值参数、离散数值参数和离散类别参数中的至少一种，对该M个超参数进行编码，生成N个粒子，可以包括：对该连续数值参数、该离散数值参数和该离散类别参数中的至少一种进行编码，生成N个第1候选超参数集合，每个第1候选超参数集合为实数向量编码的粒子。
在本发明实施例中，经典粒子群算法只能处理连续数值属性。本发明提出了对各种不同类型参数的编码方法，编码后都表示为一个实数向量，表示形式统一，方便粒子群算法的更新处理。
结合本发明实施例的第一方面的第一种可能的实现方式，在本发明实施例的第一方面的第二种可能的实现方式中，该对该每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，可以包括：对每个实数向量编码的粒子进行解码，得到每个第X超参数集合，该每个第X超参数集合包括的超参数为该连续数值参数、该离散数值参数和该离散类别参数中的至少一种。
在本发明实施例中，与编码对应，解码可以得到不同类型的超参数，方便粒子群算法的更新处理，对不同类型的超参数可以进行统一处理。
结合本发明实施例的第一方面，第一方面的第一种可能的实现方式，第一方面的第二种可能的实现方式，在本发明实施例的第一方面的第三种可能的实现方式中，该历史信息可以包括高斯分布信息，该根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合，可以包括：
根据更新后的高斯分布信息，对每个粒子中的每个超参数进行随机抽样，用来确定每个粒子的第一目标超参数集合；根据更新后的个体最优超参数集合，为每个粒子随机选择两个粒子，确定目标值较高的粒子包括的超参数集合为每个粒子的第二目标超参数集合；根据更新后的种群最优超参数集合，计算每个粒子的速度，根据该每个粒子的速度，确定每个粒子包含的第三目标超参数集合；将该第一目标超参数集合、该第二目标超参数集合和该第三目标超参数集合分别进行参数评估，对应可以得到第一目标值、第二目标值和第三目标值；确定在该第一目标值、该第二目标值和该第三目标值中目标值最大的粒子包括的超参数集合为该每个粒子包含的第X+1候选超参数集合。
应理解，本发明实施例中的历史信息指所有粒子曾经经过的所有位置信息，为了进行概括和方便的表示，采用一个概率分布来进行描述，比如，可以采用高斯分布，利用均值和方差两个参数确定的高斯分布就可以描述所有粒子的历史信息。也可以采用其他概率分布，比如，狄利克雷分布(Dirichlet distribution)，由浓度参数(concentration parameter)来确定分布信息。
在本发明实施例中，对每个粒子，根据历史信息、粒子个体最优位置、种群最优位置对每个粒子分别进行3种更新。然后，选择一个最好的结果作为粒子的下一个位置。这样可以避免传统方法依赖单一信息可能造成的粒子收敛到局部最优值。每个粒子的每一维都是分别进行更新的，进一步可以保存样本的多样性。
结合本发明实施例的第一方面，第一方面的第一种可能的实现方式至本发明实施例的第一方面的第三种可能的实现方式，在本发明实施例的第一方面的第四种可能的实现方式中，该根据该每个粒子的第X目标值，确定并更新个体最优超参数集合，有两种存在可能，可以包括：
(1)当第Y个粒子的第X目标值大于该第Y个粒子的第X-1目标值时，确定该第X目标值对应的超参数集合为该第Y个粒子的个体最优超参数集合，Y为正整数，Y≤N；将保存的该第Y个粒子的个体最优超参数集合由该第X-1目标值对应的超参数集合更新为该第X目标值对应的超参数集合。
(2)当第Y个粒子的第X目标值小于等于该第Y个粒子的第X-1目标值时，确定该第X-1目标值对应的超参数集合为该第Y个粒子的个体最优超参数集合。
在本发明实施例中，个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合，对怎么确定并更新个体最优超参数集合提供了可行性的方案，使得本发明技术方案更具体，清楚。
结合本发明实施例的第一方面，第一方面的第一种可能的实现方式至本发明实施例的第一方面的第四种可能的实现方式，在本发明实施例的第一方面的第五种可能的实现方式中，该根据N个第X目标值，确定并更新历史信息，可以包括：根据该每个粒子的第X目标值，选择目标值大于预置阈值的n个粒子；对该n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息；将保存的第X高斯分布信息更新为该第X+1高斯分布信息。
其中，对该n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息，进一步的，还可以包括：对该n个粒子包含的每个超参数进行平均估计计算，得到每个超参数的估计均值和估计方差；根据该每个超参数的估计均值和保存的第X-1均值，确定该每个超参数的第X均值，并根据该每个超参数的估计方差和保存的第X-1方差，确定该每个超参数的第X方差；该将保存的第X高斯分布信息更新为该第X+1高斯分布信息，进一步的，可以包括：将该第X均值更新为该第X+1均值，并将该第X方差更新为该第X+1方差。
在本发明实施例中，历史信息是根据该n个粒子包含的每个超参数进行计算得到的，该n个粒子为目标值大于预置阈值的粒子，对怎么确定并更新个体历史信息提供了可行性的方案，这里以高斯分布信息作为历史信息进行了一个说明，使得本发明技术方案更具体，清楚。
结合本发明实施例的第一方面，第一方面的第一种可能的实现方式至本发明实施例的第一方面的第五种可能的实现方式，在本发明实施例的第一方面的第六种可能的实现方式中，根据该N个第X目标值，确定并更新种群最优超参数集合，具体有两种可能存在，可以包括：
(1)当第一目标粒子的第X目标值大于第二目标粒子的第X-1目标值时，确定该第一目标粒子的第X目标值对应的超参数集合为种群最优超参数集合，其中，该第一目标粒子是进行第X次参数评估后得到的目标值最大的粒子，该第二目标粒子是进行第X-1次参数评估后得到的目标值最大的粒子；将保存的种群最优超参数集合由该第二目标粒子的第X-1目标值对应的超参数集合更新为第一目标粒子的第X目标值对应的超参数集合。
(2)当第一目标粒子的第X目标值小于等于第二目标粒子的第X-1目标值时，确定该第二目标粒子的第X-1目标值对应的超参数集合为种群最优超参数集合，其中，该第一目标粒子是进行第X次参数评估后得到的目标值最大的粒子，该第二目标粒子是进行第X-1次参数评估后得到的目标值最大的粒子。
在发明实施例中，种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合，对怎么确定并更新种群最优超参数集合提供了可行性的方案，使得本发明技术方案更 具体，清楚。
本发明实施例第二方面提供一种装置，具有实现对应于上述第一方面提供的超参数选择的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
本发明实施例第三方面提供一种装置，可以包括：
收发器、处理器、存储器和总线，所述收发器、所述处理器和所述存储器通过所述总线连接；
所述收发器，用于获取M个超参数；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，对M个超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合；对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，其中，当X＝1时，所述第X候选超参数集合为第1候选超参数集合，或者，当X>1时，所述第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X、N和M为正整数；对所述每个第X超参数集合进行参数评估，得到每个粒子与所述第X超参数集合对应的第X目标值；根据所述每个粒子的第X目标值，确定个体最优超参数集合，所述个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；根据N个第X目标值，确定并更新历史信息，所述历史信息是根据所述n个粒子包含的每个超参数进行计算得到的，所述n个粒子为目标值大于预置阈值的粒子，n为正整数，n≤N；根据所述N个第X目标值，确定并更新种群最优超参数集合，所述种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；根据更新后的高斯分布信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；当包含所述第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的所述第X+1候选超参数集合为最优超参数集合；根据所述最优超参数集合通过所述求解算法对所述待分析样本数据进行处理。
本发明实施例第四方面提供一种存储介质，需要说明的是，本发的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产口的形式体现出来，该计算机软件产品存储在一个存储介质中，用于储存为上述设备所用的计算机软件指令，其包含用于执行上述第一方面或为装置所设计的程序。
该存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，应用的数据处理系统包括待分析样本数据、对所述待分析样本数据进行分类所需的求解算法、所述求解算法包含M个超参数，每个超参数对应一个取值范围，M为正整数。对M个初始取值的超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合；对获取到的第X候选超参数集合进行解码，得到每个第X超参数集合；对每个第X超参数集合进行参数评估，得到每个粒子与第X超参数集合对应的第X目标值； 根据每个粒子的第X目标值，确定个体最优超参数集合；根据N个第X目标值，确定并更新历史信息和种群最优超参数集合；根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；当包含第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的第X+1候选超参数集合为最优超参数集合；根据所述最优超参数集合对所述待分析样本数据进行处理。根据上述的过程，根据历史信息、粒子个体最优位置、种群最优位置对每个粒子分别进行这几种更新，从中选择一个最优的作为下次的候选超参数集合，有效避免了传统方法依赖单一信息造成的粒子收敛到局部最优值，那么，根据这个最优超参数集合进行处理，得到的求解目标值就会相应的更准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中传统粒子群超参选择的一个示意图；
图2.a为本发明实施例中所提供的一个功能模块的系统架构图；
图2.b为本发明实施例中所提供的一个分布式集群系统的系统架构图；
图2.c为本发明实施例中所提供的一个单机系统的系统架构图；
图2.d为本发明实施例中所提供的一个应用场景的示意图；
图3为本发明实施例中超参数选择的方法的一个实施例示意图；
图4为本发明实施例中不同类型超参数编码的示意图；
图5为本发明实施例中不同类型超参数解码的示意图；
图6为本发明实施例中计算高斯分布信息的一个示意图；
图7为本发明实施例中装置的一个实施例示意图；
图8为本发明实施例中装置的另一个实施例示意图；
图9为本发明实施例中装置的另一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据处理的方法以及装置，用于根据历史信息、粒子个体最优位置、种群最优位置对每个粒子分别进行这几种更新，从中选择一个最优的作为下次的候选超参数集合，有效避免了传统方法依赖单一信息造成的粒子收敛到局部最优值，那么，根据该候选超参数集合对待分析样本数据进行处理的准确率也就相应的比较高。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在现有技术中，常见的传统粒子群超参选择方法是一种智能优化方法，它模拟鸟群的觅食行为，不需要知道目标函数的导数便可以进行函数优化，寻找目标函数的最优值。在搜索过程中，每个粒子会保存自己搜索得到的最优位置，算法也会记录整个种群目前找到的最优位置。每个粒子利用这些信息来指导下一步的搜索过程，可以保证搜索在期望取得最优值的区域进行搜索。如图1所示，为传统粒子群超参选择的一个示意图。每个粒子只保留了一个历史搜索到的最好位置，其他搜索记录都被丢失，基于这些单调的信息会使后面的搜索过程收敛到局部最优解，尤其是对于复杂的多峰值函数。那么，最后得到这个最好位置对应的超参数集合，再根据这个超参数集合对待分析样本数据进行分类时，得到的求解目标值就不是很准确。因为根据的这个超参数集合是一个局部最优的候选超参数集合，用来对待分析样本数据做参考，进行分类，得到的求解目标值很可能不准确。
在本发明技术方案中，如图2.a所示，为本发明实施例所应用的一个功能模块的系统架构图，可包括算法及超参数说明、超参数编码与生成模块、候选超参数集合、历史信息建模模块、超参数解码模块、交叉验证、待分析样本数据、信息库、超参数更新模块和最优参数及模型这几个功能模块。其中，超参数解码模块和交叉验证可以认为是参数评估装置；候选超参数集合、历史信息建模模块、信息库和超参数更新模块可以认为是搜索新的候选超参数集合的装置。
下面对本发明技术方案中的步骤做一个简要的说明，如下所示：
1.算法及超参数说明先获取目标算法和多个超参数；2.超参数编码与生成模块根据目标算法，对多个超参数进行编码，生成多个粒子形式的初始候选超参数集合；3.每个超参数集合包括的超参数信息输入历史信息建模模块进行处理；4.超参数解码模块对初始候选超参数集合进行解码，得到多个超参数集合；5.参数评估装置对多个超参数集合进行参数评估，对应得到多个目标值；6.将多个超参数集合对应的多个目标值输入信息库；7.超参数更新模块根据多个目标值，确定下一次的候选超参数集合；8.重复执行3-7步骤；9.若步骤7得到的下一次的候选超参数集合构成的粒子群收敛时，该候选超参数集合认为是最优超参数集合。
其中，本发明技术方案应用于数据处理系统，所述数据处理系统包括待分析样本数据、对所述待分析样本数据进行分类所需的求解算法、所述求解算法包含M个超参数，每个超参数对应一个取值范围，M为正整数。数据处理系统可以是分布式集群系统，也可以是单机系统。
具体的，如图2.b，为分布式集群系统的一个示意图，可以包括多个计算节点，示例性的，这里的计算节点可以是计算机、终端和服务器等。在分布式系统情况下一种部署方式为，超参数选择装置的主要部分可以部署在主节点，将参数评估这部分处理分发到各个分布式的计算节点，然后将评估结果返回主节点交给超参选择装置进行进一步的处理，具体的处理方式可以参考下述的实施例部分，此处不作赘述。
如图2.c，为单机系统的一个示意图。这里的单机的意思就是一台计算机就可以执行本发明技术方案，那么，相对应上述的分布式集群系统的处理方式，单个计算机要处理的是对M个超参数进行一系列的处理过程，得出最优超参数集合，根据最优超参数集合对待 分析样本数据再进行处理的，具体的处理方式此处不作赘述。
如图2.d所示，为本发明实施例中问题场景的一个示意图。若针对一个实际数据分析应用，它包含一个待分析样本数据和一个求解目标，比如，对云相册中的照片进行分类，求解目标就是分类正确率。同时，对于这个实际数据分析应用，可以采用一个机器学习算法来解决这个问题，机器学习算法通常包含一些超参数，超参数控制算法的运行过程来适应具体的应用场景和数据集，其中，超参数的选择是一个非常困难的问题。因此，本发明提供一种装置来解决超参数选择的问题，根据最后得到的最优超参数集合对待分析样本数据进行处理，得到的求解目标更准确。它的输入是一个实际应用包含的待分析样本数据和求解目标、以及计划采用的求解算法和该算法的超参数说明，超参选择装置的结果是得到超参数最优取值，构成一个最优超参数集合，然后利用这些超参数的最优取值来指导处理待分析样本数据，得到更准确的目标值。
现有技术中的粒子群算法会丢失大部分的历史搜索记录，因此，本方案增加历史信息建模模块，并根据历史信息、粒子个体最优位置、种群最优位置提出三种粒子搜索方法并选择最优结果作为粒子的下一个位置。而且，本发明技术方案提出的方法可以处理连续数值参数、离散数值参数、离散类别参数以及不同参数之间的依赖关系，应用范围广。该方法还可以提升超参选择的时间效率和准确性。
下面以实施例的方式，对本发明技术方案进行具体描述，本发明实施例应用于数据处理系统，该数据处理系统用于通过求解算法对待分析样本数据进行处理，求解算法包含M个超参数，M为正整数。如图3所示，为数据处理的方法的一个实施例示意图，包括：
301、获取求解算法和M个超参数，M为正整数；
在本发明实施例中，执行主体可以以计算机为例来进行说明，计算机获取求解算法和M个超参数，M为正整数，这M个超参数是与该求解算法相关的超参数，每个超参数可对应多个取值，即每个超参数对应一个取值范围，这里取值的个数不做限定，可能为几个，也可能是无穷多个。其中，该求解算法对待分析样本数据进行处理的算法。对待分析样本数据进行处理之前，会对该算法包含的超参数进行选择，得到最优超参数集合，再根据最优超参数集合对待分析样本数据进行具体的处理。需要说明的是，每个超参数的参数类型可以包括连续数值参数、离散数值参数和离散类别参数中的至少一种。
302、对获取的M个超参数进行编码，生成N个粒子，每个粒子包含第1候选超参数集合，N为正整数；
在本发明实施例中，获取目标算法和M个超参数之后，对获取的M个超参数进行编码，生成N个粒子，每个粒子包含第1候选超参数集合，N为正整数。应理解，这里每个粒子包括M个超参数，即第1候选超参数集合就是这M个超参数的集合，生成的N个粒子，每个粒子中相同超参数对应的取值不同。计算机对每个超参数进行编码，则对每个超参数都随机赋予了一个取值，得到每个粒子包含的第1候选超参数集合。通常情况下，每个粒子之间相同的超参数的取值是不相同的。
需要说明的是，每个超参数包括连续数值参数、离散数值参数和离散类别参数中的至少一种，则步骤302具体可包括：对连续数值参数、离散数值参数和离散类别参数中的至 少一种进行编码，生成N个第1候选超参数集合，每个第1候选超参数集合为实数向量编码的粒子。
进一步的，如图4所示，为超参数编码的示意图，下述进行简要说明：
当第一超参数包括连续数值参数时，将连续数值参数编码为一位实数编码；和/或，当第一超参数包括离散数值参数时，将离散数值参数编码为一位实数编码；和/或，当第一超参数包括离散类别参数时，将离散类别参数编码为多位实数编码。
应理解，将所有类型的超参数都编码为统一的实数向量，具体如下：
连续数值参数可以直接采用一个实数来进行表示，如学习率α等编码为一位实数编码；每个离散数值参数可以编码为一位实数编码，如神经网络中隐含层节点个数8.9等编码为一位实数编码，；每个离散类别参数由于之间没有序数关系，采用类别个数的一组实数来进行表示，每个实数对应一个类别，取值最大的类别被选中，如取值a，b，c的类别参数，编码为三位实数编码，这三位实数编码分别与a，b，c相对应，或者，如对应红、黄、绿的类别参数，也可以编码为三位实数编码，这三位实数编码分别与红、黄、绿相对应。需要说明的是，对于参数依赖，对所有的参数进行编码，在解码时只解码有效的参数；不同参数对应不同的编码位置，不会相互影响；在初始化时，随机产生多个参数配置，作为粒子群算法的初始种群，即第1候选超参数集合。
在现有技术中，经典粒子群算法只能处理连续数值属性的参数。本发明实施例提出了对各种不同类型参数的编码方法，编码后表示为一个实数向量，表示形式统一，方便粒子群算法的更新处理。
303、对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合；
在本发明实施例中，对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合；具体的，可包括：对每个实数向量编码的粒子进行解码，得到每个第X超参数集合，每个第X超参数集合包括的超参数为连续数值参数、离散数值参数和离散类别参数中的至少一种，X为正整数。
接上述步骤202，可为：对每个实数向量编码的粒子(N个粒子)进行解码，得到每个第1超参数集合，每个第1超参数集合包括的超参数为连续数值参数、离散数值参数和离散类别参数中的至少一种。
如图5所示，为超参数解码的示意图，下述进行简要说明：
需要说明的是，连续数值参数可以直接从编码中取出，如学习率α直接获取，为α；离散数值参数根据编码后的实数值采用最近邻原则映射到相应的离散值，类似于四舍五入法，如上述对8.9的实数向量进行解码，得到的就为9；离散类别参数，选择对应的编码实数值最大的类别，如对a，b，c对应的实数向量进行解码，取a，b，c中值最大的为解码的值。需要说明的是，对于参数依赖，是选择某些类别参数后，对应的超参数才会被解码(比如，只有选择了高斯核函数，高斯核需要的超参数才会被激活)。
304、对每个第X+1超参数集合进行参数评估，得到每个粒子与第X超参数集合对应的第X目标值；
在本发明实施例中，对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合之后；对每个第X+1超参数集合进行参数评估，得到每个粒子与第X超参数集合对应的第X目标值。进行参数评估的时候，根据已有的待分析样本数据，对每个第X超参数集合通常使用交叉验证的方法进行参数评估，对应每个粒子都会得到一个目标值。应理解，进行参数评估的时候也不限于使用其他的方法进行参数评估。
交叉验证(K-fold Cross Validation，K-CV)：将原始数据分成K组(一般是均分)，这里的原始数据为图2中所示的待分析样本数据，将每个超参数集合在每个子集数据上做一次验证集，其余的K-1组子集数据作为训练集，这样会得到K个模型；用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标，K一般大于等于2，实际操作时一般从3开始取，只有在原始数据集合数据量小的时候才会尝试取2。K-CV可以有效的避免过学习以及欠学习状态的发生，最后得到的结果也比较具有说服性。这里所说的性能指标，可以理解为上述所说的目标值，或者说目标值是分类正确率，在超参选择里面也可以是时间等其他指标作为目标值。
305、确定并更新历史信息、个体最优超参数集合和种群最优超参数集合；
在本发明实施例中，包括：是确定当前历史信息，当前个体最优超参数集合和当前种群最优超参数集合，并对和保存的历史信息、个体最优超参数集合和种群最优超参数集合进行比较，再进行更新。下面对此分别进行说明：
(1)根据每个粒子的第X目标值，确定个体最优超参数集合，个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；
具体的，可包括，如下所示：
a：当第Y个粒子的第X目标值小于等于第Y个粒子的第X-1目标值时，确定第X-1目标值对应的超参数集合为第Y个粒子的个体最优超参数集合。
b:当第Y个粒子的第X目标值大于第Y个粒子的第X-1目标值时，确定第X目标值对应的超参数集合为第Y个粒子的个体最优超参数集合，Y为正整数，Y≤N；将保存的第Y个粒子的个体最优超参数集合由第X-1目标值对应的超参数集合更新为第X目标值对应的超参数集合。
示例性的，若A粒子当前进行参数评估后，得到的当前目标值是70％，而A粒子上次进行参数评估更新后得到的个体最优超参数集合对应的目标值为65％，那么，70％大于65％，所以，该粒子更新后的最优超参数集合对应的目标值为70％，目标值70％对应的超参数集合即为A粒子的个体最优超参数集合，所以，将保存的A粒子的个体最优超参数集合进行更新，更新为70％对应的超参数集合。若A粒子上次进行参数评估更新后得到的个体最优超参数集合对应的目标值为80％，那么，A粒子的个体最优超参数集合不变，因为当前目标值70％小于80％。
(2)根据N个第X目标值，确定并更新历史信息，历史信息是根据n个粒子包含的每个超参数进行计算得到的，n个粒子为目标值大于预置阈值的粒子，n和N为正整数，n≤N；
应理解，历史信息指的所有粒子曾经经过的所有位置信息，而这里的位置信息是由每个粒子包括的超参数集合来确定的，及每个粒子的超参数集合、目标值和位置信息都是一 一对应的关系。这里为了进行概括和方便的表示，可以采用一个概率分布来进行描述，比如，可以采用高斯分布，利用均值和方差两个参数确定的高斯分布就可以描述所有粒子的历史信息。也可以采用其他概率分布，比如，狄利克雷分布(Dirichlet distribution)，由浓度参数(concentration parameter)来确定分布信息。
现有技术中，如果保存所有粒子的历史搜索记录，会造成很大的存储开销。因此，在本发明实施例中，改为对种群中每个粒子的个体最优位置的概率分布进行建模，然后只保存历史信息。采用高斯分布，每个超参数需要两个参数来表示，即均值和方差。在对历史搜索记录进行建模时，采用锦标赛方法选择一些目标值较好的位置，然后对每个超参数的概率分布进行更新。如图6所示，为计算高斯分布信息的一个示意图。
示例性的，历史信息可以包括高斯分布信息，那么，根据每个粒子的第X目标值，确定个体最优超参数集合可包括：根据每个粒子的第X目标值，选择目标值大于预置阈值的n个粒子；对n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息；将保存的第X高斯分布信息更新为第X+1高斯分布信息。
进一步的，对n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息，可包括：对n个粒子包含的每个超参数进行平均估计计算，得到每个超参数的估计均值和估计方差；根据每个超参数的估计均值和保存的第X-1均值，确定每个超参数的第X均值，并根据每个超参数的估计方差和保存的第X-1方差，确定每个超参数的第X方差；将保存的第X高斯分布信息更新为第X+1高斯分布信息，包括：将第X均值更新为第X+1均值，并将第X方差更新为第X+1方差。
下面以示例性的方式，对怎么进行确定并更新高斯分布信息做进一步的说明，如下所示：
1.根据目前种群中的所有粒子，选择n个最好的粒子位置，即选择目标值比较大的粒子；
2.根据这n个粒子，对每一维，计算采用最大似然估计得到的估计均值avg和估计方差δ，然后采用高斯分布进行表示；
例如：这里以每个粒子的第一超参数来举例说明，对每个粒子的第一超参数进行最大似然估计分别得到avg1,avg2,......avgn和δ1,δ2,......δn，那么，估计均值为
Figure PCTCN2017098862-appb-000001
估计方差为
Figure PCTCN2017098862-appb-000002
其他超参数的计算类似，此处不再赘述。
3.如果之前计算过高斯分布，将两个高斯分布进行组合，组合方法如下：均值newavg＝a×avg+(1-a)×oldavg，方差newδ＝a×δ+(1-a)×oldδ，其中a∈[0,1]，oldavg是上次更新得到的均值，oldδ是上次更新得到的方差，newavg是这次更新得到的均值，newδ是这次更新得到的方差；
应理解，在第一次算法运行后，得到的均值为newavg＝a×avg，方差为newδ＝a×δ，其中a∈[0,1]。
4.采用第3步计算的均值和方差来表示高斯分布信息，存入信息库。
(3)根据N个第X目标值，确定并更新种群最优超参数集合，种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合。
具体的，可包括，如下所示：
a：当第一目标粒子的第X目标值大于第二目标粒子的第X-1目标值时，确定第一目标粒子的第X目标值对应的超参数集合为种群最优超参数集合，其中，第一目标粒子是进行第X次参数评估后得到的目标值最大的粒子，第二目标粒子是进行第X-1次参数评估后得到的目标值最大的粒子；将保存的种群最优超参数集合由第二目标粒子的第X-1目标值对应的超参数集合更新为第一目标粒子的第X目标值对应的超参数集合。
b：当第一目标粒子的第X目标值小于等于第二目标粒子的第X-1目标值时，确定第二目标粒子的第X-1目标值对应的超参数集合为种群最优超参数集合，其中，第一目标粒子是进行第X次参数评估后得到的目标值最大的粒子，第二目标粒子是进行第X-1次参数评估后得到的目标值最大的粒子。
示例性的，假设在第5次参数评估后，得到N个粒子中的种群最优超参数集合对应的粒子为B粒子，B粒子对应的目标值为80％，而在第4次参数评估后，得到N个粒子中的种群最优超参数集合对应的粒子为C粒子，C粒子对应的目标值为78％，那么，种群最优超参数集合更新为目标值为80％对应的粒子包含的超参数集合。
应理解，每个粒子都会有一个个体最优超参数集合，但是种群最优超参数集合是从所有的粒子中选出最优的一个粒子，该粒子对应的超参数集合即为种群最优超参数集合。那么，进行一次参数评估之后，得到N个粒子的目标值，根据N个粒子的目标值对应的就有N个个体最优超参数集合，有1个种群最优超参数集合。
在本步骤中，提出了对高斯分布信息进行建模的方法。通过采用高斯分布，可以对高斯分布信息进行表示，同时减少存储空间。每次高斯分布的更新也可以高效实现。通过保存高斯分布信息，防止算法收敛到局部最优。
306、根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；
在本发明实施例中，根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合。
具体的，可包括：
a：根据更新后的高斯分布信息，对每个粒子中的每个超参数进行随机抽样，确定每个粒子的第一目标超参数集合；
b：根据更新后的个体最优超参数集合，为每个粒子随机选择两个粒子，确定目标值较高的粒子包括的超参数集合为每个粒子的第二目标超参数集合；
c：根据更新后的种群最优超参数集合，计算每个粒子的速度；根据每个粒子的速度，确定每个粒子包含的第三目标超参数集合；
d：将第一目标超参数集合、第二目标超参数集合和第三目标超参数集合分别进行参数评估，对应得到第一目标值、第二目标值和第三目标值；从第一目标值、第二目标值和第三目标值中选择最优目标值；
e：确定最优目标值对应的每个粒子包括的超参数集合为第X+1候选超参数集合。
示例性的，1.利用更新后的高斯分布信息，对每个粒子，根据每个超参数的高斯分布，随机抽样得到一个位置，这里的位置是与每个粒子包含的超参数对应的；也就是为当前粒子的每个超参数随机再抽样一个超参数，抽样后的超参数组成的集合就是该粒子包含的第一目标超参数集合。
2.对每个粒子，利用更新后的个体最优超参数集合，在种群中随机选择两个其他粒子的最优位置，然后选择两个中较好的一个。
应理解，以其中一个粒子A为例，随机选择另外两个粒子B和C，判断那B和C两个粒子的目标值谁最高，最高的那个粒子包含的超参数集合即为粒子A包含的第二目标超参数集合，其他每个粒子类似的方法，不再赘述。
3.根据群体最优位置，对每个粒子计算速度，然后更新粒子位置，具体可用如下公式所示：
Figure PCTCN2017098862-appb-000003
其中，Vi d(t+1)表示第i个粒子的第d个超参数(维)在t+1时刻的速度；Vi d(t)表示第i个粒子的第d个超参数(维)在t时刻的速度；ri d表示第i个粒子的第d维的一个[0，1]之间的随机数，控制学习的随机性；Yi d(t)表示种群最优粒子的位置，
Figure PCTCN2017098862-appb-000004
表示当前粒子的位置，ω表示速度衰减因子，是一个0到1之间的常数；c表示控制学习速率，是一个常数。
Figure PCTCN2017098862-appb-000005
其中，
Figure PCTCN2017098862-appb-000006
表示该粒子更新后的位置。
4.选择上面3种更新方法中最好的一个作为这个粒子这次更新的最终结果(下次进行更新的超参数集合)。不同于传统粒子群方法采用单一的粒子位置更新方法，针对3种信息分别进行更新，粒子更新更灵活，防止局部最优。
需要说明的是，在第4步的实际过程中，还会再进行一次参数评估，具体参数评估的过程可以参考上述步骤204的描述，得到3种更新方法的最优目标值，最优目标值对应的每个粒子，其每个粒子对应的超参数集合作为粒子位置更新后的超参数集合。
307、当包含第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的第X+1候选超参数集合为最优超参数集合；
在本发明实施例中，当包含第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的第X+1候选超参数集合为最优超参数集合。这里判断收敛的方法可以是，如果迭代几次后，整个粒子种群的种群最优超参数集合一直没有变，就可以认为粒子群收敛了或者是粒子的种群包含的超参数集合的变化在一个比较小的范围内，也可以认为粒子种群收敛。当包含第X+1候选超参数集合的粒子群不收敛时，确定第X+1候选超参数集合为候选超参数集合，则继续执行上述303-307的步骤，循环往复。
应理解，判断超参数是否收敛，一般是在进行多次运算之后，才能得出，仅凭一次运算时无法判断的，所以，这个算法的一般来说至少循环两次，两次也是很极端的说法。通常情况下，是循环无数次后，根据每次循环的数据得出是否收敛。
308、根据最优超参数集合通过求解算法对待分析样本数据进行处理。
在本发明实施例中，确定最优超参数集合之后，可根据最优超参数集合通过求解算法对待分析样本数据进行处理。比如，对云相册中的照片进行分类，求解目标就是分类正确率。这里可以根据对实际应用中对待分析样本数据进行怎样的处理，即可参考最优超参数集合。
在本发明实施例中，对每个粒子，根据历史信息、个体最优超参数集合、种群最优超参数集合对每个粒子分别进行3种更新。然后，选择一个最好的结果作为粒子的下一个位置。这样可以避免传统方法依赖单一信息可能造成的粒子收敛到局部最优值，那么，根据这个最优超参数集合进行处理，得到的求解目标值就会相应的更准确。每个粒子的每一维都是分别进行更新的，进一步可以保存样本的多样性。进一步的，可以同时处理各种类型的超参数，包括连续数值参数、离散数值参数、离散类别参数。
上述对本发明实施例中数据处理的方法进行了描述，下面对本发明实施例中所提供的装置进行描述，该装置应用于数据处理系统，数据处理系统用于通过求解算法对待分析样本数据进行处理，求解算法包含M个超参数，M为正整数。如图7所示，为本发明实施例中装置的一个实施例示意图，包括：
编码模块，701，用于对M个超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合；
解码模块702，用于对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，其中，当X＝1时，第X候选超参数集合为第1候选超参数集合，或者，当X>1时，第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X为大于或等于2的正整数，N和M为正整数；
参数评估模块703，用于对每个第X超参数集合进行参数评估，得到每个粒子与第X超参数集合对应的第X目标值；
第一确定模块704，用于根据每个粒子的第X目标值，确定个体最优超参数集合，个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；根据N个第X目标值，确定并更新历史信息，历史信息是根据n个粒子包含的每个超参数进行计算得到的，n个粒子为目标值大于预置阈值的粒子，n和N为正整数，n≤N；根据N个第X目标值，确定并更新种群最优超参数集合，种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；
位置更新模块705，用于根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；
第二确定模块706，用于当包含第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的第X+1候选超参数集合为最优超参数集合；
处理模块707，用于根据所述最优超参数集合通过所述求解算法对所述待分析样本数 据进行处理。
具体的过程，可以参考上述图3中对应的步骤303-307，此处不再赘述。
可选的，在本发明实施例中，在图7所示的基础上，如图8所示，该装置还可包括：
获取模块708，用于执行上述图3中所示的步骤301。
如图9所示，为本发明实施例中装置的另一个实施例示意图，包括：
该装置可因配置或性能不同而产生比较大的差异，可以包括收发器901，一个或一个以上中央处理器(central processing units，CPU)902(例如，一个或一个以上处理器)和存储器903，一个或一个以上存储应用程序9041或数据9042的存储介质904(例如一个或一个以上海量存储设备)。其中，存储器903和存储介质904可以是短暂存储或持久存储。存储在存储介质904的程序可以包括一个或一个以上模块(图9中没示出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器902可以设置为与存储介质904通信，在该装置上执行存储介质904中的一系列指令操作。
在本发明实施例中，收发器901，用于执行上述图3中所示的步骤301；
中央处理器902，用于执行上述图3中的步骤302-307。
本发明实施例还提供了一种计算机存储介质，用于储存为上述图3中所用的计算机软件指令，通过执行存储的程序，可以根据历史信息、粒子个体最优位置、种群最优位置对每个粒子分别进行这几种更新，从中选择一个最优的作为下次的候选超参数集合，有效避免了传统方法依赖单一信息可能造成的粒子收敛到局部最优值。如果该程序以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

  1. 一种数据处理的方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统用于通过求解算法对待分析样本数据进行处理，所述求解算法包含M个超参数，M为正整数，所述方法包括：
    对所述M个超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合；
    对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，其中，当X＝1时，所述第X候选超参数集合为所述第1候选超参数集合，或者，当X>1时，所述第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X、N和M为正整数；
    对所述每个第X超参数集合进行参数评估，得到每个粒子与所述第X超参数集合对应的第X目标值；
    根据所述每个粒子的第X目标值，确定个体最优超参数集合，所述个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；
    根据N个第X目标值，确定并更新历史信息，所述历史信息是根据所述n个粒子包含的每个超参数进行计算得到的，所述n个粒子为目标值大于预置阈值的粒子，n为正整数，n≤N；
    根据所述N个第X目标值，确定并更新种群最优超参数集合，所述种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；
    根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；
    当包含所述第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的所述第X+1候选超参数集合为最优超参数集合；
    根据所述最优超参数集合通过所述求解算法对所述待分析样本数据进行处理。
  2. 根据权利要求1所述的方法，其特征在于，每个超参数包括连续数值参数、离散数值参数和离散类别参数中的至少一种，所述对所述M个超参数进行编码，得到N个粒子，包括：
    对所述连续数值参数、所述离散数值参数和所述离散类别参数中的至少一种进行编码，生成N个第1候选超参数集合，每个第1候选超参数集合为实数向量编码的粒子。
  3. 根据权利要求2所述的方法，其特征在于，所述对所述每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，包括：
    对每个实数向量编码的粒子进行解码，得到每个第X超参数集合，所述每个第X超参数集合包括的超参数为所述连续数值参数、所述离散数值参数和所述离散类别参数中的至少一种。
  4. 根据权利要求1-3任一所述的方法，其特征在于，所述历史信息包括高斯分布信息，所述根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合，包括：
    根据更新后的高斯分布信息，对每个粒子中的每个超参数进行随机抽样，确定每个粒 子的第一目标超参数集合；
    根据更新后的个体最优超参数集合，为每个粒子随机选择两个粒子，确定目标值较高的粒子包括的超参数集合为每个粒子的第二目标超参数集合；
    根据更新后的种群最优超参数集合，计算每个粒子的速度，根据所述每个粒子的速度，确定每个粒子包含的第三目标超参数集合；
    将所述第一目标超参数集合、所述第二目标超参数集合和所述第三目标超参数集合分别进行参数评估，对应得到第一目标值、第二目标值和第三目标值；
    确定在所述第一目标值、所述第二目标值和所述第三目标值中目标值最大的粒子包括的超参数集合为所述每个粒子包含的第X+1候选超参数集合。
  5. 根据权利要求1-4任一所述的方法，其特征在于，所述根据所述每个粒子的第X目标值，确定并更新个体最优超参数集合，包括：
    当第Y个粒子的第X目标值大于所述第Y个粒子的第X-1目标值时，确定所述第X目标值对应的超参数集合为所述第Y个粒子的个体最优超参数集合，Y为正整数，Y≤N；
    将保存的所述第Y个粒子的个体最优超参数集合由所述第X-1目标值对应的超参数集合更新为所述第X目标值对应的超参数集合。
  6. 根据权利要求1-4任一所述的方法，其特征在于，所述根据所述每个粒子的第X目标值，确定并更新个体最优超参数集合，包括：
    当第Y个粒子的第X目标值小于等于所述第Y个粒子的第X-1目标值时，确定所述第X-1目标值对应的超参数集合为所述第Y个粒子的个体最优超参数集合。
  7. 根据权利要求1-6任一所述的方法，其特征在于，所述根据N个第X目标值，确定并更新历史信息，包括：
    根据所述每个粒子的第X目标值，选择目标值大于预置阈值的n个粒子；
    对所述n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息；
    将保存的第X高斯分布信息更新为所述第X+1高斯分布信息。
  8. 根据权利要求7所述的方法，其特征在于，对所述n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息，包括：
    对所述n个粒子包含的每个超参数进行平均估计计算，得到每个超参数的估计均值和估计方差；
    根据所述每个超参数的估计均值和保存的第X-1均值，确定所述每个超参数的第X均值，并根据所述每个超参数的估计方差和保存的第X-1方差，确定所述每个超参数的第X方差；
    所述将保存的第X高斯分布信息更新为所述第X+1高斯分布信息，包括：
    将所述第X均值更新为所述第X+1均值，并将所述第X方差更新为所述第X+1方差。
  9. 一种装置，其特征在于，所述装置应用于数据处理系统，所述数据处理系统用于通过求解算法对待分析样本数据进行处理，所述求解算法包含M个超参数，M为正整数，所述装置包括：
    编码模块，用于对所述M个超参数进行编码，得到N个粒子，每个粒子包含第1候选 超参数集合；
    解码模块，用于对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，其中，当X＝1时，所述第X候选超参数集合为所述第1候选超参数集合，或者，当X>1时，所述第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X、N和M为正整数；
    参数评估模块，用于对所述每个第X超参数集合进行参数评估，得到每个粒子与所述第X超参数集合对应的第X目标值；
    第一确定模块，用于根据所述每个粒子的第X目标值，确定个体最优超参数集合，所述个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；根据N个第X目标值，确定并更新历史信息，所述历史信息是根据所述n个粒子包含的每个超参数进行计算得到的，所述n个粒子为目标值大于预置阈值的粒子，n为正整数，n≤N；根据所述N个第X目标值，确定并更新种群最优超参数集合，所述种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；
    位置更新模块，用于根据更新后的历史信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；
    第二确定模块，用于当包含所述第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的所述第X+1候选超参数集合为最优超参数集合；
    处理模块，用于根据所述最优超参数集合通过所述求解算法对所述待分析样本数据进行处理。
  10. 根据权利要求9所述的装置，其特征在于，每个超参数包括连续数值参数、离散数值参数和离散类别参数中的至少一种，所述装置还包括：
    编码模块，用于对所述连续数值参数、所述离散数值参数和所述离散类别参数中的至少一种进行编码，生成N个第1候选超参数集合，每个第1候选超参数集合为实数向量编码的粒子。
  11. 根据权利要求10所述的装置，其特征在于，
    所述解码模块，具体用于对每个实数向量编码的粒子进行解码，得到每个第X超参数集合，所述每个第X超参数集合包括的超参数为所述连续数值参数、所述离散数值参数和所述离散类别参数中的至少一种。
  12. 根据权利要求9-11任一所述的装置，其特征在于，所述历史信息包括高斯分布信息，
    所述位置更新模块，具体用于根据更新后的高斯分布信息，对每个粒子中的每个超参数进行随机抽样，确定每个粒子的第一目标超参数集合；根据更新后的个体最优超参数集合，为每个粒子随机选择两个粒子，确定目标值较高的粒子包括的超参数集合为每个粒子的第二目标超参数集合；根据更新后的种群最优超参数集合，计算每个粒子的速度，根据所述每个粒子的速度，确定每个粒子包含的第三目标超参数集合；将所述第一目标超参数集合、所述第二目标超参数集合和所述第三目标超参数集合分别进行参数评估，对应得到第一目标值、第二目标值和第三目标值；确定在所述第一目标值、所述第二目标值和所述 第三目标值中目标值最大的粒子包括的超参数集合为所述每个粒子包含的第X+1候选超参数集合。
  13. 根据权利要求9-12任一所述的装置，其特征在于，
    所述第一确定模块，具体用于当第Y个粒子的第X目标值大于所述第Y个粒子的第X-1目标值时，确定所述第X目标值对应的超参数集合为所述第Y个粒子的个体最优超参数集合，Y为正整数，Y≤N；将保存的所述第Y个粒子的个体最优超参数集合由所述第X-1目标值对应的超参数集合更新为所述第X目标值对应的超参数集合。
  14. 根据权利要求9-12任一所述的装置，其特征在于，
    所述第一确定模块，具体还用于当第Y个粒子的第X目标值小于等于所述第Y个粒子的第X-1目标值时，确定所述第X-1目标值对应的超参数集合为所述第Y个粒子的个体最优超参数集合。
  15. 根据权利要求9-12任一所述的装置，其特征在于，
    所述第一确定模块，具体还用于根据所述每个粒子的第X目标值，选择目标值大于预置阈值的n个粒子；对所述n个粒子包含的每个超参数进行平均估计计算，得到每个第X高斯分布信息；将保存的第X高斯分布信息更新为所述第X+1高斯分布信息。
  16. 根据权利要求15所述的装置，其特征在于，
    所述第一确定模块，具体还用于对所述n个粒子包含的每个超参数进行平均估计计算，得到每个超参数的估计均值和估计方差；根据所述每个超参数的估计均值和保存的第X-1均值，确定所述每个超参数的第X均值，并根据所述每个超参数的估计方差和保存的第X-1方差，确定所述每个超参数的第X方差；将所述第X均值更新为所述第X+1均值，并将所述第X方差更新为所述第X+1方差。
  17. 一种装置，其特征在于，所述装置应用于数据处理系统，所述数据处理系统用于通过求解算法对待分析样本数据进行处理，所述求解算法包含M个超参数，M为正整数，所述装置包括：
    收发器、处理器、存储器和总线，所述收发器、所述处理器和所述存储器通过所述总线连接；
    所述收发器，用于获取M个超参数；
    所述存储器，用于存储操作指令；
    所述处理器，用于通过调用所述操作指令，对所述M个超参数进行编码，得到N个粒子，每个粒子包含第1候选超参数集合；对获取到的每个粒子包含的第X候选超参数集合进行解码，得到每个第X超参数集合，其中，当X＝1时，所述第X候选超参数集合为所述第1候选超参数集合，或者，当X>1时，所述第X候选超参数集合为进行第X-1次粒子位置更新，确定的每个粒子包含的第X候选超参数集合，X、N和M为正整数；对所述每个第X超参数集合进行参数评估，得到每个粒子与所述第X超参数集合对应的第X目标值；根据所述每个粒子的第X目标值，确定个体最优超参数集合，所述个体最优超参数集合为每个粒子经过X次参数评估后，得到的目标值中最大目标值对应的超参数集合；根据N个第X目标值，确定并更新历史信息，所述历史信息是根据所述n个粒子包含的每个超参数进 行计算得到的，所述n个粒子为目标值大于预置阈值的粒子，n为正整数，n≤N；根据所述N个第X目标值，确定并更新种群最优超参数集合，所述种群最优超参数集合为N个目标值中最大的目标值对应的超参数集合；根据更新后的高斯分布信息、个体最优超参数集合和种群最优超参数集合，进行第X次粒子位置更新，确定每个粒子包含的第X+1候选超参数集合；当包含所述第X+1候选超参数集合的粒子群收敛时，确定每个粒子包含的所述第X+1候选超参数集合为最优超参数集合；根据所述最优超参数集合通过所述求解算法对所述待分析样本数据进行处理。
PCT/CN2017/098862 2016-08-26 2017-08-24 一种数据处理的方法以及装置 WO2018036547A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610738179.X 2016-08-26
CN201610738179.XA CN107783998A (zh) 2016-08-26 2016-08-26 一种数据处理的方法以及装置

Publications (1)

Publication Number Publication Date
WO2018036547A1 true WO2018036547A1 (zh) 2018-03-01

Family

ID=61245481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/098862 WO2018036547A1 (zh) 2016-08-26 2017-08-24 一种数据处理的方法以及装置

Country Status (2)

Country Link
CN (1) CN107783998A (zh)
WO (1) WO2018036547A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260074A (zh) * 2020-01-09 2020-06-09 腾讯科技（深圳）有限公司 一种超参数确定的方法、相关装置、设备及存储介质
CN112580198A (zh) * 2020-12-03 2021-03-30 国网山西省电力公司晋城供电公司 一种用于变压器状态评估的改进优化分类方法
CN113625951A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种桶生命周期配置方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583949B (zh) * 2018-11-22 2021-03-12 中国联合网络通信集团有限公司 一种用户换机预测方法及系统
CN109816116B (zh) * 2019-01-17 2021-01-29 腾讯科技（深圳）有限公司 机器学习模型中超参数的优化方法及装置
CN113592060A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种神经网络优化方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336869A (zh) * 2013-07-05 2013-10-02 广西大学 一种基于高斯过程联立mimo模型的多目标优化方法
CN105760945A (zh) * 2014-12-19 2016-07-13 国家电网公司 风力发电功率的确定方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336869A (zh) * 2013-07-05 2013-10-02 广西大学 一种基于高斯过程联立mimo模型的多目标优化方法
CN105760945A (zh) * 2014-12-19 2016-07-13 国家电网公司 风力发电功率的确定方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260074A (zh) * 2020-01-09 2020-06-09 腾讯科技（深圳）有限公司 一种超参数确定的方法、相关装置、设备及存储介质
CN111260074B (zh) * 2020-01-09 2022-07-19 腾讯科技（深圳）有限公司 一种超参数确定的方法、相关装置、设备及存储介质
CN112580198A (zh) * 2020-12-03 2021-03-30 国网山西省电力公司晋城供电公司 一种用于变压器状态评估的改进优化分类方法
CN113625951A (zh) * 2021-06-30 2021-11-09 济南浪潮数据技术有限公司 一种桶生命周期配置方法、装置、设备及介质
CN113625951B (zh) * 2021-06-30 2023-12-26 济南浪潮数据技术有限公司 一种桶生命周期配置方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107783998A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
WO2018036547A1 (zh) 一种数据处理的方法以及装置
US11829880B2 (en) Generating trained neural networks with increased robustness against adversarial attacks
US11741361B2 (en) Machine learning-based network model building method and apparatus
CN109871886B (zh) 基于谱聚类的异常点比例优化方法、装置及计算机设备
US11176487B2 (en) Gradient-based auto-tuning for machine learning and deep learning models
US20190340533A1 (en) Systems and methods for preparing data for use by machine learning algorithms
US10885439B1 (en) Automated neural network generation using fitness estimation
CN113168559A (zh) 机器学习模型的自动化生成
JP2023126769A (ja) サンプル一致度評価による能動学習
US11460982B1 (en) Number embedding application system
JP6172317B2 (ja) 混合モデル選択の方法及び装置
CN113128671A (zh) 一种基于多模态机器学习的服务需求动态预测方法及系统
US20230342601A1 (en) Evaluating input data using a deep learning algorithm
CN111832645A (zh) 基于离散型乌鸦差分协同搜索算法的分类数据特征选择方法
Hallen A study of gradient-based algorithms
WO2015109781A1 (zh) 基于期望最大确定统计模型参数的方法和装置
JP7384999B2 (ja) 機械学習モデル決定システム及び機械学習モデル決定方法
Al-Behadili et al. Semi-supervised learning using incremental support vector machine and extreme value theory in gesture data
US11609936B2 (en) Graph data processing method, device, and computer program product
US20220405599A1 (en) Automated design of architectures of artificial neural networks
US20220172105A1 (en) Efficient and scalable computation of global feature importance explanations
CN113162914B (zh) 一种基于Taylor神经网络的入侵检测方法及系统
US20240144064A1 (en) Pruning quantum computational results
US20230297848A1 (en) Optimizing cascade of classifiers schema using genetic search
Levin et al. Graph-Based Automatic Feature Selection for Multi-Class Classification via Mean Simplified Silhouette

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17842969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17842969

Country of ref document: EP

Kind code of ref document: A1