WO2021159753A1 - 一种联邦学习模型训练方法、装置、终端设备及存储介质 - Google Patents

一种联邦学习模型训练方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
WO2021159753A1
WO2021159753A1 PCT/CN2020/125084 CN2020125084W WO2021159753A1 WO 2021159753 A1 WO2021159753 A1 WO 2021159753A1 CN 2020125084 W CN2020125084 W CN 2020125084W WO 2021159753 A1 WO2021159753 A1 WO 2021159753A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
parameter
parameters
update
blockchain
Prior art date
Application number
PCT/CN2020/125084
Other languages
English (en)
French (fr)
Inventor
孔令炜
王健宗
黄章成
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021159753A1 publication Critical patent/WO2021159753A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Definitions

  • This application relates to the field of artificial intelligence technology, and in particular to a training method, device, terminal device, and storage medium for a federated learning model.
  • the inventor realizes that in the training process of the existing federated learning model, some participating devices may maliciously attack the federated learning model, for example, use false parameters to participate in the training process of the federated learning model, resulting in federated learning
  • the model does not converge and cannot complete the model training task, or the final output of the federated learning model is inaccurate, thereby reducing the training efficiency of the federated learning model.
  • the embodiments of the present application provide a federated learning model training method, device, terminal device, and storage medium to solve the problem that in the training process of the federated learning model in the prior art, since participating devices may maliciously attack the federated learning model based on false parameters, The resulting inefficient training of federated learning models.
  • the first aspect of the embodiments of the present application provides a method for training a federated learning model, including:
  • the second aspect of the embodiments of the present application provides a federated learning model training device, including:
  • the local model training unit is used to store the initial model parameters of the federated learning model in the blockchain, and respectively instruct different participating devices to perform local model training according to the initial model parameters in the blockchain to obtain model update parameters;
  • the parameter detection unit is configured to obtain the model update parameters in different participating devices and perform parameter detection on the model update parameters, and the parameter detection is used to detect whether the model update parameters are false parameters;
  • the parameter storage unit is configured to store the model update parameter in the blockchain if the parameter test of the model update parameter is qualified;
  • the model training unit is configured to perform model training on the federated learning model according to the model update parameters in the blockchain until the federated learning model after model training converges.
  • the third aspect of the embodiments of the present application provides a terminal device, including a memory, a processor, and a computer program stored in the memory and running on the processor, wherein the processor executes the computer program
  • a terminal device including a memory, a processor, and a computer program stored in the memory and running on the processor, wherein the processor executes the computer program
  • the fourth aspect of the embodiments of the present application provides a storage medium that stores a computer program, wherein the computer program is executed by a processor to implement the following steps:
  • the embodiment of this application has the beneficial effect that by instructing different participating devices to perform local model training according to the initial model parameters in the blockchain to obtain model update parameters, so that different participating devices can effectively obtain the federation parameters.
  • the updated parameters are stored in the blockchain to prevent the storage of false parameters in the blockchain, thereby preventing malicious attacks on the federated learning model by participating devices, and improving the accuracy and safety of federated learning model training.
  • the initial model parameters of the model and the model update parameters that pass the parameter detection are stored in the blockchain, which effectively prevents the data tampering of the initial model parameters and the model update parameters that pass the parameter detection, and further improves the accuracy of the federated learning model training.
  • Fig. 1 is an implementation flowchart of a federated learning model training method provided by an embodiment of the present application
  • FIG. 2 is an implementation flowchart of a method for training a federated learning model provided by another embodiment of the present application
  • FIG. 3 is an implementation flowchart of a federated learning model training method provided by still another embodiment of the present application.
  • Fig. 4 is a structural block diagram of a federated learning model training device provided by an embodiment of the present application.
  • Fig. 5 is a structural block diagram of a terminal device provided by an embodiment of the present application.
  • the federated learning model training method involved in the embodiment of the present application may be executed by a control device or a terminal (hereinafter referred to as a “mobile terminal”).
  • Fig. 1 shows an implementation flowchart of a federated learning model training method provided by an embodiment of the present application, including:
  • step S10 the initial model parameters of the federated learning model are stored in the blockchain, and different participating devices are respectively instructed to perform local model training according to the initial model parameters in the blockchain to obtain model update parameters.
  • the federated learning model training method is used to train the federated learning model based on different participating devices.
  • the initial model parameters of the federated learning model can be set according to requirements.
  • the initial model parameters include convolutional layer and pooling layer. Or the number of layers and weight parameters of the fully connected layer.
  • model training instructions can be sent to different participating devices to instruct different participating devices to perform local model training according to the initial model parameters in the blockchain.
  • pre-stored A device communication table.
  • the device communication table stores the correspondence between different participating devices and corresponding communication addresses, and the model training instruction carries the data access address of the blockchain.
  • the respectively instructing different participating devices to perform local model training according to the initial model parameters in the blockchain to obtain model update parameters includes:
  • the local learning model constructed according to the initial model parameters in the blockchain has the same parameters as the initial state of the federated learning model, and the model parameters of the local learning models constructed between different participating devices are the same , which in turn ensures that different participating devices train the same local learning model separately. Since the local learning model and the federated learning model have the same initial state parameters, different participating devices are instructed to perform model training on the local learning model based on local data. In this way, the model update parameters after the federated learning model is trained by different participating devices can be obtained.
  • this embodiment includes participating device a 1 , participating device a 2, and participating device a 3.
  • the participating device a 1 , participating device a 2 and participating device a 3 respectively train the local learning model built by themselves to obtain model updates.
  • the parameter b 1 , the model update parameter b 2 and the model update parameter b 3 respectively train the local learning model built by themselves to obtain model updates.
  • Step S20 Obtain the model update parameters in different participating devices respectively, and perform parameter detection on the model update parameters.
  • the parameter detection is used to detect whether the model update parameter is a false parameter.
  • the parameter detection model can be used to perform parameter detection on the model update parameters in different participating devices to separately determine whether the model update parameters in different participating devices are It is a false parameter.
  • the parameter detection model adopts a two-class model, and the two-class model is used to calculate the similarity probability between the input model update parameter and the preset false parameter, so as to determine the Whether the model update parameter is a false parameter.
  • step S30 if the parameter test of the model update parameter is qualified, the model update parameter is stored in the blockchain.
  • the corresponding model update parameters are obtained based on the participating devices performing model training on the local learning model according to local data.
  • the model update parameters are obtained by the participating devices performing model training on the local learning model.
  • Uploading model update parameters to the blockchain can ensure its security and fairness and transparency to users.
  • the user equipment can download the travel infection value from the blockchain to verify whether the model update parameters have been tampered with.
  • the blockchain referred to in this example is a new application mode of computer technology such as distributed data storage, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information for verification. The validity of the information (anti-counterfeiting) and the generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.
  • the parameter detection of any model update parameter is unqualified, it is determined that the model update parameter is a false parameter, and there is no need to store the model update parameter in the blockchain, which prevents false parameters from appearing in the blockchain. Storage in the blockchain.
  • Step S40 Perform model training on the federated learning model according to the model update parameters in the blockchain until the federated learning model after model training converges.
  • the federated learning model can train the same model based on the data in different participating devices, and the leakage of the participating device data is prevented.
  • the model training parameters provided by different participating devices for the federated learning model can be effectively obtained.
  • Update parameters and perform parameter detection to separately determine whether the model update parameters obtained by different participating devices after local model training according to the initial model parameters are false parameters, and to prevent false parameters by storing the model update parameters that pass the parameter detection to the blockchain.
  • the storage of parameters in the blockchain prevents malicious attacks by participating devices on the federated learning model, and improves the accuracy and safety of federated learning model training.
  • the initial model parameters and parameters of the federated learning model are tested for qualified models.
  • the updated parameters are stored in the blockchain, which effectively prevents the data tampering of the initial model parameters and the updated parameters of the model qualified for parameter detection, and further improves the accuracy of the federated learning model training.
  • FIG. 2 is an implementation flowchart of a federated learning model training method provided by another embodiment of the present application.
  • the federated learning model training method provided in this embodiment is a further refinement of step S40 in the embodiment corresponding to FIG. 1, and includes:
  • Step S41 Obtain the model update parameters in the blockchain, and perform parameter aggregation on the obtained model update parameters to obtain model aggregation parameters.
  • the parameter aggregation is used to aggregate different model update parameters in the blockchain into one model parameter.
  • the calculation formula used for parameter aggregation of the acquired model update parameters is:
  • a n is the model update parameter corresponding to the nth participating device in the blockchain
  • B n is the parameter weighting coefficient corresponding to the nth participating device
  • n is the total number of model update parameters in the blockchain
  • C is the model aggregation parameter.
  • the parameter weighting coefficient corresponding to the participating device can be set according to requirements.
  • a weighting coefficient query table is pre-stored, and the weighting coefficient query table stores the weighting coefficients of different participating devices and corresponding parameters. Correspondence between.
  • Step S42 storing the model aggregation parameters in the blockchain, and updating the model parameters in the federated learning model according to the model aggregation parameters in the blockchain.
  • the model aggregation parameters in the blockchain are replaced with the model parameters in the federated learning model to achieve the parameter update effect of the federated learning model.
  • the model aggregation parameters include convolution The weight parameter of the layer, pooling layer or fully connected layer.
  • step S43 if the model parameter difference between the model parameter after the update and the model parameter before the update in the federated learning model is less than the difference threshold, it is determined that the federated learning model after the parameter update has converged.
  • this step it is also possible to determine whether the federated learning model has converged by judging whether the parameter update times of the federated learning model is greater than the threshold of times. When it is judged that the parameter update times of the federated learning model are greater than the threshold of times, it is determined The federated learning model is convergent.
  • this step it is also possible to determine whether the federated learning model has converged by determining whether the training duration of the federated learning model is greater than the duration threshold. When it is determined that the training duration of the federated learning model is greater than the duration threshold, then it is determined that the federated learning model is longer than the duration threshold. The model is convergent.
  • Step S44 If the model parameter difference between the updated model parameters in the federated learning model and that before the updated model parameter is greater than or equal to the difference threshold, it is determined that the federated learning model after the updated parameter has not converged.
  • this step when it is determined that the number of parameter updates of the federated learning model is less than or equal to the threshold of times, it is determined that the federated learning model is convergent, and when it is determined that the training duration of the federated learning model is less than or equal to the duration threshold, then it is determined The federated learning model is convergent.
  • Step S45 Perform parameter update on the initial model parameter in the blockchain according to the model aggregation parameter, and delete the model update parameter in the blockchain.
  • step S10 after updating the initial model parameters in the blockchain according to the model aggregation parameters, and returning to perform step S10 to step S40, that is, instructing different participating devices to perform local localization based on the updated initial model parameters of the data in the blockchain.
  • Model training obtain new model update parameters, respectively obtain new model update parameters in different participating devices, and perform parameter detection on the new model update parameters. If the parameters of the new model update parameters are qualified, the new model will be updated
  • the parameters are stored in the blockchain, and the federated learning model is trained again according to the new model update parameters in the blockchain, until the convergence of the federated learning model after the model training is detected, the initial model parameters in the blockchain are stopped Update.
  • different model update parameters in the blockchain can be effectively aggregated into one model parameter, which facilitates the model aggregation parameter to the parameter of the model parameter in the federated learning model.
  • Update by calculating the model parameter difference between the model parameter update and before the update in the federated learning model, and judging whether the model parameter difference is less than the difference threshold, to judge whether the federated learning model has converged, and by aggregation according to the model Parameters Update the initial model parameters in the blockchain, delete the model update parameters in the blockchain, and return to execute step S10 to step S40, so that different participating devices can perform model training on the federated learning model again, thereby improving It improves the convergence effect of the federated learning model, and improves the accuracy of the federated learning model after the model converges.
  • FIG. 3 is a flowchart of an implementation of a federated learning model training method provided by another embodiment of the present application.
  • the training method of the federated learning model provided in this embodiment is the embodiment corresponding to FIG. 1.
  • step S20 it further includes:
  • Step S50 Obtain historical network communication data of the participating device, and mark the historical network communication data as positive sample data.
  • the historical network communication data on the participating device is real data
  • the accuracy of subsequent parameter detection model training is effectively improved.
  • Step S60 Obtain a preset false parameter, and mark the preset false parameter as negative sample data.
  • the subsequent parameter detection model training process can effectively learn the features in the preset false parameters, which improves the parameter detection model's ability to respond to false parameters after model training. Accuracy of recognition.
  • Step S70 Perform model training on the parameter detection model according to the positive sample data and the negative sample data, respectively, until the parameter detection model converges.
  • the parameter detection model is trained according to the positive sample data and the negative sample data, and the model loss value in the parameter detection model training process is calculated. If the model loss value output by the parameter detection model is less than the loss threshold, the parameter detection is determined The model converges, and the converged parameter detection model can effectively detect whether the input parameter data is false data.
  • the performing parameter detection on the model update parameters includes:
  • FIG. 4 is a structural block diagram of a federated learning model training device 100 provided by an embodiment of the present application.
  • the units included in the federated learning model training device 100 are used to execute the steps in the embodiments corresponding to FIGS. 1 to 3.
  • the federated learning model training device 100 includes: a local model training unit 10, a parameter detection unit 11, a parameter storage unit 12, and a model training unit 13, wherein:
  • the local model training unit 10 is used to store the initial model parameters of the federated learning model in the blockchain, and respectively instruct different participating devices to perform local model training according to the initial model parameters in the blockchain to obtain model update parameters .
  • the local model training unit 10 is further configured to instruct different participating devices to construct a local learning model according to the initial model parameters in the blockchain;
  • the model parameters of the local learning model after convergence are obtained, and the model update parameters are obtained.
  • the parameter detection unit 11 is configured to obtain the model update parameters in different participating devices and perform parameter detection on the model update parameters, and the parameter detection is used to detect whether the model update parameters are false parameters.
  • the parameter detection unit 11 is further configured to: obtain historical network communication data of the participating device, and mark the historical network communication data as positive sample data;
  • Model training is performed on the parameter detection model according to the positive sample data and the negative sample data, respectively, until the parameter detection model converges.
  • the parameter detection unit 11 is further configured to: input the model update parameters into the converged parameter detection model for parameter detection, so as to calculate the similarity between the model update parameters and the positive sample data. Probability
  • the parameter storage unit 12 is configured to store the model update parameter in the blockchain if the parameter test of the model update parameter is qualified.
  • the model training unit 13 is configured to perform model training on the federated learning model according to the model update parameters in the blockchain until the federated learning model after model training converges.
  • model training unit 13 is further configured to: obtain the model update parameters in the blockchain, and perform parameter aggregation on the obtained model update parameters to obtain model aggregation parameters, and the parameter aggregation is used for To aggregate the different model update parameters in the blockchain into one model parameter;
  • model parameter difference between the model parameter after the update and the model parameter before the update in the federated learning model is less than the difference threshold, it is determined that the federated learning model after the parameter update has converged.
  • the model training unit 13 is further configured to: if the model parameter difference between the model parameters in the federated learning model after the update and before the update is greater than or equal to the difference threshold, determine that the parameter is updated The federated learning model did not converge;
  • the calculation formula used for parameter aggregation on the acquired model update parameters is:
  • a n is the model update parameter corresponding to the nth participating device in the blockchain
  • B n is the parameter weighting coefficient corresponding to the nth participating device
  • n is the blockchain
  • C is the model aggregation parameter.
  • Update parameters to perform parameter detection to determine whether the model update parameters obtained after local model training of different participating devices according to the initial model parameters are false parameters, and to prevent false parameters by storing the model update parameters that pass the parameter detection to the blockchain
  • the storage of parameters in the blockchain prevents malicious attacks by participating devices on the federated learning model, and improves the accuracy and safety of federated learning model training.
  • the initial model parameters and parameters of the federated learning model are tested for qualified models.
  • the updated parameters are stored in the blockchain, which effectively prevents the data tampering of the initial model parameters and the updated parameters of the model qualified for parameter detection, and further improves the accuracy of the federated learning model training.
  • This embodiment also provides a storage medium that stores a computer program.
  • the storage medium may be non-volatile or volatile.
  • FIG. 5 is a structural block diagram of a terminal device 2 provided by another embodiment of the present application.
  • the terminal device 2 of this embodiment includes: a processor 20, a memory 21, and a computer program 22 stored in the memory 21 and running on the processor 20, such as a federated learning model training method program of.
  • the processor 20 executes the computer program 23 the steps in each embodiment of the above-mentioned federated learning model training method are implemented, for example, S10 to S40 shown in FIG. 1, or S41 to S45 shown in FIG. 2, or as shown in FIG. 3. S50 to S70.
  • the processor 20 executes the computer program 22, the functions of the units in the embodiment corresponding to FIG. 4 are implemented, for example, the functions of the units 10 to 13 shown in FIG. 4, please refer to the corresponding implementation in FIG. 5 for details The related description in the example will not be repeated here.
  • the computer program 22 may be divided into one or more units, and the one or more units are stored in the memory 21 and executed by the processor 20 to complete the application.
  • the one or more units may be a series of computer program instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer program 22 in the terminal device 2.
  • the computer program 22 may be divided into a local model training unit 10, a parameter detection unit 11, a parameter storage unit 12, and a model training unit 13, and the specific functions of each unit are as described above.
  • the terminal device may include, but is not limited to, a processor 20 and a memory 21.
  • FIG. 5 is only an example of the terminal device 2 and does not constitute a limitation on the terminal device 2. It may include more or less components than shown in the figure, or a combination of certain components, or different components.
  • the terminal device may also include input and output devices, network access devices, buses, and so on.
  • the so-called processor 20 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processors, etc.). Signal Processor, DSP), Application Specific Integrated Circuit (Application Specific Integrated Circuit, ASIC), ready-made programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 21 may be an internal storage unit of the terminal device 2, for example, a hard disk or a memory of the terminal device 2.
  • the memory 21 may also be an external storage device of the terminal device 2, such as a plug-in hard disk equipped on the terminal device 2, a smart memory card (Smart Media Card, SMC), Secure Digital (SD) card, Flash Card, etc. Further, the memory 21 may also include both an internal storage unit of the terminal device 2 and an external storage device.
  • the memory 21 is used to store the computer program and other programs and data required by the terminal device.
  • the memory 21 can also be used to temporarily store data that has been output or will be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及人工智能技术领域，尤其涉及一种联邦学习模型训练方法、装置、终端设备及存储介质。所述方法包括：将联邦学习模型的初始模型参数存储至区块链，分别指示参与设备根据区块链中的初始模型参数进行本地模型训练得到模型更新参数；分别获取不同参与设备中的模型更新参数，对模型更新参数进行参数检测；若模型更新参数的参数检测合格，则将模型更新参数存储至区块链；根据区块链中的模型更新参数对联邦学习模型进行模型训练，直至模型训练后的联邦学习模型收敛。本申请通过将参数检测合格的模型更新参数存储至区块链，防止了虚假参数在区块链中的存储，防止了参与设备对联邦学习模型的恶意攻击，提高了联邦学习模型训练的准确性和安全性。

Description

一种联邦学习模型训练方法、装置、终端设备及存储介质
本申请要求于2020年09月21日提交中国专利局、申请号为202010996298.1，发明名称为“一种联邦学习模型训练方法、装置、终端设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种联邦学习模型训练方法、装置、终端设备及存储介质。
 背景技术
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得处于联邦状态下的参与设备在不用给出己方数据的情况下，也可协作进行联邦学习模型的训练，并且可以避免数据隐私泄露的问题。
 技术问题
综上，发明人意识到，现有的联邦学习模型训练过程中，有的参与设备可能会恶意攻击联邦学习模型，例如，用虚假的参数参与到联邦学习模型的训练过程中，从而导致联邦学习模型不收敛无法完成模型训练任务，或最终输出的联邦学习模型准确性低下，进而降低了联邦学习模型的训练效率。
 技术解决方案
本申请实施例提供了一种联邦学习模型训练方法、装置、终端设备及存储介质，以解决现有技术的联邦学习模型训练过程中，由于参与设备可能会根据虚假的参数恶意攻击联邦学习模型，所导致的联邦学习模型训练效率低下的问题。
本申请实施例的第一方面提供了一种联邦学习模型训练方法，包括：
将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
本申请实施例的第二方面提供了一种联邦学习模型训练装置，包括：
本地模型训练单元，用于将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
参数检测单元，用于分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
参数存储单元，用于若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
模型训练单元，用于根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机可读指令时实现如下步骤：
将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
本申请实施例的第四方面提供了一种存储介质，所述存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
 有益效果
本申请实施例与现有技术相比存在的有益效果是：通过分别指示不同参与设备根据区块链中的初始模型参数进行本地模型训练得到模型更新参数，从而能够有效获取到不同参与设备针对联邦学习模型提供的模型训练参数，通过对模型更新参数进行参数检测，以分别判断不同参与设备根据初始模型参数进行本地模型训练后得到的模型更新参数是否是虚假参数，并通过将参数检测合格的模型更新参数存储至区块链，防止了虚假参数在区块链中的存储，进而防止了参与设备对联邦学习模型的恶意攻击，提高了联邦学习模型训练的准确性和安全性，通过将联邦学习模型的初始模型参数和参数检测合格的模型更新参数存储至区块链，有效的防止了初始模型参数和参数检测合格的模型更新参数的数据篡改，进一步提高了联邦学习模型训练的准确性。
 附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种联邦学习模型训练方法的实现流程图；
图2是本申请另一实施例提供的一种联邦学习模型训练方法的实现流程图；
图3是本申请再一实施例提供的一种联邦学习模型训练方法的实现流程图；
图4是本申请实施例提供的一种联邦学习模型训练装置的结构框图；
图5是本申请实施例提供的一种终端设备的结构框图。
 本发明的实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例所涉及的联邦学习模型训练方法，可以由控制设备或终端（以下称“移动终端”）执行。
请参阅图1，图1示出了本申请实施例提供的一种联邦学习模型训练方法的实现流程图，包括：
步骤S10，将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数。
其中，该联邦学习模型训练方法用于基于不同的参与设备协同对该联邦学习模型进行训练，该联邦学习模型的初始模型参数可以根据需求进行设置，该初始模型参数包括卷积层、池化层或全连接层的层数和权重参数等。
可选的，该步骤中，可以通过分别向不同的参与设备发送模型训练指令，以指示不同参与设备根据区块链中的初始模型参数进行本地模型训练，具体的，本实施例中预存储有设备通讯表，该设备通讯表中存储有不同参与设备与对应通讯地址之间的对应关系，该模型训练指令中携带有该区块链的数据访问地址。
可选的，该步骤中，所述分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数，包括：
分别指示不同所述参与设备根据所述区块链中的所述初始模型参数构建本地学习模型；
分别指示不同所述参与设备根据本地数据对所述本地学习模型进行模型训练，直至所述本地学习模型收敛；
若所述本地学习模型收敛，则获取收敛后所述本地学习模型的模型参数，得到所述模型更新参数；
其中，在不同参与设备中，根据区块链中的初始模型参数构建的本地学习模型与该联邦学习模型的初始状态的参数相同，且不同参与设备之间构建的本地学习模型的模型参数均相同，进而保障了不同参与设备分别对相同的本地学习模型进行模型训练，由于本地学习模型与该联邦学习模型的初始状态的参数相同，通过分别指示不同参与设备根据本地数据对本地学习模型进行模型训练，从而可以得到不同参与设备对联邦学习模型进行训练后的模型更新参数。
例如，本实施例中包括参与设备a 1、参与设备a 2和参与设备a 3，参与设备a 1、参与设备a 2和参与设备a 3分别对自身构建的本地学习模型进行训练，得到模型更新参数b 1、模型更新参数b 2和模型更新参数b 3。
步骤S20，分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测。
其中，该参数检测用于检测模型更新参数是否是虚假参数，该步骤中，可以采用参数检测模型对不同参与设备中的模型更新参数进行参数检测，以分别判断不同参与设备中的模型更新参数是否是虚假参数。
可选的，该步骤中，该参数检测模型采用的是二分类模型，该二分类模型用于计算输入的模型更新参数与预设的虚假参数之间的相似概率，以判断该参与设备中的模型更新参数是否是虚假参数。
步骤S30，若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链。
其中，基于参与设备根据本地数据对本地学习模型进行模型训练得到对应的模型更新参数，具体来说，模型更新参数由参与设备对本地学习模型进行模型训练得到。将模型更新参数上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该出行感染值，以便查证模型更新参数是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
可选的，本实施例中，若该任一模型更新参数的参数检测不合格，则判定该模型更新参数是虚假参数，无需将该模型更新参数存储至区块链中，防止了虚假参数在区块链中的存储。
步骤S40，根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
其中，通过根据区块链中的模型更新参数对联邦学习模型进行模型训练，使得该联邦学习模型能基于不同参与设备中的数据训练同一个模型，且防止了参与设备数据的泄露。
本实施例中，通过分别指示不同参与设备根据区块链中的初始模型参数进行本地模型训练得到模型更新参数，从而能够有效获取到不同参与设备针对联邦学习模型提供的模型训练参数，通过对模型更新参数进行参数检测，以分别判断不同参与设备根据初始模型参数进行本地模型训练后得到的模型更新参数是否是虚假参数，并通过将参数检测合格的模型更新参数存储至区块链，防止了虚假参数在区块链中的存储，进而防止了参与设备对联邦学习模型的恶意攻击，提高了联邦学习模型训练的准确性和安全性，通过将联邦学习模型的初始模型参数和参数检测合格的模型更新参数存储至区块链，有效的防止了初始模型参数和参数检测合格的模型更新参数的数据篡改，进一步提高了联邦学习模型训练的准确性。
请参阅图2，图2是本申请另一实施例提供的一种联邦学习模型训练方法的实现流程图。相对于图1对应的实施例，本实施例提供的联邦学习模型训练方法是对图1对应的实施例中步骤S40的进一步细化，包括：
步骤S41，获取所述区块链中的所述模型更新参数，并对获取到的所述模型更新参数进行参数聚合，得到模型聚合参数。
其中，该参数聚合用于将区块链中的不同模型更新参数聚合为一个模型参数。
可选的，该步骤中，所述对获取到的所述模型更新参数进行参数聚合所采用的计算公式为：
C=(A 1*B 1+A 2*B 2+A 3*B 3 ……+A n*B n)/n
其中，A n是第n个参与设备在区块链中对应的模型更新参数，B n是第n个参与设备对应的参数加权系数，n是区块链中所述模型更新参数的总个数值，C是模型聚合参数。
可选的，该步骤中，该参与设备对应的参数加权系数可以根据需求进行设置，本实施中预存储有加权系数查询表，该加权系数查询表中存储有不同参与设备与对应参数加权系数之间的对应关系。
步骤S42，将所述模型聚合参数存储至所述区块链中，并根据所述区块链中的所述模型聚合参数对所述联邦学习模型中的模型参数进行参数更新。
其中，通过将该区块链中的模型聚合参数对联邦学习模型中的模型参数进行参数替换，以达到对联邦学习模型的参数更新效果，具体的，该步骤中，该模型聚合参数包括卷积层、池化层或全连接层的权重参数。
步骤S43，若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值小于差值阈值，则判定参数更新后的所述联邦学习模型收敛。
其中，通过计算联邦学习模型中的模型参数更新后与更新前之间的模型参数差值，并判断该模型参数差值是否小于差值阈值，以判断该联邦学习模型是否收敛。
可选的，该步骤中，还可以通过判断联邦学习模型的参数更新次数是否大于次数阈值，以判定该联邦学习模型是否收敛，当判断到联邦学习模型的参数更新次数大于次数阈值，则判定该联邦学习模型是收敛。
可选的，该步骤中，还可以通过判断联邦学习模型的训练时长是否大于时长阈值，以判定该联邦学习模型是否收敛，当判断到联邦学习模型的训练时长大于时长阈值，则判定该联邦学习模型是收敛。
步骤S44，若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值大于或等于所述差值阈值，则判定参数更新后的所述联邦学习模型未收敛。
可选的，该步骤中，当判断到联邦学习模型的参数更新次数小于或等于次数阈值，则判定该联邦学习模型是收敛，当判断到联邦学习模型的训练时长小于或等于时长阈值，则判定该联邦学习模型是收敛。
步骤S45，根据所述模型聚合参数对所述区块链中的所述初始模型参数进行参数更新，并删除所述区块链中的所述模型更新参数。
其中，根据模型聚合参数对区块链中的初始模型参数进行参数更新后，并返回执行步骤S10至步骤S40，即分别指示不同参与设备根据区块链中的数据更新后的初始模型参数进行本地模型训练，得到新的模型更新参数，分别获取不同参与设备中的新的模型更新参数，对新的模型更新参数进行参数检测，若新的模型更新参数的参数检测合格，则将新的模型更新参数存储至区块链，根据区块链中的新的模型更新参数对联邦学习模型再次进行模型训练，直至检测到模型训练后的联邦学习模型收敛时，停止对区块链中的初始模型参数的更新。
本实施例中，通过对获取到的模型更新参数进行参数聚合，能有效的将区块链中的不同模型更新参数聚合为一个模型参数，方便了模型聚合参数对联邦学习模型中模型参数的参数更新，通过计算联邦学习模型中的模型参数更新后与更新前之间的模型参数差值，并判断该模型参数差值是否小于差值阈值，以判断该联邦学习模型是否收敛，通过根据模型聚合参数对区块链中的初始模型参数进行参数更新，删除区块链中的模型更新参数，并返回执行步骤S10至步骤S40，使得不同的参与设备能对联邦学习模型再次进行模型训练，进而提高了联邦学习模型的收敛效果，提高了模型收敛后联邦学习模型的准确性。
请参阅图3，图3是本申请另一实施例提供的一种联邦学习模型训练方法的实现流程图。相对于图1对应的实施例，本实施例提供的联邦学习模型训练方法是对图1对应的实施例，在步骤S20之前，还包括：
步骤S50，获取所述参与设备的历史网络通信数据，并将所述历史网络通信数据标记为正样本数据。
其中，由于参与设备上的历史网络通信数据为真实数据，因此，通过将参与设备的历史网络通信数据记为正样本数据，有效的提高了后续参数检测模型训练的准确性。
步骤S60，获取预先设置的虚假参数，并将所述预先设置的虚假参数标记为负样本数据。
其中，通过将该预先设置的虚假参数标记为负样本数据，使得后续参数检测模型训练过程中，能有效的学习到预先设置的虚假参数中的特征，提高了模型训练后参数检测模型对虚假参数识别的准确性。
步骤S70，根据所述正样本数据和所述负样本数据分别对参数检测模型进行模型训练，直至所述参数检测模型收敛。
其中，根据正样本数据和负样本数据分别对参数检测模型进行模型训练，并计算参数检测模型训练过程中的模型损失值，若参数检测模型输出的模型损失值小于损失阈值，则判定该参数检测模型收敛，收敛后的参数检测模型能有效的对输入的参数数据进行是否是虚假数据的检测。
可选的，该步骤中，所述对所述模型更新参数进行参数检测，包括：
将所述模型更新参数输入收敛后的所述参数检测模型进行参数检测，以计算所述模型更新参数与所述正样本数据之间的相似概率；
若所述相似概率大于概率阈值，则判定所述模型更新参数的参数检测合格；
若所述相似概率小于或等于所述概率阈值，则判定所述模型更新参数的参数检测不合格；
本实施例中，通过将参与设备的历史网络通信数据记为正样本数据、将预先设置的虚假参数标记为负样本数据，有效的提高了参数检测模型训练的准确性，进而提高了对模型更新参数的参数检测的准确性。
请参阅图4，图4是本申请实施例提供的一种联邦学习模型训练装置100的结构框图。本实施例中该联邦学习模型训练装置100包括的各单元用于执行图1至图3对应的实施例中的各步骤。具体请参阅图1至图3以及图1至图3所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，联邦学习模型训练装置100包括：本地模型训练单元10、参数检测单元11、参数存储单元12和模型训练单元13，其中：
本地模型训练单元10，用于将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数。
其中，所述本地模型训练单元10还用于：分别指示不同所述参与设备根据所述区块链中的所述初始模型参数构建本地学习模型；
分别指示不同所述参与设备根据本地数据对所述本地学习模型进行模型训练，直至所述本地学习模型收敛；
若所述本地学习模型收敛，则获取收敛后所述本地学习模型的模型参数，得到所述模型更新参数。
参数检测单元11，用于分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数。
其中，所述参数检测单元11还用于：获取所述参与设备的历史网络通信数据，并将所述历史网络通信数据标记为正样本数据；
获取预先设置的虚假参数，并将所述预先设置的虚假参数标记为负样本数据；
根据所述正样本数据和所述负样本数据分别对参数检测模型进行模型训练，直至所述参数检测模型收敛。
可选的，所述参数检测单元11还用于：将所述模型更新参数输入收敛后的所述参数检测模型进行参数检测，以计算所述模型更新参数与所述正样本数据之间的相似概率；
若所述相似概率大于概率阈值，则判定所述模型更新参数的参数检测合格；
若所述相似概率小于或等于所述概率阈值，则判定所述模型更新参数的参数检测不合格。
参数存储单元12，用于若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链。
模型训练单元13，用于根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
其中，所述模型训练单元13还用于：获取所述区块链中的所述模型更新参数，并对获取到的所述模型更新参数进行参数聚合，得到模型聚合参数，所述参数聚合用于将所述区块链中的不同所述模型更新参数聚合为一个模型参数；
将所述模型聚合参数存储至所述区块链中，并根据所述区块链中的所述模型聚合参数对所述联邦学习模型中的模型参数进行参数更新；
若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值小于差值阈值，则判定参数更新后的所述联邦学习模型收敛。
可选的，所述模型训练单元13还用于：若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值大于或等于所述差值阈值，则判定参数更新后的所述联邦学习模型未收敛；
根据所述模型聚合参数对所述区块链中的所述初始模型参数进行参数更新，并删除所述区块链中的所述模型更新参数。
可选的，本实施例中，所述对获取到的所述模型更新参数进行参数聚合所采用的计算公式为：
C=(A 1*B 1+A 2*B 2+A 3*B 3 ……+A n*B n)/n
其中，A n是第n个所述参与设备在所述区块链中对应的所述模型更新参数，B n是第n个所述参与设备对应的参数加权系数，n是所述区块链中所述模型更新参数的总个数值，C是所述模型聚合参数。
以上可以看出，通过分别指示不同参与设备根据区块链中的初始模型参数进行本地模型训练得到模型更新参数，从而能够有效获取到不同参与设备针对联邦学习模型提供的模型训练参数，通过对模型更新参数进行参数检测，以分别判断不同参与设备根据初始模型参数进行本地模型训练后得到的模型更新参数是否是虚假参数，并通过将参数检测合格的模型更新参数存储至区块链，防止了虚假参数在区块链中的存储，进而防止了参与设备对联邦学习模型的恶意攻击，提高了联邦学习模型训练的准确性和安全性，通过将联邦学习模型的初始模型参数和参数检测合格的模型更新参数存储至区块链，有效的防止了初始模型参数和参数检测合格的模型更新参数的数据篡改，进一步提高了联邦学习模型训练的准确性。
本实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述存储介质可以是非易失性，也可以是易失性，其中，所述计算机程序被处理器执行时实现如下步骤：
将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
图5是本申请另一实施例提供的一种终端设备2的结构框图。如图5所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如联邦学习模型训练方法的程序。处理器20执行所述计算机程序23时实现上述各个联邦学习模型训练方法各实施例中的步骤，例如图1所示的S10至S40，或者图2所示的S41至S45，或者图3所示的S50至S70。或者，所述处理器20执行所述计算机程序22时实现上述图4对应的实施例中各单元的功能，例如，图4所示的单元10至13的功能，具体请参阅图5对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成本地模型训练单元10、参数检测单元11、参数存储单元12和模型训练单元13，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图5仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种联邦学习模型训练方法，其中，包括：
    将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
    分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
    若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
    根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
  2. 根据权利要求1所述的联邦学习模型训练方法，其中，所述根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，包括：
    获取所述区块链中的所述模型更新参数，并对获取到的所述模型更新参数进行参数聚合，得到模型聚合参数，所述参数聚合用于将所述区块链中的不同所述模型更新参数聚合为一个模型参数；
    将所述模型聚合参数存储至所述区块链中，并根据所述区块链中的所述模型聚合参数对所述联邦学习模型中的模型参数进行参数更新；
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值小于差值阈值，则判定参数更新后的所述联邦学习模型收敛。
  3. 根据权利要求2所述的联邦学习模型训练方法，其中，所述根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，还包括：
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值大于或等于所述差值阈值，则判定参数更新后的所述联邦学习模型未收敛；
    根据所述模型聚合参数对所述区块链中的所述初始模型参数进行参数更新，并删除所述区块链中的所述模型更新参数。
  4. 根据权利要求2所述的联邦学习模型训练方法，其中，所述对获取到的所述模型更新参数进行参数聚合所采用的计算公式为：
    C=(A 1*B 1+A 2*B 2+A 3*B 3 ……+A n*B n)/n
    其中，A n是第n个所述参与设备在所述区块链中对应的所述模型更新参数，B n是第n个所述参与设备对应的参数加权系数，n是所述区块链中所述模型更新参数的总个数值，C是所述模型聚合参数。
  5. 根据权利要求1所述的联邦学习模型训练方法，其中，所述对所述模型更新参数进行参数检测之前，还包括：
    获取所述参与设备的历史网络通信数据，并将所述历史网络通信数据标记为正样本数据；
    获取预先设置的虚假参数，并将所述预先设置的虚假参数标记为负样本数据；
    根据所述正样本数据和所述负样本数据分别对参数检测模型进行模型训练，直至所述参数检测模型收敛。
  6. 根据权利要求5所述的联邦学习模型训练方法，其中，所述对所述模型更新参数进行参数检测，包括：
    将所述模型更新参数输入收敛后的所述参数检测模型进行参数检测，以计算所述模型更新参数与所述正样本数据之间的相似概率；
    若所述相似概率大于概率阈值，则判定所述模型更新参数的参数检测合格；
    若所述相似概率小于或等于所述概率阈值，则判定所述模型更新参数的参数检测不合格。
  7. 根据权利要求1所述的联邦学习模型训练方法，其中，所述分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数，包括：
    分别指示不同所述参与设备根据所述区块链中的所述初始模型参数构建本地学习模型；
    分别指示不同所述参与设备根据本地数据对所述本地学习模型进行模型训练，直至所述本地学习模型收敛；
    若所述本地学习模型收敛，则获取收敛后所述本地学习模型的模型参数，得到所述模型更新参数。
  8. 一种联邦学习模型训练装置，其中，包括：
    本地模型训练单元，用于将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
    参数检测单元，用于分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
    参数存储单元，用于若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
    模型训练单元，用于根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
  9. 根据权利要求8所述的联邦学习模型训练装置，其中所述模型训练单元还用于：
    获取所述区块链中的所述模型更新参数，并对获取到的所述模型更新参数进行参数聚合，得到模型聚合参数，所述参数聚合用于将所述区块链中的不同所述模型更新参数聚合为一个模型参数；
    将所述模型聚合参数存储至所述区块链中，并根据所述区块链中的所述模型聚合参数对所述联邦学习模型中的模型参数进行参数更新；
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值小于差值阈值，则判定参数更新后的所述联邦学习模型收敛。
  10. 根据权利要求9所述的联邦学习模型训练装置，其中，所述模型训练单元还用于：
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值大于或等于所述差值阈值，则判定参数更新后的所述联邦学习模型未收敛；
    根据所述模型聚合参数对所述区块链中的所述初始模型参数进行参数更新，并删除所述区块链中的所述模型更新参数。
  11. 根据权利要求9所述的联邦学习模型训练装置，其中，所述对获取到的所述模型更新参数进行参数聚合所采用的计算公式为：
    C=(A 1*B 1+A 2*B 2+A 3*B 3 ……+A n*B n)/n
    其中，A n是第n个所述参与设备在所述区块链中对应的所述模型更新参数，B n是第n个所述参与设备对应的参数加权系数，n是所述区块链中所述模型更新参数的总个数值，C是所述模型聚合参数。
  12. 根据权利要求8所述的联邦学习模型训练装置，其中，所述参数检测单元还用于：
    获取所述参与设备的历史网络通信数据，并将所述历史网络通信数据标记为正样本数据；
    获取预先设置的虚假参数，并将所述预先设置的虚假参数标记为负样本数据；
    根据所述正样本数据和所述负样本数据分别对参数检测模型进行模型训练，直至所述参数检测模型收敛。
  13. 根据权利要求12所述的联邦学习模型训练装置，其中，所述参数检测单元还用于：
    将所述模型更新参数输入收敛后的所述参数检测模型进行参数检测，以计算所述模型更新参数与所述正样本数据之间的相似概率；
    若所述相似概率大于概率阈值，则判定所述模型更新参数的参数检测合格；
    若所述相似概率小于或等于所述概率阈值，则判定所述模型更新参数的参数检测不合格。
  14. 根据权利要求8所述的联邦学习模型训练装置，其中，所述本地模型训练单元还用于：
    分别指示不同所述参与设备根据所述区块链中的所述初始模型参数构建本地学习模型；
    分别指示不同所述参与设备根据本地数据对所述本地学习模型进行模型训练，直至所述本地学习模型收敛；
    若所述本地学习模型收敛，则获取收敛后所述本地学习模型的模型参数，得到所述模型更新参数。
  15. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机可读指令时实现如下步骤：
    将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
    分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
    若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
    根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
  16. 一种存储介质，所述存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
    将联邦学习模型的初始模型参数存储至区块链，并分别指示不同参与设备根据所述区块链中的所述初始模型参数进行本地模型训练，得到模型更新参数；
    分别获取不同所述参与设备中的所述模型更新参数，并对所述模型更新参数进行参数检测，所述参数检测用于检测所述模型更新参数是否是虚假参数；
    若所述模型更新参数的参数检测合格，则将所述模型更新参数存储至所述区块链；
    根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，直至模型训练后的所述联邦学习模型收敛。
  17. 如权利要求16所述的存储介质，其中，所述根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，包括：
    获取所述区块链中的所述模型更新参数，并对获取到的所述模型更新参数进行参数聚合，得到模型聚合参数，所述参数聚合用于将所述区块链中的不同所述模型更新参数聚合为一个模型参数；
    将所述模型聚合参数存储至所述区块链中，并根据所述区块链中的所述模型聚合参数对所述联邦学习模型中的模型参数进行参数更新；
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值小于差值阈值，则判定参数更新后的所述联邦学习模型收敛。
  18. 如权利要求17所述的存储介质，其中，所述根据所述区块链中的所述模型更新参数对所述联邦学习模型进行模型训练，还包括：
    若所述联邦学习模型中的模型参数更新后与更新前之间的模型参数差值大于或等于所述差值阈值，则判定参数更新后的所述联邦学习模型未收敛；
    根据所述模型聚合参数对所述区块链中的所述初始模型参数进行参数更新，并删除所述区块链中的所述模型更新参数。
  19. 如权利要求17所述的存储介质，其中，所述对获取到的所述模型更新参数进行参数聚合所采用的计算公式为：
    C=(A 1*B 1+A 2*B 2+A 3*B 3 ……+A n*B n)/n
    其中，A n是第n个所述参与设备在所述区块链中对应的所述模型更新参数，B n是第n个所述参与设备对应的参数加权系数，n是所述区块链中所述模型更新参数的总个数值，C是所述模型聚合参数。
  20. 如权利要求16至19任一项所述的存储介质，其中，所述存储介质可以是非易失性，也可以是易失性。
PCT/CN2020/125084 2020-09-21 2020-10-30 一种联邦学习模型训练方法、装置、终端设备及存储介质 WO2021159753A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010996298.1 2020-09-21
CN202010996298.1A CN112132277A (zh) 2020-09-21 2020-09-21 联邦学习模型训练方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021159753A1 true WO2021159753A1 (zh) 2021-08-19

Family

ID=73842306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/125084 WO2021159753A1 (zh) 2020-09-21 2020-10-30 一种联邦学习模型训练方法、装置、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN112132277A (zh)
WO (1) WO2021159753A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658689A (zh) * 2021-08-25 2021-11-16 深圳前海微众银行股份有限公司 多智能体模型的训练方法、装置、电子设备及存储介质
CN113762528A (zh) * 2021-09-10 2021-12-07 北京航空航天大学 一种基于区块链的联邦信用评估方法
CN114372507A (zh) * 2021-12-10 2022-04-19 海南火链科技有限公司 基于区块链与联邦学习的模型训练方法、装置及区块链
CN114492851A (zh) * 2022-01-27 2022-05-13 湖南大学 一种基于区块链的模型迁移联邦学习方法
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114580009A (zh) * 2022-01-13 2022-06-03 吉林省元依科技有限公司 基于联邦学习的区块链数据管理方法、系统及存储介质
CN114707663A (zh) * 2022-04-15 2022-07-05 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN114978893A (zh) * 2022-04-18 2022-08-30 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN115174404A (zh) * 2022-05-17 2022-10-11 南京大学 一种基于sdn组网的多设备联邦学习系统
CN115242559A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
US11593485B1 (en) * 2022-06-17 2023-02-28 Uab 360 It Malware detection using federated learning
CN116258420A (zh) * 2023-05-11 2023-06-13 中南大学 一种产品质量检测方法、装置、终端设备及介质
WO2023120802A1 (ko) * 2021-12-21 2023-06-29 경희대학교 산학협력단 연합 학습 시스템 및 그 동작 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784995B (zh) * 2020-12-31 2024-04-23 杭州趣链科技有限公司 联邦学习方法、装置、设备及存储介质
CN112863175B (zh) * 2020-12-31 2022-11-22 平安科技（深圳）有限公司 汽车道路监测数据处理方法、装置、设备及存储介质
CN112990488B (zh) * 2021-03-16 2024-03-26 香港理工大学深圳研究院 一种基于机器异构性的联邦学习方法
CN113178191B (zh) * 2021-04-25 2024-07-12 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN113269359B (zh) * 2021-05-20 2022-11-15 深圳易财信息技术有限公司 用户财务状况预测方法、设备、介质及计算机程序产品
CN113283185B (zh) * 2021-07-23 2021-11-12 平安科技（深圳）有限公司 联邦模型训练、客户画像方法、装置、设备及介质
CN113537495B (zh) * 2021-08-05 2024-08-02 南方电网数字电网研究院有限公司 基于联邦学习的模型训练系统、方法、装置和计算机设备
CN115526339B (zh) * 2022-11-03 2024-05-17 中国电信股份有限公司 联邦学习方法、装置、电子设备及计算机可读存储介质
CN115577858B (zh) * 2022-11-21 2023-04-07 山东能源数智云科技有限公司 基于区块链的碳排放量预测方法、装置及电子设备
CN115994588B (zh) * 2023-03-16 2023-07-25 杭州海康威视数字技术股份有限公司 基于区块链与合同理论的数据处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188787A1 (en) * 2017-12-20 2019-06-20 Accenture Global Solutions Limited Analytics engine for multiple blockchain nodes
CN110490330A (zh) * 2019-08-16 2019-11-22 安徽航天信息有限公司 一种基于区块链的分布式机器学习系统
CN110503207A (zh) * 2019-08-28 2019-11-26 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
CN111598254A (zh) * 2020-05-22 2020-08-28 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188787A1 (en) * 2017-12-20 2019-06-20 Accenture Global Solutions Limited Analytics engine for multiple blockchain nodes
CN110490330A (zh) * 2019-08-16 2019-11-22 安徽航天信息有限公司 一种基于区块链的分布式机器学习系统
CN110503207A (zh) * 2019-08-28 2019-11-26 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
CN111598254A (zh) * 2020-05-22 2020-08-28 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KANG, JIAWEN ET AL.: "Incentive Mechanism for Reliable Federated Learning: A Joint Optimization Approach to Combining Reputation and Contract Theory", 《IEEE INTERNET OF THINGS JOURNAL》, vol. 6, no. 6, 31 December 2019 (2019-12-31), XP011760780, DOI: 10.1109/JIOT.2019.2940820 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658689A (zh) * 2021-08-25 2021-11-16 深圳前海微众银行股份有限公司 多智能体模型的训练方法、装置、电子设备及存储介质
CN113762528A (zh) * 2021-09-10 2021-12-07 北京航空航天大学 一种基于区块链的联邦信用评估方法
CN114372507A (zh) * 2021-12-10 2022-04-19 海南火链科技有限公司 基于区块链与联邦学习的模型训练方法、装置及区块链
WO2023120802A1 (ko) * 2021-12-21 2023-06-29 경희대학교 산학협력단 연합 학습 시스템 및 그 동작 방법
CN114491623B (zh) * 2021-12-30 2024-06-07 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114491623A (zh) * 2021-12-30 2022-05-13 北京邮电大学 一种基于区块链的异步联邦学习方法及系统
CN114580009A (zh) * 2022-01-13 2022-06-03 吉林省元依科技有限公司 基于联邦学习的区块链数据管理方法、系统及存储介质
CN114580009B (zh) * 2022-01-13 2023-05-30 唐彩焱 基于联邦学习的区块链数据管理方法、系统及存储介质
CN114492851A (zh) * 2022-01-27 2022-05-13 湖南大学 一种基于区块链的模型迁移联邦学习方法
CN114707663B (zh) * 2022-04-15 2024-02-23 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN114707663A (zh) * 2022-04-15 2022-07-05 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN114978893B (zh) * 2022-04-18 2024-04-12 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN114978893A (zh) * 2022-04-18 2022-08-30 西安交通大学 一种基于区块链的去中心化联邦学习方法及系统
CN115174404A (zh) * 2022-05-17 2022-10-11 南京大学 一种基于sdn组网的多设备联邦学习系统
US11693965B1 (en) 2022-06-17 2023-07-04 Uab 360 It Malware detection using federated learning
US11763000B1 (en) 2022-06-17 2023-09-19 Uab 360 It Malware detection using federated learning
US11775642B1 (en) 2022-06-17 2023-10-03 Uab 360 It Malware detection using federated learning
US11593485B1 (en) * 2022-06-17 2023-02-28 Uab 360 It Malware detection using federated learning
CN115242559B (zh) * 2022-09-23 2022-12-02 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
CN115242559A (zh) * 2022-09-23 2022-10-25 北京航空航天大学 基于区块链和联邦学习的网络流量入侵检测方法
CN116258420A (zh) * 2023-05-11 2023-06-13 中南大学 一种产品质量检测方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN112132277A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
WO2021159753A1 (zh) 一种联邦学习模型训练方法、装置、终端设备及存储介质
WO2020029590A1 (zh) 基于联邦训练的样本预测方法、装置及存储介质
WO2019205325A1 (zh) 确定用户风险等级的方法、终端设备及计算机可读存储介质
US20180198624A1 (en) Private blockchain transaction management and termination
US10346782B2 (en) Adaptive augmented decision engine
JP6812086B2 (ja) 網状パターン除去システムのトレーニング方法、網状パターン除去方法、装置、機器及び媒体
CN112201342B (zh) 基于联邦学习的医疗辅助诊断方法、装置、设备及存储介质
TW202024998A (zh) 考勤管理系統、方法及電子設備
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
CN112884016B (zh) 云平台可信评估模型训练方法和云平台可信评估方法
CN103294939A (zh) 用于虚拟化身认证的方法和系统
CN112307331A (zh) 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备
WO2021143477A1 (zh) 融合公域数据和私有数据的联盟学习方法、装置和系统
WO2021159814A1 (zh) 文本数据的错误检测方法、装置、终端设备及存储介质
CN111324764A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN114338666A (zh) 对Fabric区块链跨链交易的验证方法、装置、设备及介质
US20200074110A1 (en) Sampling from a remote dataset with a private criterion
US20170364934A1 (en) Demographic based adjustment of data processing decision results
CN112214588A (zh) 多意图识别方法、装置、电子设备及存储介质
CN117852673A (zh) 一种联邦学习方法、系统、设备及存储介质
CN111047146B (zh) 一种企业用户的风险识别方法、装置及设备
CN115865642B (zh) 一种招募可信节点完成计算任务的方法和装置
WO2021068249A1 (zh) 运行时硬件模拟仿真方法、装置、设备及存储介质
US20240028986A1 (en) Apparatus and method for generation an action validation protocol

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918214

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20918214

Country of ref document: EP

Kind code of ref document: A1