WO2023124219A1 - 一种联合学习模型迭代更新方法、装置、系统及存储介质 - Google Patents

一种联合学习模型迭代更新方法、装置、系统及存储介质 Download PDF

Info

Publication number
WO2023124219A1
WO2023124219A1 PCT/CN2022/117818 CN2022117818W WO2023124219A1 WO 2023124219 A1 WO2023124219 A1 WO 2023124219A1 CN 2022117818 W CN2022117818 W CN 2022117818W WO 2023124219 A1 WO2023124219 A1 WO 2023124219A1
Authority
WO
WIPO (PCT)
Prior art keywords
participant
value
encryption
model
encryption parameter
Prior art date
Application number
PCT/CN2022/117818
Other languages
English (en)
French (fr)
Inventor
张敏
王瑞杨
陆增翔
李振飞
Original Assignee
新智我来网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新智我来网络科技有限公司 filed Critical 新智我来网络科技有限公司
Publication of WO2023124219A1 publication Critical patent/WO2023124219A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to the technical field of machine learning, and in particular to a method, device, system and storage medium for iteratively updating a joint learning model.
  • Vertical federated learning can exploit the diverse features of samples scattered across multiple parties to build a robust shared model.
  • each participant owns a part of the shared model associated with its features, so the participants in vertical federated learning have a closer symbiotic relationship with each other.
  • the embodiments of the present disclosure provide a method, device, system and storage medium for iteratively updating a joint learning model to provide a flexible, efficient and secure method for updating model parameters to ensure the data security requirements of each participant .
  • the first aspect of the embodiments of the present disclosure provides a method for iteratively updating a joint learning model, including:
  • an apparatus for iteratively updating a joint learning model including:
  • the parameter receiving module is configured to receive the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant;
  • the probability calculation module is configured to calculate the encryption probability value according to the first encryption parameter, the second encryption parameter and the first key
  • the loss calculation module is configured to send the encrypted probability value to the first participant, so that the first participant calculates the training target loss value according to the encrypted probability value and the sample label value;
  • the gradient calculation module is configured to receive the training target loss value, and calculate the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter;
  • the iterative update module is configured to obtain the model prediction value and learning rate sent by the first participant, and iteratively update its global model according to the update gradient, model prediction value and learning rate.
  • a system for iteratively updating a joint learning model including:
  • a first participant configured to send a first key and a first encryption parameter to a third party
  • the third party is configured to receive the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant, and according to the first encryption parameter, the second encryption parameter and the first key , calculate the encryption probability value, and send the encryption probability value to the first participant;
  • the first participant is also configured to calculate the training target loss value according to the encrypted probability value and the sample label value, and return the training target loss value to the third party;
  • the third party is also configured to calculate the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter;
  • the first participant is also configured to receive the encrypted parameters of the prediction stage sent by the second participant, update its model parameters according to the training target loss value, obtain an updated model, and use the updated model to predict its samples to obtain a prediction
  • the model prediction value is calculated, and the model prediction value and learning rate are sent to the third party;
  • the third party is also configured to iteratively update its global model based on the updated gradients, model predictions, and learning rates.
  • a fourth aspect of the embodiments of the present disclosure provides a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and when the computer program is executed by a processor, the steps of the above method are implemented.
  • the beneficial effects of the embodiments of the present disclosure at least include: by receiving the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant; according to the first The encryption parameter, the second encryption parameter and the first key are calculated to obtain the encryption probability value; the encryption probability value is sent to the first participant, so that the first participant calculates the training target loss according to the encryption probability value and the sample label value value; receive the training target loss value, calculate the update gradient according to the training target loss value, the first encryption parameter, and the second encryption parameter; obtain the model prediction value and learning rate sent by the first participant, and calculate the update gradient according to the update gradient, model prediction value and Learning rate, iteratively updating its global model, can achieve flexible, efficient and safe model parameter update, so as to meet the data security requirements of each participant.
  • FIG. 1 is a schematic flowchart of a method for iteratively updating a joint learning model provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic structural diagram of an iterative update device for a joint learning model provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic structural diagram of a system for iteratively updating a joint learning model provided by an embodiment of the present disclosure
  • Fig. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • Federated learning refers to the comprehensive utilization of various AI (Artificial Intelligence, artificial intelligence) technologies on the premise of ensuring data security and user privacy, and joint multi-party cooperation to jointly mine data value and generate new intelligent business models and models based on joint modeling.
  • Federated learning has at least the following characteristics:
  • Participating nodes control the weakly centralized joint training mode of their own data to ensure data privacy and security in the process of co-creating intelligence.
  • Fig. 1 is a schematic flowchart of a method for iteratively updating a joint learning model provided by an embodiment of the present disclosure. As shown in Figure 1, the iterative update method of the joint learning model includes:
  • Step S101 receiving a first key and a first encryption parameter sent by a first participant, and a second encryption parameter sent by a second participant.
  • the first participant refers to the participant that has characteristic data and sample labels.
  • the second party refers to the party that has feature data but no sample labels.
  • a third party which may be a central server, may perform global aggregation of the model parameters of the first party and the second party.
  • the first participant may generate a first key (public key) and a second key (private key) through initialization in advance, and send the first key to a third party.
  • a first key public key
  • a second key private key
  • the first participant can calculate the value of y i of each sample in the batch samples of the current round of training according to the following formula (1).
  • y i represents the parameter value of the i-th sample in this batch of samples
  • ⁇ ai represents the feature importance vector of the i-th sample in this batch of samples
  • x ai represents the parameter value of the i-th sample in this batch of samples The feature vector of the ith sample of .
  • the third party can first send the first key to the second participant, so that the second participant can calculate the second parameter according to its sample, and then use the first key to encrypt the second parameter, Obtain the second encryption parameter.
  • the second participant can calculate the zi value (ie, the second parameter) of each sample in the batch of samples in the current round of training according to the following formula (2).
  • z i in formula (2) represents the parameter value of the i-th sample in this batch of samples
  • ⁇ bi represents the feature importance vector of the i-th sample in this batch of samples
  • x bi represents the parameter value of the i-th sample in this batch of samples The feature vector of the ith sample of .
  • Step S102 according to the first encryption parameter, the second encryption parameter and the first key, calculate an encryption probability value.
  • the predicted probability value of the model can be calculated first according to the first encryption parameter and the second encryption parameter; then the predicted probability value of the model can be encrypted using the first key to obtain the encrypted probability value.
  • the third party when it receives the first encryption parameter, the second encryption parameter and the first key, it can calculate the model prediction probability value through the following formula (3).
  • h( xi ) represents the model prediction probability value of the ith aligned sample
  • Y i represents the sum of parameters of the i-th aligned sample of the first party and the second party
  • m represents the number of batch samples
  • ⁇ bi represents the feature importance of the i-th sample in the batch of samples of the second party vector
  • x bi represents the feature vector of the i-th sample in this batch of samples of the participant.
  • the first key is used to encrypt the predicted probability value of the above model to obtain the encrypted probability value.
  • Step S103 sending the encrypted probability value to the first participant, so that the first participant can calculate the training target loss value according to the encrypted probability value and the sample label value.
  • the first participant may use the second key to decrypt the encrypted probability value to obtain the decrypted probability value; then calculate the training target loss value according to the decrypted probability value and the sample label value.
  • the third party sends the encrypted probability value obtained in the above steps to the first participant.
  • the first participant can first use the second key (private key) to decrypt the above encrypted probability value to obtain the decrypted Probability value, and then calculate the training target loss value J( ⁇ ) according to the following formula (3).
  • p belongs to [0,1] and represents the sample label value; h ⁇ (x (i) ) ⁇ 0.5+1.15( ⁇ x)-0.0015( ⁇ x) 3 ; p (i) represents the ith sample The label value of ; x (i) represents the feature vector of the i-th sample.
  • Step S104 receiving the training target loss value, and calculating the update gradient according to the training target loss value, the first encryption parameter, and the second encryption parameter.
  • the first participant after the first participant calculates the training target loss value according to the above steps, it sends the training target loss value to the third party.
  • the third party after receiving the training target loss value, may first calculate the sum of the first encryption parameter and the second encryption parameter; then calculate the partial derivative of the training target loss value to the sum to obtain an update gradient.
  • the third party may calculate the sum of the first encryption parameter and the second encryption parameter, ie, Y i , according to the above formula (3). Then, according to the following formula (5), the partial derivative of the training target loss value to the sum is calculated to obtain the update gradient.
  • ⁇ j represents the above-mentioned model prediction probability value Y i .
  • ⁇ j in formula (5) corresponds to the feature vector of the sample of the first participant and its feature importance vector (for example, the y i ).
  • ⁇ j in Equation (5) corresponds to the feature vector of the sample of the second participant and its feature importance vector (for example, z i in the above Equation (2)).
  • Step S105 obtaining the model prediction value and learning rate sent by the first participant, and iteratively updating its global model according to the update gradient, model prediction value and learning rate.
  • the third party after the third party receives the model prediction value and learning rate sent by the first participant, it can first calculate the update model parameters according to the update gradient, model prediction value and learning rate; then use the update model parameters to iterate Update its global model.
  • the second participant after obtaining the training target loss value sent by the first participant, can calculate its model update gradient and weight update value based on the training target loss value and its sample feature vector and feature importance vector , and then update its model according to the weight update value to obtain an updated model. Then, use the updated model to predict the sample data to obtain the first prediction result, and use the first key to encrypt the prediction result to obtain the encryption parameters in the prediction stage. Finally, the encrypted parameters are sent to the first participant.
  • the first participant similarly, can use its calculated training target loss value and its sample feature vector and its feature importance vector to calculate its model update gradient and weight update value, and then update the value according to the weight Update its model to obtain an updated model. Then, use the updated model to predict the sample data to obtain a second prediction result. After that, use the second key to decrypt the encrypted parameters sent by the second participant, and then calculate the model prediction value based on the decrypted parameters and the above-mentioned second prediction result, and send the model prediction value to the third party .
  • the third party after receiving the model prediction value and the learning rate sent by the first participant, calculates and updates the model parameters (that is, the weight update value) in combination with the update gradient calculated before.
  • the calculation formula for updating model parameters is shown in the following formula (6).
  • ⁇ represents the learning rate
  • ⁇ j on the right side of the equation is the unupdated weight value (for example, initial weight value) of the third-party global model
  • the left side of the equation is the updated model parameter
  • the embodiments of the present disclosure by receiving the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant; according to the first encryption parameter, the second encryption parameter and The first key, calculate the encryption probability value; send the encryption probability value to the first participant, so that the first participant calculates the training target loss value according to the encryption probability value and the sample label value; receive the training target loss value, Calculate the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter; obtain the model prediction value and learning rate sent by the first participant, and iteratively update its global model according to the update gradient, model prediction value and learning rate , which can realize flexible, efficient and secure model parameter update, so as to meet the data security requirements of each participant.
  • Fig. 2 is a schematic diagram of an iterative updating device for a joint learning model provided by an embodiment of the present disclosure.
  • the united learning model iterative update device includes:
  • the parameter receiving module 201 is configured to receive the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant;
  • the probability calculation module 202 is configured to calculate an encryption probability value according to the first encryption parameter, the second encryption parameter and the first key;
  • the loss calculation module 203 is configured to send the encrypted probability value to the first participant, so that the first participant calculates the training target loss value according to the encrypted probability value and the sample label value;
  • the gradient calculation module 204 is configured to receive the training target loss value, and calculate the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter;
  • the iterative update module 205 is configured to obtain the model prediction value and learning rate sent by the first participant, and iteratively update its global model according to the update gradient, model prediction value and learning rate.
  • the parameter receiving module 201 receives the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant; the probability calculation module 202 The encryption parameter, the second encryption parameter and the first key are calculated to obtain the encryption probability value; the loss calculation module 203 sends the encryption probability value to the first participant, so that the first participant calculates according to the encryption probability value and the sample label value Obtain the training target loss value; the gradient calculation module 204 receives the training target loss value, and calculates the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter; the iterative update module 205 obtains the model prediction value sent by the first participant and learning rate, according to the update gradient, model prediction value and learning rate, iteratively update its global model, which can realize flexible, efficient and safe model parameter update, so as to meet the data security requirements of each participant.
  • the above step, according to the first encryption parameter, the second encryption parameter and the first key, is calculated to obtain the encryption probability value, including:
  • the first encryption parameter and the second encryption parameter calculate and obtain the model prediction probability value
  • the first key is used to encrypt the predicted probability value of the model to obtain the encrypted probability value.
  • the first participant calculates the training target loss value according to the encryption probability value and the sample label value, including:
  • the first participant uses the second key to decrypt the encrypted probability value to obtain the decrypted probability value
  • the training target loss value is calculated.
  • the above step, calculating the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter includes:
  • the above steps update the global model according to the update gradient, model prediction value and learning rate, including:
  • the above steps, before receiving the second encryption parameter sent by the second participant further include:
  • the above steps, before the model prediction value sent by the first participant further include:
  • the model prediction value is calculated.
  • Fig. 3 is a schematic diagram of a system for iteratively updating a joint learning model provided by an embodiment of the present disclosure. As shown in Figure 3, the joint learning model iteratively updates the system, including:
  • a first participant configured to send a first key and a first encryption parameter to a third party
  • the third party is configured to receive the first key and the first encryption parameter sent by the first participant, and the second encryption parameter sent by the second participant, and according to the first encryption parameter, the second encryption parameter and the first key , calculate the encryption probability value, and send the encryption probability value to the first participant;
  • the first participant is also configured to calculate the training target loss value according to the encrypted probability value and the sample label value, and return the training target loss value to the third party;
  • the third party is also configured to calculate the update gradient according to the training target loss value and the first encryption parameter and the second encryption parameter;
  • the first participant is also configured to receive the encrypted parameters of the prediction stage sent by the second participant, update its model parameters according to the training target loss value, obtain an updated model, and use the updated model to predict its samples to obtain a prediction
  • the model prediction value is calculated, and the model prediction value and learning rate are sent to the third party;
  • the third party is also configured to iteratively update its global model based on the updated gradients, model predictions, and learning rates.
  • FIG. 4 is a schematic diagram of an electronic device 400 provided by an embodiment of the present disclosure.
  • the electronic device 400 of this embodiment includes: a processor 401 , a memory 402 , and a computer program 403 stored in the memory 402 and operable on the processor 401 .
  • the processor 401 executes the computer program 403
  • the steps in the foregoing method embodiments are implemented.
  • the processor 401 executes the computer program 403 the functions of the modules/units in the foregoing device embodiments are implemented.
  • the computer program 403 can be divided into one or more modules/units, and one or more modules/units are stored in the memory 402 and executed by the processor 401 to complete the present disclosure.
  • One or more modules/units may be a series of computer program instruction segments capable of accomplishing specific functions, and the instruction segments are used to describe the execution process of the computer program 403 in the electronic device 400 .
  • the electronic device 400 may be an electronic device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the electronic device 400 may include but not limited to a processor 401 and a memory 402 .
  • FIG. 4 is only an example of the electronic device 400, and does not constitute a limitation to the electronic device 400. It may include more or less components than shown in the figure, or combine certain components, or different components.
  • an electronic device may also include an input and output device, a network access device, a bus, and the like.
  • the processor 401 can be a central processing unit (Central Processing Unit, CPU), and can also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), on-site Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • the storage 402 may be an internal storage unit of the electronic device 400 , for example, a hard disk or a memory of the electronic device 400 .
  • the memory 402 can also be an external storage device of the electronic device 400, for example, a plug-in hard disk equipped on the electronic device 400, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash memory card ( Flash Card), etc.
  • the memory 402 may also include both an internal storage unit of the electronic device 400 and an external storage device.
  • the memory 402 is used to store computer programs and other programs and data required by the electronic device.
  • the memory 402 can also be used to temporarily store data that has been output or will be output.
  • the disclosed device/electronic equipment and method may be implemented in other ways.
  • the device/electronic device embodiments described above are only illustrative.
  • the division of modules or units is only a logical function division. In actual implementation, there may be other division methods. Multiple units or components can be Incorporation may either be integrated into another system, or some features may be omitted, or not implemented.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical, mechanical or other forms.
  • a unit described as a separate component may or may not be physically separated, and a component displayed as a unit may or may not be a physical unit, that is, it may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units can be implemented in the form of hardware or in the form of software functional units.
  • an integrated module/unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the present disclosure realizes all or part of the processes in the methods of the above embodiments, and can also be completed by instructing related hardware through computer programs.
  • the computer programs can be stored in computer-readable storage media, and the computer programs can be processed. When executed by the controller, the steps in the above-mentioned method embodiments can be realized.
  • a computer program may include computer program code, which may be in source code form, object code form, executable file, or some intermediate form or the like.
  • the computer readable medium may include: any entity or device capable of carrying computer program code, recording medium, U disk, removable hard disk, magnetic disk, optical disk, computer memory, read-only memory (Read-Only Memory, ROM), random access Memory (Random Access Memory, RAM), electrical carrier signal, telecommunication signal and software distribution medium, etc. It should be noted that the content contained in computer readable media may be appropriately increased or decreased according to the requirements of legislation and patent practice in the jurisdiction. For example, in some jurisdictions, computer readable media may not Including electrical carrier signals and telecommunication signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种联合学习模型迭代更新方法、装置、系统及存储介质。该方法包括：接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；根据第一加密参数、第二加密参数和第一密钥，计算加密概率值；将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型，能够实现灵活高效且安全的模型参数更新，从而满足每一参与方的数据安全需求。

Description

一种联合学习模型迭代更新方法、装置、系统及存储介质 技术领域
本公开涉及机器学习技术领域，尤其涉及一种联合学习模型迭代更新方法、装置、系统及存储介质。
背景技术
纵向联合学习能够利用样本分散于多个参与方的多样化特征来建立一个健壮的共享模型。在纵向联合学习体系中，每个参与方都拥有与其特征相关联的共享模型中的一部分，因此，纵向联邦学习中各参与方彼此间有更紧密的共生关系。
但是，在现有技术中，大部分的防止信息泄露或者对抗恶意攻击的研究都是针对横向联合学习的场景，而针对纵向联合学习场景的信息/数据安全交换/传输的研究非常少。由于纵向联合学习通常需要参与方之间进行更加紧密的交互，因此，亟需提供一种灵活高效且安全的模型参数更新方法，以保证每一参与方的数据安全需求。
发明内容
有鉴于此，本公开实施例提供了一种联合学习模型迭代更新方法、装置、系统及存储介质，以提供一种灵活高效且安全的模型参数更新方法，以保证每一参与方的数据安全需求。
本公开实施例的第一方面，提供了一种联合学习模型迭代更新方法，包括：
接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；
根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；
将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；
接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；
获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
本公开实施例的第二方面，提供了一种联合学习模型迭代更新装置，包括：
参数接收模块，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；
概率计算模块，被配置为根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；
损失计算模块，被配置为将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；
梯度计算模块，被配置为接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；
迭代更新模块，被配置为获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
本公开实施例的第三方面，提供了一种联合学习模型迭代更新系统，包括：
第三方，分别与第三方通信连接的第一参与方；
第一参与方，被配置为向第三方发送第一密钥和第一加密参数；
第三方，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数，根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值，将加密概率值发送给第一参与方；
第一参与方，还被配置为根据加密概率值和样本标签值，计算得到训练目标损失值，并将训练目标损失值返回第三方；
第三方，还被配置为根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；
第一参与方，还被配置为接收第二参与方发送的预测阶段的加密参数，根据训练目标损失值对其模型参数进行更新，获得更新模型，并使用更新模型对其样本进行预测，得到预测结果，根据加密参数和预测结果，计算得到模型预测值，并将模型预测值和学习率发送给第三方；
第三方，还被配置为根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果至少包括：通过接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型，能够实现灵 活高效且安全的模型参数更新，从而满足每一参与方的数据安全需求。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种联合学习模型迭代更新方法的流程示意图；
图2是本公开实施例提供的一种联合学习模型迭代更新装置的结构示意图；
图3是本公开实施例提供的一种联合学习模型迭代更新系统的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
联合学习是指在确保数据安全及用户隐私的前提下，综合利用多种AI(Artificial Intelligence，人工智能)技术，联合多方合作共同挖掘数据价值，催生基于联合建模的新的智能业态和模式。联合学习至少具有以下特点：
(1)参与节点控制自有数据的弱中心化联合训练模式，确保共创智能过程中的数据隐私安全。
(2)在不同应用场景下，利用筛选和/或组合AI算法、隐私保护计算，建立多种模型聚合优化策略，以获取高层次、高质量的模型。
(3)在确保数据安全及用户隐私的前提下，基于多种模型聚合优化策略，获取提升联合学习引擎的效能方法，其中效能方法可以是通过解决包括计算架构并行、大规模跨域网络下的信息交互、智能感知、异常处理机制等，提升联合学习引擎的整体效能。
(4)获取各场景下多方用户的需求，通过互信机制，确定合理评估各联合参与方的真实贡献度，进行分配激励。
基于上述方式，可以建立基于联合学习的AI技术生态，充分发挥行业数据价值，推动垂直领域的场景落地。
图1是本公开实施例提供的一种联合学习模型迭代更新方法的流程示意图。如图1所示，该联合学习模型迭代更新方法包括：
步骤S101，接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数。
其中，第一参与方，是指拥有特征数据以及样本标签的参与方。第二参与方，是指拥有特征数据但没有样本标签的参与方。第三方，可以是中央服务器，可对第一参与方和第二参与方的模型参数进行全局聚合。
作为一示例，第一参与方可以预先通过初始化生成第一密钥(公钥)和第二密钥(私钥)，并将第一密钥发送给第三方。
在每轮训练时，第一参与方，可根据下述公式(1)计算本轮训练的批次样本中的各个样本的y i值。
y i＝ω ai*x ai      (1)。
式(1)中的y i表示本批次样本中的第i个样本的参数值，ω ai表示本批次样本中的第i个样本的特征重要性矢量，x ai表示本批次样本中的第i个样本的特征矢量。
将本批次的所有样本的y i值处理成一维数组[y 1,y 2,y 3…y i]，并使用第一密钥对该一维数组进行加密，即得到第一加密参数，并发送给第三方。
在一实施例中，第三方可先将第一密钥发送给第二参与方，使得第二参与方可根据其样本计算得到第二参数，再使用第一密钥对第二参数进行加密，得到第二加密参数。
具体的，第二参与方，可以根据下述公式(2)计算本轮训练的批次样本中的各个样本的z i值(即第二参数)。
z i＝ω bi*x bi     (2)。
式(2)中的z i表示本批次样本中的第i个样本的参数值，ω bi表示本批次样本中的第i个样本的特征重要性矢量，x bi表示本批次样本中的第i个样本的特征矢量。
将本批次的所有样本的z i值处理成一维数组[z1,z2,z3…zi]，并使用第一密钥对该一维数组进行加密，即得到第二加密参数，并发送给第三方。
步骤S102，根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值。
在一实施例中，可先根据第一加密参数和第二加密参数，计算得到模型预测概率值；再 使用第一密钥对模型预测概率值进行加密，得到加密概率值。
具体地，第三方在接收到第一加密参数、第二加密参数和第一密钥时，可通过下述公式(3)计算得到模型预测概率值。
Figure PCTCN2022117818-appb-000001
式(3)中，h(x i)表示第i个对齐样本的模型预测概率值，
Figure PCTCN2022117818-appb-000002
Y i表示第一参与方和第二参与方的第i个对齐样本的参数总和；m表示批次样本数量，ω bi表示第二参与方的本批次样本中第i个样本的特征重要性矢量，x bi表示参与方的本批次样本中第i个样本的特征矢量。
接着，再使用第一密钥对上述模型预测概率值进行加密，得到加密概率值。
步骤S103，将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值。
在一实施例中，第一参与方，可使用第二密钥对加密概率值进行解密，得到解密概率值；再根据解密概率值和样本标签值，计算得到训练目标损失值。
具体而言，第三方将上述步骤得到的加密概率值发送给第一参与方，此时，第一参与方可先使用上述第二密钥(私钥)对上述加密概率值进行解密，得到解密概率值，然后，再根据下述公式(3)计算得到训练目标损失值J(ω)。
Figure PCTCN2022117818-appb-000003
式(4)中，p属于[0,1]，表示样本标签值；h ω(x (i))≈0.5+1.15(ωx)-0.0015(ωx) 3；p (i)表示第i个样本的标签值；x (i)表示第i个样本的特征矢量。
步骤S104，接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度。
在一实施例中，第一参与方在根据上述步骤计算得到训练目标损失值后，将该训练目标损失值发送给第三方。第三方，在接收到该训练目标损失值后，可先计算第一加密参数和第二加密参数的总和；再计算训练目标损失值对总和的偏导数，得到更新梯度。
具体地，第三方可根据上述公式(3)计算第一加密参数和第二加密参数的总和，即Y i。然后，再根据下述公式(5)计算训练目标损失值对总和的偏导数，得到更新梯度。
Figure PCTCN2022117818-appb-000004
式(5)中，ω j表示上述的模型预测概率值Y i。
需要说明的是，若是计算第一参与方更新梯度，则式(5)中的ω j对应第一参与方的样本的特征矢量及其特征重要性矢量(例如，为上述式(1)中的y i)。若是计算第二参与方更新梯度，则式(5)中的ω j对应第二参与方的样本的特征矢量及其特征重要性矢量(例如，为上述式(2)中的z i)。
步骤S105，获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
在一实施例中，第三方在接收到第一参与方发送的模型预测值和学习率后，可先根据更新梯度、模型预测值和学习率，计算更新模型参数；再使用更新模型参数，迭代更新其全局模型。
第二参与方，在获得第一参与方发送的训练目标损失值后，可根据该训练目标损失值及其样本的特征矢量及其特征重要性矢量计算出其模型更新梯度，以及权值更新值，再根据该权值更新值对其模型进行更新，得到更新模型。然后，再使用其更新模型对其样本数据进行预测，得到第一预测结果，并使用第一密钥对该预测结果进行加密，得到预测阶段的加密参数。最后，将该加密参数发送给第一参与方。
第一参与方，类似地，可利用其计算出来的训练目标损失值及其样本的特征矢量及其特征重要性矢量计算出其模型更新梯度，以及权值更新值，再根据该权值更新值对其模型进行更新，得到更新模型。然后，再使用其更新模型对其样本数据进行预测，得到第二预测结果。之后，再使用第二密钥对第二参与方发送过来的加密参数进行解密，再根据解密后的参数以及上述第二预测结果，计算出模型预测值，并将该模型预测值发送给第三方。
第三方，在接收到第一参与方发送的模型预测值以及学习率，并结合其之前计算出来的更新梯度，计算更新模型参数(即权重更新值)。具体的，更新模型参数的计算公式如下式(6)所示。
Figure PCTCN2022117818-appb-000005
式(6)中，α表示学习率，等式右边的ω j为第三方的全局模型的未更新前的权重值(例如，初始权重值)，等式左边为更新模型参数。
本公开实施例提供的技术方案，通过接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型，能够实现灵活高效且安全的模型参数更新，从而满足每一参与方的数据安全需求。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图2是本公开实施例提供的一种联合学习模型迭代更新装置的示意图。如图2所示，该联合学习模型迭代更新装置包括：
参数接收模块201，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；
概率计算模块202，被配置为根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；
损失计算模块203，被配置为将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；
梯度计算模块204，被配置为接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；
迭代更新模块205，被配置为获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
本公开实施例提供的技术方案，通过参数接收模块201接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；概率计算模块202根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值；损失计算模块203将加密概率值发送给第一参与方，以使第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值；梯度计算模块204接收训练目标损失值，根据训练目标损失值和第一加密参数、第二加密参 数，计算更新梯度；迭代更新模块205获取第一参与方发送的模型预测值和学习率，根据更新梯度、模型预测值和学习率，迭代更新其全局模型，能够实现灵活高效且安全的模型参数更新，从而满足每一参与方的数据安全需求。
在一些实施例中，上述步骤，根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值，包括：
根据第一加密参数和第二加密参数，计算得到模型预测概率值；
使用第一密钥对模型预测概率值进行加密，得到加密概率值。
在一些实施例中，上述步骤，第一参与方根据加密概率值和样本标签值，计算得到训练目标损失值，包括：
第一参与方，使用第二密钥对加密概率值进行解密，得到解密概率值；
根据解密概率值和样本标签值，计算得到训练目标损失值。
在一些实施例中，上述步骤，根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度，包括：
计算第一加密参数和第二加密参数的总和；
计算训练目标损失值对总和的偏导数，得到更新梯度。
在一些实施例中，上述步骤，根据更新梯度、模型预测值和学习率，更新其全局模型，包括：
根据更新梯度、模型预测值和学习率，计算更新模型参数；
使用更新模型参数，迭代更新其全局模型。
在一些实施例中，上述步骤，接收第二参与方发送的第二加密参数之前，还包括：
向第二参与方发送第一密钥，以使第二参与方根据其样本计算得到第二参数，并使用第一密钥对第二参数进行加密，得到第二加密参数。
在一些实施例中，上述步骤，第一参与方发送的模型预测值之前，还包括：
接收第二参与方发送的预测阶段的加密参数；
根据训练目标损失值对其模型参数进行更新，获得更新模型，并使用更新模型对其样本进行预测，得到预测结果；
根据加密参数和预测结果，计算得到模型预测值。
图3是本公开实施例提供的一种联合学习模型迭代更新系统的示意图。如图3所示，该联合学习模型迭代更新系统，包括：
第三方301，分别与第三方通信连接的第一参与方302、第二参与方303，第一参与方302和第二参与方303通信连接；
第一参与方，被配置为向第三方发送第一密钥和第一加密参数；
第三方，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数，根据第一加密参数、第二加密参数和第一密钥，计算得到加密概率值，将加密概率值发送给第一参与方；
第一参与方，还被配置为根据加密概率值和样本标签值，计算得到训练目标损失值，并将训练目标损失值返回第三方；
第三方，还被配置为根据训练目标损失值和第一加密参数、第二加密参数，计算更新梯度；
第一参与方，还被配置为接收第二参与方发送的预测阶段的加密参数，根据训练目标损失值对其模型参数进行更新，获得更新模型，并使用更新模型对其样本进行预测，得到预测结果，根据加密参数和预测结果，计算得到模型预测值，并将模型预测值和学习率发送给第三方；
第三方，还被配置为根据更新梯度、模型预测值和学习率，迭代更新其全局模型。
本公开实施例提供的技术方案，能够实现灵活高效且安全的模型参数更新，从而满足每一参与方的数据安全需求。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备400的示意图。如图4所示，该实施例的电子设备400包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序403可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在电子设备400中的执行过程。
电子设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备400可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备400的示例，并不构成对电子设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用 处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以是电子设备400的内部存储单元，例如，电子设备400的硬盘或内存。存储器402也可以是电子设备400的外部存储设备，例如，电子设备400上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器402还可以既包括电子设备400的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

  1. 一种联合学习模型迭代更新方法，其特征在于，包括：
    接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；
    根据所述第一加密参数、第二加密参数和所述第一密钥，计算得到加密概率值；
    将所述加密概率值发送给所述第一参与方，以使所述第一参与方根据所述加密概率值和样本标签值，计算得到训练目标损失值；
    接收所述训练目标损失值，根据所述训练目标损失值和所述第一加密参数、第二加密参数，计算更新梯度；
    获取所述第一参与方发送的模型预测值和学习率，根据所述更新梯度、模型预测值和学习率，迭代更新其全局模型。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一加密参数、第二加密参数和所述第一密钥，计算得到加密概率值，包括：
    根据所述第一加密参数和第二加密参数，计算得到模型预测概率值；
    使用所述第一密钥对所述模型预测概率值进行加密，得到加密概率值。
  3. 根据权利要求1所述的方法，其特征在于，所述第一参与方根据所述加密概率值和样本标签值，计算得到训练目标损失值，包括：
    所述第一参与方，使用第二密钥对所述加密概率值进行解密，得到解密概率值；
    根据所述解密概率值和所述样本标签值，计算得到训练目标损失值。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述训练目标损失值和所述第一加密参数、第二加密参数，计算更新梯度，包括：
    计算所述第一加密参数和第二加密参数的总和；
    计算所述训练目标损失值对所述总和的偏导数，得到更新梯度。
  5. 根据权利要求1所述的方法，其特征在于，所述根据所述更新梯度、模型预测值和学习率，更新其全局模型，包括：
    根据所述更新梯度、模型预测值和学习率，计算更新模型参数；
    使用所述更新模型参数，迭代更新其全局模型。
  6. 根据权利要求1所述的方法，其特征在于，所述接收第二参与方发送的第二加密参数之前，还包括：
    向所述第二参与方发送第一密钥，以使所述第二参与方根据其样本计算得到第二参数， 并使用所述第一密钥对所述第二参数进行加密，得到第二加密参数。
  7. 根据权利要求1所述的方法，其特征在于，所述第一参与方发送的模型预测值之前，还包括：
    接收第二参与方发送的预测阶段的加密参数；
    根据所述训练目标损失值对其模型参数进行更新，获得更新模型，并使用所述更新模型对其样本进行预测，得到预测结果；
    根据所述加密参数和预测结果，计算得到模型预测值。
  8. 一种联合学习模型迭代更新装置，其特征在于，包括：
    参数接收模块，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数；
    概率计算模块，被配置为根据所述第一加密参数、第二加密参数和所述第一密钥，计算得到加密概率值；
    损失计算模块，被配置为将所述加密概率值发送给所述第一参与方，以使所述第一参与方根据所述加密概率值和样本标签值，计算得到训练目标损失值；
    梯度计算模块，被配置为接收所述训练目标损失值，根据所述训练目标损失值和所述第一加密参数、第二加密参数，计算更新梯度；
    迭代更新模块，被配置为获取所述第一参与方发送的模型预测值和学习率，根据所述更新梯度、模型预测值和学习率，迭代更新其全局模型。
  9. 一种联合学习模型迭代更新系统，其特征在于，包括：第三方，分别与所述第三方通信连接的第一参与方、第二参与方，所述第一参与方和第二参与方通信连接；
    所述第一参与方，被配置为向第三方发送第一密钥和第一加密参数；
    所述第三方，被配置为接收第一参与方发送的第一密钥和第一加密参数，以及第二参与方发送的第二加密参数，根据所述第一加密参数、第二加密参数和所述第一密钥，计算得到加密概率值，将所述加密概率值发送给所述第一参与方；
    所述第一参与方，还被配置为根据所述加密概率值和样本标签值，计算得到训练目标损失值，并将所述训练目标损失值返回所述第三方；
    所述第三方，还被配置为根据所述训练目标损失值和所述第一加密参数、第二加密参数，计算更新梯度；
    所述第一参与方，还被配置为接收第二参与方发送的预测阶段的加密参数，根据所述训练目标损失值对其模型参数进行更新，获得更新模型，并使用所述更新模型对其样本进行预测，得到预测结果，根据所述加密参数和预测结果，计算得到模型预测值，并将所述模型 预测值和学习率发送给所述第三方；
    所述第三方，还被配置为根据所述更新梯度、模型预测值和学习率，迭代更新其全局模型。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。
PCT/CN2022/117818 2021-12-30 2022-09-08 一种联合学习模型迭代更新方法、装置、系统及存储介质 WO2023124219A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111656939.X 2021-12-30
CN202111656939.XA CN116415267A (zh) 2021-12-30 2021-12-30 一种联合学习模型迭代更新方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2023124219A1 true WO2023124219A1 (zh) 2023-07-06

Family

ID=86997383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/117818 WO2023124219A1 (zh) 2021-12-30 2022-09-08 一种联合学习模型迭代更新方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN116415267A (zh)
WO (1) WO2023124219A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117675411B (zh) * 2024-01-31 2024-04-26 智慧眼科技股份有限公司 一种基于纵向XGBoost算法的全局模型获取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN112926073A (zh) * 2021-03-17 2021-06-08 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、介质及计算机程序产品
WO2021120888A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
US20210232974A1 (en) * 2018-08-10 2021-07-29 Webank Co., Ltd Federated-learning based method of acquiring model parameters, system and readable storage medium
WO2021204268A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 基于隐私数据进行模型训练

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
US20210232974A1 (en) * 2018-08-10 2021-07-29 Webank Co., Ltd Federated-learning based method of acquiring model parameters, system and readable storage medium
WO2021120888A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
WO2021204268A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 基于隐私数据进行模型训练
CN112926073A (zh) * 2021-03-17 2021-06-08 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、介质及计算机程序产品

Also Published As

Publication number Publication date
CN116415267A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN112183730B (zh) 一种基于共享学习的神经网络模型的训练方法
KR102337168B1 (ko) 비밀 공유를 사용한 로지스틱 회귀 모델링 방법
CN113159327B (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
CN112380578A (zh) 一种基于区块链和可信执行环境的边缘计算框架
US20190108498A1 (en) Decentralized pooled mining for enabling proof-of-work on blockchains
US11410081B2 (en) Machine learning with differently masked data in secure multi-party computing
CN112818374A (zh) 一种模型的联合训练方法、设备、存储介质及程序产品
CN114595835B (zh) 基于联邦学习的模型训练方法及装置、设备、存储介质
WO2023124219A1 (zh) 一种联合学习模型迭代更新方法、装置、系统及存储介质
CN113051239A (zh) 数据共享方法、应用其的模型的使用方法及相关设备
CN113051586A (zh) 联邦建模系统及方法、联邦模型预测方法、介质、设备
Firdaus et al. A secure federated learning framework using blockchain and differential privacy
CN112949866A (zh) 泊松回归模型的训练方法、装置、电子设备及存储介质
CN117349685A (zh) 一种通信数据的聚类方法、系统、终端及介质
WO2023109246A1 (zh) 一种面向断点隐私保护的方法、装置、设备及介质
CN115719094B (zh) 基于联邦学习的模型训练方法、装置、设备及存储介质
CN112016698A (zh) 因子分解机模型构建方法、设备及可读存储介质
WO2022218033A1 (zh) 一种数据处理的方法和装置
WO2023124312A1 (zh) 联合学习中的预测方法及装置
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及系统
CN114519191A (zh) 医疗数据管理方法及装置
Xu et al. FedG2L: a privacy-preserving federated learning scheme base on “G2L” against poisoning attack
CN113887746A (zh) 基于联合学习的降低通信压力的方法及装置
Jalali et al. Security Issues and Solutions in Federate Learning Under IoT Critical Infrastructure
WO2023071529A1 (zh) 设备数据清洗方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22913492

Country of ref document: EP

Kind code of ref document: A1