WO2021022707A1 - 一种混合联邦学习方法及架构 - Google Patents

一种混合联邦学习方法及架构 Download PDF

Info

Publication number
WO2021022707A1
WO2021022707A1 PCT/CN2019/117518 CN2019117518W WO2021022707A1 WO 2021022707 A1 WO2021022707 A1 WO 2021022707A1 CN 2019117518 W CN2019117518 W CN 2019117518W WO 2021022707 A1 WO2021022707 A1 WO 2021022707A1
Authority
WO
WIPO (PCT)
Prior art keywords
group
federated learning
learning model
training
participants
Prior art date
Application number
PCT/CN2019/117518
Other languages
English (en)
French (fr)
Inventor
程勇
董苗波
刘洋
陈天健
Original Assignee
深圳前海微众银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海微众银行股份有限公司 filed Critical 深圳前海微众银行股份有限公司
Publication of WO2021022707A1 publication Critical patent/WO2021022707A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Definitions

  • the present invention relates to the field of financial technology (Fintech) and federated learning, and more particularly to a hybrid federated learning method and architecture.
  • the embodiments of the present application provide a hybrid federated learning method and architecture, which solves the problem of insufficient accuracy of federated learning models in the prior art.
  • the embodiments of this application provide a hybrid federated learning method, which is suitable for training federated models with multiple groups of participants, wherein the data sets of participants in the same group contain the same sample objects and Different sample characteristics; the data sets of participants between different groups contain the same sample characteristics and different sample objects; the method includes: for each group, joint training of each group based on the data set of the participants in the group The first federated learning model; wherein, in the process of training the first federated learning model, each participant in the group exchanged training intermediate results with other participants in the group; the first federated learning model of each group Fuse to obtain a second federated learning model, and send the second federated learning model to each participant in the group; for each group, train according to the second federated learning model and the data set of the participants in the group Obtain the updated first federated learning model, and return to the step of fusing the first federated learning model of each group to obtain the second federated learning model until the end of the model training.
  • the first federated learning model is determined by each participant in the group according to the intermediate results of the training of other participants in the group during the training process, the first of each group The federated learning model has been optimized for a round, and then the first federated learning model of each group is merged to obtain the second federated learning model, and for each group, according to the second federated learning model and the participants in the group
  • the data set of is updated with the first federated learning model, so the obtained federated learning model applicable to each group of participants fully considers each first federated learning model, and is further optimized on the basis of the first federated learning model of each group Therefore, the above-mentioned methods can greatly improve the scalability of federated learning, and combine the data of more participants to realize federated learning of massive data, thereby increasing the accuracy of federated learning.
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to a preset Training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • a specific termination condition for the end of the training is provided, and the training is stopped when one or more of the above is met, so as to avoid the consumption of resources because the training of the federated learning model does not stop.
  • each group includes an in-group coordinator, and each participant in the group exchanges training intermediate results with other participants in the group during the process of training the first federated learning model, including: For any participant in any group, perform the following training process to obtain the first federated learning model, including: for any participant in any group, perform the following training process to obtain the first federated learning model, including: The participant sends the intermediate results of the initial model trained according to the participant’s data set to other participants; the participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, And send it to the coordinator in the group; the coordinator in the group determines the update parameter according to the training result of each participant and sends it to each participant; the participant updates the initial model according to the update parameter to obtain The first federated learning model.
  • the participant sends the intermediate results of the initial model trained based on the participant’s data set to other participants; the participant obtains the training of the initial model based on the intermediate results fed back by the other participants
  • the training results of the participants fully consider the intermediate results of other participants in the group, and the training results are more accurate
  • the coordinator in the group determines the updated parameters according to the training results of each participant and sends them to each participant ⁇ ;
  • the participant updates the initial model according to the update parameters to obtain a more accurate first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group Weighted average of the parameter value in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator; the coordinator in the group will The second federated learning model is sent to the participants in the group.
  • the inter-group coordinator weights and averages the parameter values of the same parameter in the first federated learning model of each group as the value of the parameter in the second federated learning model, thereby avoiding intra-group coordination Frequent interactive learning model communication between participants further improves the acquisition efficiency of the federated learning model.
  • this application provides a hybrid federated learning architecture, including: multiple groups of first federated learning systems and coordinators; wherein each group of first federated learning systems includes multiple participants; in the same group of first federated learning systems The data sets of the participants in the data sets contain the same sample objects and different sample characteristics; the data sets of the participants in the first federated learning systems of different groups contain the same sample characteristics and different sample objects; Any participant is used to jointly train the first federated learning model of each group according to the data set of the participants in the group; wherein, during the process of training the first federated learning model, each participant in the group is Other participants exchanged intermediate results of training; the coordinator is used to fuse the first federated learning model of each group to obtain a second federated learning model, and send the second federated learning model to each group Participant.
  • the coordinator is an intra-group coordinator in each first federal learning system; or the coordinator is an inter-group coordinator between each first federal learning system.
  • the participant is used to send intermediate results of the initial model trained according to the participant’s data set to other participants; the participant is also used to The intermediate result fed back by the participant obtains the training result of the initial model and sends it to the coordinator in the group; the coordinator in the group is also used to determine the update parameter according to the training result of each participant and send it to each participant ⁇ ; The participant is also used to update the initial model according to the update parameters to obtain the first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group The parameter value of is weighted average as the value of the parameter in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator.
  • an embodiment of the present application provides a computer device, including a program or instruction, suitable for training a federated model with multiple groups of participants, wherein the data sets of participants in the same group contain the same sample objects And different sample characteristics; the data sets of participants in different groups contain the same sample characteristics and different sample objects; the computer equipment includes a program or instruction, and when the program or instruction is executed, the following is achieved Steps: For each group, the first federated learning model of each group is jointly trained according to the data set of the participants in the group; wherein, during the process of training the first federated learning model, each participant in the group is related to other participants in the group.
  • Participants exchanged the intermediate results of training; the first federated learning model of each group was merged to obtain the second federated learning model, and the second federated learning model was sent to each participant in the group; for each group, The updated first federated learning model is trained according to the second federated learning model and the data set of the participants in the group, and the step of fusing the first federated learning model of each group to obtain the second federated learning model is returned, Until the end of model training.
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to a preset Training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • each group includes an in-group coordinator, and each participant in the group exchanges training intermediate results with other participants in the group during the process of training the first federated learning model, including: For any participant in any group, perform the following training process to obtain the first federated learning model, including: the participant sends the intermediate results of the initial model trained according to the participant's data set to other participants The participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, and sends it to the coordinator in the group; the coordinator in the group determines according to the training results of each participant The parameters are updated and sent to each participant; the participant updates the initial model according to the updated parameters to obtain the first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group The parameter value of is weighted average as the value of the parameter in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator.
  • an embodiment of the application provides a storage medium, including a program or instruction, suitable for training a federated model with multiple groups of participants, wherein the data sets of participants in the same group contain the same sample objects And different sample characteristics; the data sets of participants in different groups contain the same sample characteristics and different sample objects; the storage medium includes programs or instructions, and when the programs or instructions are executed, the following is achieved Steps: For each group, the first federated learning model of each group is jointly trained according to the data set of the participants in the group; wherein, during the process of training the first federated learning model, each participant in the group is related to other participants in the group.
  • Participants exchanged the intermediate results of training; the first federated learning model of each group was merged to obtain the second federated learning model, and the second federated learning model was sent to each participant in the group; for each group, The updated first federated learning model is trained according to the second federated learning model and the data set of the participants in the group, and the step of fusing the first federated learning model of each group to obtain the second federated learning model is returned, Until the end of model training.
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to a preset Training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • each group includes an in-group coordinator, and each participant in the group exchanges training intermediate results with other participants in the group during the process of training the first federated learning model, including: For any participant in any group, perform the following training process to obtain the first federated learning model, including: the participant sends the intermediate results of the initial model trained according to the participant's data set to other participants The participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, and sends it to the coordinator in the group; the coordinator in the group determines according to the training results of each participant The parameters are updated and sent to each participant; the participant updates the initial model according to the updated parameters to obtain the first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group The parameter value of is weighted average as the value of the parameter in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator.
  • FIG. 1 is a schematic diagram of a hybrid federated learning architecture provided by an embodiment of this application.
  • FIG. 2 is a schematic diagram of obtaining a first federated learning model in any group of first federated learning systems in a hybrid federated learning architecture provided by an embodiment of the application;
  • FIG. 3 is a specific schematic diagram of a hybrid federated learning architecture provided by an embodiment of this application.
  • Figure 4 is a specific schematic diagram of a hybrid federated learning architecture provided by an embodiment of the application.
  • FIG. 5 is a schematic flowchart of steps of a hybrid federated learning method provided by an embodiment of this application.
  • FIG. 6 is a schematic diagram of obtaining a second federated learning model in a hybrid federated learning architecture provided by an embodiment of the application.
  • Federated learning refers to a method of machine learning by uniting different participants (participants, or parties, also known as data owners or clients).
  • participants do not need to expose their own data to other participants and coordinators (also called parameter servers or aggregation servers), so federated learning can be very good To protect user privacy and ensure data security.
  • an embodiment of this application provides a hybrid federated learning architecture.
  • FIG. 1 a schematic diagram of a hybrid federated learning architecture is provided for this embodiment of the application.
  • the hybrid federated learning architecture shown in Figure 1 includes: multiple groups of first federated learning systems and coordinators; wherein, each group of first federated learning systems includes multiple participants; each participant in the same group of first federated learning systems The data sets contain the same sample object and different sample features; the data sets of each participant in the first federated learning system of different groups contain the same sample feature and different sample objects.
  • the number of participants in each first federated learning system is 2 as an example, including participants Aj and Bj (j is less than or equal to K) Positive integer, K is a positive integer).
  • the number of participants in the first federal learning system is not limited to two, and the number of participants in each first federal learning system can be the same or different.
  • Any participant is used to jointly train the first federated learning model of each group according to the data set of the participants in the group; wherein, during the process of training the first federated learning model, each participant in the group is The other participants exchanged intermediate results of the training.
  • the coordinator is used to fuse the first federated learning model of each group to obtain a second federated learning model, and send the second federated learning model to each participant in the group.
  • the goal of the hybrid federated learning architecture shown in Figure 1 is to train a federated learning model, and the final trained federated learning model suitable for each group of participants is: the second federation obtained in the last round of training Learning model. Except for the second federated learning model obtained in the last round of training, the process from the start of training to the end of training is the parameter optimization process of the federated learning model, and the first federated learning model and the second federated learning model are both in different training stages
  • the federated learning model is the federated learning model that appears in the intermediate training process, not the final federated learning model.
  • the federated learning model parameters in different training stages will be updated and changed.
  • the final output is a federated learning model, which is the second federated learning model obtained in the last round of training.
  • the coordinator is an intra-group coordinator in each first federated learning system; or the coordinator is an inter-group coordinator between each first federated learning system.
  • the first participant is any participant in any group of the first federal learning system, and the first participant and the coordinator in the group can be used in the following manner (hereinafter referred to as the first federal learning method ) Get the first federation learning model:
  • the first participant sends the intermediate results of the initial model trained on the data set of the first participant to other participants.
  • the first participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, and sends it to the coordinator in the group.
  • the coordinator in the group determines the updated parameters according to the training results of each participant and sends them to each participant.
  • the first participant updates the initial model according to the update parameters to obtain the first federated learning model.
  • the training process shown in Fig. 2 is a sub-training process of the process of training a federated learning model suitable for each group of participants with the architecture shown in Fig. 1, where the first federated learning model is a phased result of the sub-training process Federated learning model.
  • the first federated learning process is suitable for the case where the data feature overlap of the participants is small, and the user overlaps a lot, the part of users and data with the same participant user but different user data features are taken out for joint machine learning training.
  • participant A is a bank and participant B is an e-commerce platform.
  • Participants A and B have more of the same users in the same area, but A and B have different businesses, and the recorded user data characteristics are different.
  • the user data characteristics recorded by A and B may be complementary.
  • the first federated learning method can be used to help A and B build a joint machine learning prediction model to help A and B provide better services to customers.
  • Participants A and B implement an example of alignment of encrypted samples. Since the user groups of the two companies A and B do not completely overlap, the system uses encryption-based user sample alignment technology to confirm the mutual users of both parties under the premise that A and B do not disclose their respective data, and does not expose users who do not overlap. In order to combine the characteristics of these users for modeling.
  • the encryption model training process of the first federation learning is as follows (the following steps only take the gradient descent algorithm as an example to illustrate the training process):
  • the data can be used to train machine learning models.
  • the coordinator C needs to be used for encryption training. Taking linear regression model as an example, the training process can be divided into the following 4 steps.
  • step 1 the coordinator C distributes the public key to A and B to encrypt the data that needs to be exchanged during the training process.
  • step 2 participants A and B interact in encrypted form to calculate the intermediate result of the gradient.
  • step 3 Participants A and B respectively calculate based on the encrypted gradient value, and at the same time, participant B calculates the loss function based on its label data, and summarizes the result to the coordinator C.
  • the coordinator C calculates the total gradient value by summing up the results and decrypts it.
  • Step 4 The coordinator C sends the decrypted gradients back to participants A and B respectively, and participants A and B update the parameters of their models according to the gradients. Participants and coordinators iterate the above steps until the loss function converges or the model parameters converge or reach the maximum number of iterations or reach the maximum training time, thus completing the entire model training process.
  • the encryption operation and encrypted transmission are optional, and they need to be determined according to the specific application scenario. Not all application scenarios require encryption operation And encrypted transmission.
  • the first thing to note is that the data sets of the participants in the first federated learning system in the same group contain the same sample characteristics and different sample objects. For example, there are two banks in different regions, their user groups are from their respective regions, and the mutual intersection is very small. But their businesses are very similar, and most of the recorded user data characteristics are the same.
  • the second federation learning model can be obtained by fusing the first federation learning model of each group to help the two banks build a joint model to predict their customer behavior.
  • model M1 and M2 obtained through longitudinal federated learning may be poor and fail to meet the expected indicators.
  • the model M constructed by joint coordinators C1 and C2 and horizontal federated learning is likely to have a greater improvement in performance and meet the expected requirements.
  • the data jointly owned by participants (Ai, Bi) and the data jointly owned by (Aj, Bj) have the same data feature (same feature space), but the user is different (non-overlapping sample/ID space).
  • the users of the data owned by participants Aj and Bj are the same (same sample/ID space), but the data features are different (different feature space).
  • the actual application scenario can be that participants (Ai, Bi) and (Aj, Bj) can jointly conduct horizontal federated learning; participants Aj and Bj can jointly conduct longitudinal federated learning.
  • i,j 1, 2, i ⁇ j.
  • the hybrid federated learning architecture includes two first federated learning systems (only shown in Figure 3).
  • the two first federated learning systems are shown as examples, but the number of first federated learning systems is not limited to 2)
  • the coordinator C1 and the coordinator C2 are the coordinators within the group
  • the coordinator C1 and the coordinator C2 are The first federated learning model of the group is fused to obtain the second federated learning model, as follows:
  • the coordinator C1 and the participants A1 and B1 train the first federated learning model M1; at the same time, the coordinator C2 and the participants A2, B2 train the first federated learning model M2.
  • the coordinator C1 and the participants A1 and B1 train the first federated learning model M1; at the same time, the coordinator C2 and the participants A2, B2 train the first federated learning model M2.
  • the specific training process of the first federated learning model refer to the structure and process of vertical federated learning illustrated in FIG. 2.
  • the coordinators C1 and C2 respectively send the first federated learning models M1 and M2 to each other.
  • the coordinators C1 and C2 perform model fusion respectively, for example, the weighted average value of the parameter values of the model M1 and M2 is used as the corresponding parameter value of the second federated learning model M.
  • Coordinators C1 and C2 distribute the second federated learning model M to participants A1, B1, A2, and B2, respectively.
  • Coordinator C1 and participants A1 and B1 continue to train the first federal learning model on the basis of the second federal learning model M, and update the first federal learning model M1; at the same time, the coordinator C2 and participant A2 , B2 continues to train the model on the basis of the second federated learning model M, and updates the first federated learning model M2.
  • This process can also be the structure and process of vertical federated learning as illustrated in Figure 2.
  • the coordinator C1 After training the second federated learning model M, the coordinator C1 distributes the second federated learning model M to participants A1 and B1, and the coordinator C2 distributes the second federated learning model M to participants A2 and B2. Participants A1, B1, A2, and B2 finally get the same second federated learning model M.
  • the coordinators of the two first federated learning systems can directly exchange the first federated learning model Mj without the participation of a third party, which can save system resources and expenses.
  • the goal is to train a federated learning model and continuously optimize and update the parameters of the federated learning model.
  • the final output is the M obtained in the last round of training, and the M1, M2 and M parameters are updated in each round of training.
  • M1, M2 and M in each round of training They are all learning models in the intermediate training stage.
  • the hybrid federated learning architecture includes K first federated learning systems, and K is greater than or equal to An integer of 2, the coordinator within the group C1 ⁇ CK and the coordinator C0 between the groups merge the first federated learning model of each group to obtain the second federated learning model, as follows:
  • the inter-group coordinator C0 performs model fusion on the received first federated learning model Mj, for example, the weighted average of the values of the first federated learning model M1 ⁇ Mj to obtain the first federated learning model suitable for each group of participants Two federated learning model M.
  • the specific process can refer to the federated learning architecture and model training process illustrated in Figure 2.
  • the goal is to train a federated learning model and continuously optimize and update the parameters of the federated learning model.
  • the final output is the M obtained in the last round of training.
  • Mj and M parameters are updated.
  • Mj and M in each round of training are intermediate training Stage learning model.
  • the above-mentioned coordinator is the intra-group coordinator in each first federated learning system or the inter-group coordinator between the first federated learning systems, including the training of the hierarchical federated learning model of two hybrid federated learning systems: (1 ) Participants and coordinators in the group form the first federated learning subsystem to train the first federated learning model Mj; and then composed of two in-group coordinators to train the second federated learning model M; (2) Coordinated by multiple groups And the inter-group coordinator jointly train the second federated learning model M. (1) (2) In both methods, the coordinator in the group or the coordinator in the group distributes the trained second federated learning model to the participants. The participants finally obtained and used the second federated learning model trained by each first federated learning subsystem.
  • the inter-group coordinator can directly distribute the global model to each participant without the transfer of the first federated learning subsystem coordinator, which saves communication overhead and reduces communication time Delay can speed up model training.
  • the first federated learning system of hybrid federated learning may include two or more participants.
  • the message transmission between the participant and the coordinator, between the participant and the participant, between the coordinator and the global coordinator can all be encrypted message transmission, for example, using homomorphic encryption technology, it can also be unencrypted message transmission .
  • the message transmission includes data-related information transmission, gradient information transmission, model parameter update transmission, model performance test result transmission, model training trigger command transmission, etc.
  • FIG. 5 illustrates a hybrid federated learning method proposed in this application.
  • This method is suitable for training federated models with multiple groups of participants, where the data sets of participants in the same group contain the same sample objects and different sample characteristics; among the data sets of participants in different groups Contains the same sample characteristics and different sample objects; the method steps are as follows:
  • Step 501 For each group, jointly train the first federated learning model of each group according to the data set of the participants in the group.
  • Step 502 The first federated learning model of each group is merged to obtain a second federated learning model, and the second federated learning model is sent to the participants in each group.
  • Step 503 For each group, the updated first federated learning model is obtained by training according to the second federated learning model and the data set of the participants in the group, and return to fusion of the first federated learning model of each group to obtain The second step of federated learning model until the end of model training.
  • step 501 to step 503 is to train a federated learning model, that is, the second federated learning model output in the last round.
  • the process of returning to step 502 until the end of training is a process of continuously optimizing and updating the parameters of the federated learning model.
  • the federated learning model generated in the process of step 501 to step 503 is an intermediate product of the second federated learning model output in the last round.
  • step 501 in the process of training the first federated learning model, each participant in the group exchanges intermediate results of training with other participants in the group.
  • the process of performing the following training process to obtain the first federated learning model specifically includes:
  • the participant sends the intermediate results of the initial model trained according to the participant’s data set to other participants; the participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, And send it to the coordinator in the group; the coordinator in the group determines the update parameter according to the training result of each participant and sends it to each participant; the participant updates the initial model according to the update parameter to obtain The first federated learning model.
  • the method may be that the parameter values of the same parameter in the first federated learning model of each group are weighted and averaged as the value of the parameter in the second federated learning model.
  • the parameter values of the same parameter in the first federated learning model of each group are weighted and averaged as the value of the parameter in the second federated learning model;
  • the second federated learning model is sent to the coordinators in each group; the in-group coordinator sends the second federated learning model to the participants in the group.
  • the second federated learning is suitable for the case where the data features of each participant overlap more, but the user overlaps less, and the part of the data with the same participant data feature but not the same user is taken out for joint machine learning. For example, there are two banks in different regions, their user groups are from their respective regions, and the mutual intersection is very small. But their businesses are very similar, and most of the recorded user data characteristics are the same. Horizontal federated learning can be used to help two banks build a joint model to predict their customer behavior.
  • step 1 when a coordinator A in the group completes the model parameter update locally, the coordinator A in the group can send the coordinator A in the group to the coordinator in the group to obtain locally
  • the model parameters are updated.
  • the intra-group coordinator A can send model parameter updates to the inter-group coordinator through encryption, for example, using homomorphic encryption technology.
  • the model parameter may be the parameter of the federated learning model, for example, the weight parameter of the connection between the nodes of the neural network; or the joint model parameter may also be the gradient information of the federated learning model, for example, in the neural network gradient descent algorithm The gradient information.
  • step 2 the inter-group coordinator merges the model parameter updates received from different coordinators in the group, for example, to obtain a weighted average.
  • step 3 the inter-group coordinator will re-distribute the fused second federated learning model parameter updates (also called global model parameters) to the coordinators in each group.
  • the inter-group coordinator can also transmit the second federated learning model parameters in an encrypted manner.
  • step 4 the coordinator in the group can use the received second federated learning model parameters as the starting point of the local model training or as the latest model parameters of the first federated learning model to start training or Continue training on the basis of the first federation learning model.
  • the intra-group coordinator and the inter-group coordinator iterate the above steps until the loss function converges or the model parameters converge or reach the maximum number of iterations or reach the maximum training time, thus completing the entire model training process.
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to the preset Set the number of training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • federated learning model training is carried out by grading: first train to obtain the first federated learning model of each first federated learning system, and then perform horizontal integration according to each first federated learning model to obtain the first federated learning model.
  • Two federated learning model Therefore, the data owned by multiple participants can be used through the method and architecture in this application, and the first federated learning system has better scalability and can effectively solve the problem of too small amount of data owned by participants.
  • the embodiment of the application provides a computer device, including a program or instruction, suitable for training a federated model with multiple groups of participants, wherein the data sets of participants in the same group include the same sample object and different samples Characteristics; the data sets of participants in different groups contain the same sample characteristics and different sample objects; the computer equipment includes programs or instructions, and when the programs or instructions are executed, the following steps are implemented:
  • the first federated learning model of each group is jointly trained according to the data set of the participants in the group; wherein, in the process of training the first federated learning model, each participant in the group exchanges with other participants in the group The intermediate result of training;
  • the first federated learning model of each group is fused to obtain a second federated learning model, and the second federated learning model is sent to the participants in each group; for each group, according to the first The second federated learning model and the updated first federated learning model after training on the data set of the participants in the group, return to the step of fusing the first federated learning model
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to a preset Training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • each group includes an in-group coordinator, and each participant in the group exchanges training intermediate results with other participants in the group during the process of training the first federated learning model, including: For any participant in any group, perform the following training process to obtain the first federated learning model, including: the participant sends the intermediate results of the initial model trained according to the participant's data set to other participants The participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, and sends it to the coordinator in the group; the coordinator in the group determines according to the training results of each participant The parameters are updated and sent to each participant; the participant updates the initial model according to the updated parameters to obtain the first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group The parameter value of is weighted average as the value of the parameter in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator.
  • the embodiment of the application provides a storage medium, including a program or instruction, suitable for training a federated model with multiple groups of participants, wherein the data sets of participants in the same group include the same sample object and different samples Features; the data sets of participants in different groups contain the same sample features and different sample objects; the storage medium includes programs or instructions, and when the programs or instructions are executed, the following steps are implemented:
  • the first federated learning model of each group is jointly trained according to the data set of the participants in the group; wherein, in the process of training the first federated learning model, each participant in the group exchanges with other participants in the group The intermediate result of training;
  • the first federated learning model of each group is fused to obtain a second federated learning model, and the second federated learning model is sent to the participants in each group; for each group, according to the first The second federated learning model and the updated first federated learning model after training on the data set of the participants in the group, return to the step of fusing the first federated learning model of each
  • the preset termination condition for the end of the model training includes at least one of the following: the parameters of the second federated learning model converge; the number of updates of the second federated learning model is greater than or equal to a preset Training times; the training time of the second federated learning model is greater than or equal to the preset training time.
  • each group includes an in-group coordinator, and each participant in the group exchanges training intermediate results with other participants in the group during the process of training the first federated learning model, including: For any participant in any group, perform the following training process to obtain the first federated learning model, including: the participant sends the intermediate results of the initial model trained according to the participant's data set to other participants The participant obtains the training result of the initial model according to the intermediate results fed back by the other participants, and sends it to the coordinator in the group; the coordinator in the group determines according to the training results of each participant The parameters are updated and sent to each participant; the participant updates the initial model according to the updated parameters to obtain the first federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: weighted average of the parameter values of the same parameter in the first federated learning model of each group , As the value of this parameter in the second federated learning model.
  • the fusion of the first federated learning model of each group to obtain the second federated learning model includes: using an inter-group coordinator to combine the same parameters in the first federated learning model of each group The parameter value of is weighted average as the value of the parameter in the second federated learning model; the second federated learning model is sent to the coordinators in each group through the inter-group coordinator.
  • this application can be provided as methods, systems, or computer program products. Therefore, this application may adopt the form of a complete hardware embodiment, a complete software embodiment, or an embodiment combining software and hardware. Moreover, this application may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, optical storage, etc.) containing computer-usable program codes.
  • These computer program instructions can also be stored in a computer-readable memory that can guide a computer or other programmable data processing equipment to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction device.
  • the device implements the functions specified in one process or multiple processes in the flowchart and/or one block or multiple blocks in the block diagram.

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种混合联邦学习方法及架构，该方法适用于具有多组参与者的联邦学习模型训练；其中方法为：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。上述方法应用于金融科技(Fintech)时，可以提升联邦学习模型的准确率。

Description

一种混合联邦学习方法及架构
相关申请的交叉引用
本申请要求在2019年08月06日提交中国专利局、申请号为201910720373.9、申请名称为“一种混合联邦学习方法及架构”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及金融科技(Fintech)领域和联邦学习领域，尤其涉及一种混合联邦学习方法及架构。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融科技领域中许多金融策略的调整都依赖于对大量金融交易数据进行联邦学习的结果，相应金融策略的调整很可能对金融机构的盈亏造成影响。因此，对一个金融机构来说，其联邦学习模型的精确性至关重要。
然而，目前应用联邦学习的场景中，经常会遇到参与者A和B拥有的数据虽然能形成互补，可以联合构建机器学习模型，但是参与者A和B拥有的数据量仍然非常少，构建的联合模型的性能难以达到预期指标，从而联合模型的精确度也不够高。因此，现有技术中，联邦学习得到的联合模型的精确度不够高是一个亟待解决的问题。
发明内容
本申请实施例提供一种混合联邦学习方法及架构，解决了现有技术中联邦学习模型不够精确的问题。
第一方面，本申请实施例提供一种混合联邦学习方法，该方法适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述方法包括：针对每个组，根据组 内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
上述方法中，获得的至少一个纵向联邦学习模型中，由于第一联邦学习模型是组内每个参与者在训练过程中根据组内其他参与者训练的中间结果确定的，因此每组的第一联邦学习模型已经进行了一轮优化，再对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集得到更新后的第一联邦学习模型，因此获取到的适用于各组参与者的联邦学习模型充分考虑了各个第一联邦学习模型，在各组的第一联邦学习模型基础上进一步优化，因此通过上述方法可以大幅提高联邦学习的扩展性，结合了考虑了更多参与者的数据，实现对海量数据的联邦学习，从而增加了联邦学习的精确性。
一种可选实施方式中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
上述方法中，提供了训练结束的具体终止条件，当满足以上一项或多项时就停止训练，从而避免因为训练联邦学习模型不停止而消耗资源。
一种可选实施方式中，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
上述方法中，参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果， 得到所述初始模型的训练结果，也就是说参与者的训练结果充分考虑了组内其它参与者的中间结果，训练结果更加精确，而且所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得出了更精确的第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
上述方式下，通过将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，得到第二联邦学习模型中该参数的值，从而按权重决定每个参数，使得第二联邦学习中的参数值更加精确。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过组间协调者，将所述第二联邦学习模型发送给各组内协调者；所述组内协调者将所述第二联邦学习模型发送给组内参与者。
上述方式下，通过组间协调者将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值，从而避免了组内协调者之间频繁交互学习模型的通信，进一步提升了联邦学习模型的获取效率。
第二方面，本申请提供一种混合联邦学习架构，包括：多组第一联邦学习系统和协调者；其中，每组第一联邦学习系统包括多个参与者；同组第一联邦学习系统内的各参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组第一联邦学习系统间的各参与者的数据集之间包含有相同的样本特征及不同的样本对象；任一参与者，用于，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；所述协调者，用于对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者。
一种可选实施方式中，所述协调者为各第一联邦学习系统内的组内协调者；或所述协调者为各第一联邦学习系统间的组间协调者。
一种可选实施方式中，所述参与者，用于将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者，还用于根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述 组内协调者；所述组内协调者，还用于根据各参与者的训练结果确定更新参数并发送给各参与者；所述参与者，还用于根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
上述第二方面及第二方面各个实施例的有益效果，可以参考上述第一方面及第一方面各个实施例的有益效果，这里不再赘述。
第三方面，本申请实施例提供一种计算机设备，包括程序或指令，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述计算机设备包括程序或指令，当所述程序或指令被执行时，实现如下步骤：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
一种可选实施方式中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
一种可选实施方式中，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果， 得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
第四方面，本申请实施例提供一种存储介质，包括程序或指令，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述存储介质包括程序或指令，当所述程序或指令被执行时，实现如下步骤：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
一种可选实施方式中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
一种可选实施方式中，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根 据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
附图说明
图1为本申请实施例提供的一种混合联邦学习架构的示意图；
图2为本申请实施例提供的一种混合联邦学习架构的任一组第一联邦学习系统中获得第一联邦学习模型的示意图；
图3为本申请实施例提供的一种混合联邦学习架构的具体示意图；
图4为本申请实施例提供的一种混合联邦学习架构的具体示意图；
图5为本申请实施例提供的一种混合联邦学习方法的步骤流程示意图；
图6为本申请实施例提供的一种混合联邦学习架构中获得第二联邦学习模型的示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。
在金融机构(银行机构、保险机构或证券机构)在进行业务(如银行的贷款业务、存款业务等)运转过程中，许多金融策略的调整都依赖于对大量金融交易数据进行联邦学习的结果，相应金融策略的调整很可能对金融机构的盈亏造成影响。因此，对一个金融机构来说，其联邦学习模型的精确性至关重要。
联邦学习(federated learning)是指通过联合不同的参与者(participant，或者party，也称为数据拥有者(data owner)，或者客户(client))进行机器 学习的方法。在联邦学习中，参与者并不需要向其它参与者和协调者(coordinator，也称为参数服务器(parameter server)，或者聚合服务器(aggregation server))暴露自己拥有的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全。
现有技术中，目前应用联邦学习的场景中，经常会遇到参与者A和B拥有的数据虽然能形成互补，可以联合构建机器学习模型，但是参与者A和B拥有的数据量仍然非常少，构建的联合模型的性能难以达到预期指标，从而联合模型的精确度也不够高。这种情况也会导致联邦学习得到的联合模型的精确度不够高。这种情况不符合银行等金融机构的需求，无法保证金融机构各项业务的高效运转。
为此，本申请实施例提供了一种混合联邦学习架构，如图1所示，为本申请实施例提供一种混合联邦学习架构的示意图。
图1示出的混合联邦学习架构包括：多组第一联邦学习系统和协调者；其中，每组第一联邦学习系统包括多个参与者；同组第一联邦学习系统内的各参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组第一联邦学习系统间的各参与者的数据集之间包含有相同的样本特征及不同的样本对象。需要说明的是，图1示出的混合联邦学习架构中，是以每个第一联邦学习系统中参与者的数目为2为例说明，包括参与者Aj和Bj(j为小于或等于K的正整数，K为正整数)。而且，第一联邦学习系统中参与者的数目并不限于2，每个第一联邦学习系统中参与者的数目可相同，也可不同。
任一参与者，用于，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果。
所述协调者，用于对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者。
需要说明的是，图1示出的混合联邦学习架构的目标是训练出的是一个联邦学习模型，最终训练的适用于各组参与者的联邦学习模型为：最后一轮训练得到的第二联邦学习模型。而除了最后一轮训练得到的第二联邦学习模型外，从训练开始至训练结束过程是联邦学习模型的参数优化过程，而第一联邦学习模型和第二联邦学习模型均为处于不同训练阶段的联邦学习模型，是中间训练过程中出现的联邦学习模型，不是最终输出的联邦学习模型，不同训练阶段的联邦学习模型参数会更新变化。最终输出的是一个联邦学习模型，即为最后一轮训练得到的第二联邦学习模型。
图1示出的架构中，所述协调者为各第一联邦学习系统内的组内协调者；或所述协调者为各第一联邦学习系统间的组间协调者。
如图2所示，第一参与者为任一组第一联邦学习系统中任一参与者，第一参与者和组内协调者可以用于按照以下方式(下文中称为第一联邦学习方式)得到第一联邦学习模型：
(1)第一参与者将根据第一参与者的数据集训练的初始模型的中间结果发送给其他参与者。(2)第一参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者。(3)组内协调者根据各参与者的训练结果确定更新参数并发送给各参与者。(4)第一参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。需要说明的是，图2示出的获得第一联邦学习模型的示意图中，仅以第一联邦学习系统中参与者数目为2为例说明该过程，图2中的第一联邦学习系统中参与者仅包括第一参与者和第二参与者(即其他参与者)，第二参与者与第一参与者的所执行的步骤相同。本申请中，第一联邦学习系统中参与者数目不做限定，在此不再赘述。
图2示出的训练过程为图1示出的架构训练出适用于各组参与者的联邦学习模型过程的一个子训练过程，这里的第一联邦学习模型是该子训练过程得到的一个阶段性的联邦学习模型。
第一联邦学习过程适用于参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合机器学习训练。比如有属于同一个地区的两个参与者A和B，其中参与者A是一家银行，参与者B是一个电商平台。参与者A和B在同一地区拥有较多相同的用户，但是A与B的业务不同，记录的用户数据特征是不同的。特别的，A和B记录的用户数据特征可能是互补的。在这样的场景下，可以使用第一联邦学习方法来帮助A和B构建联合机器学习预测模型，帮助A和B向客户提供更好的服务。
为了帮助A和B联合建模，需要协调者C参与。第一部分：参与者A和B实现加密样本对齐例。由于两家企业A和B的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在A和B不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。
第一联邦学习的加密模型训练过程如下(以下步骤仅以梯度下降算法为例说明训练过程)：
在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，需要借助协调者C进行加密训练。以线性回归模型为例，训练过程可分为以下4步。第①步，协调者C把公钥分发给A和B，用以对训练过程中需要交换的数据进行加密。第②步，参与者A和B之间以加密形式交互用于计算梯度的中间结果。第③步：参与者A和B分别基于加密的梯度值进行计算，同时参与者B根据其标签数据计算损失函数，并把结果汇总给协调者C。协调者C通过汇总结果计算总梯度值并将其解密。第④步：协调者C将解密后的梯度分别回传给参与者A和B，参与者A和B根据梯度更新各自模型的参数。参与者和协调者迭代上述步骤直至损失函数收敛或者是模型参数收敛或者是达到最大迭代次数或者是达到最大训练时间，这样就完成了整个模型训练过程。
需要注意的是，在第一联邦学习和第二联邦学习过程中，加密操作和加密传输都是可选的，是需要根据具体应用场景的来决定的，并不是所有的应用场景都需要加密操作和加密传输。
实际应用过程中，经常会遇到参与者A和B拥有的数据虽然能形成互补，可以联合构建机器学习模型，但是参与者A和B拥有的数据量都非常少，构建的联合模型的性能不能达到预期指标。特别的，深度学习(deep learning)的强大功能是建立在海量数据的基础之上的。同样，集成学习(ensemble learning)的性能，例如，XGboost，也是建立在海量数据基础之上的。在实际应用场景中，利用纵向联邦学习技术构建深度学习模型或者集成学习模型时，就需要解决参与者A和B拥有的数据量太小的问题。
具体来说，通过图1示出的混合联邦学习架构，得到适用于各组参与者的联邦学习模型的具体过程可以如下：
首先需要说明的是，同组第一联邦学习系统间的各参与者的数据集之间包含有相同的样本特征及不同的样本对象。比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是它们的业务很相似，记录的用户数据特征很大部分是相同的。可以使用对各组的第一联邦学习模型进行融合得到第二联邦学习模型，来帮助两家银行构建联合模型来预测他们的客户行为。
如果参与者A1、B1、A2、B2拥有的数据量过少，那么通过纵向联邦学习获得的模型M1和M2的性能可能都会比较差，达不到预期指标。而通过联合协调者C1和C2并进行横向联邦学习构建的模型M，性能就很可能有较大的提升，能够满足预期要求。
这里举例说明可能的实际应用场景。例如，参与者(Ai,Bi)联合拥有的数据与和(Aj,Bj)联合拥有的数据的数据特征相同(same feature space)，但是用户不同(non-overlapping sample/ID space)。而参与者Aj和Bj拥有的数据的用户相同(same sample/ID space)，但是数据特征不同(different feature space)。即实际应用场景可以是参与者(Ai,Bi)和(Aj,Bj)可以联合进行横向联邦学习；参与者Aj和Bj可以联合进行纵向联邦学习。其中，i,j＝1,2，i≠j。
当协调者为各第一联邦学习系统内的组内协调者时，如图3所示，一种可能的实施方式中，混合联邦学习架构包括2个第一联邦学习系统(仅以图3示出的2个第一联邦学习系统为例说明，但第一联邦学习系统数量不限于2个)，协调者C1和协调者C2为组内协调者，由协调者C1和协调者C2，对各组的第一联邦学习模型进行融合得到第二联邦学习模型，具体如下：
(a)协调者C1和参与者A1、B1训练第一联邦学习模型M1；与此同时，协调者C2和参与者A2、B2训练第一联邦学习模型M2。具体第一联邦学习模型训练过程可以参考图2所示例的纵向联邦学习的架构和流程。
(b)协调者C1和C2分别将第一联邦学习模型M1和M2发送给对方。
(c)协调者C1和C2分别进行模型融合，例如，对模型M1和M2参数的值的加权平均值，作为第二联邦学习模型M的对应参数值。
(d)协调者C1和C2分别将第二联邦学习模型M分发给参与者A1、B1、A2、B2。
(e)协调者C1和参与者A1、B1在第二联邦学习模型M的基础上继续训练第一联邦学习模型，并更新第一联邦学习模型M1；与此同时，协调者C2和参与者A2、B2在第二联邦学习模型M的基础上继续训练模型，并更新第一联邦学习模型M2。该过程也可以图2所示例的纵向联邦学习的架构和流程。
迭代以上过程(a)-(e)直到第二联邦学习模型M收敛或者达到最大迭代次数或者达到最大模型训练时间。
在训练好第二联邦学习模型M后，协调者C1将第二联邦学习模型M分发给参与者A1和B1，协调者C2将第二联邦学习模型M分发给参与者A2和B2。参与者A1、B1、A2、B2最终获得的是相同的第二联邦学习模型M。
当只有两个第一联邦学习系统时，两个第一联邦学习系统的协调者可以直接交换第一联邦学习模型Mj，不需要第三方的参与，可以节省系统资源和开销。
图3示出的架构中，目标是训练出一个联邦学习模型，不断优化更新联邦学习模型的参数。最终输出的是最后一轮训练得到的M，而在每一轮训练中都 对M1、M2和M参数做更新，除了最后一轮输出的M外，每一轮训练中的M1、M2和M均为中间训练阶段的学习模型。
当协调者为各第一联邦学习系统间的组间协调者时，如图4所示，一种可能的实施方式中，混合联邦学习架构包括K个第一联邦学习系统，K为大于或等于2的整数，由组内协调者C1～CK以及组间协调者C0，对各组的第一联邦学习模型进行融合得到第二联邦学习模型，具体如下：
(a)协调者Cj和参与者Aj、Bj训练第一联邦学习模型Mj，j＝1,2，…,K。具体过程可以参考图2所示例的架构和流程。
(b)协调者Cj将第一联邦学习模型Mj发送给组间协调者C0，j＝1,2,…,K。
(c)组间协调者C0对收到的第一联邦学习模型Mj进行模型融合，例如，对第一联邦学习模型M1～Mj参数的值的加权平均值，获得适用于各组参与者的第二联邦学习模型M。
(d)组间协调者C0将第二联邦学习模型更新M分发给各个协调者Cj，j＝1,2,…,K。另一种可能的实现方式是，组间协调者C0将第二联邦学习模型更新M直接分发给参与者Aj和Bj，j＝1,2,…,K。
(e)协调者Cj将第二联邦学习模型更新M转发给参与者Aj和Bj，j＝1,2,…,K。
(f)协调者Cj和参与者Aj、Bj在第二联邦学习模型M的基础上继续训练第一联邦学习模型，并更新第一联邦学习模型Mj，j＝1,2,…,K。具体过程可以参考图2所示例的联邦学习架构和模型训练流程。
迭代以上过程(a)-(f)直到第二联邦学习模型M收敛或者达到最大迭代次数或者达到最大训练时间。
在训练好第二联邦学习模型M后，组间协调者C0将训练好的第二联邦学习模型M分发给协调者Cj，再由协调者Cj将第二联邦学习模型M分发给参与者Aj和Bj，j＝1,2,…,K。参与者Aj和Bj最终获得的是相同的第二联邦学习模型M，j＝1,2,…,K。另一种可能的实现方式是，组间协调者C0直接将训练好的第二联邦学习模型M分发给参与者Aj和Bj，j＝1,2,…,K。
图4示出的架构中，目标是训练出一个联邦学习模型，不断优化更新联邦学习模型的参数。最终输出的是最后一轮训练得到的M，每一轮训练中都对多个Mj和M参数做更新，除了最后一轮输出的M外，每一轮训练中的Mj和M均为中间训练阶段的学习模型。
上述协调者为各第一联邦学习系统内的组内协调者或各第一联邦学习系统间的组间协调者的实施方式中，包括两种混合联邦学习系统的分级联邦学 习模型训练：(1)参与者与组内协调者组成第一联邦学习子系统，训练第一联邦学习模型Mj；再由两个组内协调者组成训练第二联邦学习模型M；(2)由多个组内协调者与组间协调者共同训练第二联邦学习模型M。(1)(2)两种方式中均由组内协调者或者组间协调者分发训练好的第二联邦学习模型给参与者。参与者最后获得的和使用的是各个第一联邦学习子系统训练的第二联邦学习模型。
当有多个第一联邦学习系统时，可以由组间协调者将全局模型直接分发给各个参与者，不需要第一联邦学习子系统的协调者的中转，节省了通信开销，降低了通信时延，可以加快模型训练。
本申请实施例中，混合联邦学习的第一联邦学习系统中可以包括2个或者2个以上参与者。而且，参与者与协调者、参与者和参与者之间、协调者和全局协调者之间消息传输都可以是加密的消息传输，例如，使用同态加密技术，也可以是不加密的消息传输。所述消息传输包括数据相关信息传输、梯度信息传输、模型参数更新传输、模型性能测试结果传输、模型训练触发命令传输等。
结合图1示出的架构，下面通过图5，说明本申请提出的一种混合联邦学习方法。该方法适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；该方法步骤如下：
步骤501：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型。
步骤502：对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内的参与者。
步骤503：针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
需要说明的是，步骤501～步骤503的目标是训练出一个联邦学习模型，即为最后一轮输出的第二联邦学习模型。返回步骤502直至训练结束的过程是不断优化更新联邦学习模型的参数的过程。在步骤501～步骤503过程中产生的联邦学习模型均是为了得到最后一轮输出的第二联邦学习模型的中间产物。
步骤501中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果。针对任一组的任一参与者，执行以下 训练过程得到所述第一联邦学习模型的过程具体包括：
所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
步骤502中，可以方式为，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
另一种可能实现的方式中，通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者；所述组内协调者将所述第二联邦学习模型发送给组内参与者。
具体可通过第二联邦学习方式来进行：
第二联邦学习适用于各个参与者的数据特征重叠较多，而用户重叠较少的情况下，取出参与者数据特征相同而用户不完全相同的那部分数据进行联合机器学习。比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是它们的业务很相似，记录的用户数据特征很大部分是相同的。可以使用横向联邦学习来帮助两家银行构建联合模型来预测他们的客户行为。
如图6所示例的联邦学习系统架构，第①步，当一个组内协调者A在本地完成模型参数更新后，组内协调者A可以向组间协调者发送组内协调者A在本地获得的模型参数更新。组内协调者A可以通过加密的方式，例如，使用同态加密技术，向组间协调者发送模型参数更新。所述模型参数可以是联邦学习模型的参数，例如，神经网络的节点之间连接的权重参数；或者，所述联合模型参数也可以是联邦学习模型的梯度信息，例如，神经网络梯度下降算法中的梯度信息。第②步，组间协调者将所收到的来自不同组内协调者的模型参数更新进行融合，例如，求取加权平均。第③步，组间协调者将融合后的第二联邦学习模型参数更新(也称为全局模型参数)再分发给各个组内协调者。组间协调者也可以通过加密的方式传输第二联邦学习模型参数。第④步，组内协调者可以将收到的第二联邦学习模型参数用作本地模型训练的起始模型(starting point)或者是作为第一联邦学习模型的最新模型参数，以便开始训练或者是在第一联邦学习模型的基础上继续训练。
组内协调者和组间协调者迭代上述步骤直至损失函数收敛或者是模型参 数收敛或者是达到最大迭代次数或者是达到最大训练时间，这样就完成了整个模型训练过程。
需要说明的是，步骤503中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
本申请提出的混合联邦学习方法及架构中，通过分级进行联邦学习模型训练：先训练得到各第一联邦学习系统的第一联邦学习模型，再根据各第一联邦学习模型进行横向融合，得到第二联邦学习模型。因此，可以通过本申请中的方法及架构来使用多个参与者拥有的数据，而且第一联邦学习系统的扩展性较好，可以有效解决参与者拥有的数据量太小的问题。
本申请实施例提供一种计算机设备，包括程序或指令，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述计算机设备包括程序或指令，当所述程序或指令被执行时，实现如下步骤：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
一种可选实施方式中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
一种可选实施方式中，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者 根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
本申请实施例提供一种存储介质，包括程序或指令，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述存储介质包括程序或指令，当所述程序或指令被执行时，实现如下步骤：针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
一种可选实施方式中，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
一种可选实施方式中，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第 二联邦学习模型，包括：将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
一种可选实施方式中，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

  1. 一种混合联邦学习方法，其特征在于，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述方法包括：
    针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
  2. 如权利要求1所述的方法，其特征在于，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
  3. 如权利要求1所述的方法，其特征在于，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：
    针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：
    所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；
    所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；
    所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；
    所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
  4. 如权利要求1-3任一所述的方法，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作 为所述第二联邦学习模型中该参数的值。
  5. 如权利要求1-3任一所述的方法，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；
    通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
  6. 一种混合联邦学习架构，其特征在于，包括：多组第一联邦学习系统和协调者；其中，每组第一联邦学习系统包括多个参与者；同组第一联邦学习系统内的各参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组第一联邦学习系统间的各参与者的数据集之间包含有相同的样本特征及不同的样本对象；
    任一参与者，用于根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；
    所述协调者，用于对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者。
  7. 如权利要求6所述的架构，其特征在于，所述协调者为各第一联邦学习系统内的组内协调者；或所述协调者为各第一联邦学习系统间的组间协调者。
  8. 如权利要求7所述的架构，其特征在于，所述参与者，用于将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；
    所述参与者，还用于根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；
    所述组内协调者，还用于根据各参与者的训练结果确定更新参数并发送给各参与者；
    所述参与者，还用于根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
  9. 如权利要求6-8任一所述的架构，其特征在于，所述协调者具体用于：
    将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
  10. 如权利要求6-8任一所述的架构，其特征在于，所述协调者具体用于：
    通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；
    通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
  11. 一种计算机设备，其特征在于，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述计算机设备包括程序或指令，当所述程序或指令被执行时，实现如下步骤：
    针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
  12. 如权利要求11所述的计算机设备，其特征在于，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
  13. 如权利要求11所述的计算机设备，其特征在于，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：
    针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：
    所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；
    所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；
    所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；
    所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
  14. 如权利要求11-13任一所述的计算机设备，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作 为所述第二联邦学习模型中该参数的值。
  15. 如权利要求11-13任一所述的计算机设备，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；
    通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
  16. 一种存储介质，其特征在于，适用于具有多组参与者的联邦模型训练，其中，同一组内的参与者的数据集之间包含有相同的样本对象及不同的样本特征；不同组间的参与者的数据集之间包含有相同的样本特征及不同的样本对象；所述存储介质包括程序或指令，当所述程序或指令被执行时，实现如下步骤：
    针对每个组，根据组内参与者的数据集联合训练每组的第一联邦学习模型；其中，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果；对各组的第一联邦学习模型进行融合得到第二联邦学习模型，并将所述第二联邦学习模型发送给每个组内参与者；针对每个组，根据所述第二联邦学习模型及所述组内参与者的数据集训练得到更新后的第一联邦学习模型，返回对各组的第一联邦学习模型进行融合得到第二联邦学习模型的步骤，直至模型训练结束。
  17. 如权利要求16所述的存储介质，其特征在于，所述模型训练结束的预设终止条件包括以下至少一项：所述第二联邦学习模型的参数收敛；所述第二联邦学习模型的更新次数大于或等于预设训练次数；所述第二联邦学习模型的训练时间大于或等于预设训练时长。
  18. 如权利要求16所述的存储介质，其特征在于，每个组包括组内协调者，训练所述第一联邦学习模型的过程中组内每个参与者都与组内其他参与者交换了训练的中间结果，包括：
    针对任一组的任一参与者，执行以下训练过程得到所述第一联邦学习模型，包括：
    所述参与者将根据所述参与者的数据集训练的初始模型的中间结果发送给其他参与者；
    所述参与者根据所述其他参与者反馈的中间结果，得到所述初始模型的训练结果，并发送给所述组内协调者；
    所述组内协调者根据各参与者的训练结果，确定更新参数并发送给各参与者；
    所述参与者根据所述更新参数更新所述初始模型，得到所述第一联邦学习模型。
  19. 如权利要求16-18任一所述的存储介质，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值。
  20. 如权利要求16-18任一所述的存储介质，其特征在于，所述对各组的第一联邦学习模型进行融合得到第二联邦学习模型，包括：
    通过组间协调者，将所述各组的第一联邦学习模型中同一参数的参数值进行加权平均，作为所述第二联邦学习模型中该参数的值；
    通过所述组间协调者，将所述第二联邦学习模型发送给各组内协调者。
PCT/CN2019/117518 2019-08-06 2019-11-12 一种混合联邦学习方法及架构 WO2021022707A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910720373.9A CN110490738A (zh) 2019-08-06 2019-08-06 一种混合联邦学习方法及架构
CN201910720373.9 2019-08-06

Publications (1)

Publication Number Publication Date
WO2021022707A1 true WO2021022707A1 (zh) 2021-02-11

Family

ID=68549883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117518 WO2021022707A1 (zh) 2019-08-06 2019-11-12 一种混合联邦学习方法及架构

Country Status (2)

Country Link
CN (1) CN110490738A (zh)
WO (1) WO2021022707A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949760A (zh) * 2021-03-30 2021-06-11 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质
CN113037662A (zh) * 2021-03-02 2021-06-25 电子科技大学 一种基于联邦学习的移动设备射频分布识别方法
CN113037722A (zh) * 2021-02-26 2021-06-25 济南浪潮高新科技投资发展有限公司 一种边缘计算场景的入侵检测方法及设备
CN113112026A (zh) * 2021-04-02 2021-07-13 佳讯飞鸿（北京）智能科技研究院有限公司 一种联邦学习模型优化方法及装置
CN113139796A (zh) * 2021-05-10 2021-07-20 深圳市洞见智慧科技有限公司 基于纵向联邦学习的推荐方法及装置
CN113240461A (zh) * 2021-05-07 2021-08-10 广州银行股份有限公司 基于纵向联邦学习的潜在客户的识别方法、系统及介质
CN113298404A (zh) * 2021-06-03 2021-08-24 光大科技有限公司 联邦学习参与方工作量确定方法及装置
CN113315604A (zh) * 2021-05-25 2021-08-27 电子科技大学 一种联邦学习自适应梯度量化方法
CN113379071A (zh) * 2021-06-16 2021-09-10 中国科学院计算技术研究所 一种基于联邦学习的噪声标签修正方法
CN113486378A (zh) * 2021-07-22 2021-10-08 杭州煋辰数智科技有限公司 基于联邦学习实现数据集构建处理的系统及其生成方法
CN113673696A (zh) * 2021-08-20 2021-11-19 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113723619A (zh) * 2021-08-31 2021-11-30 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN113792883A (zh) * 2021-03-03 2021-12-14 京东科技控股股份有限公司 基于联邦学习的模型训练方法、装置、设备和介质
CN113992676A (zh) * 2021-10-27 2022-01-28 天津大学 端边云架构和完全信息下分层联邦学习的激励方法及系统
CN113992692A (zh) * 2021-10-27 2022-01-28 天津大学 端边云架构和不完全信息下分层联邦学习的方法及系统
CN114004363A (zh) * 2021-10-27 2022-02-01 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及系统
CN114219160A (zh) * 2021-12-20 2022-03-22 湖南大学 一种基于联邦学习的生产链协同调度方法
CN114363176A (zh) * 2021-12-20 2022-04-15 中山大学 一种基于联邦学习的网络辨别方法、装置、终端及介质
CN114648131A (zh) * 2022-03-22 2022-06-21 中国电信股份有限公司 联邦学习方法、装置、系统、设备及介质
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
CN115021883A (zh) * 2022-07-13 2022-09-06 北京物资学院 无线蜂窝系统中应用联邦学习的信令机制
CN115086399A (zh) * 2022-07-28 2022-09-20 深圳前海环融联易信息科技服务有限公司 基于超网络的联邦学习方法、装置及计算机设备
WO2023130705A1 (zh) * 2022-01-10 2023-07-13 华为技术有限公司 用户数据处理的系统、方法以及装置
CN116665319A (zh) * 2023-07-31 2023-08-29 华南理工大学 一种基于联邦学习的多模态生物特征识别方法
WO2024128676A1 (en) * 2022-12-13 2024-06-20 Samsung Electronics Co., Ltd. Method and apparatus for supporting hybrid federated learning workload in communication system

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062044B (zh) * 2019-12-09 2021-03-23 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN111177249B (zh) * 2019-12-10 2022-05-17 浙江大学 一种基于联邦学习思想的多数据源数据可视化方法和装置
CN111222646B (zh) * 2019-12-11 2021-07-30 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质
CN111178538B (zh) * 2019-12-17 2023-08-15 杭州睿信数据科技有限公司 垂直数据的联邦学习方法及装置
CN111125779A (zh) * 2019-12-17 2020-05-08 山东浪潮人工智能研究院有限公司 一种基于区块链的联邦学习方法及装置
CN111126609B (zh) * 2019-12-20 2021-04-23 深圳前海微众银行股份有限公司 基于联邦学习的知识迁移方法、装置、设备及介质
CN111242316B (zh) * 2020-01-09 2024-05-28 深圳前海微众银行股份有限公司 纵向联邦学习模型训练优化方法、装置、设备及介质
CN111241567B (zh) * 2020-01-16 2023-09-01 深圳前海微众银行股份有限公司 纵向联邦学习中的数据共享方法、系统及存储介质
CN111310932A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN111352799A (zh) * 2020-02-20 2020-06-30 中国银联股份有限公司 一种巡检方法及装置
CN111325352B (zh) * 2020-02-20 2021-02-19 深圳前海微众银行股份有限公司 基于纵向联邦学习的模型更新方法、装置、设备及介质
CN111369042B (zh) * 2020-02-27 2021-09-24 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111260061B (zh) * 2020-03-09 2022-07-19 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111081337B (zh) * 2020-03-23 2020-06-26 腾讯科技（深圳）有限公司 一种协同任务预测方法及计算机可读存储介质
CN111461874A (zh) * 2020-04-13 2020-07-28 浙江大学 一种基于联邦模式的信贷风险控制系统及方法
CN111723946A (zh) * 2020-06-19 2020-09-29 深圳前海微众银行股份有限公司 一种应用于区块链的联邦学习方法及装置
US11636400B2 (en) 2020-06-24 2023-04-25 Jingdong Digits Technology Holding Co., Ltd. Federated doubly stochastic kernel learning on vertical partitioned data
CN111476376B (zh) * 2020-06-24 2020-10-16 支付宝(杭州)信息技术有限公司 联盟学习方法、联盟学习装置及联盟学习系统
CN111475853B (zh) * 2020-06-24 2020-12-11 支付宝(杭州)信息技术有限公司 一种基于分布式数据的模型训练方法及系统
CN111814985B (zh) * 2020-06-30 2023-08-29 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
US11283609B2 (en) 2020-08-21 2022-03-22 Huawei Technologies Co., Ltd. Method and apparatus for supporting secure data routing
US11588907B2 (en) * 2020-08-21 2023-02-21 Huawei Technologies Co., Ltd. System and methods for supporting artificial intelligence service in a network
CN112016697A (zh) * 2020-08-27 2020-12-01 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
US11842260B2 (en) 2020-09-25 2023-12-12 International Business Machines Corporation Incremental and decentralized model pruning in federated machine learning
CN112232518B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种轻量级分布式联邦学习系统及方法
CN112148437B (zh) * 2020-10-21 2022-04-01 深圳致星科技有限公司 用于联邦学习的计算任务加速处理方法、装置及设备
CN114529005A (zh) * 2020-11-03 2022-05-24 华为技术有限公司 机器学习模型管理方法、装置和系统
WO2022094888A1 (zh) * 2020-11-05 2022-05-12 浙江大学 一种面向决策树的纵向联邦学习方法
CN112396189B (zh) * 2020-11-27 2023-09-01 中国银联股份有限公司 一种多方构建联邦学习模型的方法及装置
CN112217706B (zh) * 2020-12-02 2021-03-19 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN113807380B (zh) * 2020-12-31 2023-09-01 京东科技信息技术有限公司 一种联邦学习模型的训练方法、装置及电子设备
CN113051606A (zh) * 2021-03-11 2021-06-29 佳讯飞鸿（北京）智能科技研究院有限公司 一种智能体的区块链互信方法
CN112990488B (zh) * 2021-03-16 2024-03-26 香港理工大学深圳研究院 一种基于机器异构性的联邦学习方法
CN113704810B (zh) * 2021-04-01 2024-04-26 华中科技大学 一种面向联邦学习的跨链共识方法及系统
CN113689003B (zh) * 2021-08-10 2024-03-22 华东师范大学 一种安全的去除第三方的混合联邦学习框架及方法
CN115936659A (zh) * 2021-09-30 2023-04-07 中兴通讯股份有限公司 模型训练方法、系统、电子设备和计算机可读存储介质
CN114186694B (zh) * 2021-11-16 2024-06-11 浙江大学 一种高效安全，低通信的纵向联邦学习方法
CN114221957A (zh) * 2021-11-30 2022-03-22 中国电子科技网络信息安全有限公司 一种联邦管理系统
CN114418132A (zh) * 2021-12-27 2022-04-29 海信集团控股股份有限公司 家庭健康管理模型的使用与训练方法
CN114090983A (zh) * 2022-01-24 2022-02-25 亿景智联(北京)科技有限公司 一种异构联邦学习平台联通方法及装置
CN117014449A (zh) * 2022-04-29 2023-11-07 索尼集团公司 用于无线通信系统的电子设备、方法和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284313A (zh) * 2018-08-10 2019-01-29 深圳前海微众银行股份有限公司 基于半监督学习的联邦建模方法、设备及可读存储介质
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN109711529A (zh) * 2018-11-13 2019-05-03 中山大学 一种基于值迭代网络的跨领域联邦学习模型及方法
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284313A (zh) * 2018-08-10 2019-01-29 深圳前海微众银行股份有限公司 基于半监督学习的联邦建模方法、设备及可读存储介质
CN109711529A (zh) * 2018-11-13 2019-05-03 中山大学 一种基于值迭代网络的跨领域联邦学习模型及方法
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113037722A (zh) * 2021-02-26 2021-06-25 济南浪潮高新科技投资发展有限公司 一种边缘计算场景的入侵检测方法及设备
CN113037722B (zh) * 2021-02-26 2022-06-07 山东浪潮科学研究院有限公司 一种边缘计算场景的入侵检测方法及设备
CN113037662A (zh) * 2021-03-02 2021-06-25 电子科技大学 一种基于联邦学习的移动设备射频分布识别方法
CN113792883A (zh) * 2021-03-03 2021-12-14 京东科技控股股份有限公司 基于联邦学习的模型训练方法、装置、设备和介质
CN113792883B (zh) * 2021-03-03 2024-04-16 京东科技控股股份有限公司 基于联邦学习的模型训练方法、装置、设备和介质
CN112949760A (zh) * 2021-03-30 2021-06-11 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质
CN112949760B (zh) * 2021-03-30 2024-05-10 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质
CN113112026A (zh) * 2021-04-02 2021-07-13 佳讯飞鸿（北京）智能科技研究院有限公司 一种联邦学习模型优化方法及装置
CN113112026B (zh) * 2021-04-02 2024-05-28 佳讯飞鸿（北京）智能科技研究院有限公司 一种联邦学习模型优化方法及装置
CN113240461A (zh) * 2021-05-07 2021-08-10 广州银行股份有限公司 基于纵向联邦学习的潜在客户的识别方法、系统及介质
CN113240461B (zh) * 2021-05-07 2022-08-16 广州银行股份有限公司 基于纵向联邦学习的潜在客户的识别方法、系统及介质
CN113139796B (zh) * 2021-05-10 2022-06-21 深圳市洞见智慧科技有限公司 基于纵向联邦学习的推荐方法及装置
CN113139796A (zh) * 2021-05-10 2021-07-20 深圳市洞见智慧科技有限公司 基于纵向联邦学习的推荐方法及装置
CN113315604A (zh) * 2021-05-25 2021-08-27 电子科技大学 一种联邦学习自适应梯度量化方法
CN113315604B (zh) * 2021-05-25 2022-06-03 电子科技大学 一种联邦学习自适应梯度量化方法
CN113298404A (zh) * 2021-06-03 2021-08-24 光大科技有限公司 联邦学习参与方工作量确定方法及装置
CN113379071A (zh) * 2021-06-16 2021-09-10 中国科学院计算技术研究所 一种基于联邦学习的噪声标签修正方法
CN113486378A (zh) * 2021-07-22 2021-10-08 杭州煋辰数智科技有限公司 基于联邦学习实现数据集构建处理的系统及其生成方法
CN113673696B (zh) * 2021-08-20 2024-03-22 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113673696A (zh) * 2021-08-20 2021-11-19 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113723619A (zh) * 2021-08-31 2021-11-30 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN114004363B (zh) * 2021-10-27 2024-05-31 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及系统
CN113992676A (zh) * 2021-10-27 2022-01-28 天津大学 端边云架构和完全信息下分层联邦学习的激励方法及系统
CN113992692B (zh) * 2021-10-27 2022-09-06 天津大学 端边云架构和不完全信息下分层联邦学习的方法及系统
CN113992676B (zh) * 2021-10-27 2022-09-06 天津大学 端边云架构和完全信息下分层联邦学习的激励方法及系统
CN113992692A (zh) * 2021-10-27 2022-01-28 天津大学 端边云架构和不完全信息下分层联邦学习的方法及系统
CN114004363A (zh) * 2021-10-27 2022-02-01 支付宝(杭州)信息技术有限公司 联合更新模型的方法、装置及系统
CN114363176A (zh) * 2021-12-20 2022-04-15 中山大学 一种基于联邦学习的网络辨别方法、装置、终端及介质
CN114219160A (zh) * 2021-12-20 2022-03-22 湖南大学 一种基于联邦学习的生产链协同调度方法
CN114363176B (zh) * 2021-12-20 2023-08-08 中山大学 一种基于联邦学习的网络辨别方法、装置、终端及介质
WO2023130705A1 (zh) * 2022-01-10 2023-07-13 华为技术有限公司 用户数据处理的系统、方法以及装置
CN114710330B (zh) * 2022-03-22 2023-01-24 华东师范大学 一种基于异构分层联邦学习的异常检测方法
CN114710330A (zh) * 2022-03-22 2022-07-05 华东师范大学 一种基于异构分层联邦学习的异常检测方法
CN114648131A (zh) * 2022-03-22 2022-06-21 中国电信股份有限公司 联邦学习方法、装置、系统、设备及介质
CN115021883B (zh) * 2022-07-13 2022-12-27 北京物资学院 无线蜂窝系统中应用联邦学习的信令机制
CN115021883A (zh) * 2022-07-13 2022-09-06 北京物资学院 无线蜂窝系统中应用联邦学习的信令机制
CN115086399A (zh) * 2022-07-28 2022-09-20 深圳前海环融联易信息科技服务有限公司 基于超网络的联邦学习方法、装置及计算机设备
WO2024128676A1 (en) * 2022-12-13 2024-06-20 Samsung Electronics Co., Ltd. Method and apparatus for supporting hybrid federated learning workload in communication system
CN116665319A (zh) * 2023-07-31 2023-08-29 华南理工大学 一种基于联邦学习的多模态生物特征识别方法
CN116665319B (zh) * 2023-07-31 2023-11-24 华南理工大学 一种基于联邦学习的多模态生物特征识别方法

Also Published As

Publication number Publication date
CN110490738A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
WO2021022707A1 (zh) 一种混合联邦学习方法及架构
Cheng et al. Federated learning for privacy-preserving AI
CN111611315B (zh) 面向金融大数据的多叉树结构区块链集成优化存储方法
CN111461874A (zh) 一种基于联邦模式的信贷风险控制系统及方法
CN112288094B (zh) 联邦网络表示学习方法及系统
CN111125779A (zh) 一种基于区块链的联邦学习方法及装置
CN109151013A (zh) 基于联盟区块链的物流业信息平台
WO2022016964A1 (zh) 纵向联邦建模优化方法、设备及可读存储介质
CN110084377A (zh) 用于构建决策树的方法和装置
CN111935156A (zh) 一种联邦学习的数据隐私保护方法
CN114417421A (zh) 一种基于元宇宙的共享信息隐私保护方法及相关装置
CN115775010A (zh) 基于横向联邦学习的电力数据共享方法
CN113660327A (zh) 一种区块链系统、区块链节点加入方法和交易方法
CN113420335B (zh) 一种基于区块链的联邦学习系统
Liu et al. Ltsm: Lightweight and trusted sharing mechanism of iot data in smart city
CN108009818A (zh) 一种基于分布式网络的线上支付方法及系统
CN109636610A (zh) 一种去中心化的数据交易系统及方法
Fan et al. Mobile devices strategies in blockchain-based federated learning: A dynamic game perspective
CN112862303A (zh) 一种基于区块链的众包质量评估的系统及方法
Poonpakdee et al. Applying epidemic algorithm for financial service based on blockchain technology
Bandara et al. Bassa-ml—a blockchain and model card integrated federated learning provenance platform
Yan et al. Multi-participant vertical federated learning based time series prediction
CN114491616A (zh) 基于区块链和同态加密的联邦学习方法和应用
CN115514761A (zh) 联邦学习环境下的数据共享与协同方法及系统
CN113657616A (zh) 联邦学习模型的更新方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940548

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940548

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05/08/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19940548

Country of ref document: EP

Kind code of ref document: A1