WO2021159798A1 - 纵向联邦学习系统优化方法、设备及可读存储介质 - Google Patents

纵向联邦学习系统优化方法、设备及可读存储介质 Download PDF

Info

Publication number
WO2021159798A1
WO2021159798A1 PCT/CN2020/129255 CN2020129255W WO2021159798A1 WO 2021159798 A1 WO2021159798 A1 WO 2021159798A1 CN 2020129255 W CN2020129255 W CN 2020129255W WO 2021159798 A1 WO2021159798 A1 WO 2021159798A1
Authority
WO
WIPO (PCT)
Prior art keywords
intermediate result
encrypted
data
learning system
federated learning
Prior art date
Application number
PCT/CN2020/129255
Other languages
English (en)
French (fr)
Inventor
郑会钿
范涛
马国强
谭明超
陈天健
杨强
Original Assignee
深圳前海微众银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海微众银行股份有限公司 filed Critical 深圳前海微众银行股份有限公司
Publication of WO2021159798A1 publication Critical patent/WO2021159798A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Definitions

  • This application relates to the field of machine learning technology, and in particular to a method, equipment and readable storage medium for optimizing a longitudinal federated learning system.
  • Longitudinal federated learning is to take out the part of users and data with the same participant users but different user data characteristics to jointly train the machine learning model when the data characteristics of the participants are less overlapped and the users overlap more.
  • participant A is a bank and participant B is an e-commerce platform.
  • Participants A and B have more of the same users in the same area, but A and B have different businesses, and the recorded user data characteristics are different.
  • the user data characteristics recorded by A and B may be complementary.
  • vertical federated learning can be used to help A and B build a joint machine learning prediction model to help A and B provide better services to their customers.
  • the main purpose of this application is to provide a vertical federated learning system optimization method, device, equipment and readable storage medium, aiming to reduce the encryption and communication costs in the vertical federated learning training process and shorten the modeling time.
  • this application provides a vertical federated learning system optimization method, which is applied to a first device participating in vertical federated learning, and the first device is communicatively connected with a second device.
  • the vertical federated learning system optimization method includes the following step:
  • the encrypted first gradient value corresponding to the model parameter in the first device is calculated by using the encrypted and supplemented intermediate result of the second device, and the model parameter of the first device is updated based on the encrypted first gradient value, and loop Iterate until it is detected that the preset stop condition is met, and obtain the target model parameters of the first device after the training is completed.
  • the step of performing data supplementation on the encrypted and simplified intermediate result of the second device to obtain the encrypted and supplemented intermediate result includes:
  • the padding data is inserted based on the padding position to obtain the encrypted and supplemented intermediate result of the second device.
  • the step of calculating the encrypted first gradient value corresponding to the model parameter in the first device by using the intermediate result of the encryption and filling of the second device includes:
  • the encrypted first gradient value corresponding to the model parameter in the first device is calculated by using the encrypted intermediate result of the first device.
  • the step of calculating the intermediate result of the encryption and condensing of the first device for calculating the gradient value includes:
  • the first device performs sampling processing on the calculated original intermediate results corresponding to each piece of sample data of the first device to obtain a simplified intermediate result corresponding to part of the sample data of the first device;
  • the step of using the encrypted and supplemented intermediate result of the second device and the encrypted and simplified intermediate result of the first device to calculate the encrypted intermediate result of the first device includes:
  • the encrypted intermediate result of the first device and the encrypted intermediate result of the second device are used to calculate the intermediate encrypted result of the first device.
  • this application also provides a method for optimizing a longitudinal federated learning system, which is applied to a second device participating in longitudinal federated learning, and the method for optimizing a longitudinal federated learning system includes the following steps:
  • the simplification intermediate result is fed back to the encrypted intermediate result of the first device, wherein the first device is used to perform data supplementation on the received encryption simplification intermediate result of the second device to obtain the encryption supplement of the second device
  • An intermediate result, and the encryption intermediate result of the first device is calculated by using the encryption complement of the second device to obtain the intermediate result of the encryption;
  • the step of performing sampling processing on the calculated original intermediate results corresponding to each piece of sample data of the second device, and obtaining the simplified intermediate results corresponding to the partial sample data of the second device includes:
  • model parameters of the second device to respectively perform a weighted summation on each piece of sample data of the second device, and calculate the original intermediate result of the second device;
  • the original intermediate result of the second device is split based on the threshold to obtain a first sub-original intermediate result and a second sub-original intermediate result, wherein each data in the first sub-original intermediate result is less than or equal to the threshold, Each data in the second sub-original intermediate result is greater than a threshold;
  • this application also provides an optimization device for a longitudinal federated learning system.
  • the device for optimizing a longitudinal federated learning system includes a memory, a processor, and a longitudinal federated learning system that is stored in the memory and can run on the processor.
  • a federated learning system optimization program which implements the steps of the vertical federated learning system optimization method as described above when the vertical federated learning system optimization program is executed by the processor.
  • this application also proposes a readable storage medium that stores a vertical federated learning system optimization program on the readable storage medium.
  • the vertical federated learning system optimization program is executed by a processor, the above The steps of the optimization method of the longitudinal federated learning system are described.
  • the encrypted and simplified intermediate result of the second device sent by the second device is received, wherein the second device performs sampling processing on the calculated original intermediate result corresponding to each piece of sample data of the second device to obtain
  • the simplified intermediate result corresponding to part of the sample data of the second device is encrypted, and the simplified intermediate result of the second device is encrypted to obtain the encrypted simplified intermediate result of the second device, and then the second device is encrypted Simplify the intermediate result and perform data complementation to obtain the encrypted complementation intermediate result of the second device, where the data quantity of the encrypted complementation intermediate result is the same as the data quantity of the original intermediate result, and then the second device is used
  • the encrypted first gradient value corresponding to the model parameter in the first device is calculated by the intermediate result of the encrypted complementation, and the model parameter of the first device is updated based on the encrypted first gradient value, and iterates until it is detected that the preset value is satisfied.
  • the target model parameters of the first device after training are obtained.
  • the amount of data that needs to be encrypted and communicated is reduced, the encryption and communication costs are reduced, and the vertical federation modeling time is greatly shortened.
  • FIG. 1 is a schematic structural diagram of a hardware operating environment involved in a solution of an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a first embodiment of a method for optimizing a vertical federated learning system according to this application;
  • FIG. 3 is a schematic diagram of sample data involved in an embodiment of this application.
  • Fig. 1 is a schematic structural diagram of a hardware operating environment involved in a solution of an embodiment of the present application.
  • Fig. 1 can be a structural schematic diagram of the hardware operating environment of the optimization device of the longitudinal federated learning system.
  • the optimization device of the longitudinal federated learning system in the embodiment of the present application may be a PC, or a terminal device with a display function, such as a smart phone, a smart TV, a tablet computer, and a portable computer.
  • the optimization device of the vertical federated learning system may include: a processor 1001, such as a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection and communication between these components.
  • the user interface 1003 may include a display screen (Display) and an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory, or a non-volatile memory (non-volatile memory), such as a magnetic disk memory.
  • the memory 1005 may also be a storage device independent of the aforementioned processor 1001.
  • FIG. 1 does not constitute a limitation on the terminal system, and may include more or fewer components than shown in the figure, or a combination of certain components, or different component arrangements.
  • the memory 1005 as a readable storage medium may include an operating system, a network communication module, a user interface module, and a vertical federated learning system optimization program.
  • the network interface 1004 is mainly used to connect to a background server and communicate with the background server;
  • the user interface 1003 is mainly used to connect to a client (client) and communicate with the client; and
  • the processor 1001 can be used to call the optimization program of the longitudinal federated learning system stored in the memory 1005.
  • the terminal system includes: a memory 1005, a processor 1001, and a vertical federated learning system optimization program stored on the memory 1005 and running on the processor 1001, wherein the processor 1001 calls the memory 1005
  • the steps of the longitudinal federated learning system optimization method provided in each embodiment of the present application are executed.
  • the embodiment of the application provides an embodiment of the optimization method of a longitudinal federated learning system. It should be noted that although the logical sequence is shown in the flowchart, in some cases, the sequence shown here can be executed in a different order. Steps out or described.
  • the first device and the second device involved in the embodiments of the present application may be participating devices that participate in longitudinal federated learning, and the participating devices may be devices such as smart phones, personal computers, and servers.
  • FIG. 2 is a schematic flowchart of a first embodiment of a method for optimizing a longitudinal federated learning system according to this application.
  • the optimization method of the longitudinal federated learning system includes:
  • Step S10 receiving the encrypted and condensed intermediate result of the second device sent by the second device, where the second device is used to sample the calculated original intermediate results corresponding to each piece of sample data of the second device, Obtaining a simplified intermediate result corresponding to part of the sample data of the second device, and encrypting the simplified intermediate result of the first device to obtain the encrypted and simplified intermediate result of the first device;
  • the first device and the second device establish a communication connection in advance.
  • the local data of the first device and the second device have overlapping parts in the user dimension, and have different parts (may be completely different) in data characteristics.
  • the first device and the second device use their respective local data for sample alignment, Determine the shared users and different data characteristics of the two parties.
  • the first device uses the data of the shared user in the local data as training data
  • the second device uses the data of the shared user in the local data that is different from the data of the first device as the training data. , That is, the users in the final first sample data and the second sample data are the same, and the data features are different.
  • the manner in which the first device and the second device perform sample alignment can adopt existing sample alignment techniques, which will not be described in detail here.
  • Figure 3 is a schematic diagram of sample data in the first device and the second device.
  • the local data of the first device includes 3 users ⁇ U1, U2, U3 ⁇ , and the data features include ⁇ X1, X2, X3 ⁇ , and the second device
  • the local data includes 3 users ⁇ U1, U2, U4 ⁇ , and the data features include ⁇ X4, X5 ⁇ .
  • the training data determined by the first device is the data of the users U1 and U2 under the data features X1, X2, and X3
  • the training data determined by the second device is the data of the users U1 and U2 under the data features X4 and X5.
  • the first device and the second device interact in encrypted form to calculate the intermediate results of the gradient and loss function, where the encryption adopts a homomorphic encryption algorithm
  • the public key and private key are generated by a third-party coordinator jointly trusted by the first device and the second device, and the public key is sent to the first device and the second device for encryption, and the first device and the second device will encrypt the gradient value
  • the encrypted loss function is sent to the coordinator for decryption, and then the local model of the first device and the local model of the second device are updated according to the decrypted gradient value.
  • the linear models involved in this application include but are not limited to: logistic regression, linear regression, Poisson regression and other linear model algorithms based on weight learning.
  • this application takes longitudinal logistic regression model training as an example to illustrate that the first device participating in the longitudinal federated learning and the second device jointly construct a logistic regression model.
  • the second device owns the data Among them, D A represents the data set of the second device, and the first device owns the data And label
  • D B represents a first set of device data, and They are all multi-dimensional vectors, and yi is a scalar (for example, a scalar with a value of 0 or 1, indicating yes or no).
  • w A and w B correspond to and Machine learning model parameters
  • the loss function loss (also called cost function) is:
  • the loss is calculated on the first device.
  • the second device is required to send the intermediate results u A and To the first device for the first device to calculate the loss value.
  • the intermediate results need to be encrypted to avoid data privacy leakage, so the second device sends the encrypted intermediate results [[u A ]] and To the first device, where [[ ⁇ ]] means homomorphic encryption.
  • u A and The number of are respectively The number of samples is the same. Normally, the number of samples is very large.
  • the second device needs to correct u A and It is encrypted and then sent to the first device for interaction, so the entire encryption process is very time-consuming and has a large amount of communication.
  • the second device compares the original intermediate results u A and Sampled to give streamlined intermediate result u 'A, and From the original intermediate result to the simplified intermediate result, the amount of data in the data dimension is reduced, that is, the number of data in the simplified intermediate result is less than the number of data in the original intermediate result, so the amount of data that needs to be encrypted and communicated is reduced, and the encryption and communication are reduced. cost.
  • the second device encrypts the simplified intermediate result to obtain the encrypted and simplified intermediate result of the second device, and then sends the encrypted and simplified intermediate result to the first device.
  • the original intermediate result u A and The processing procedure of is similar.
  • u A is taken as an example for description.
  • Step S20 Perform data supplementation on the encrypted and simplified intermediate result of the second device to obtain the encrypted and supplemented intermediate result of the second device, wherein the data quantity of the encrypted and simplified intermediate result is the same as the data of the original intermediate result. The same amount;
  • the intermediate results of the first device and the second device are required to perform data alignment and related calculations. Therefore, after the first device receives the encrypted and simplified intermediate result of the second device, it needs to complete the data to obtain the encrypted and complete intermediate result to ensure encryption
  • the number of data to fill in the intermediate result is the same as that of the original intermediate result.
  • step S20 includes:
  • Step S21 acquiring a sampling comparison table of the second device, and determining padding data and a padding position corresponding to the padding data in the intermediate result of the encryption and simplification of the second device based on the sampling comparison table of the second device;
  • Step S22 In the encrypted and simplified intermediate result of the second device, the padding data is inserted based on the padding position to obtain the encrypted and supplemented intermediate result of the second device.
  • the sampling comparison table is generated when the second device performs sampling processing on the original intermediate results.
  • the sampling comparison table records the substitution relationship between the data in the simplified intermediate results and the data in the original intermediate results, for example,
  • the data a in the simplified intermediate result is the replacement data of data 1, data 2, and data 3 in the original intermediate result, and data a can be used to restore data 1, data 2, and data 3.
  • the homomorphic encryption algorithm is used for the simplified intermediate result, the sequence of the data will not be affected during the encryption process. Therefore, according to the sampling comparison table, the encrypted simplified intermediate result can be supplemented with data to ensure the encryption of the second device.
  • the result is aligned with the corresponding data in the first device.
  • the sampling comparison table of the second device is obtained, the sampling comparison table is sent by the second device to the first device, and the filling data is selected from the intermediate result of the encryption and condensing of the second device according to the sampling comparison table, and then the filling data is determined Which data is to be replaced, for example, the filling data is data a, which is a replacement of data 1, data 2, and data 3.
  • data 1, data 2 and data 3 are not included in the intermediate result of encryption and simplification, but In the sampling comparison table, it is recorded that there is a substitution relationship between data a and data 1, data 2 and data 3.
  • the padding position corresponding to the padding data is further determined, and the corresponding padding data is inserted in the padding position in the encrypted and simplified intermediate result of the second device to obtain the encrypted padding intermediate result of the second device.
  • Step S30 Calculate the encrypted first gradient value corresponding to the model parameter in the first device by using the encrypted and complete intermediate result of the second device, and update the model of the first device based on the encrypted first gradient value Parameters, loop iteratively until it is detected that the preset stopping conditions are met, and the target model parameters of the first device that has been trained are obtained.
  • the encrypted first gradient value corresponding to the model parameter in the first device is calculated with the intermediate result of the encryption of the first device, and the first gradient is encrypted
  • the encrypted loss function is calculated using the intermediate result of encryption and completion of the first device and the intermediate result of the encryption and completion of the second device, and the coordinator is sent to the coordinator to decrypt the encrypted loss function and check whether the preset stop condition is met. , If the preset stopping conditions are not met, continue to the next round of iterative training.
  • step S30 includes:
  • Step S31 calculating the intermediate result of the encryption and simplification of the first device used to calculate the gradient value
  • step S31 includes:
  • Step a The first device performs sampling processing on the calculated original intermediate results corresponding to each piece of sample data of the first device to obtain a simplified intermediate result corresponding to part of the sample data of the first device;
  • Step b Encrypting the intermediate result of the simplification of the first device to obtain the intermediate result of the encryption simplification of the first device.
  • the original intermediate result of the first device needs to be encrypted before it can be calculated with the encrypted intermediate result of the second device.
  • the original intermediate results are sampled, thereby reducing the amount of encrypted data, saving encryption costs and model training time.
  • the original intermediate result corresponding to each piece of sample data of the first device is calculated, Among them, w B is the model parameter of the first device, Is the data owned by the first device.
  • the original intermediate result of the first device is sampled to obtain the simplified intermediate result of the first device.
  • the specific processing process of sampling is to split the original intermediate result of the first device according to the threshold to obtain two subsets of the original intermediate result.
  • each data in the first subset is less than or equal to the threshold, and the second subset
  • Each data is greater than the threshold, which is determined according to the actual situation, and only the data in the first subset is sampled.
  • the representative data of each group form the third subset.
  • the data in the third and second subsets is the condensed version of the first device
  • the intermediate result is to further encrypt the simplified intermediate result of the first device, and the encryption algorithm adopts homomorphic encryption to obtain the encrypted and simplified intermediate result of the first device.
  • Step S32 using the encrypted and supplemented intermediate result of the second device and the encrypted and simplified intermediate result of the first device to calculate the encrypted intermediate result of the first device;
  • step S32 includes:
  • Step c Perform data supplementation on the encrypted and simplified intermediate result of the first device to obtain the encrypted and supplemented intermediate result of the first device;
  • Step d using the encryption and completion intermediate result of the first device and the encryption and completion intermediate result of the second device to calculate the encryption intermediate result of the first device.
  • data supplement is performed on the encrypted and simplified intermediate result of the first device to obtain the encrypted and supplemented intermediate result of the first device.
  • the specific process is: obtain the sampling comparison table of the first device, and according to the first device The sampling comparison table determines the padding data and the padding position corresponding to the padding data in the encryption and streamlining intermediate result of the first device, and inserting padding data according to the padding position in the encryption and streamlining intermediate result of the first device to obtain the encrypted complement of the first device
  • the number of data of the encrypted and supplemented intermediate result of the first device is the same as the number of data of the original intermediate result of the first device.
  • the encryption and completion intermediate result of the first device is aligned with the encryption and completion intermediate result data of the second device, and the encryption and completion intermediate result of the first device and the encryption and completion intermediate result of the second device are used to calculate The encrypted intermediate result of the first device [[d]].
  • step S33 the encrypted first gradient value corresponding to the model parameter in the first device is calculated by using the encrypted intermediate result of the first device.
  • the encrypted intermediate result of the first device [[d]]] the encrypted first gradient value [[G B ]] corresponding to the model parameter in the first device
  • the encrypted first gradient value is calculated.
  • the optimization method of the vertical federated learning system proposed in this embodiment receives the encrypted and simplified intermediate result of the second device sent by the second device, and then performs data supplementation on the encrypted and simplified intermediate result of the second device to obtain the second device
  • the encrypted first gradient value corresponding to the model parameter in the first device is calculated using the encrypted first intermediate result of the second device, and the encrypted first gradient value is updated based on the encrypted first gradient value.
  • the model parameters of the first device are looped and iterated until it is detected that the preset stopping condition is met, and the target model parameters of the first device after the training is obtained.
  • the vertical federation training by reducing the number of data contained in the intermediate results of the participating devices, the amount of data that needs to be encrypted and communicated is reduced, the encryption and communication costs are reduced, and the vertical federation modeling time is greatly shortened.
  • the second embodiment of the method for optimizing a longitudinal federated learning system of the present application provides a method for optimizing a longitudinal federated learning system.
  • the method for optimizing a longitudinal federated learning system is applied to a second device, and the second device It may be a device such as a smart phone or a personal computer, and the optimization method of the longitudinal federated learning system includes:
  • Step A10 performing sampling processing on the calculated original intermediate results corresponding to each piece of sample data of the second device, to obtain a condensed intermediate result corresponding to part of the sample data of the second device;
  • the first device and the second device interact in an encrypted form to calculate the intermediate result of the gradient and the loss function, where the encryption adopts homomorphic encryption Algorithm, a third-party coordinator jointly trusted by the first device and the second device generates a public key and a private key, and sends the public key to the first device and the second device for encryption.
  • the first device and the second device will encrypt the The gradient value and the encrypted loss function are sent to the coordinator for decryption, and then the local models of the first device and the second device are updated according to the decrypted gradient value.
  • the linear models involved in this application include but are not limited to: logistic regression, linear regression, Poisson regression and other linear model algorithms based on weight learning.
  • this application takes longitudinal logistic regression model training as an example to illustrate that the first device participating in the longitudinal federated learning and the second device jointly construct a logistic regression model.
  • the second device owns the data Among them, D A represents the data set of the second device, and the first device owns the data And label
  • D B represents a first set of device data, and They are all multi-dimensional vectors, and yi is a scalar (for example, a scalar with a value of 0 or 1, indicating yes or no).
  • w A and w B correspond to and Machine learning model parameters
  • the loss function loss (also called cost function) is:
  • the loss is calculated on the first device.
  • the second device is required to send the intermediate results u A and To the first device for the first device to calculate the loss value.
  • the intermediate results need to be encrypted to avoid data privacy leakage, so the second device sends the encrypted intermediate results [[u A ]] and To the first device, where [[ ⁇ ]] means homomorphic encryption.
  • u A and The number of are respectively The number of samples is the same. Normally, the number of samples is very large.
  • the second device needs to correct u A and It is encrypted and then sent to the first device for interaction, so the entire encryption process is very time-consuming and has a large amount of communication.
  • the second device compares the original intermediate results u A and Sampled to give streamlined intermediate result u 'A, and From the original intermediate result to the simplified intermediate result, the amount of data in the data dimension is reduced, that is, the number of data in the simplified intermediate result is less than the number of data in the original intermediate result, so the amount of data that needs to be encrypted and communicated is reduced, and the encryption and communication are reduced. cost.
  • the second device encrypts the simplified intermediate result to obtain the encrypted simplified intermediate result of the second device, and then sends the encrypted simplified intermediate result to the first device.
  • the original intermediate result u A and The processing procedure of is similar.
  • u A is taken as an example for description.
  • step A10 includes:
  • Step A12 Split the original intermediate result of the second device based on the threshold to obtain a first sub-original intermediate result and a second sub-original intermediate result, wherein each data in the first sub-original intermediate result is less than or Equal to the threshold, each data in the second sub-original intermediate result is greater than the threshold;
  • Step A13 grouping all the data of the first sub-original intermediate result, and determining the respective representative data of each group, and the third sub-original intermediate result is composed of the representative data of each group;
  • Step A14 Based on the third sub-original intermediate result and the second sub-original intermediate result, a simplified intermediate result of the second device is obtained.
  • the specific processing process of sampling is to split the original intermediate result of the second device according to the threshold to obtain two subsets of the original intermediate result: the first sub-original intermediate result and the second sub-original intermediate result.
  • Each data in the sub-original intermediate result is less than or equal to the threshold, and each data in the second sub-original intermediate result is greater than the threshold.
  • the threshold is determined according to the actual situation, and only the data in the first sub-original intermediate result is sampled. Group the data in the first sub-original intermediate result, and determine the respective representative data of each group.
  • the third sub-original intermediate result is composed of the representative data of each group, the third sub-original intermediate result and the second sub-original intermediate result
  • the data is the condensed intermediate result of the second device.
  • the specific method for grouping the data in the first sub-original intermediate result and determining the representative data can be determined according to the actual situation. For example, the data in the first sub-original intermediate result is arranged in descending order, and then divided equally N groups, calculate the average for each group, and use the average as the representative data of each group; you can also manually set N initial cluster centers, and then use k-means to get the final cluster center point, and use the final cluster center point as Representative data of each group.
  • Step A20 Encrypt the simplified intermediate result of the second device to obtain the simplified intermediate result corresponding to part of the sample data of the second device and send it to the first device for the first device to use the second device based on the second device.
  • the encrypted and simplified intermediate result of the device is fed back to the encrypted intermediate result of the first device, wherein the first device performs data supplementation on the received encrypted and simplified intermediate result of the second device to obtain the encrypted supplement of the second device Complete the intermediate results, and calculate the encrypted intermediate result of the first device by using the encrypted and supplemented intermediate result of the second device;
  • the simplified intermediate result of the second device is further encrypted
  • the encryption algorithm adopts homomorphic encryption to obtain the encrypted simplified intermediate result of the second device
  • the encrypted simplified intermediate result of the second device is sent to the first device.
  • the first device receives the encrypted and simplified intermediate result of the second device, and needs to supplement the encrypted and simplified intermediate result of the second device to obtain the encrypted and supplemented intermediate result of the second device, and then use the encryption of the first device to supplement the intermediate result
  • the result is supplemented with the encryption intermediate result of the second device, the encryption intermediate result [[d]] of the first device is calculated, and the first device sends the encrypted intermediate result [[d]] of the first device to the second device, wherein, the encryption and completion intermediate result of the first device is aligned with the encryption and completion intermediate result data of the second device.
  • Step A30 Use the encrypted intermediate result of the first device to calculate the encrypted second gradient value corresponding to the model parameter in the second device, and update the model parameter of the second device based on the encrypted second gradient value, The loop iterates until it is detected that the preset stopping condition is met, and the target model parameter of the second device after the training is obtained.
  • the encrypted first gradient value [[G A ]] corresponding to the model parameter in the second device
  • the encrypted second gradient value is obtained by settlement.
  • the coordinator who sent the encrypted second gradient value is decrypted, and the coordinator sends the decrypted second gradient value back to the second device, and the second device uses the second gradient value to update the local model parameters.
  • the coordinator detects whether the preset stopping conditions are met, and if the preset stopping conditions are not met, the next round of iterative training is continued.
  • the longitudinal federated learning system optimization method proposed in this embodiment samples the calculated original intermediate results corresponding to each piece of sample data of the second device, and obtains the simplified intermediate results corresponding to part of the sample data of the second device.
  • the condensed intermediate result of the second device is encrypted, and the condensed intermediate result corresponding to part of the sample data of the second device is obtained and sent to the first device for the first device to streamline based on the encryption of the second device
  • the intermediate result is fed back to the encrypted intermediate result of the first device, and the encrypted second gradient value corresponding to the model parameter in the second device is calculated by using the encrypted intermediate result of the first device, and is based on the encrypted second gradient value Update the model parameters of the second device, and loop iteratively until it is detected that the preset stop condition is met, to obtain the target model parameters of the second device after the training is completed.
  • the vertical federation training by reducing the number of data contained in the intermediate results of the participating devices, the amount of data that needs to be encrypted and communicated is reduced, the encryption and communication
  • an embodiment of the present application also provides a readable storage medium that stores a vertical federated learning system optimization program on the storage medium, and the vertical federated learning system optimization program is executed by a processor to realize the following vertical federated learning The steps of the system optimization method.
  • the technical solution of this application essentially or the part that contributes to the existing technology can be embodied in the form of a software product, and the computer software product is stored in a storage medium (such as ROM/RAM, magnetic disk, The optical disc) includes several instructions to make a terminal device (which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) execute the methods described in the various embodiments of the present application.
  • a terminal device which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种纵向联邦学习系统优化方法、设备及可读存储介质，所述方法包括：接收所述第二设备发送的第二设备的加密精简中间结果，而后对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，最后利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。

Description

纵向联邦学习系统优化方法、设备及可读存储介质
优先权信息
本申请要求于2020年2月12日申请的、申请号为202010089045.6、名称为“纵向联邦学习系统优化方法、设备及可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器学习技术领域，尤其涉及一种纵向联邦学习系统优化方法、设备及可读存储介质。
背景技术
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。
纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。比如有属于同一个地区的两个参与者A和B，其中参与者A是一家银行，参与者B是一个电商平台。参与者A和B在同一地区拥有较多相同的用户，但是A与B的业务不同，记录的用户数据特征是不同的。特别地，A和B记录的用户数据特征可能是互补的。在这样的场景下，可以使用纵向联邦学习来帮助A和B构建联合机器学习预测模型，帮助A和B向他们的客户提供更好的服务。
纵向联邦学习在建模过程中，参与者之间以加密形式交互用于计算梯度和损失函数的中间结果，每一轮模型训练都需要对中间结果中的每个数据进行加密及交换，中间结果的数量与参与者所拥有的数据的数量相同，故加密及交互的数据量很大，加密和通信成本很高，同时也增加了纵向联邦建模时间。
发明内容
本申请的主要目的在于提供一种纵向联邦学习系统优化方法、装置、设备及可读存储介质，旨在实现降低纵向联邦学习训练过程中的加密和通信成本，缩短建模时间。
为实现上述目的，本申请提供一种纵向联邦学习系统优化方法，应用于参与纵向联邦学习的第一设备，所述第一设备与第二设备通信连接，所述纵向联邦学习系统优化方法包括以下步骤：
接收所述第二设备发送的第二设备的加密精简中间结果，其中，所述第二设备用于对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，并对所述第二设备的精简中间结果进行加密，得到所述第二设备的加密精简中间结果；
对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，其中，所述加密补齐中间结果的数据数量与所述原始中间结果的数据数量相同；
利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。
在一实施例中，所述对所述第二设备的加密精简中间结果进行数据补齐获得加密补齐中间结果的步骤包括：
获取所述第二设备的抽样对照表，并基于所述第二设备的抽样对照表在所述第二设备的加密精简中间结果中确定填充数据以及所述填充数据对应的填充位置；
在所述第二设备的加密精简中间结果中，基于所述填充位置插入所述填充数据，得到所述第二设备的加密补齐中间结果。
在一实施例中，所述利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值的步骤包括：
计算得到用于计算梯度值的第一设备的加密精简中间结果；
利用所述第二设备的加密补齐中间结果以及所述第一设备的加密精简中间结果，计算得到第一设备的加密中间结果；
利用所述第一设备的加密中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值。
在一实施例中，所述计算得到用于计算梯度值的第一设备的加密精简中间结果的步骤包括：
所述第一设备对计算得到的第一设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第一设备的部分样本数据对应的精简中间结果；
对所述第一设备的精简中间结果进行加密，得到所述第一设备的加密精简中间结果。
在一实施例中，所述利用所述第二设备的加密补齐中间结果以及所述第一设备的加密精简中间结果，计算得到第一设备的加密中间结果的步骤包括：
对所述第一设备的加密精简中间结果进行数据补齐，得到所述第一设备的加密补齐中间结果；
利用所述第一设备的加密补齐中间结果与所述第二设备的加密补齐中间结果，计算得到第一设备的加密中间结果。
为实现上述目的，本申请还提供一种纵向联邦学习系统优化方法，应用于参与纵向联邦学习的第二设备，所述纵向联邦学习系统优化方法包括以下步骤：
对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果；
对第二设备的精简中间结果进行加密，得到所述第二设备的部分样本数据对应的精简中间结果并发送至所述第一设备，以供所述第一设备基于所述第二设备的加密精简中间结果反馈所述第一设备的加密中间结果，其中，所述第一设备用于对接收的所述第二设备的加密精简中间结果进行数据补齐获得所述第二设备的加密补齐中间结果，并利用所述第二设备的加密补齐中间结果计算得到所述第一设备的加密中间结果；
利用所述第一设备的加密中间结果计算得到所述第二设备中模型参数对应的加密第二梯度值，并基于所述加密第二梯度值更新所述第二设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第二设备的目标模型参数。
在一实施例中，所述对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果的步骤包括：
利用所述第二设备的模型参数分别对所述第二设备各条样本数据进行加权求和，计算得到所述第二设备的原始中间结果；
基于阈值对所述第二设备的原始中间结果进行拆分，得到第一子原始中间结果和第二子原始中间结果，其中，所述第一子原始中间结果中的各个数据小于或等于阈值，所述第二子原始中间结果中的各个数据大于阈值；
将所述第一子原始中间结果的所有数据进行分组，并确定各组各自的代表数据，由各组的代表数据组成第三子原始中间结果；
基于所述第三子原始中间结果和所述第二子原始中间结果，得到第二设备的精简中间结果。
为实现上述目的，本申请还提供一种纵向联邦学习系统优化设备，所述纵向联邦学习系统优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被所述处理器执行时实现如上所述的纵向联邦学习系统优化方法的步骤。
此外，为实现上述目的，本申请还提出一种可读存储介质，所述可读存储介质上存储有纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被处理器执行时实现如上所述的纵向联邦学习系统优化方法的步骤。
本申请中，接收所述第二设备发送的第二设备的加密精简中间结果，其中，所述第二设备对计算得到的第二设备的各条样本数据对应的原始中间结 果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，并对所述第二设备的精简中间结果进行加密，得到所述第二设备的加密精简中间结果，而后对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，其中，所述加密补齐中间结果的数据数量与所述原始中间结果的数据数量相同，接下来利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。通过减少参与设备对应的中间结果所包含的数据个数，减少了需要加密及通信的数据量，降低了加密和通信成本，同时极大的缩短了纵向联邦建模时间。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的结构示意图；
图2为本申请纵向联邦学习系统优化方法第一实施例的流程示意图；
图3为本申请实施例涉及的一种样本数据示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为纵向联邦学习系统优化设备的硬件运行环境的结构示意图。本申请实施例纵向联邦学习系统优化设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示，该纵向联邦学习系统优化设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有 线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的系统结构并不构成对终端系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及纵向联邦学习系统优化程序。
在图1所示的系统中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(客户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的纵向联邦学习系统优化程序。
在本实施例中，终端系统包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的纵向联邦学习系统优化程序，其中，处理器1001调用存储器1005中存储的纵向联邦学习系统优化程序时，执行本申请各个实施例提供的纵向联邦学习系统优化方法的步骤。
基于上述的结构，提出纵向联邦学习系统优化方法的各个实施例。
本申请实施例提供了纵向联邦学习系统优化方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本申请实施例中涉及的第一设备和第二设备可以是参与纵向联邦学习联邦学习的参与设备，参与设备可以是智能手机、个人计算机和服务器等设备。
参照图2，图2为本申请纵向联邦学习系统优化方法第一实施例的流程示意图。在本实施例中，所述纵向联邦学习系统优化方法包括：
步骤S10，接收所述第二设备发送的第二设备的加密精简中间结果，其中，所述第二设备用于对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，并对所述第一设备的精简中间结果进行加密，得到所述第一设备的加密精简中间结果；
在本实施例中，第一设备与第二设备预先建立通信连接。第一设备和第二设备的本地数据在用户维度上有重叠部分，在数据特征上有不相同的部分(可能完全不相同)，第一设备与第二设备采用各自的本地数据进行样本对齐，确定双方的共有用户和不同的数据特征，第一设备将本地数据中共有用户的数据作为训练数据，第二设备将本地数据中共有用户的数据中与第一设备数据特征不同的数据作为训练数据，也即最终确定的第一样本数据和第二样本数据中用户是相同的，数据特征不相同。第一设备和第二设备进行样本对齐的方式可采用现有的样本对齐技术，在此不进行详细赘述。例如，图3为第一设备和第二设备中的样本数据示意图，第一设备本地数据中包括3个用户{U1，U2，U3}，数据特征包括{X1，X2，X3}，第二设备本地数据包括3个用户{U1，U2，U4}，数据特征包括{X4，X5}。样本对齐后，第一设备确定的训练数据是用户U1和U2在数据特征X1、X2和X3下的数据，第二设备确定的训练数据是用户U1和U2在数据特征X4和X5下的数据。
具体地，纵向联邦线性模型学习的一轮模型参数更新过程中，第一设备与第二设备之间以加密形式交互用于计算梯度和损失函数的中间结果，其中，加密采用同态加密算法，由第一设备和第二设备共同信任的第三方协调方产生公钥和私钥，并把公钥发送给第一设备和第二设备进行加密，第一设备和第二设备将加密的梯度值和加密的损失函数发送到协调方解密，然后根据解密后的梯度值更新第一设备的本地模型和第二设备的本地模型。
本申请涉及的线性模型包括但不限于：逻辑回归、线性回归、泊松回归等线性的基于权重学习的模型算法。为了描述方便，本申请中以纵向逻辑回归模型训练为例，进行说明参与纵向联邦学习的第一设备与第二设备一起联合构建一个逻辑回归模型。第二设备拥有数据
Figure PCTCN2020129255-appb-000001
其中，D A表示第二设备的数据集，第一设备拥有数据
Figure PCTCN2020129255-appb-000002
和标签
Figure PCTCN2020129255-appb-000003
其中，D B表示第一设备的数据集，
Figure PCTCN2020129255-appb-000004
和
Figure PCTCN2020129255-appb-000005
都是多维向量，而y i是标量(例如，取值为0或1的标量，表示是或者否)。定义
Figure PCTCN2020129255-appb-000006
其中，w A和w B是分别对应于
Figure PCTCN2020129255-appb-000007
和
Figure PCTCN2020129255-appb-000008
的机器学习模型参数，则
Figure PCTCN2020129255-appb-000009
损失函数loss(也称为代价函数)为：
Figure PCTCN2020129255-appb-000010
loss在第一设备进行计算，根据损失函数定义可知，需要第二设备发送中间结 果u A和
Figure PCTCN2020129255-appb-000011
至第一设备，以供第一设备计算loss值。联邦训练过程中，需要对中间结果进行加密，避免数据隐私泄露，故第二设备发送加密中间结果[[u A]]和
Figure PCTCN2020129255-appb-000012
至第一设备，其中，[[·]]表示同态加密。
进一步地，定义
Figure PCTCN2020129255-appb-000013
同态加密后
Figure PCTCN2020129255-appb-000014
梯度函数G为：G＝dx＝∑dx i，则[[G]]＝[[dx]]＝∑[[d]]x i，第一设备根据接收第二设备发送的加密中间结果[[u A]]，以及第一设备的u B计算得到[[d]]，根据[[d]]进一步计算第一设备本地模型的加密梯度值[[G B]]，同时第一设备发送[[d]]至第二设备，以供第二设备计算本地模型的加密梯度值[[G A]]。
具体地，u A和
Figure PCTCN2020129255-appb-000015
的数量分别与
Figure PCTCN2020129255-appb-000016
的样本数量相同，通常情况下样本数量是非常大的，第二设备需要对u A和
Figure PCTCN2020129255-appb-000017
进行加密再发送至第一设备进行交互，因此整个加密过程非常耗时并且通信量很大。第二设备对原始中间结果u A和
Figure PCTCN2020129255-appb-000018
进行抽样处理，得到精简中间结果u' A和
Figure PCTCN2020129255-appb-000019
原始中间结果到精简中间结果是数据维度上的数据量减少，即精简中间结果中的数据个数小于原始中间结果的数据个数，因此减少了需要加密及通信的数据量，降低了加密和通信成本。进一步，第二设备对精简中间结果进行加密，得到第二设备的加密精简中间结果，然后发送该加密精简中间结果至第一设备。原始中间结果u A和
Figure PCTCN2020129255-appb-000020
的处理过程相似，在本实施例中，以u A为例进行说明。
步骤S20，对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，其中，所述加密补齐中间结果的数据数量与所述原始中间结果的数据数量相同；
在本实施例中，
Figure PCTCN2020129255-appb-000021
需要第一设备和第二设备的中间结果进行数据对齐后进行相关计算，所以第一设备接收到第二设备的加密精简中间结果后，需要进行数据补齐，得到加密补齐中间结果，保证加密补齐中间结果的数据数量与原始中间结果的数据数量相同。
具体地，步骤S20包括：
步骤S21，获取所述第二设备的抽样对照表，并基于所述第二设备的抽样对照表在所述第二设备的加密精简中间结果中确定填充数据以及所述填充数据对应的填充位置；
步骤S22，在所述第二设备的加密精简中间结果中，基于所述填充位置插 入所述填充数据，得到所述第二设备的加密补齐中间结果。
在本实施例中，抽样对照表是第二设备在对原始中间结果进行抽样处理时生成的，该抽样对照表中记录了精简中间结果中各数据与原始中间结果中数据的替代关系，例如，精简中间结果中数据a，是原始中间结果中数据1，数据2，数据3的替代数据，就可以用数据a，恢复数据1、数据2和数据3。因为对精简中间结果采用的是同态加密算法，加密过程中不会影响数据的顺序，所以可以根据抽样对照表，对加密精简中间结果进行数据补齐，从而保证第二设备的加密补齐中间结果与第一设备中对应的数据是对齐。
具体地，获取第二设备的抽样对照表，该抽样对照表由第二设备发送到第一设备，根据该抽样对照表在第二设备的加密精简中间结果中挑选出填充数据，再确定填充数据是对哪些数据的替代，例如，填充数据为数据a，其是对数据1、数据2和数据3的替代，需要说明的是数据1、数据2和数据3并不在加密精简中间结果中，只是在抽样对照表中记录了数据a与数据1、数据2和数据3之间存在替代关系，在加密精简中间结果补齐的过程中，需要用数据a补充到数据1、数据2和数据3所在位置。进一步确定填充数据对应的填充位置，在第二设备的加密精简中间结果中，在填充位置插入对应的填充数据，得到第二设备的加密补齐中间结果。
步骤S30，利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。
在本实施例中，利用得到的第二设备的加密补齐中间结果后，与第一设备的加密补齐中间结果计算第一设备中模型参数对应的加密第一梯度值，将加密第一梯度值发送的协调方进行解密，协调方将解密后的第一梯度值发回给第一设备，第一设备利用第一梯度值更新本地模型参数。同时，利用第一设备的加密补齐中间结果和第二设备的加密补齐中间结果计算加密的损失函数，发送协调方，协调方对加密的损失函数进行解密，并检测是否满足预设停止条件，如果不满足预设停止条件，则继续下一轮迭代训练。
具体地，步骤S30包括：
步骤S31，计算得到用于计算梯度值的第一设备的加密精简中间结果；
具体地，步骤S31包括：
步骤a，所述第一设备对计算得到的第一设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第一设备的部分样本数据对应的精简中间结果；
步骤b，对所述第一设备的精简中间结果进行加密，得到所述第一设备的加密精简中间结果。
在本实施例中，需要对第一设备的原始中间结果进行加密后，才能与第二设备的加密补齐中间结果进行计算，为了减少加密时间，提升模型训练速度，故也对第一设备的原始中间结果进行抽样处理，从而减少加密的数据量，节省加密成本和模型训练时间。
根据第一设备的模型参数以及第一设备拥有的数据，计算得到第一设备的各条样本数据对应的原始中间结果，
Figure PCTCN2020129255-appb-000022
其中，w B是第一设备的模型参数，
Figure PCTCN2020129255-appb-000023
是第一设备拥有的数据。对第一设备的原始中间结果进行抽样处理，得到第一设备的精简中间结果。
为了避免纵向逻辑回归模型训练的精度损失，因此只替换绝对值较小的u i值，对较大值u i仍保留原值。故抽样的具体处理过程是，根据阈值对第一设备的原始中间结果进行拆分，得到两个原始中间结果的子集，其中，第一个子集中各个数据小于或等于阈值，第二个子集中各个数据大于阈值，阈值根据实际情况确定，只对第一个子集中的数据进行抽样。将第一个子集中的数据进行分组，并确定各组各自的代表数据，由各组的代表数据组成第三个子集，第三个子集和第二个子集的数据即为第一设备的精简中间结果，进一步对第一设备的精简中间结果进行加密，加密算法采用同态加密，得到第一设备的加密精简中间结果。
步骤S32，利用所述第二设备的加密补齐中间结果以及所述第一设备的加密精简中间结果，计算得到第一设备的加密中间结果；
具体地，步骤S32包括：
步骤c，对所述第一设备的加密精简中间结果进行数据补齐，得到所述第一设备的加密补齐中间结果；
步骤d，利用所述第一设备的加密补齐中间结果与所述第二设备的加密补齐中间结果，计算得到第一设备的加密中间结果。
在本实施例中，对第一设备的加密精简中间结果进行数据补齐，得到第一设备的加密补齐中间结果，具体过程为：获取第一设备的抽样对照表，并根据第一设备的抽样对照表在第一设备的加密精简中间结果中确定填充数据以及填充数据对应的填充位置，在第一设备的加密精简中间结果中，根据填充位置插入填充数据，得到第一设备的加密补齐中间结果，第一设备的加密补齐中间结果的数据数量与第一设备的原始中间结果的数据数量相同。
进一步地，第一设备的加密补齐中间结果与第二设备的加密补齐中间结果数据是对齐的，利用第一设备的加密补齐中间结果与第二设备的加密补齐中间结果，计算得到第一设备的加密中间结果[[d]]。
步骤S33，利用所述第一设备的加密中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值。
在本实施例中，第一设备的加密中间结果[[d]]，第一设备中模型参数对应的加密第一梯度值[[G B]]，
Figure PCTCN2020129255-appb-000024
根据第一设备的加密中间结果以及第一设备拥有的数据，计算得到加密第一梯度值。
本实施例提出的纵向联邦学习系统优化方法，接收所述第二设备发送的第二设备的加密精简中间结果，而后对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，最后利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。在纵向联邦训练中，通过减少参与设备的中间结果所包含的数据个数，从而减少了需要加密及通信的数据量，降低了加密和通信成本，同时极大的缩短了纵向联邦建模时间。
进一步的，根据第一实施例，本申请纵向联邦学习系统优化方法第二实施例提供一种纵向联邦学习系统优化方法，所述纵向联邦学习系统优化方法应用于第二设备，所述第二设备可以是智能手机、个人计算机等设备，所述纵向联邦学习系统优化方法包括：
步骤A10，对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果；
在本实施例中，在纵向联邦学习的一轮模型参数更新过程中，第一设备与第二设备之间以加密形式交互用于计算梯度和损失函数的中间结果，其中，加密采用同态加密算法，由第一设备和第二设备共同信任的第三方协调方产生公钥和私钥，并把公钥发送给第一设备和第二设备进行加密，第一设备和第二设备将加密的梯度值和加密的损失函数发送到协调方解密，然后根据解密后的梯度值更新第一设备和第二设备本地模型。
本申请涉及的线性模型包括但不限于：逻辑回归、线性回归、泊松回归等线性的基于权重学习的模型算法。为了描述方便，本申请中以纵向逻辑回归模型训练为例，进行说明参与纵向联邦学习的第一设备与第二设备一起联合构建一个逻辑回归模型。第二设备拥有数据
Figure PCTCN2020129255-appb-000025
其中，D A表示第二设备的数据集，第一设备拥有数据
Figure PCTCN2020129255-appb-000026
和标签
Figure PCTCN2020129255-appb-000027
其中，D B表示第一设备的数据集，
Figure PCTCN2020129255-appb-000028
和
Figure PCTCN2020129255-appb-000029
都是多维向量，而y i是标量(例如，取值为0或1的标量，表示是或者否)。定义
Figure PCTCN2020129255-appb-000030
其中，w A和w B是分别对应于
Figure PCTCN2020129255-appb-000031
和
Figure PCTCN2020129255-appb-000032
的机器学习模型参数，则
Figure PCTCN2020129255-appb-000033
损失函数loss(也称为代价函数)为：
Figure PCTCN2020129255-appb-000034
loss在第一设备进行计算，根据损失函数定义可知需要第二设备发送中间结果u A和
Figure PCTCN2020129255-appb-000035
至第一设备，以供第一设备计算loss值。联邦训练过程中，需要对中间结果进行加密，避免数据隐私泄露，故第二设备发送加密中间结果[[u A]]和
Figure PCTCN2020129255-appb-000036
至第一设备，其中，[[·]]表示同态加密。
定义
Figure PCTCN2020129255-appb-000037
同态加密后的
Figure PCTCN2020129255-appb-000038
梯度函数G为：G＝dx＝∑dx i，则[[G]]＝[[dx]]＝∑[[d]]x i，第一设备根据接收第二设备发送的加密中间结果[[u A]]，以及第一设备的u B计算得到[[d]]，根据[[d]]进一步计算第一设备本地模型的加密梯度值[[G B]]，同时第一设备发送[[d]]至第二设备，以供第二设备计算本地模型的加密梯度值[[G A]]。
具体地，u A和
Figure PCTCN2020129255-appb-000039
的数量分别与
Figure PCTCN2020129255-appb-000040
的样本数量相同，通常情况下样本数量是非常大的，第二设备需要对u A和
Figure PCTCN2020129255-appb-000041
进行加密再发送至第一设备进行交互，因此整个加密过程非常耗时并且通信量很大。第二设备对原始中间结 果u A和
Figure PCTCN2020129255-appb-000042
进行抽样处理，得到精简中间结果u' A和
Figure PCTCN2020129255-appb-000043
原始中间结果到精简中间结果是数据维度上的数据量减少，即精简中间结果中的数据个数小于原始中间结果的数据个数，因此减少了需要加密及通信的数据量，降低了加密和通信成本。进一步，第二设备对精简中间结果进行加密，得到第二设备的加密精简中间结果，然后发送该加密精简中间结果至第一设备。原始中间结果u A和
Figure PCTCN2020129255-appb-000044
的处理过程相似，在本实施例中，以u A为例进行说明。
具体地，步骤A10包括：
步骤A12，基于阈值对所述第二设备的原始中间结果进行拆分，得到第一子原始中间结果和第二子原始中间结果，其中，所述第一子原始中间结果中的各个数据小于或等于阈值，所述第二子原始中间结果中的各个数据大于阈值；
步骤A13，将所述第一子原始中间结果的所有数据进行分组，并确定各组各自的代表数据，由各组的代表数据组成第三子原始中间结果；
步骤A14，基于所述第三子原始中间结果和所述第二子原始中间结果，得到第二设备的精简中间结果。
在本实施例中，为了避免纵向逻辑回归模型训练的精度损失，因此只替换绝对值较小的u i值，对较大值u i仍保留原值。故抽样的具体处理过程是，根据阈值对第二设备的原始中间结果进行拆分，得到两个原始中间结果的子集：第一子原始中间结果和第二子原始中间结果，其中，第一子原始中间结果中的各个数据小于或等于阈值，第二子原始中间结果中的各个数据大于阈值，阈值根据实际情况确定，只对第一子原始中间结果中的数据进行抽样。将第一子原始中间结果中的数据进行分组，并确定各组各自的代表数据，由各组的代表数据组成第三子原始中间结果，第三子原始中间结果和第二子原始中间结果的数据即为第二设备的精简中间结果。其中，对第一子原始中间结果中的数据进行分组以及确定代表数据的具体方法可根据实际情况确定，例如将第一子原始中间结果中的数据按照从大到小的顺序排列，然后平均分成N组，每组计算平均数，将平均数作为每组的代表数据；还可以采用手动设置N个初始聚类中心，再利用k-means得到最终聚类中心点，将最终聚类中心点作为每组的代表数据。
步骤A20，对第二设备的精简中间结果进行加密，得到所述第二设备的 部分样本数据对应的精简中间结果并发送至所述第一设备，以供所述第一设备基于所述第二设备的加密精简中间结果反馈所述第一设备的加密中间结果，其中，所述第一设备对接收的所述第二设备的加密精简中间结果进行数据补齐获得所述第二设备的加密补齐中间结果，并利用所述第二设备的加密补齐中间结果计算得到所述第一设备的加密中间结果；
在本实施例中，进一步对第二设备的精简中间结果进行加密，加密算法采用同态加密，得到第二设备的加密精简中间结果，并发送第二设备的加密精简中间结果至第一设备。第一设备接收到第二设备的加密精简中间结果，需要对第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，然后利用第一设备的加密补齐中间结果与第二设备的加密补齐中间结果，计算得到第一设备的加密中间结果[[d]]，并由第一设备发送第一设备的加密中间结果[[d]]至第二设备，其中，第一设备的加密补齐中间结果与第二设备的加密补齐中间结果数据是对齐的。
步骤A30，利用所述第一设备的加密中间结果计算得到所述第二设备中模型参数对应的加密第二梯度值，并基于所述加密第二梯度值更新所述第二设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第二设备的目标模型参数。
在本实施例中，利用得到的第一设备的加密中间结果[[d]]，第二设备中模型参数对应的加密第一梯度值[[G A]]，
Figure PCTCN2020129255-appb-000045
根据第一设备的加密中间结果以及第二设备的拥有的数据，结算得到加密第二梯度值。将加密第二梯度值发送的协调方进行解密，协调方将解密后的第二梯度值发回给第二设备，第二设备利用第二梯度值更新本地模型参数。同时，协调方检测是否满足预设停止条件，如果不满足预设停止条件，则继续下一轮迭代训练。
本实施例提出的纵向联邦学习系统优化方法，对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，对第二设备的精简中间结果进行加密，得到所述第二设备的部分样本数据对应的精简中间结果并发送至所述第一设备，以供所述第一设备基于所述第二设备的加密精简中间结果反馈所述第一设备的加密中间结果，利用所述第一设备的加密中间结果计算得到所述第二设备 中模型参数对应的加密第二梯度值，并基于所述加密第二梯度值更新所述第二设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第二设备的目标模型参数。在纵向联邦训练中，通过减少参与设备的中间结果所包含的数据个数，从而减少了需要加密及通信的数据量，降低了加密和通信成本，同时极大的缩短了纵向联邦建模时间。
此外，本申请实施例还提出一种可读存储介质，所述存储介质上存储有纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被处理器执行时实现如下所述的纵向联邦学习系统优化方法的步骤。
本申请纵向联邦学习系统优化设备和可读存储介质的各实施例，均可参照本申请纵向联邦学习系统优化方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种纵向联邦学习系统优化方法，其中，应用于参与纵向联邦学习的第一设备，所述第一设备与第二设备通信连接，所述纵向联邦学习系统优化方法包括以下步骤：
    接收所述第二设备发送的第二设备的加密精简中间结果，其中，所述第二设备用于对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，并对所述第二设备的精简中间结果进行加密，得到所述第二设备的加密精简中间结果；
    对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，其中，所述加密补齐中间结果的数据数量与所述原始中间结果的数据数量相同；
    利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。
  2. 如权利要求1所述的纵向联邦学习系统优化方法，其中，所述对所述第二设备的加密精简中间结果进行数据补齐获得加密补齐中间结果的步骤包括：
    获取所述第二设备的抽样对照表，并基于所述第二设备的抽样对照表在所述第二设备的加密精简中间结果中确定填充数据以及所述填充数据对应的填充位置；
    在所述第二设备的加密精简中间结果中，基于所述填充位置插入所述填充数据，得到所述第二设备的加密补齐中间结果。
  3. 如权利要求1至2中任一项所述的纵向联邦学习系统优化方法，其中，所述利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值的步骤包括：
    计算得到用于计算梯度值的第一设备的加密精简中间结果；
    利用所述第二设备的加密补齐中间结果以及所述第一设备的加密精简中 间结果，计算得到第一设备的加密中间结果；
    利用所述第一设备的加密中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值。
  4. 如权利要求3所述的纵向联邦学习系统优化方法，其中，所述计算得到用于计算梯度值的第一设备的加密精简中间结果的步骤包括：
    所述第一设备对计算得到的第一设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第一设备的部分样本数据对应的精简中间结果；
    对所述第一设备的精简中间结果进行加密，得到所述第一设备的加密精简中间结果。
  5. 如权利要求3所述的纵向联邦学习系统优化方法，其中，所述利用所述第二设备的加密补齐中间结果以及所述第一设备的加密精简中间结果，计算得到第一设备的加密中间结果的步骤包括：
    对所述第一设备的加密精简中间结果进行数据补齐，得到所述第一设备的加密补齐中间结果；
    利用所述第一设备的加密补齐中间结果与所述第二设备的加密补齐中间结果，计算得到第一设备的加密中间结果。
  6. 如权利要求1所述的纵向联邦学习系统优化方法，其中，所述第一设备与所述第二设备预先建立通信连接。
  7. 如权利要求1所述的纵向联邦学习系统优化方法，其中，所述第一设备和所述第二设备的本地数据在用户维度上有重叠，在数据特征上有不相同的部分。
  8. 如权利要求7所述的纵向联邦学习系统优化方法，其中，所述第一设备与所述第二设备采用各自的本地数据进行样本对齐，确定双方的共有用户和不同的数据特征，第一设备将本地数据中共有用户的数据作为训练数据，第二设备将本地数据中共有用户的数据中与第一设备数据特征不同的数据作为训练数据。
  9. 如权利要求1所述的纵向联邦学习系统优化方法，其中，在纵向联邦线性模型学习的一轮模型参数更新过程中，所述第一设备与所述第二设备之间以加密形式交互用于计算梯度和损失函数的中间结果。
  10. 如权利要求9所述的纵向联邦学习系统优化方法，其中，所述加密 采用同态加密算法，由所述第一设备和所述第二设备共同信任的第三方协调方产生公钥和私钥，并把公钥发送给所述第一设备和所述第二设备进行加密。
  11. 如权利要求10所述的纵向联邦学习系统优化方法，其中，所述第一设备和所述第二设备将加密的梯度值和加密的损失函数发送到协调方解密，根据解密后的梯度值更新所述第一设备的本地模型和所述第二设备的本地模型。
  12. 如权利要求2所述的纵向联邦学习系统优化方法，其中，所述抽样对照表是所述第二设备在对原始中间结果进行抽样处理时生成。
  13. 一种纵向联邦学习系统优化方法，其中，应用于参与纵向联邦学习的第二设备，所述纵向联邦学习系统优化方法包括以下步骤：
    对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果；
    对第二设备的精简中间结果进行加密，得到所述第二设备的部分样本数据对应的精简中间结果并发送至所述第一设备，以供所述第一设备基于所述第二设备的加密精简中间结果反馈所述第一设备的加密中间结果，其中，所述第一设备用于对接收的所述第二设备的加密精简中间结果进行数据补齐获得所述第二设备的加密补齐中间结果，并利用所述第二设备的加密补齐中间结果计算得到所述第一设备的加密中间结果；
    利用所述第一设备的加密中间结果计算得到所述第二设备中模型参数对应的加密第二梯度值，并基于所述加密第二梯度值更新所述第二设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第二设备的目标模型参数。
  14. 如权利要求13所述的纵向联邦学习系统优化方法，其中，所述对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果的步骤包括：
    基于阈值对所述第二设备的原始中间结果进行拆分，得到第一子原始中间结果和第二子原始中间结果，其中，所述第一子原始中间结果中的各个数据小于或等于阈值，所述第二子原始中间结果中的各个数据大于阈值；
    将所述第一子原始中间结果的所有数据进行分组，并确定各组各自的代表数据，由各组的代表数据组成第三子原始中间结果；
    基于所述第三子原始中间结果和所述第二子原始中间结果，得到第二设备的精简中间结果。
  15. 如权利要求13所述的纵向联邦学习系统优化方法，其中，在纵向联邦线性模型学习的一轮模型参数更新过程中，所述第一设备与所述第二设备之间以加密形式交互用于计算梯度和损失函数的中间结果。
  16. 如权利要求15所述的纵向联邦学习系统优化方法，其中，所述加密采用同态加密算法，由所述第一设备和所述第二设备共同信任的第三方协调方产生公钥和私钥，并把公钥发送给所述第一设备和所述第二设备进行加密。
  17. 如权利要求16所述的纵向联邦学习系统优化方法，其中，所述第一设备和所述第二设备将加密的梯度值和加密的损失函数发送到协调方解密，根据解密后的梯度值更新所述第一设备的本地模型和所述第二设备的本地模型。
  18. 一种纵向联邦学习系统优化设备，其中，所述纵向联邦学习系统优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被所述处理器执行时实现如权利要求1至12中任一项所述的纵向联邦学习系统优化方法的步骤。
  19. 一种纵向联邦学习系统优化设备，其中，所述纵向联邦学习系统优化设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被所述处理器执行时实现如权利要求13至17中任一项所述的纵向联邦学习系统优化方法的步骤。
  20. 一种可读存储介质，其中，所述可读存储介质上存储有纵向联邦学习系统优化程序，所述纵向联邦学习系统优化程序被处理器执行时实现如权利要求1至17中任一项所述的纵向联邦学习系统优化方法的步骤。
PCT/CN2020/129255 2020-02-12 2020-11-17 纵向联邦学习系统优化方法、设备及可读存储介质 WO2021159798A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010089045.6 2020-02-12
CN202010089045.6A CN111340247B (zh) 2020-02-12 2020-02-12 纵向联邦学习系统优化方法、设备及可读存储介质

Publications (1)

Publication Number Publication Date
WO2021159798A1 true WO2021159798A1 (zh) 2021-08-19

Family

ID=71183882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/129255 WO2021159798A1 (zh) 2020-02-12 2020-11-17 纵向联邦学习系统优化方法、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN111340247B (zh)
WO (1) WO2021159798A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340247B (zh) * 2020-02-12 2024-10-15 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、设备及可读存储介质
CN114140144A (zh) * 2020-09-04 2022-03-04 京东科技控股股份有限公司 信息投放方法和装置、信息投放决策模型获取方法和装置
CN113806759B (zh) * 2020-12-28 2024-07-16 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN112700010B (zh) * 2020-12-30 2024-08-23 深圳前海微众银行股份有限公司 基于联邦学习的特征补全方法、装置、设备及存储介质
CN114691167A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 机器学习模型更新的方法和装置
CN113011603A (zh) * 2021-03-17 2021-06-22 深圳前海微众银行股份有限公司 模型参数更新方法、装置、设备、存储介质及程序产品
CN113762531A (zh) * 2021-03-19 2021-12-07 北京沃东天骏信息技术有限公司 一种联邦学习系统
CN112949866B (zh) * 2021-03-25 2024-08-16 深圳前海微众银行股份有限公司 泊松回归模型的训练方法、装置、电子设备及存储介质
CN113240127B (zh) * 2021-04-07 2024-07-12 睿蜂群(北京)科技有限公司 基于联邦学习的训练方法、装置、电子设备及存储介质
CN113704776A (zh) * 2021-07-15 2021-11-26 杭州医康慧联科技股份有限公司 基于联邦学习的机器学习方法
CN114077901B (zh) * 2021-11-23 2024-05-24 山东大学 一种基于聚类的图联邦学习的用户位置预测方法
CN114330759B (zh) * 2022-03-08 2022-08-02 富算科技(上海)有限公司 一种纵向联邦学习模型的训练方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN110245510A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 用于预测信息的方法和装置
CN110288094A (zh) * 2019-06-10 2019-09-27 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
CN110428058A (zh) * 2019-08-08 2019-11-08 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
CN110633806A (zh) * 2019-10-21 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
US20200005071A1 (en) * 2019-08-15 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a business card using federated learning
CN111340247A (zh) * 2020-02-12 2020-06-26 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2922200A1 (en) * 2004-10-25 2006-05-04 Security First Corp. Secure data parser method and system
CA2825391A1 (en) * 2011-01-27 2012-08-02 Rick L. Orsini Systems and methods for securing data
WO2015116097A1 (en) * 2014-01-30 2015-08-06 Hewlett-Packard Development Company, L.P. Joint encryption and error correction encoding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN110288094A (zh) * 2019-06-10 2019-09-27 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
CN110245510A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 用于预测信息的方法和装置
CN110428058A (zh) * 2019-08-08 2019-11-08 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
US20200005071A1 (en) * 2019-08-15 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a business card using federated learning
CN110633806A (zh) * 2019-10-21 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111340247A (zh) * 2020-02-12 2020-06-26 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIA, YAN-YAN ET AL.: "The Application of Federated Learning Model in Confidential Data Processing", JOURNAL OF CHINA ACADEMY OF ELECTRONICS AND INFORMATION TECHNOLOGY, vol. 15, no. 1, 31 January 2020 (2020-01-31), pages 43 - 49, XP055836646 *
QIANG YANG ET AL.: "Federated Machine Learning: Concept and Applications", ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY, vol. 10, no. 2, 31 January 2019 (2019-01-31), XP058427733, DOI: 10.1145/3298981 *
YANG, QIANG: "AI and Data Privacy Protection:The Way to Federated Learning", JOURNAL OF INFORMATION SECURITY RESEARCH, vol. 5, no. 11, 30 November 2019 (2019-11-30), pages 961 - 965, XP055826980 *

Also Published As

Publication number Publication date
CN111340247B (zh) 2024-10-15
CN111340247A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
WO2021159798A1 (zh) 纵向联邦学习系统优化方法、设备及可读存储介质
CN110245510B (zh) 用于预测信息的方法和装置
CN110399742B (zh) 一种联邦迁移学习模型的训练、预测方法及装置
WO2021120676A1 (zh) 联邦学习网络下的模型训练方法及其相关设备
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
WO2020029589A1 (zh) 基于联邦学习的模型参数获取方法、系统及可读存储介质
WO2022247576A1 (zh) 一种数据处理方法、装置、设备及计算机可读存储介质
WO2020134704A1 (zh) 基于联邦学习的模型参数训练方法、终端、系统及介质
CN109002861B (zh) 联邦建模方法、设备及存储介质
WO2021068444A1 (zh) 数据处理方法、装置、计算机设备和存储介质
WO2022016964A1 (zh) 纵向联邦建模优化方法、设备及可读存储介质
WO2021184836A1 (zh) 识别模型的训练方法、装置、设备及可读存储介质
TW202019123A (zh) 使用同態加密的區塊鏈資料保護
TW202019121A (zh) 使用同態加密的區塊鏈資料保護
CN110633806A (zh) 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
CN113159327A (zh) 基于联邦学习系统的模型训练方法、装置、电子设备
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN112116008B (zh) 基于智能决策的目标检测模型的处理方法、及其相关设备
WO2022156594A1 (zh) 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
WO2022142366A1 (zh) 机器学习模型更新的方法和装置
CN111401277A (zh) 人脸识别模型更新方法、装置、设备和介质
CN113836556B (zh) 面向联邦学习的去中心化函数加密隐私保护方法及系统
US12126734B2 (en) Cross-chain data transmission method and apparatus, computer device, storage medium, and computer program product
CN113609781A (zh) 基于联邦学习的汽车生产模具优化方法、系统、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20919239

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20919239

Country of ref document: EP

Kind code of ref document: A1