WO2020114184A1 - 联合建模方法、装置、设备以及计算机可读存储介质 - Google Patents

联合建模方法、装置、设备以及计算机可读存储介质 Download PDF

Info

Publication number
WO2020114184A1
WO2020114184A1 PCT/CN2019/116081 CN2019116081W WO2020114184A1 WO 2020114184 A1 WO2020114184 A1 WO 2020114184A1 CN 2019116081 W CN2019116081 W CN 2019116081W WO 2020114184 A1 WO2020114184 A1 WO 2020114184A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss gradient
gradient value
model
data node
value
Prior art date
Application number
PCT/CN2019/116081
Other languages
English (en)
French (fr)
Inventor
刘洋
范涛
陈天健
杨强
Original Assignee
深圳前海微众银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海微众银行股份有限公司 filed Critical 深圳前海微众银行股份有限公司
Publication of WO2020114184A1 publication Critical patent/WO2020114184A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Definitions

  • the present application relates to the field of computer technology, and in particular, to a joint modeling method, device, device, and computer-readable storage medium.
  • the main purpose of this application is to provide a joint modeling method, device, equipment and computer storage medium, which aims to solve the information sharing among multiple companies, and can ensure that the privacy data of each company is not leaked, and can also carry out different types The prediction of data answers.
  • the joint modeling method includes:
  • the step of acquiring the second loss gradient value of each data node based on the model parameter and the first loss gradient value includes:
  • the step of determining the real loss gradient value of the data node according to each of the second loss gradient value and the random loss gradient value includes:
  • the true loss gradient value of the data node is determined based on the total loss gradient value and the random loss gradient value.
  • the step of determining the real loss gradient value of the data node based on the total loss gradient value and the random loss gradient value includes:
  • the step of updating the model parameters to build a model based on the true loss gradient value includes:
  • the model does not converge, continue to obtain the new real loss gradient value of the data node, and update the latest model parameters of the model until the model converges.
  • the step of acquiring the new real loss gradient value of the data node includes:
  • the model does not converge, the latest model parameters of the model are obtained, and the latest model parameters are passed to each data node to obtain a new true loss gradient value of the data node.
  • the step after the model has been constructed includes:
  • the present application also provides a joint modeling device, the joint modeling device includes:
  • Transfer module used to initialize the model parameters and transfer the initialized model parameters to each data node
  • An obtaining module configured to obtain a second loss gradient value of each data node based on the model parameters and the first loss gradient value
  • a determining module configured to transfer each second loss gradient value to the neutral coordinator, and determine the real loss gradient value of the data node according to each second loss gradient value and the random loss gradient value;
  • a judgment module configured to update the model parameters based on the real loss gradient value to build a model
  • the convergence module is used to construct the model if the model converges.
  • this application also provides a joint modeling device
  • the joint modeling device includes: a memory, a detection channel, a processor, and a computer program stored on the memory and executable on the processor, wherein:
  • this application also provides a computer storage medium
  • a computer program is stored on the computer storage medium, and when the computer program is executed by the processor, the steps of the joint modeling method as described above are implemented.
  • a joint modeling method, device, equipment and readable storage medium proposed in the embodiments of the present application, through initializing model parameters, and passing the initialized model parameters to each data node; obtaining the random loss gradient value in the neutral coordinator, Dividing the random loss gradient value into first loss gradient values equal to the total number of data nodes, and assigning each first loss gradient value to each data node; based on the model parameters and Obtaining the second loss gradient value of each data node by the first loss gradient value; transmitting each second loss gradient value to the neutral coordinator, and according to each second loss gradient value and the The random loss gradient value determines the real loss gradient value of the data node; updates the model parameters based on the real loss gradient value to build a model; if the model converges, the model has been built.
  • each first loss gradient value will be transmitted to each data node , And then obtain all the loss gradient values in each data node, and calculate it in a third party, that is, the neutral coordinator, to obtain the real loss gradient value of each data node, thereby ensuring the privacy of the data of each data node, and Since the model is established by obtaining the loss gradient value of each data node, it can also ensure that this model can solve the different problem prediction of each data node. Therefore, it is solved that the company corresponding to each data node can share information, and can ensure that the privacy data of each company is not leaked, and can also predict the answers of different types of data.
  • FIG. 1 is a schematic diagram of a terminal ⁇ device structure of a hardware operating environment involved in an embodiment of the present application
  • FIG. 3 is a schematic flowchart of a second embodiment of a joint modeling method of the present application.
  • FIG. 4 is a schematic diagram of a system structure of an embodiment of a joint modeling device of the present application.
  • FIG. 5 is a schematic diagram of a scenario where each remote working node transmits data to a local working node in the joint modeling method of the present application.
  • FIG. 1 is a schematic diagram of a terminal structure of a hardware operating environment involved in a solution of an embodiment of the present application.
  • the terminal in the embodiment of the present application is a joint modeling device.
  • the terminal may include: a processor 1001, such as a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection communication between these components.
  • the user interface 1003 may include a display (Display), an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory or a stable memory (non-volatile memory), such as disk storage.
  • the memory 1005 may optionally be a storage device independent of the foregoing processor 1001.
  • the terminal may also include a camera, RF (Radio Frequency (radio frequency) circuits, sensors, audio circuits, WiFi modules, etc.
  • sensors such as light sensors, motion sensors and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor, wherein the ambient light sensor may adjust the brightness of the display screen according to the brightness of the ambient light, and the proximity sensor may turn off the display screen and/or when the terminal device moves to the ear Backlight.
  • the terminal device can also be configured with other sensors such as gyroscopes, barometers, hygrometers, thermometers, and infrared sensors, which will not be repeated here.
  • terminal structure shown in FIG. 1 does not constitute a limitation on the terminal, and may include more or fewer components than those illustrated, or combine certain components, or arrange different components.
  • the memory 1005 as a computer storage medium may include an operating system, a network communication module, a user interface module, and computer-readable instructions.
  • the network interface 1004 is mainly used to connect to the back-end server and perform data communication with the back-end server;
  • the user interface 1003 is mainly used to connect to the client (user end) and perform data communication with the client;
  • the processor 1001 can be used to call computer-readable instructions stored in the memory 1005 and perform the following operations:
  • the joint modeling method includes the following steps:
  • Step S10 initialize the model parameters, and pass the initialized model parameters to each data node;
  • Step S20 Obtain a random loss gradient value in the neutral coordinator, divide the random loss gradient value into first loss gradient values equal to the total number of data nodes, and divide each first loss gradient value Allocate to each data node;
  • the random loss gradient value may be a loss function value and a gradient value obtained randomly in the system.
  • a neutral coordinator is used in the system.
  • the neutral coordinator generates a random array loss_init (random function) and grad_init (gradient function), that is, the random loss gradient value in the neutral coordinator is obtained.
  • the random loss gradient value needs to be divided into the first loss gradient values that are the same as the total number of data nodes, that is, each data node has a corresponding A loss gradient value, and then distribute each first loss gradient value to each data node in order to ensure that each data node can receive the first loss gradient value passed by the neutral coordinator.
  • the neutral coordinator when the neutral coordinator generates random arrays loss_init and grad_init, then divide loss_init and grad_init into n shares, where n is the total number of nodes after the data is divided, and because each data owner of each data owner corresponds to A working node, so the neutral coordinator will ⁇ loss_init>i and ⁇ grad_init>i Passed to the i-th node, that is to ensure that each working node has corresponding loss_init and grad_init.
  • Step S30 Obtain a second loss gradient value of each data node based on the model parameter and the first loss gradient value
  • the second loss gradient value may include a second loss function value and a second gradient value.
  • the second loss function value is a data sample of a certain data node. The value of the iteration loss function of this iteration is calculated, and the iteration loss function The value and the first loss function value received by this data node are added to obtain the second loss function value.
  • the second gradient value is also calculated in the data sample of a certain data node, and the iterative gradient value of this iteration is calculated. Add the iterative gradient value and the first gradient value received by this data node to obtain the second gradient value.
  • the second loss function value and the second gradient value are obtained at the same time, and, in this system
  • the second loss function value and the second gradient value in all data nodes are obtained in the same way, that is, the second loss gradient value corresponding to each data node is obtained in the same way.
  • the way to obtain the iteration loss function value and the iteration gradient value are calculated by the model parameters on the data node.
  • Step S40 Transfer each second loss gradient value to the neutral coordinator, and determine the real loss gradient value of the data node according to each second loss gradient value and the random loss gradient value;
  • the second loss gradient values on all data nodes also need to be transferred to the neutral coordinator, and the loss function loss_init and gradient grad_init in all the nodes to be acquired are transferred Go to the neutral coordinator and calculate the sum of the second loss gradient values in the neutral coordinator, that is, the total loss gradient value, and then subtract the random loss gradient value from the total loss gradient value in the neutral coordinator to obtain the true
  • the node loses the gradient value, but it should be noted that when the total loss gradient value is subtracted from the random loss gradient value, it can only be subtracted between the loss function and the loss function, and between the gradient value and the gradient value.
  • the total loss gradient value may include a total loss value and a total gradient value.
  • the true loss gradient value may be a summary of the loss value and a gradient value generated by each data node itself.
  • Step S50 Update the model parameters based on the real loss gradient value to build a model
  • Step S60 if the model converges, the model has been constructed.
  • the model has been constructed, so that the collection of the loss gradient value of each data node can be ended, and the constructed model parameters need to be passed to each data node.
  • Each data node will predict the sample Enter this model to perform calculations to obtain the prediction results of each data node.
  • the model parameters by initializing the model parameters and passing the initialized model parameters to each data node; obtaining the random loss gradient value in the neutral coordinator, dividing the random loss gradient value into the total with the data node Equal numbers of first loss gradient values, and distribute each first loss gradient value to each data node; obtain the second of each data node based on the model parameters and the first loss gradient value Loss gradient value; transfer each second loss gradient value to the neutral coordinator, and determine the real loss gradient value of the data node according to each second loss gradient value and the random loss gradient value; The true loss gradient value updates the model parameters to build a model, and determines whether the model converges; if the model converges, the model has been constructed.
  • each first loss gradient value will be transmitted to each data node , And then obtain all the loss gradient values in each data node, and calculate it in a third party, that is, the neutral coordinator, to obtain the real loss gradient value of each data node, thereby ensuring the privacy of the data of each data node, and Because the model parameters are updated by obtaining the loss gradient values of each data node, it can also ensure that this model can solve the different problem predictions of each data node. Therefore, it is solved that the company corresponding to each data node can share information, and can ensure that the privacy data of each company is not leaked, and can also predict the answers of different types of data.
  • step S30 includes:
  • Step S31 Calculate the iteration loss gradient value of the data node based on the model parameters
  • the iteration loss gradient value may be the real loss gradient value generated by the data node itself.
  • Step S32 Obtain a sum value between the iterative loss gradient value and the first loss gradient value, and use the sum value as the second loss gradient value of the data node.
  • the second loss gradient value may include a second loss function value and a second gradient value.
  • the second loss function value is a data sample of a certain data node. The value of the iteration loss function of this iteration is calculated, and the iteration loss function The value and the first loss function value received by this data node are added to obtain the second loss function value.
  • the second gradient value is also calculated in the data sample of a certain data node, and the iterative gradient value of this iteration is calculated, and Add the iterative gradient value and the first gradient value received by this data node to obtain the second gradient value.
  • the second loss function value and the second gradient value are obtained at the same time, and, in this system
  • the second loss function value and the second gradient value in all data nodes are obtained in the same way, that is, the second loss gradient value corresponding to each data node is obtained in the same way.
  • the total loss gradient value is determined by acquiring the second loss gradient value of each data node, thereby ensuring the accuracy of the obtained total loss gradient value, and since only the second loss gradient value of each data node is acquired , So as to ensure the data privacy protection of each data node of the message.
  • step S40 of the first embodiment of the present application The refinement of the step of determining the true loss gradient value of the data node by the second loss gradient value and the random loss gradient value includes:
  • Step S41 Obtain a sum value between each second loss gradient value in the neutral coordinator, and use the sum value as a total loss gradient value;
  • the neutral coordinator needs to be The second loss gradient values of these four data nodes are added to obtain the total loss gradient value.
  • Step S42 Determine the real loss gradient value of the data node based on the total loss gradient value and the random loss gradient value.
  • the total loss gradient value When the total loss gradient value is obtained, it is necessary to subtract the random loss gradient value from the total loss gradient value in the neutral coordinator to obtain the true loss gradient value of all data nodes, that is, in the neutral coordinator, the total loss gradient Value minus the random loss gradient value to obtain the difference, that is, the total loss function value in the total loss gradient value minus the random loss function value in the random loss gradient value, and at the same time, the total loss gradient value
  • the total gradient value minus the random gradient value in the random loss gradient value, and this difference is the real loss gradient value of each data node.
  • the real loss gradient value in each data node is determined by obtaining the difference between the total loss gradient value and the random loss gradient value in the neutral coordinator, and the model’s real loss gradient value is updated according to this real loss gradient value.
  • Model parameters thus ensuring the privacy protection of the data of each data node and avoiding the leakage of data during the transmission process.
  • step S50 of the first embodiment of the present application based on the After the step of updating the model parameters with the true loss gradient value to construct the model, it includes:
  • Step A10 If the model does not converge, continue to obtain the new real loss gradient value of the data node and update the latest model parameters of the model until the model converges.
  • the neutral coordinator When it is judged that the model after updating the model parameters does not converge, it will continue a new round of iterations, that is, passing the updated model parameters to each data node to replace the original model parameters, and the neutral coordinator will continue each new random
  • the loss gradient value is transferred to each data node, and in each data node, the sum of the iterative loss gradient value of the data node and the new random loss gradient value assigned to the data node by the neutral coordinator is calculated again, and all of them are summarized.
  • whether the model parameters are updated is determined by judging whether the established model is converged, thereby ensuring that the model can be completed quickly and accurately, and the efficiency of model construction is improved.
  • the step of acquiring the new real loss gradient value of the data node includes:
  • Step A11 If the model does not converge, obtain the latest model parameters of the model, and pass the latest model parameters to each data node to obtain a new real loss gradient value of the data node.
  • a fifth embodiment of the optimization method for advertising copy generation of the present application is proposed.
  • This embodiment is the step S60 of the first embodiment of the present application.
  • Step S80 Obtain the characteristics of the sample to be predicted in each of the data nodes, and input the characteristics of the sample to be predicted into the completed model for online prediction, thereby obtaining the prediction result.
  • an embodiment of the present application further proposes a joint modeling device, which includes:
  • Transfer module used to initialize the model parameters and transfer the initialized model parameters to each data node
  • An obtaining module configured to obtain a second loss gradient value of each data node based on the model parameters and the first loss gradient value
  • a determining module configured to transfer each second loss gradient value to the neutral coordinator, and determine the real loss gradient value of the data node according to each second loss gradient value and the random loss gradient value;
  • a judgment module configured to update the model parameters based on the real loss gradient value to build a model
  • the convergence module is used to construct the model if the model converges.
  • the acquisition module is also used to:
  • the determination module is also used to:
  • the true loss gradient value of the data node is determined based on the total loss gradient value and the random loss gradient value.
  • the determination module is also used to:
  • the joint modeling device further includes:
  • the model does not converge, continue to obtain the new real loss gradient value of the data node, and update the latest model parameters of the model until the model converges.
  • the joint modeling device further includes:
  • the model does not converge, the latest model parameters of the model are obtained, and the latest model parameters are passed to each data node to obtain a new true loss gradient value of the data node.
  • the joint modeling device further includes:
  • the present application also provides a terminal.
  • the terminal includes a memory, a detection channel, a processor, a communication bus, and computer-readable instructions stored on the memory.
  • the computer-readable storage medium may be non-volatile Read storage media:
  • the communication bus is used to implement connection communication between the processor and the memory
  • the processor is used to execute the computer-readable instructions to implement the steps of the embodiments of the joint modeling method described above.
  • the present application also provides a computer-readable storage medium that stores one or more computer-readable instructions, and the one or more computer-readable instructions can also be processed by one or more The steps performed by the implement for implementing the embodiments of the joint modeling method described above.
  • the methods of the above embodiments can be implemented by means of software plus the necessary general hardware platform, and of course, can also be implemented by hardware, but in many cases the former is better Implementation.
  • the technical solution of the present application can be embodied in the form of a software product in essence or a part that contributes to the existing technology, and the computer software product is stored in a storage medium (such as ROM/RAM) as described above , Magnetic disks, optical disks), including several instructions to enable a terminal device (which may be a mobile phone, computer, server, air conditioner, or network device, etc.) to perform the method described in each embodiment of the present application.
  • a terminal device which may be a mobile phone, computer, server, air conditioner, or network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种联合建模方法，包括：初始化模型参数，并将初始化的模型参数传递给各数据节点（S10）；获取中立协调方中的随机损失梯度值，将随机损失梯度值划分为与数据节点的总数量相等的各第一损失梯度值，并将各第一损失梯度值分配至各数据节点（S20）；基于模型参数和第一损失梯度值获取各数据节点的第二损失梯度值（S30）；将各第二损失梯度值传递到中立协调方，并根据各第二损失梯度值和随机损失梯度值确定数据节点的真实损失梯度值（S40）；基于真实损失梯度值更新模型参数以构建模型（S50），并判断模型是否收敛；若模型收敛，则模型已构建完成（S60）。

Description

联合建模方法、装置、设备以及计算机可读存储介质
本申请要求于2018年12月07日提交中国专利局、申请号为201811501956.4、发明名称为“发票开具方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及一种联合建模方法、装置、设备以及计算机可读存储介质。
背景技术
互联网金融进几年得到了飞速发展，各类金融科技公司呈现百家争鸣、百花齐放的局面，伴随着产业的欣荣发展，公司需要了解的数据资源也越来越多，又由于目前没有哪家公司能够掌握风控所需的全部数据，所以信息共享问题随之而来，但是由于多家公司在进行信息共享时很容易导致自身的某些隐私信息泄露，所以虽然会有多家公司具有联合建立模型的需求，往往还是单独建立模型，并未与其它公司进行联合建立模型。并且联合建立模型技术虽然在现实中有提及，但还只是存在于理论中，未应用到实际生产中，且常常只是为解决某一单一问题的目的而进行联合建立模型。 因此，如何解决在多家公司进行信息共享，且能保证各个公司隐私数据不泄露的同时，也能进行不同类型数据答案的预测，成为了目前亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种联合建模方法、装置、设备和计算机存储介质，旨在解决在多家公司进行信息共享，且能保证各个公司隐私数据不泄露的同时，也能进行不同类型数据答案的预测。
为实现上述目的，本申请提供一种联合建模方法、装置、设备以及计算机可读存储介质，所述联合建模方法包括：
获取模型的模型参数和数据节点的总数量，并基于所述数据节点初始化模型参数，以确定初级模型参数；
获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
基于各所述数据节点的第一损失梯度值，获取所述数据节点的总损失梯度值；
基于所述总损失梯度值和所述随机损失梯度值更新所述初级模型参数；
若所述模型收敛，则所述模型已构建完成。
可选地，所述基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值的步骤，包括：
基于所述模型参数计算所述数据节点的迭代损失梯度值；
获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
可选地，所述根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
可选地，所述基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
获取所述总损失梯度值和所述随机损失梯度值之间的和值，并将所述和值作为所述数据节点的真实损失梯度值。
可选地，所述基于所述真实损失梯度值更新所述模型参数以构建模型的步骤之后，包括：
若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
可选地，所述若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值的步骤，包括：
若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，以获取所述数据节点新的真实损失梯度值。
可选地，所述若所述模型收敛，则所述模型已构建完成的步骤之后，包括：
获取各所述数据节点中的待预测样本特征，并将所述待预测样本特征输入所述已构建完成模型中进行在线预测，从而获取预测结果。
此外，为实现上述目的，本申请还提供一种联合建模装置，所述联合建模装置包括：
传递模块，用于初始化模型参数,并将初始化的模型参数传递给各数据节点；
分配模块，用于获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
获取模块，用于基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
确定模块，用于将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
判断模块，用于基于所述真实损失梯度值更新所述模型参数以构建模型；
收敛模块，用于若所述模型收敛，则所述模型已构建完成。
此外，为实现上述目的，本申请还提供一种联合建模设备；
所述联合建模设备包括：存储器、检测通道、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如上所述的联合建模方法的步骤。
此外，为实现上述目的，本申请还提供计算机存储介质；
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的联合建模方法的步骤。
本申请实施例提出的一种联合建模方法、装置、设备及可读存储介质，通过初始化模型参数,并将初始化的模型参数传递给各数据节点；获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；基于所述真实损失梯度值更新所述模型参数以构建模型；若所述模型收敛，则所述模型已构建完成。在本方案中通过获取各个数据节点中的损失梯度值来保证各个数据节点已参与联合建模，并在获取各个数据节点中的损失梯度值之前，会向各数据节点传输各第一损失梯度值，然后再获取各数据节点中的所有损失梯度值，并在第三方，即中立协调方中进行计算，以获取各个数据节点真正的损失梯度值，从而保证了各个数据节点数据的隐私性，并且由于是通过获取各个数据节点的损失梯度值来建立模型的，所以也能保证此模型能解决各数据节点的不同问题预测。从而解决各数据节点对应的公司在进行信息共享，且能保证各个公司隐私数据不泄露的同时，也能进行不同类型数据答案的预测。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端\装置结构示意图；
图2为本申请联合建模方法第一实施例的流程示意图；
图3为本申请联合建模方法第二实施例的流程示意图；
图4为本申请联合建模设备一实施例的系统结构示意图；
图5为本申请联合建模方法中各个远程工作节点向本地工作节点传递数据的场景示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端为联合建模设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机可读指令。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机可读指令，并执行以下操作：
初始化模型参数,并将初始化的模型参数传递给各数据节点；
获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
基于所述真实损失梯度值更新所述模型参数以构建模型；
若所述模型收敛，则所述模型已构建完成。
本申请提供一种联合建模方法，在联合建模方法第一实施例中，参照图2，联合建模方法包括以下步骤：
步骤S10，初始化模型参数,并将初始化的模型参数传递给各数据节点；
在系统中，先获取多方样本特征X owner，并且对多个样本赋予其对应的类别标签Y owner，以便区分，其中X owner-o={[xi，1，xi，2，...xi，dim]，i=1...N，N为owner-o样本数}，dim表示样本特征维度大小，各方样本特征维度dim相等， 各特征维度含义一致，如[贷款额、贷款时长、负债情况]。由于每个样本特征都有一个对应的数据节点，因此当获取到系统中各个样本特征的数量时，也就可以获取到数据节点的总数量。与此同时，还需要获取一个模型参数并进行初始化，然后再将初始化的模型参数传递到各个数据节点。
步骤S20，获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
随机损失梯度值可以为在系统中随机获取到的损失函数值和梯度值。在系统中采用一个中立协调方，中立协调方生成随机数组loss_init（随机函数）和grad_init（梯度函数），即获取到中立协调方中的随机损失梯度值。并根据原先获取到的系统中数据节点的总数量时，需要将此随机损失梯度值划分为与数据节点的总数量相同的各个第一损失梯度值，即每个数据节点均有一个对应的第一损失梯度值，再将各个第一损失梯度值依次分配至各个数据节点中，以保证每个数据节点均能接收到中立协调方传递过来的第一损失梯度值。例如，当中立协调方生成随机数组loss_init和grad_init时，再将loss_init和grad_init分成n份，其中n为数据被切分后总共的节点数量，又由于每个数据拥有方的每份数据均对应于一个工作节点，所以，中立协调方将<loss_init>i与<grad_init>i 传给第i个节点，即保证每个工作节点均有对应的loss_init和grad_init。
步骤S30，基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
第二损失梯度值可以包括第二损失函数值和第二梯度值，第二损失函数值为在某一数据节点的数据样本中，计算本次迭代的迭代损失函数值，并将此迭代损失函数值和此数据节点接收到的第一损失函数值相加以获取第二损失函数值，同理，第二梯度值也是在某一数据节点的数据样本中，计算本次迭代的迭代梯度值，并将此迭代梯度值和此数据节点接收到的第一梯度值相加以获取第二梯度值，需要说明的是，第二损失函数值和第二梯度值是同时获取的，并且，在此系统中的所有数据节点中的第二损失函数值和第二梯度值获取方式相同，即获取各数据节点对应的第二损失梯度值的方式相同。其中，获取迭代损失函数值和迭代梯度值的方式都是通过数据节点上的模型参数计算得到的。
步骤S40，将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
当已计算出各个数据节点的第二损失梯度值后，还需要将所有数据节点上的第二损失梯度值都传递到中立协调方，即将获取到的所有节点中的损失函数loss_init和梯度grad_init传递到中立协调方，并在中立协调方中计算各个第二损失梯度值的和值，即总损失梯度值，然后在中立协调方中将总损失梯度值减去随机损失梯度值，以获取到真正的节点损失梯度值，但是需要注意的是，在将总损失梯度值减去随机损失梯度值时，只能是损失函数与损失函数之间相减，梯度值与梯度值之间相减。其中，总损失梯度值可以包括总的损失值和总的梯度值。真实损失梯度值可以是各个数据节点自身所产生的损失值的汇总和梯度值的汇总。
步骤S50，基于所述真实损失梯度值更新所述模型参数以构建模型；
当在中立协调方中获取到所有数据节点的真实损失梯度值后，还需要跟据此真实损失梯度值来更新模型参数，需要说明的是，采用真实损失梯度值更新模型参数不是直接将真实损失梯度值代替为模型参数，而是通过一定的计算方式来获取到新的模型参数，并将此新的模型参数传递到各个数据节点。并且会通过不断地更新模型参数来构建模型，直到模型收敛才会停止模型参数的更新，即可以认为模型已构建完成。也就是说在构建模型的过程中还需要判断模型是否收敛。
步骤S60，若所述模型收敛，则所述模型已构建完成。
当经过判断发现此模型已经收敛，则此模型已构建完成，从而可以结束收集各个数据节点的损失梯度值，并且需要将已构建好的模型参数传递给各个数据节点，各个数据节点将待预测样本输入此模型中进行运算，以得到各个数据节点的预测结果。
在本实施例中，通过初始化模型参数,并将初始化的模型参数传递给各数据节点；获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；基于所述真实损失梯度值更新所述模型参数以构建模型，并判断所述模型是否收敛；若所述模型收敛，则所述模型已构建完成。在本方案中通过获取各个数据节点中的损失梯度值来保证各个数据节点已参与联合建模，并在获取各个数据节点中的损失梯度值之前，会向各数据节点传输各第一损失梯度值，然后再获取各数据节点中的所有损失梯度值，并在第三方，即中立协调方中进行计算，以获取各个数据节点真正的损失梯度值，从而保证了各个数据节点数据的隐私性，并且由于是通过获取各个数据节点的损失梯度值来更新模型参数的，所以也能保证此模型能解决各数据节点的不同问题预测。从而解决各数据节点对应的公司在进行信息共享，且能保证各个公司隐私数据不泄露的同时，也能进行不同类型数据答案的预测。
进一步地，在本申请第一实施例的基础上，提出了本申请联合建模方法的第二实施例，本实施例是本申请第一实施例的步骤S30的步骤细化，参照图3，所述步骤S30包括：
步骤S31，基于所述模型参数计算所述数据节点的迭代损失梯度值；
当在数据节点中获取到由中立协调方发送过来的模型参数后，还需要根据此模型参数来计算确定数据节点上的迭代损失梯度值，需要说明的是每个数据节点获取迭代损失梯度值的方式均相同，都是通过模型参数计算获取到的。其中，迭代损失梯度值可以是数据节点自身所产生的真正的损失梯度值。
步骤S32，获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
第二损失梯度值可以包括第二损失函数值和第二梯度值，第二损失函数值为在某一数据节点的数据样本中，计算本次迭代的迭代损失函数值，并将此迭代损失函数值和此数据节点接收到的第一损失函数值相加以获取第二损失函数值，同理，第二梯度值也是在某一数据节点的数据样本中，计算本次迭代的迭代梯度值，并将此迭代梯度值和此数据节点接收到的第一梯度值相加以获取第二梯度值，需要说明的是，第二损失函数值和第二梯度值是同时获取的，并且，在此系统中的所有数据节点中的第二损失函数值和第二梯度值获取方式相同，即获取各数据节点对应的第二损失梯度值的方式相同。
在本实施例中，通过获取各个数据节点的第二损失梯度值来确定总损失梯度值，从而保证获取到的总损失梯度值的准确性，并且由于只获取各数据节点的第二损失梯度值，从而保障了消息各数据节点的数据隐私保护。
进一步地，在本申请第一至第二实施例任意一个的基础上，提出了本申请联合建模方法的第三实施例，本实施例是本申请第一实施例的步骤S40，根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤的细化，包括：
步骤S41，获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
当在中立协调方中获取到由各个数据节点传递过来的第二损失梯度值后，还需要在中立协调方中对所有第二损失梯度值进行相加以获取其和值，并将此和值作为总损失梯度值。其中，需要说明的是，在计算总损失梯度值时，需要将损失值和梯度值分开来计算，以获取到总的损失值和总的梯度值。
为辅助理解获取总损失梯度值的工作原理，以下用一具体例子解释说明：
例如，如图5所示，当数据节点有四个中立协调方有一个时，并且此时这四个数据节点均将各自的第二损失梯度值传递到中立协调方时，需要在中立协调方中将这四个数据节点的第二损失梯度值相加以获取到总损失梯度值。
步骤S42，基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
当获取到总损失梯度值后，还需要在中立协调方中将总损失梯度值减去随机损失梯度值，以得到所有数据节点的真实损失梯度值，即在中立协调方中，将总损失梯度值减去随机损失梯度值，以获取其差值，即将总损失梯度值中的总损失函数值减去随机损失梯度值中的随机损失函数值，与此同时，也将总损失梯度值中的总梯度值减去随机损失梯度值中的随机梯度值，并且，此差值即为各数据节点的真实损失梯度值。
在本实施例中，通过在中立协调方中获取总损失梯度值和随机损失梯度值之间的差值来确定各数据节点中真正的损失梯度值，并根据此真正的损失梯度值更新模型的模型参数，从而保证了各数据节点数据的隐私保护，避免了数据在传递过程出现泄漏现象的发生。
进一步地，在本申请第一至第三实施例任意一个的基础上，提出了本申请联合建模方法的第四实施例，本实施例是本申请第一实施例的步骤S50，基于所述真实损失梯度值更新所述模型参数以构建模型的步骤之后，包括：
步骤A10，若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
当经过判断发现更新模型参数后的模型不收敛，则会继续新一轮的迭代，即将更新后的模型参数传递到各数据节点取代原先的模型参数，并继续由中立协调方将各个新的随机损失梯度值传递到各个数据节点中，并在各个数据节点中，再次计算数据节点的迭代损失梯度值和中立协调方分配给数据节点新的随机损失梯度值之间的和，并将其全部汇总到中立协调方中相加以获取到新总损失梯度值，并在中立协调方中采用同样的方法获取各个数据节点在此次迭代中真正的损失梯度值，并再次更新模型的最新模型参数，直到发现模型收敛或者达到最大迭代次数时，停止获取其它各个节点的损失梯度值，即停止更新模型参数。
在本实施例中，通过判断建立好的模型是否收敛，来确定是否更新模型参数，从而保证了模型能快速准确地构建完成，提高了模型构建的效率。
具体地，若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值的步骤，包括：
步骤A11，若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，以获取所述数据节点新的真实损失梯度值。
当经过判断发现正在构建的模型不收敛，则需要再次获取模型中的最新模型参数，并将此最新模型参数传递到各个数据节点以替代原先的模型参数，并在各个数据节点中根据此最新模型参数，再次计算数据节点中的损失梯度值，并再次传递中中立协调方中，在中立协调方中确定再次计算确定数据节点新的真实损失梯度值，即在每次更新模型参数时，获取各个数据节点的真实损失函数值的步骤是一样的。
在本实施例中，通过将最新模型参数传递到各个数据节点，从而保证了每次获取到的真实损失梯度值都是不同的，提高了模型建立的效率。
进一步地，在本申请第一至第四实施例任意一个的基础上，提出了本申请广告文案生成优化方法的第五实施例，本实施例是本申请第一实施例的步骤S60若所述模型收敛，则所述模型已构建完成的步骤之后，包括：
步骤S80，获取各所述数据节点中的待预测样本特征，并将所述待预测样本特征输入所述已构建完成模型中进行在线预测，从而获取预测结果。
当经过判断发现，已建立好的模型达到收敛状态，则需要在此模型上获取已经训练好的参数，并将此参数传递到各个数据节点中，然后再在各个数据节点中，获取各数据节点的待预测样本特征，并将这些预测样本特征输入已构建完成模型中进行在线预测。
在本实施例中，通过将各数据节点中的待预测样本输入模型中进行在线预测，从而实现了多个数据方的准确预测，提高了用户的使用体验感。
此外，参照图4，本申请实施例还提出一种联合建模装置，所述联合建模装置包括：
传递模块，用于初始化模型参数,并将初始化的模型参数传递给各数据节点；
分配模块，用于获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
获取模块，用于基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
确定模块，用于将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
判断模块，用于基于所述真实损失梯度值更新所述模型参数以构建模型；
收敛模块，用于若所述模型收敛，则所述模型已构建完成。
可选地，所述获取模块，还用于：
基于所述模型参数计算所述数据节点的迭代损失梯度值；
获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
可选地，所述确定模块，还用于：
获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
可选地，所述确定模块，还用于：
获取所述总损失梯度值和所述随机损失梯度值之间的和值，并将所述和值作为所述数据节点的真实损失梯度值。
可选地，所述联合建模装置，还包括：
若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
可选地，所述联合建模装置，还包括：
若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，以获取所述数据节点新的真实损失梯度值。
可选地，所述联合建模装置，还包括：
获取各所述数据节点中的待预测样本特征，并将所述待预测样本特征输入所述已构建完成模型中进行在线预测，从而获取预测结果。
其中，联合建模装置的各个功能模块实现的步骤可参照本申请联合建模方法的各个实施例，此处不再赘述。
本申请还提供一种终端，所述终端包括：存储器、检测通道、处理器、通信总线以及存储在所述存储器上的计算机可读指令，所述计算机可读存储介质可以为非易失性可读存储介质：
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行所述计算机可读指令，以实现上述联合建模方法各实施例的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机可读指令，所述一个或者一个以上计算机可读指令还可被一个或者一个以上的处理器执行以用于实现上述联合建模方法各实施例的步骤。
本申请计算机可读存储介质具体实施方式与上述联合建模方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种联合建模方法，其中，所述联合建模方法包括以下步骤：
    初始化模型参数,并将初始化的模型参数传递给各数据节点；
    获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
    基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
    将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
    基于所述真实损失梯度值更新所述模型参数以构建模型；
    若所述模型收敛，则所述模型已构建完成。
  2. 如权利要求1所述的联合建模方法，其中，所述基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值的步骤，包括：
    基于所述模型参数计算所述数据节点的迭代损失梯度值；
    获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
  3. 如权利要求1所述的联合建模方法，其中，所述根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
    基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
  4. 如权利要求3所述的联合建模方法，其中，所述基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述总损失梯度值和所述随机损失梯度值之间的和值，并将所述和值作为所述数据节点的真实损失梯度值。
  5. 如权利要求1所述的联合建模方法，其中，所述基于所述真实损失梯度值更新所述模型参数以构建模型的步骤之后，包括：
    若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
  6. 如权利要求5所述的联合建模方法，其中，所述若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值的步骤，包括：
    若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，获取所述数据节点新的真实损失梯度值。
  7. 如权利要求1所述的联合建模方法，其中，所述若所述模型收敛，则所述模型已构建完成的步骤之后，包括：
    获取各所述数据节点中的待预测样本特征，并将所述待预测样本特征输入所述已构建完成模型中进行在线预测，获取预测结果。
  8. 一种联合建模装置，其中，所述联合建模装置包括：
    传递模块，用于初始化模型参数,并将初始化的模型参数传递给各数据节点；
    分配模块，用于获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
    获取模块，用于基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
    确定模块，用于将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
    判断模块，用于基于所述真实损失梯度值更新所述模型参数以构建模型；
    收敛模块，用于若所述模型收敛，则所述模型已构建完成。
  9. 一种联合建模设备，其中，所述联合建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被所述处理器执行时实现如下步骤：
    初始化模型参数,并将初始化的模型参数传递给各数据节点；
    获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
    基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
    将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
    基于所述真实损失梯度值更新所述模型参数以构建模型；
    若所述模型收敛，则所述模型已构建完成。
  10. 如权利要求9所述的联合建模设备，其中，所述基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值的步骤，包括：
    基于所述模型参数计算所述数据节点的迭代损失梯度值；
    获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
  11. 如权利要求9所述的联合建模设备，其中，所述根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
    基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
  12. 如权利要求11所述的联合建模设备，其中，所述基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述总损失梯度值和所述随机损失梯度值之间的和值，并将所述和值作为所述数据节点的真实损失梯度值。
  13. 如权利要求9所述的联合建模设备，其中，所述基于所述真实损失梯度值更新所述模型参数以构建模型的步骤之后，包括：
    若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
  14. 如权利要求13所述的联合建模设备，其中，所述若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值的步骤，包括：
    若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，获取所述数据节点新的真实损失梯度值。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
    初始化模型参数,并将初始化的模型参数传递给各数据节点；
    获取中立协调方中的随机损失梯度值，将所述随机损失梯度值划分为与所述数据节点的总数量相等的各第一损失梯度值，并将各所述第一损失梯度值分配至各所述数据节点；
    基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值；
    将各所述第二损失梯度值传递到所述中立协调方，并根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值；
    基于所述真实损失梯度值更新所述模型参数以构建模型；
    若所述模型收敛，则所述模型已构建完成。
  16. 如权利要求15所述的计算机可读存储介质，其中，所述基于所述模型参数和所述第一损失梯度值获取各所述数据节点的第二损失梯度值的步骤，包括：
    基于所述模型参数计算所述数据节点的迭代损失梯度值；
    获取所述迭代损失梯度值和所述第一损失梯度值之间的和值，并将所述和值作为所述数据节点的第二损失梯度值。
  17. 如权利要求15所述的计算机可读存储介质，其中，所述根据各所述第二损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述中立协调方中的各所述第二损失梯度值之间的和值，并将所述和值作为总损失梯度值；
    基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值。
  18. 如权利要求17所述的计算机可读存储介质，其中，所述基于所述总损失梯度值和所述随机损失梯度值确定所述数据节点的真实损失梯度值的步骤，包括：
    获取所述总损失梯度值和所述随机损失梯度值之间的和值，并将所述和值作为所述数据节点的真实损失梯度值。
  19. 如权利要求15所述的计算机可读存储介质，其中，所述基于所述真实损失梯度值更新所述模型参数以构建模型的步骤之后，包括：
    若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值，并更新所述模型的最新模型参数，直至所述模型收敛。
  20. 如权利要求19所述的计算机可读存储介质，其中，所述若所述模型不收敛，则继续获取所述数据节点新的真实损失梯度值的步骤，包括：
    若所述模型不收敛，则获取模型的最新模型参数，并将所述最新模型参数传递到各数据节点，获取所述数据节点新的真实损失梯度值。
PCT/CN2019/116081 2018-12-07 2019-11-06 联合建模方法、装置、设备以及计算机可读存储介质 WO2020114184A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811501956.4A CN109635422B (zh) 2018-12-07 2018-12-07 联合建模方法、装置、设备以及计算机可读存储介质
CN201811501956.4 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020114184A1 true WO2020114184A1 (zh) 2020-06-11

Family

ID=66072239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/116081 WO2020114184A1 (zh) 2018-12-07 2019-11-06 联合建模方法、装置、设备以及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109635422B (zh)
WO (1) WO2020114184A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635422B (zh) * 2018-12-07 2023-08-25 深圳前海微众银行股份有限公司 联合建模方法、装置、设备以及计算机可读存储介质
CN112182636B (zh) * 2019-07-03 2023-08-15 北京百度网讯科技有限公司 一种联合建模训练的实现方法、装置、设备和介质
CN110851786B (zh) * 2019-11-14 2023-06-06 深圳前海微众银行股份有限公司 基于纵向联邦学习的企业间数据交互方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330516A (zh) * 2016-04-29 2017-11-07 腾讯科技（深圳）有限公司 模型参数训练方法、装置及系统
US20180225391A1 (en) * 2017-02-06 2018-08-09 Neural Algorithms Ltd. System and method for automatic data modelling
CN108491928A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 模型参数训练方法、装置、服务器及存储介质
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109635422A (zh) * 2018-12-07 2019-04-16 深圳前海微众银行股份有限公司 联合建模方法、装置、设备以及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340945B2 (en) * 2009-08-24 2012-12-25 International Business Machines Corporation Method for joint modeling of mean and dispersion
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
WO2018217635A1 (en) * 2017-05-20 2018-11-29 Google Llc Application development platform and software development kits that provide comprehensive machine learning services
CN108133294B (zh) * 2018-01-10 2020-12-04 阳光财产保险股份有限公司 基于信息共享的预测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330516A (zh) * 2016-04-29 2017-11-07 腾讯科技（深圳）有限公司 模型参数训练方法、装置及系统
US20180225391A1 (en) * 2017-02-06 2018-08-09 Neural Algorithms Ltd. System and method for automatic data modelling
CN108491928A (zh) * 2018-03-29 2018-09-04 腾讯科技（深圳）有限公司 模型参数训练方法、装置、服务器及存储介质
CN108520220A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 模型生成方法和装置
CN109635422A (zh) * 2018-12-07 2019-04-16 深圳前海微众银行股份有限公司 联合建模方法、装置、设备以及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109635422A (zh) 2019-04-16
CN109635422B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
WO2020114184A1 (zh) 联合建模方法、装置、设备以及计算机可读存储介质
WO2020125251A1 (zh) 基于联邦学习的模型参数训练方法、装置、设备及介质
WO2015020360A1 (ko) 무선 통신 시스템에서 기기 등록 및 인증을 수행하는 방법 및 장치
WO2016137307A1 (en) Attestation by proxy
WO2015030364A1 (en) Method for sharing media data and electronic device thereof
WO2014175602A1 (en) Electronic device and method of registering personal cloud apparatus in user portal server thereof
WO2014069844A1 (en) System and method of connecting devices via wi-fi network
WO2013172659A1 (en) Method and apparatus for discoverying neighbor nodes in a wireless communication network
WO2018082484A1 (zh) 一种电子设备的截屏方法、系统及电子设备
WO2020107762A1 (zh) Ctr预估方法、装置及计算机可读存储介质
WO2015041436A1 (en) Method of managing control right, client device therefor, and master device therefor
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2011129635A2 (ko) 이동통신 시스템에서 응용 서비스를 제공하는 방법 및 장치
WO2020119062A1 (zh) 预装应用管理方法、装置及存储介质
WO2020087981A1 (zh) 风控审核模型生成方法、装置、设备及可读存储介质
WO2020119369A1 (zh) 智能it运维故障定位方法、装置、设备及可读存储介质
WO2022196945A1 (ko) 개체군 분산 모사 모델 기반 개체군 분산 예측 장치 및 이를 이용한 개체군 분산 예측 방법
WO2020107591A1 (zh) 重复投保限制方法、装置、设备及可读存储介质
WO2022085958A1 (ko) 전자 장치 및 그 동작방법
WO2020237859A1 (zh) 基于nbd设备的数据迁移方法、装置、设备及存储介质
WO2023171981A1 (ko) 감시카메라 관리 장치
WO2017090931A1 (ko) 이벤트 관리 서비스를 제공하는 전자 장치 및 방법
WO2019112113A1 (ko) 서비스 지향 사물 인터넷 플랫폼 및 그 제어 방법
WO2019124770A1 (ko) 단말 장치 및 단말 장치의 제어 방법
WO2022163948A1 (ko) 외부 전자 장치를 제어하기 위한 어플리케이션을 생성하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19892850

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19892850

Country of ref document: EP

Kind code of ref document: A1