WO2023024350A1 - 纵向联邦预测优化方法、设备、介质及计算机程序产品 - Google Patents

纵向联邦预测优化方法、设备、介质及计算机程序产品 Download PDF

Info

Publication number
WO2023024350A1
WO2023024350A1 PCT/CN2021/139641 CN2021139641W WO2023024350A1 WO 2023024350 A1 WO2023024350 A1 WO 2023024350A1 CN 2021139641 W CN2021139641 W CN 2021139641W WO 2023024350 A1 WO2023024350 A1 WO 2023024350A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
prediction
sample
training
party
Prior art date
Application number
PCT/CN2021/139641
Other languages
English (en)
French (fr)
Inventor
万晟
高大山
鞠策
谭奔
杨强
Original Assignee
深圳前海微众银行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海微众银行股份有限公司 filed Critical 深圳前海微众银行股份有限公司
Publication of WO2023024350A1 publication Critical patent/WO2023024350A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种纵向联邦预测优化方法、设备、介质及计算机程序产品，包括：提取第一方待预测样本，并获取目标预测模型针对第一方待预测样本进行模型预测生成的第一方模型预测结果；与第二设备进行联邦交互，以供第二设备确定第二方待预测样本，并利用目标残差提升模型对第二方待预测样本执行模型预测，获得第二方模型预测结果（S20）；获取目标预测模型对应的第一方模型权重，并接收第二设备发送的第二方模型预测结果和目标残差提升模型对应的第二方模型权重（S30）；基于第一方模型权重和第二方模型权重，对第一方模型预测结果和第二方模型预测结果进行加权聚合，获得目标联邦预测结果（S40）。

Description

纵向联邦预测优化方法、设备、介质及计算机程序产品
优先权信息
本申请要求于2021年8月25日申请的、申请号为202110984312.0的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种纵向联邦预测优化方法、设备、介质及计算机程序产品。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机软件和人工智能计算的不断发展，人工智能技术的应用也越来越广泛，目前，现有的纵向联邦预测模型需要基于各参与方之间的对齐样本进行纵向联邦学习建模而构建，且建模完成后，纵向联邦预测模型分散部署在各个参与方中，每一参与方均只持有部分纵向联邦预测模型，所以在纵向联邦预测场景中，对于未对齐样本，预测方需要使用一个单独的本地模型在本地进行预测。所以，预测方无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低，且纵向联邦学习的模型由于对齐数据的不足也会导致模型性能有限。所以，现有的纵向联邦预测方法存在整体样本预测准确度低的问题。
发明内容
本申请的主要目的在于提供一种纵向联邦预测优化方法、设备、介质及计算机程序产品，旨在解决现有技术中纵向联邦预测的整体样本预测准确度低的技术问题。
为实现上述目的，本申请提供一种纵向联邦预测优化方法，所述纵向联邦预测优化方法应用于第一设备，所述纵向联邦预测优化方法包括：
提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
为实现上述目的，本申请提供一种纵向联邦预测优化方法，所述纵向联邦预测优化方法应用于第二设备，所述纵向联邦预测优化方法包括：
通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
为实现上述目的，本申请提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第一设备，所述纵向联邦学习建模优化方法包括：
基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的 迭代训练优化，获得本地残差提升模型；
获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；
基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
为实现上述目的，本申请提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第二设备，所述纵向联邦学习建模优化方法包括：
接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
本申请还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置为虚拟装置，且所述纵向联邦预测优化装置应用于第一设备，所述纵向联邦预测优化装置包括：
获取模块，用于提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
联邦交互模块，用于与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
接收模块，用于获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
加权聚合模块，用于基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
本申请还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置为虚拟装置，且所述纵向联邦预测优化装置应用于第二设备，所述纵向联邦预测优化装置包括：
联邦交互模块，用于通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
预测模块，用于基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
发送模块，用于获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
本申请还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置为虚拟装置，且所述纵向联邦学习建模优化装置应用于第一设备，所述纵向联邦学习建模优化装置包括：
第一优化模块，用于基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；
蒸馏损失构建模块，用于获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；
第二优化模块，用于基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
本申请还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置为虚拟装置，且所 述纵向联邦学习建模优化装置应用于第二设备，所述纵向联邦学习建模优化装置包括：
接收模块，用于接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
优化模块，用于获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
接收模块，用于接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
发送模块，用于将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
本申请还提供一种纵向联邦预测优化设备，所述纵向联邦预测优化设备为实体设备，所述纵向联邦预测优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述纵向联邦预测优化方法的程序，所述纵向联邦预测优化方法的程序被处理器执行时可实现如上述的纵向联邦预测优化方法的步骤。
本申请还提供一种纵向联邦学习建模优化设备，所述纵向联邦学习建模优化设备为实体设备，所述纵向联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述纵向联邦学习建模优化方法的程序，所述纵向联邦学习建模优化方法的程序被处理器执行时可实现如上述的纵向联邦学习建模优化方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现纵向联邦预测优化方法的程序，所述纵向联邦预测优化方法的程序被处理器执行时实现如上述的纵向联邦预测优化方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现纵向联邦学习建模优化方法的程序，所述纵向联邦学习建模优化方法的程序被处理器执行时实现如上述的纵向联邦学习建模优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的纵向联邦预测优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的纵向联邦学习建模优化方法的步骤。
本申请提供了一种纵向联邦预测优化方法、设备、介质及计算机程序产品，相比于现有技术采用的在纵向联邦预测场景中对于对齐样本，预测方联合分散在其他参与方的对齐样本进行纵向联邦预测，以准确进行样本预测，而对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本申请首先提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，由于所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到，进而所述目标预测模型为第一设备持有的完整模型，且由于联邦学习教师模型的准确度高于本地预测模型，所以，目标预测模型为比本地预测模型更加准确的完整模型，进而实现了基于本地迭代训练得到的作为完整模型的目标预测模型，在第一设备本地对第一方待预测样本进行准确度更高的样本预测的目的，进而与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果，其中，由于所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到，实现了基于纵向联邦学习的残差学习，联合第一设备的残差提升数据和目标残差提升数据，对待训练残差提升模型进行两次残差提升而得到目标残差提升模型的目的，进而对于第一方待预测样本对齐的第二方待预测样本，第二设备基于目标残差提升模型对第二方待预测样本执行模型预测可生成第一方待预测样本对应准确度更高的残差提升信息，也即第二方模型预测结果，进而获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重，基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，即可获得目标联邦预测结果，所以，对于为第一设备和第二设备之间的对齐样本的第一方待预测样本，第一设备 可借助第二设备基于目标残差提升模型针对第一方待预测样本对齐的第二待预测样本生成残差提升信息(第二方模型预测结果)，提升目标预测模型输出的第一方模型预测结果的准确度，实现对第一方待预测样本进行准确度更高的基于残差提升信息的纵向联邦预测，且对于不为第一设备和第二设备之间的对齐样本的第一方待预测样本，可基于完整模型的目标预测模型，在本地独自对未对齐样本进行准确度更高的基于蒸馏模型的样本预测，所以克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请纵向联邦预测优化方法第一实施例的流程示意图；
图2为本申请纵向联邦预测优化方法第二实施例的流程示意图；
图3为本申请纵向联邦学习建模优化方法第一实施例的流程示意图；
图4为本申请纵向联邦学习建模优化方法第二实施例的流程示意图；
图5为本申请实施例中纵向联邦预测优化方法涉及的硬件运行环境的设备架构示意图；
图6为本申请实施例中纵向联邦学习建模优化方法涉及的硬件运行环境的设备架构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种纵向联邦预测优化方法，在本申请纵向联邦预测优化方法的第一实施例中，参照图1，所述纵向联邦预测优化方法应用于第一设备，所述纵向联邦预测优化方法包括：
步骤S10，提取第一方待预测样本，并获取目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到。
在本实施例中，需要说明的是，所述纵向联邦预测优化方法应用于纵向联邦学习场景，第一设备和第二设备均为纵向联邦学习场景的参与方，其中，第一设备具备携带样本标签的样本，第二设备具备无样本标签的样本，且第一设备为预测方，用于执行预测任务，第二设备为辅助数据提供方，用于为第一设备提供残差提升信息，以提升第一设备生成的预测结果的准确度。
在一种可实施的方式中，所述目标预测模型可以为多层神经网络，也可以为深度因子分解机模型，用于对样本进行分类，例如，假设目标预测模型最后一层全连接层的输出为z，激活函数为sigmoid函数，则分类结果P＝sigmoid(z)，其中，P为样本属于预设样本类别的概率。
具体地，提取第一方待预测样本，并基于目标预测模型中的特征提取器，对所述第一方待预测样本进行特征提取，获得中间样本特征，进而基于所述目标预测模型中的分类器，对所述中间样本特征进行全连接，获得目标全连接层输出，进而通过预设激活函数，将所述目标全连接层输出转换为第一方模型预测结果。其中，所述第一方模型预测结果可以为分类概率或者分类标签，；所述本地预测模型由所述第一设备基于获取的第一训练样本在本地进行迭代训练得到；所述本地残差提升模型由所述第二设备基于所述本地预测模型对应的残差提升数据对所述待训练残差提升模型进行基于残差学习的迭代训练优化得到；所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到。其中，所述残差提升数据至少包括所述本地预测模型在所述训练样本上的模型预测损失和训练样本对应的训练样本ID，还可以包括所述本地预测模型在训练样本上的中间样本特征，其中，所述本地预测模型和所述目标预测模型的具体构建过程可参照下述步骤G10至步骤G40中的具体内容，在此暂不详述。
步骤S20，与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到；所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模 型进行基于残差学习的迭代优化得到。
在本实施例中，具体地，与所述第二设备进行联邦交互，将所述第一方待预测样本对应的待预测样本ID发送至第二设备，进而所述第二设备基于所述待预测样本ID，确定所述第二方待预测样本，进而将所述第二方待预测样本输入目标残差提升模型中执行模型预测，得到第二方模型预测结果，进而将所述第二方模型预测结果作为残差提升信息发送至第一设备。其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到；所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。其中，所述本地残差提升模型和所述目标残差提升模型的构建过程具体可参照下述步骤F10至步骤F60中具体解释内容，在此暂不详述。
在另一种实施方式中，第一设备与所述第二设备进行联邦交互，将所述第一方待预测样本对应的待预测样本ID和对应的中间样本特征发送至第二设备，进而所述第二设备基于所述待预测样本ID查找对应的ID匹配样本，进而依据所述中间样本特征，对所述ID匹配样本进行特征增强，得到第二方待预测样本。
其中，在所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到的步骤之前，所述纵向联邦预测优化方法还包括：
步骤A10，基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型。
在本实施例中，需要说明的是，所述公共样本集为第一设备与第二设备进行样本对齐得到的对齐训练样本构成的样本集，所述待训练本地预测模型为未训练好的本地预测模型。
具体地，基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备。其中，所述残差提升数据至少包括所述本地预测模型在所述第一训练样本上的第一模型预测损失、所述第一训练样本对应的第一训练样本ID以及所述第一训练样本对应的第一训练样本标签，还可以包括所述本地预测模型在所述第一训练样本上的中间样本特征，也即为第一中间训练样本特征，所述第一中间训练样本特征由所述第一设备利用所述本地预测模型的特征提取器对所述第一训练样本进行特征提取得到，进而所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型，其中，所述第一训练样本标签为所述第一训练样本对应的真实标签。
其中，所述基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型的步骤包括：
在所述公共样本集中提取第一训练样本，并将所述第一训练样本输入所述待训练本地预测模型中执行模型预测，得到第一训练模型预测结果，进而基于所述第一训练模型预测结果和所述第一训练样本对应的第一训练样本标签之间的差异度，计算第一模型预测损失，再判断所述待训练本地预测模型是否达到预设训练结束条件。若达到，则将所述待训练本地预测模型作为所述本地预测模型；若未达到，基于所述第一模型预测损失计算的模型梯度，对所述待训练本地预测模型进行更新，并返回执行步骤：在所述公共样本集中提取第一训练样本，进行下一轮迭代。其中，所述预设训练结束条件可以包括模型损失收敛和/或达到预设迭代次数阈值等。在一种可实施的方式中，计算第一模型预测损失的损失函数如下：
Figure PCTCN2021139641-appb-000001
其中，L(θ A，α A，X A，Y)为第一方模型预测损失，N A为一轮迭代中第一训练样本的数量，θ A为所述待训练目标预测模型，α A为所述第一方初始模型权重，X A为N A个第一训练样本组成的训练样本集合，Y为N A个第一训练样本对应的第一训练样本标签所组成的标签集合，y i为一轮迭代中第i个第一训练样本对应的第一训练样本标签，x A，i为一轮迭代中第i个第一训练样本的特征。
进一步地，所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的方法可参照下述步骤F20中的具体内容，在此暂不详述。
步骤A20，在所述公共样本集中提取第二训练样本，并获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在所述第二训练样本上的模型蒸馏损失。
在本实施例中，需要说明的是，所述联邦学习教师模型由所述本地预测模型和所述本地残差提升模型进行聚合得到。其中，聚合的规则包括加权求和以及加权平均等，在一种可实施的方式中，所述联邦学习教师模型的聚合过程如下：
θ fed＝α Aθ A+α Bθ B
其中，θ fed为所述联邦学习教师模型，θ A为所述本地预测模型，θ B为所述本地残差提升模型，α A为所述第一方模型权重，α B为所述第二方模型权重。
其中，所述获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失的步骤包括：
步骤A21，获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果。
在本实施例中，具体地，将所述第二训练样本输入所述本地预测模型中执行模型预测，获得第一方模型训练预测结果。其中，将所述第二训练样本输入所述本地预测模型中执行模型预测，获得第一方模型训练预测结果的具体实施过程可参照步骤S10中所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果的具体实施过程，在此不再赘述。
步骤A22，将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果。
在本实施例中，具体地，将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，进而第二设备将所述第二训练对齐样本输入所述本地残差提升模型中执行模型预测，获得第二方模型训练预测结果。其中，所述第二设备将所述第二训练对齐样本输入所述本地残差提升模型中执行模型预测，获得第二方模型训练预测结果的具体实施过程可参照步骤S10中所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果的具体实施过程，在此不再赘述。
步骤A23，接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果。
在本实施例中，具体地，接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，进而基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，通过预设聚合规则，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行加权聚合，得到联邦预测结果，其中，所述预设聚合规则包括加权求和以及加权平均。
步骤A24，基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
在本实施例中，在一种可实施的方式中，基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，通过L2损失函数计算所述模型蒸馏损失。
另外地，在另一种实施方式中，所述基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失的计算公式如下：
Figure PCTCN2021139641-appb-000002
其中，N C为所述第二训练样本的数量(也即公共样本数量)，θ fed为所述联邦预测结果，θ A为所述第一方模型训练预测结果。
步骤A30，基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
在本实施例中，具体地，基于所述第一方模型训练预测结果与所述第二训练样本对应的真实标签之间的差异度，计算第一方模型预测损失，进而对所述第一方模型预测损失和所述模型蒸馏损失进行加权 求和，获得模型总损失，进而判断所述模型总损失是否收敛。若收敛，则将所述本地预测模型作为所述目标预测模型；若未收敛，则基于所述模型总损失计算的模型梯度，更新所述本地预测模型，并返回执行步骤：在所述公共样本集中提取第二训练样本，进行下一轮迭代。
其中，所述与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本的步骤包括：
步骤S21，获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备基于所述待预测样本ID对应的ID匹配样本和所述中间样本特征确定所述第二方待预测样本；或者
在本实施例中，具体地，获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，进而所述第二设备以所述待预测样本ID为索引，查找所述待预测样本ID对应的ID匹配样本，并基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得第二方待预测样本，进而若基于特征增强后的第二方待预测样本进行模型预测，可为模型预测提供更多的决策依据，提升了目标残差提升模型对应所述第二方待预测样本进行模型预测的准确度。
其中，所述基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得第二方待预测样本的步骤包括：
将所述中间样本特征和所述ID匹配样本进行拼接，获得第二方待预测样本，或者将所述中间样本特征和所述ID匹配样本进行加权求和，获得所述第二方待预测样本。
步骤S22，将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备将所述待预测样本ID对应的ID匹配样本作为所述第二方待预测样本。
在本实施例中，具体地，将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，进而所述第二设备以所述待预测样本ID为索引，查找所述待预测样本ID对应的ID匹配样本，进而将所述ID匹配样本作为第二方待预测样本。
步骤S30，获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
步骤S40，基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
在本实施例中，具体地，获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重，进而基于所述第一方模型权重和所述第二方模型权重，利用预设加权聚合规则，将所述第一方模型预测结果和所述第二方模型预测结果加权聚合为目标联邦预测结果。其中，所述预设加权聚合规则包括加权平均以及加权求和等。
另外地，所述第一方模型权重为第一设备中预先设置的表示模型的预测准确度的权重值。其中，可设置第一方模型权重为第一设备中预测模型分类正确的样本数与分类错误的样本数的比值的对数值，也可设置第一方模型权重为第一设备中预测模型分类正确的样本数与输入预测模型的总样本数的比值的对数值。所述第二方模型权重为第二设备中预先设置的表示模型的预测准确度的权重值。其中，可设置第二方模型权重为第二设备中预测模型分类正确的样本数与分类错误的样本数的比值的对数值，也可设置第二方模型权重为第二设备中预测模型分类正确的样本数与输入预测模型的总样本数的比值的对数，实现了利用第二设备中目标残差提升模型生成的残差提升信息，提升第一设备中目标预测模型的预测结果的准确性。
本申请实施例提供了一种纵向联邦预测优化方法，相比于现有技术采用的在纵向联邦预测场景中对于对齐样本，预测方联合分散在其他参与方的对齐样本进行纵向联邦预测，以准确进行样本预测，而对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本申请实施例首先提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果。其中，由于所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到，进而所述目标预测模型为第一设备持有的完整模型，且由于联邦学习教师模型的准确度高于本地预测模型。所以，目标预测模型为比本地预测模型更加准确的完整模型，进而实现了基于本地迭代训练得到的作为完整模型的目标预测模型，在第一设备本地对第一方待预测样本进行准确度更高的样本预测的目的，进而与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，由于所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应 的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到，实现了基于纵向联邦学习的残差学习，联合第一设备的残差提升数据和目标残差提升数据，对待训练残差提升模型进行两次残差提升而得到目标残差提升模型的目的，进而对于第一方待预测样本对齐的第二方待预测样本，第二设备基于目标残差提升模型对第二方待预测样本执行模型预测可生成第一方待预测样本对应准确度更高的残差提升信息，也即第二方模型预测结果。进而获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重，基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，即可获得目标联邦预测结果。所以，对于为第一设备和第二设备之间的对齐样本的第一方待预测样本，第一设备可借助第二设备基于目标残差提升模型针对第一方待预测样本对齐的第二待预测样本生成残差提升信息(第二方模型预测结果)，提升目标预测模型输出的第一方模型预测结果的准确度，实现对第一方待预测样本进行准确度更高的基于残差提升信息的纵向联邦预测，且对于不为第一设备和第二设备之间的对齐样本的第一方待预测样本，可基于完整模型的目标预测模型，在本地独自对未对齐样本进行准确度更高的基于蒸馏模型的样本预测，克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
进一步地，参照图2，在本申请另一实施例中，所述纵向联邦预测优化方法应用于第二设备，所述纵向联邦预测优化方法包括：
步骤B10，通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
在本实施例中，具体地，接收第一设备发送的对齐样本确定数据，并根据所述对齐样本确定数据，确定所述第一方待预测样本对应的第二方待预测样本。
其中，所述通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本的步骤包括：
步骤C10，接收所述第一设备发送的第一方待预测样本的待预测样本ID，并查找所述待预测样本ID对应的ID匹配样本，将所述ID匹配样本作为所述第二方待预测样本；或者
步骤D10，接收所述第一设备发送的第一方待预测样本对应的待预测样本ID和对应的中间样本特征，其中，所述中间样本特征由所述第一设备基于目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成；查找所述待预测样本ID对应的ID匹配样本，基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本。
在本实施例中，具体地，接收第一设备发送的对齐样本确定数据，若所述对齐样本确定数据中存在待预测样本ID而不存在中间样本特征，则以所述待预测样本ID为索引，查找对应的ID匹配样本作为第二方待预测样本，若所述对齐样本确定数据中存在待预测样本ID和中间样本特征，则以所述待预测样本ID为索引，查找对应的ID匹配样本，进而依据所述中间样本特征，对所述ID匹配样本进行特征增强，获得第二方待预测样本。
进一步地，所述依据所述中间样本特征，对所述ID匹配样本进行特征增强，获得第二方待预测样本的方法，包括：将所述中间样本特征与所述ID匹配样本进行拼接，获得第二方待预测样本；或者将所述中间样本特征与所述ID匹配样本进行聚合，得到第二方待预测样本，其中，聚合的方式包括求和以及求平均等。
其中，在所述查找所述待预测样本ID对应的ID匹配样本的步骤之后，所述纵向联邦预测优化方法还包括：
步骤E10，若查找成功，则执行步骤：将所述ID匹配样本作为所述第二方待预测样本，或者执行步骤：基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本；
步骤E20，若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果作为目标预测结果。
在本实施例中，具体地，若查找成功，则证明所述待预测样本为所述第一设备与所述第二设备之间的公共样本，进而执行步骤：将所述ID匹配样本作为所述第二方待预测样本，或者执行步骤：基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本。若查找失败，则证明所述待预测样本不为所述第一设备与所述第二设备之间的公共样本，进而向所述第一设备反馈查找失败信息，进而所述第一设备在接收所述查找失败信息后，第一设备将基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果作为目标预测结果，以实现基于作为完整模型的目标预测模 型，独自对待预测样本进行模型预测的目的。
步骤B20，基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对本地残差提升模型进行基于残差学习的迭代训练优化得到。所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
在本实施例中，需要说明的是，所述目标残差提升模型可以为多层神经网络，也可以为深度因子分解机模型，用于对样本进行分类，例如，假设目标残差提升模型最后一层全连接层的输出为z，激活函数为sigmoid函数，则分类结果P＝sigmoid(z)，其中，P为样本属于预设样本类别的概率。
具体地，基于目标残差提升模型中的特征提取器，对所述第二方待预测样本进行特征提取，获得特征提取结果，进而基于所述目标残差提升模型中的分类器，对所述特征提取结果进行全连接，获得全连接结果，进而基于预设激活函数，将所述全连接结果映射为所述第二方模型预测结果。其中，所述本地残差提升模型的具体构建过程可参照下述步骤F10至步骤F20中的具体内容，所述目标残差提升模型的具体构建过程可参照下述步骤F10至步骤F60中的具体内容，所述目标预测模型的具体构建过程可参照上述步骤A10至步骤A30中的具体内容，在此不再赘述。
其中，在所述基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果的步骤之前，所述纵向联邦预测优化方法还包括：
步骤F10，接收所述第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
在本实施例中，需要说明的是，所述残差提升数据至少包括所述本地预测模型在所述第一训练样本上的第一模型预测损失、所述第一训练样本对应的第一训练样本ID以及所述第一训练样本对应的第一训练样本标签，还可以包括所述本地预测模型在所述第一训练样本上的中间样本特征，也即为第一中间训练样本特征，所述第一中间训练样本特征由所述第一设备利用所述本地预测模型的特征提取器对所述第一训练样本进行特征提取得到。所述第一模型预测损失由所述第一设备基于第一训练样本，对待训练本地预测模型进行迭代训练优化时得到。其中，所述第一设备基于第一训练样本，对所述待训练本地预测模型进行迭代训练优化的具体过程可参照步骤A10中的具体内容，在此不再赘述。
步骤F20，获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
在本实施例中，具体地，若所述残差提升数据包括第一训练样本ID和第一模型预测损失，则将基于所述第一训练样本ID查找得到的训练ID匹配样本作为所述第一训练对齐样本。进而第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型。若所述残差提升数据包括第一训练样本ID、第一模型预测损失和第一中间训练样本特征，则基于所述第一中间训练样本特征，对基于所述第一训练样本ID查找的训练ID匹配样本进行特征增强，获得第一训练对齐样本，进而第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型。
进一步地，所述第一训练样本为所述待训练本地预测模型迭代训练优化为本地预测模型过程中所利用到的训练样本，所述第一训练样本的数量至少为1，且所述第一设备会将所有第一训练样本对应的第一训练样本ID、对应的第一模型预测损失、对应的训练样本标签、对应的第一方模型权重以及对应的第一中间训练样本特征发送至第二设备。其中，所述第一方模型权重随着输入本地预测模型中的样本的数量而实时更新，所述第二方模型权重随着输入本地残差提升模型中的样本的数量而实时更新。
所述基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤包括：
在所有第一训练对齐样本中选取待输入训练对齐样本，进而将所述待输入训练对齐样本输入所述待训练残差提升模型中执行模型预测，获得第二方模型训练预测结果，进而基于所述第二方模型训练预测结果、所述第一模型预测损失和所述待输入训练对齐样本对应的训练样本标签，计算第一残差损失，判断所述第一残差损失是否收敛。若收敛，则将所述待训练本地残差提升模型作为所述本地残差提升模型；若未收敛，则基于所述第一残差损失计算的模型梯度，更新所述待训练本地残差提升模型，并返回执行步骤：在所有第一训练对齐样本中选取待输入训练对齐样本，进行下一轮迭代。其中，在一种可实施的方式中，计算所述第一残差损失的具体公式如下:
Figure PCTCN2021139641-appb-000003
其中，L(θ B，α B，X B，Y)为所述第一残差损失，N C为一轮迭代中第一训练对齐样本的数量，θ B为所述待训练残差提升模型，α B为输入所述第一训练对齐样本时所述待训练残差提升模型对应的第二方模型权重，X B为N C个第一训练对齐样本组成的训练样本集合，Y为N C个第一训练对齐样本对应的训练样本标签所组成的标签集合，
Figure PCTCN2021139641-appb-000004
为一轮迭代中第i个第一训练对齐样本对应的训练样本标签，
Figure PCTCN2021139641-appb-000005
为一轮迭代中第i个第一训练对齐样本的特征，
Figure PCTCN2021139641-appb-000006
为N C个所述第一训练对齐样本对应的第一方模型预测损失。
另外，在另一种实施方式中，可基于所述第二方模型训练预测结果以及对应的训练样本标签，计算第二方模型预测损失，进而对所述第二方模型预测损失和所述第一模型预测损失进行聚合，得到第一残差损失，聚合的方式可以为求和或者求平均等。
步骤F30，接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
在本实施例中，需要说明的是，所述对齐样本确定数据包括第二训练样本对应的第二训练样本ID，还可以包括所述第二训练样本对应的第二中间训练样本特征。
具体地，接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，若所述对齐样本确定数据包括第二训练样本ID而不包括第二中间训练样本特征，则以所述第二训练样本ID为索引，查找对应的训练ID匹配样本作为第二训练对齐样本；若所述对齐样本包括第二训练样本ID和第二中间训练样本特征，则以所述第二训练样本ID为索引，查找对应的训练ID匹配样本，并依据所述第二中间训练样本特征，对所述训练ID匹配样本进行特征增强，获得第二中间训练样本特征，其中，所述第二中间训练样本特征由所述第一设备依据所述本地预测模型的特征提取器，对所述第二训练样本进行特征提取得到。
步骤F40，将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型。
在本实施例中，所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型的具体过程可参照步骤A10至步骤A30中的具体内容中，在此不再赘述。
其中，在所述将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤F50，接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
在本实施例中，需要说明的是，所述目标残差提升数据至少包括所述目标预测模型在所述第三训练样本上的第三模型预测损失、所述第三训练样本对应的第三训练样本ID以及所述第三训练样本对应的第三训练样本标签，还可以包括所述目标预测模型在所述第三训练样本上的中间样本特征，也即为第三中间训练样本特征，所述第三中间训练样本特征由所述第一设备利用所述目标预测模型的特征提取器对所述第三训练样本进行特征提取得到，所述目标预测模型在所述第三训练样本上的第三模型预测损失由所述第一设备基于第三训练样本，对本地预测模型进行迭代训练优化得到。其中，所述第一设备基于第三训练样本，对所述本地预测模型进行迭代训练优化的具体过程可参照步骤A10中的具体内容，在此不再赘述。
步骤F60，获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述 目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得所述目标残差提升模型。
在本实施例中，具体地，若所述目标残差提升数据包括第三训练样本ID和第三模型预测损失，则将基于所述第三训练样本ID查找得到的训练ID匹配样本作为所述第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。若所述目标残差提升数据包括第三训练样本ID、第三模型预测损失和第三中间训练样本特征，则基于所述第三中间训练样本特征，对基于所述第三训练样本ID查找的训练ID匹配样本进行特征增强，获得第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型，进而实现了利用第一设备中的中间样本特征对第二设备中的样本进行特征增强的目的，使得第二设备中的样本具备更丰富的特征信息，进而使得基于第二设备中的样本构建的目标残差提升模型的预测准确度更高。
其中，所述第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的具体实施步骤可参照步骤F20中所述第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤中具体内容，在此不再赘述。
步骤B30，获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
在本实施例中，具体地，获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果和第二方模型预测结果进行加权聚合，获得目标联邦预测结果，实现了利用第二设备中生成的残差提升信息(第二方模型预测结果)，提升第一方模型预测结果的目的，且由于目标预测模型是基于模型蒸馏进行的，目标预测模型可学习到联邦学习教师模型的模型知识，提升了第一方模型预测结果，而目标残差提升模型是基于目标预测模型进行残差提升(基于残差学习的迭代训练优化过程)得到的，进而实现了基于准确度更高的目标预测模型进行残差提升的目的，提升了残差提升模型的预测准确度，且构建的残差提升模型和本地残差提升模型所利用的训练对齐样本是基于第一设备中训练对应的中间训练样本特征进行特征增强得到的，可进一步提升目标残差提升模型的预测准确度。
本申请实施例提供了一种纵向联邦预测优化方法，相比于现有技术采用的在纵向联邦预测场景中对于未对齐样本，预测方基于本地持有的部分纵向联邦预测模型进行本地预测的技术手段，本申请实施例首先通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本，进而基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，由于所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对本地残差提升模型进行基于残差学习的迭代训练优化得到。所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到，进而所述目标预测模型为第一设备持有的完整模型，且由于联邦学习教师模型的准确度高于本地预测模型，所以，目标预测模型为比本地预测模型更加准确的完整模型，进而实现了基于本地迭代训练得到的作为完整模型的目标预测模型，在第一设备本地对第一方待预测样本进行准确度更高的样本预测的目的，且实现了基于纵向联邦学习的残差学习，联合第一设备的残差提升数据和目标残差提升数据，对待训练残差提升模型进行两次残差提升而得到目标残差提升模型的目的。进而获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果，进而对于为第一设备和第二设备之间的对齐样本的第一方待预测样本，第二设备可协助第一设备基于目标残差提升模型针对第一方待预测样本对齐的第二待预测样本生成残差提升信息(第二方模型预测结果)，提升目标预测模型输出的第一方模型预测结果的准确度，实现对第一方待预测样本进行准确度更高的基于残差提升信息的纵向联邦预测，且对于不为第一设备和第二设备之间的对齐样本的第一方待预测样本，第一设备可基于完整模型的目标预测模型，在本地独自对未对齐样本进行准确度更高的基于蒸馏模型的样本 预测，所以克服了预测方在对对齐样本进行准确度更高的联邦预测的情况下，无法对未对齐样本进行基于完整模型的样本预测，使得整体的样本预测准确度变低的技术缺陷，提升了纵向联邦预测的整体样本预测准确度。
进一步地，参照图3，在本申请另一实施例中，还提供一种纵向联邦学习建模优化方法，所述纵向联邦学习建模优化方法应用于第一设备，所述纵向联邦学习建模优化方法包括：
步骤G10，基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；
在本实施例中，具体地，在公共样本集中提取第一训练样本，进而基于第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，其中，所述残差提升数据至少包括所述本地预测模型在所述第一训练样本上的第一模型预测损失、所述第一训练样本对应的第一训练样本ID以及所述第一训练样本对应的第一训练样本标签，还可以包括所述本地预测模型在所述第一训练样本上的中间样本特征，也即为第一中间训练样本特征，所述第一中间训练样本特征由所述第一设备利用所述本地预测模型的特征提取器对所述第一训练样本进行特征提取得到，进而所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型，其中，步骤G10的具体实施过程可参照步骤A10中的具体内容，在此不再赘述。
其中，所述残差提升数据包括所述第一训练样本对应的第一训练样本标签、对应的第一模型预测损失和对应的第一中间训练样本特征，
所述基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤包括：
步骤G11，通过所述待训练本地预测模型对所述第一训练样本执行模型预测，将所述第一训练样本映射为第一中间训练样本特征，以及将所述第一中间训练样本特征映射为第一训练模型预测结果；
在本实施例中，具体地，基于所述待训练本地预测模型的特征提取器，对所述第一训练样本进行特征提取，获得第一中间训练样本特征，进而基于所述待训练本地预测模型的分类器，将所述第一中间训练样本特征映射为全连接结果，进而基于预设激活函数，将所述全连接结果映射为所述第一训练模型预测结果。
步骤G12，基于所述第一训练模型预测结果和所述第一训练样本标签，计算第一模型预测损失；
在本实施例中，基于所述第一训练模型预测结果和所述第一训练样本标签之间的差异度，计算第一模型预测损失，其中，第一模型预测损失的具体计算方式可参照步骤A10中的具体内容，在此不再赘述。
步骤G13，基于所述第一模型预测损失，迭代优化所述待训练本地预测模型，获得所述本地预测模型；
在本实施例中，具体地，判断所述第一模型预测损失是否收敛，若收敛，则将所述待训练本地预测模型作为本地预测模型，若未收敛，则基于所述第一模型预测损失计算的模型梯度，更新待训练本地预测模型，并返回执行步骤：在公共样本集中提取第一训练样本，进行下一轮迭代。
步骤G14，将所述第一训练样本标签、所述第一模型预测损失和所述第一中间训练样本特征发送至所述第二设备，以供所述第二设备基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得所述第一训练对齐样本，并基于所述第一训练对齐样本、所述第一训练样本标签、所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得所述本地残差提升模型。
在本实施例中，具体地，将所述第一训练样本标签、所述第一训练样本对应的第一训练样本ID、所述第一模型预测损失和所述第一中间训练样本特征发送至所述第二设备，以供所述第二设备基于所述第一中间训练样本特征，对基于第一训练样本ID查找的训练ID匹配样本进行特征增强，获得所述第一训练对齐样本，并基于所述第一训练对齐样本、所述第一训练样本标签、所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得所述本地残差提升模型，其中，所述基于所述第一训练对齐样本、所述第一训练样本标签、所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得所述本地残差提升模型的具体过程可参照步骤F20中的具体内容，在此不再赘述。
步骤G20，获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；
在本实施例中，需要说明的是，步骤G20的具体实施过程可参照步骤A20中的具体内容，在此不再赘述。
其中，所述获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失的步骤包括：
步骤G21，获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；
在本实施例中，具体地，在公共样本集中提取第二训练样本，并利用本地预测模型对所述第二训练进行模型预测，获得第一方模型训练预测结果。
步骤G22，将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；
步骤G23，接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；
步骤G24，基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
在本实施例中，步骤G21至步骤G24的具体实施过程可参照步骤A21至步骤A24中的内容，在此不再赘述。
步骤G30，基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
在本实施例中，基于所述第一方模型训练预测结果与所述第二训练样本对应的真实标签之间的差异度，计算第一方模型预测损失，进而对所述第一方模型预测损失和所述模型蒸馏损失进行加权求和，获得模型总损失，进而判断所述模型总损失是否收敛，若收敛，则将所述本地预测模型作为所述目标预测模型，若未收敛，则基于所述模型总损失计算的模型梯度，更新所述本地预测模型，并返回执行步骤：在公共样本集中提取第二训练样本。
其中，在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤G40，获取所述目标预测模型对应的第一方分类正确样本数和对应的第一方分类错误样本数；
在本实施例中，需要说明的是，所述第一方分类正确样本数为所述目标预测模型针对样本执行模型预测得到的输出分类标签和对应的真实样本标签一致的训练样本的数量，所述第一方分类错误样本数为所述目标预测模型针对样本执行模型预测得到的输出分类标签和对应的真实样本标签不一致的训练样本的数量。
步骤G50，通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重。
在本实施例中，第一方模型权重的具体计算过程如下：
Figure PCTCN2021139641-appb-000007
其中，α A为所述第一方模型权重，A为所述第一方分类正确样本数，B为所述第一方分类错误样本数。
在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤H10，基于所述目标预测模型，获取在所述公共样本集中提取的第三训练样本对应的目标残差提升数据；
在本实施例中，需要说明的是，所述目标残差提升数据至少包括所述目标预测模型在所述第三训练样本上的第三模型预测损失、所述第三训练样本对应的第三训练样本ID以及所述第三训练样本对应的第三训练样本标签，还可以包括所述目标预测模型在所述第三训练样本上的中间样本特征，也即为第三中间训练样本特征，所述第三中间训练样本特征由所述第一设备利用所述目标预测模型的特征提取器对所述第三训练样本进行特征提取得到，所述目标预测模型在所述第三训练样本上的第三模型预测损失由所述第一设备基于第三训练样本，对本地预测模型进行迭代训练优化得到，其中，所述第一设备基于第三训练样本，对所述本地预测模型进行迭代训练优化的具体过程可参照步骤A10中的具体内容，在此不再赘述。
步骤H20，将所述目标残差提升数据发送至所述第二设备，以供所述第二设备基于所述目标残差提升数据和所述第三训练样本对应的第三训练对齐样本，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
在本实施例中，具体地，将所述目标残差提升数据发送至所述第二设备，进而若所述目标残差提升数据包括第三训练样本ID和第三模型预测损失，则所述第二将基于所述第三训练样本ID查找得到的训练ID匹配样本作为所述第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型，若所述目标残差提升数据包括第三训练样本ID、第三模型预测损失和第三中间训练样本特征，则第二设备基于所述第三中间训练样本特征，对基于所述第三训练样本ID查找的训练ID匹配样本进行特征增强，获得第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型，进而实现了利用第一设备中的中间样本特征对第二设备中的样本进行特征增强的目的，使得第二设备中的样本具备更丰富的特征信息，进而使得基于第二设备中的样本构建的目标残差提升模型的预测准确度更高。其中，所述第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的具体过程可参照步骤F20中所述第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤中具体内容，在此不再赘述，实现了利用目标预测模型的目标残差提升数据在本地残差提升模型上再次进行残差提升的目的，而由于目标预测模型比本地预测模型的准确度更高，进而提升第二设备中的残差提升模型的预测准确度，进而第一设备可利用目标残差提升模型产生残差提升信息，提升目标预测模型的预测结果的准确度。
其中，在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤Q10，提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果；
步骤Q20，与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用所述目标预测模型对应的目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
在本实施例中，与所述第二设备进行联邦交互，将所述第一方待预测样本对应的待预测样本ID发送至第二设备，进而所述第二设备基于所述待预测样本ID，确定所述第二方待预测样本，进而将所述第二方待预测样本输入目标残差提升模型中执行模型预测，得到第二方模型预测结果。
步骤Q30，接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
步骤Q40，基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
在本实施例中，步骤Q10至步骤Q40的具体过程可参照步骤S10至步骤S40中的具体内容，在此不再赘述。
本申请实施例提供了一种纵向联邦学习建模优化方法，基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，实现了在第一设备本地独自构建作为完整模型的本地预测模型的目的；进而将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型，实现了协助第二设备构建本地残差提升模型的目的；且所述残差提升数据中可包括第一训练样本对应的第一中间训练样本特征，而第二设备可利用第一中间训练样本特征，将第二设备中训练样本特征增强为第一训练对齐样本，使得第一训练对齐样本特征的特征信息更加丰富，可提升本地残差提升模型的预测准确度，进而获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失，进而基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。由于联邦学习教师模型的预测准确度明显高于本地预测模型，进而实现了通过模型蒸馏的方式促使本地预测模型学习联邦学习教师模型的模型知识的目的，得到了准确度更高的目标预测模型，且由于本地残差提升模型基于特征增强的样本进行残差提升得到，进而基于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型进行模型蒸馏得到的目标预测模型的准确度将更高，进而实现了基于模型蒸馏和特征增强构建目标预测模型的目的，提升了目标预测模型的准确度。
进一步地，参照图4，在本申请另一实施例中，还提供一种纵向联邦学习建模优化方法，所述纵向 联邦学习建模优化方法应用于第二设备，所述纵向联邦学习建模优化方法包括：
步骤W10，接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
在本实施例中，需要说明的是，所述残差提升数据至少包括所述本地预测模型在所述第一训练样本上的第一模型预测损失、所述第一训练样本对应的第一训练样本ID以及所述第一训练样本对应的第一训练样本标签，还可以包括所述本地预测模型在所述第一训练样本上的中间样本特征，也即为第一中间训练样本特征，所述第一中间训练样本特征由所述第一设备利用所述本地预测模型的特征提取器对所述第一训练样本进行特征提取得到，所述第一模型预测损失由所述第一设备基于第一训练样本，对待训练本地预测模型进行迭代训练优化时得到，其中，所述第一设备基于第一训练样本，对所述待训练本地预测模型进行迭代训练优化的具体过程可参照步骤A10中的具体内容，在此不再赘述。
步骤W20，获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
在本实施例中，具体地，若所述残差提升数据包括第一训练样本ID和第一模型预测损失，则将基于所述第一训练样本ID查找得到的训练ID匹配样本作为所述第一训练对齐样本，进而第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型，若所述残差提升数据包括第一训练样本ID、第一模型预测损失和第一中间训练样本特征，则基于所述第一中间训练样本特征，对基于所述第一训练样本ID查找的训练ID匹配样本进行特征增强，获得第一训练对齐样本，进而第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型，其中，所述第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的具体过程可参照步骤F20中的具体内容，在此不再赘述。
其中，所述残差提升数据包括所述第一训练样本对应的第一训练样本标签、对应的第一模型预测损失和对应的第一中间训练样本特征，
所述基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型的步骤包括：
步骤W21，基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得第一训练对齐样本；
在本实施例中，具体地，基于第一训练样本的第一训练样本ID，查找所述第一训练样本对应的训练ID匹配样本，进而通过将所述第一中间训练样本特征和所述训练ID匹配样本进行拼接，对所述训练ID匹配样本进行特征增强，获得第一训练对齐样本。
步骤W22，基于所述第一训练样本标签和所述第一模型预测损失，计算所述待训练残差提升模型在所述第一训练对齐样本上的第一残差损失；
在本实施例中，具体地，在所有所述第一训练对齐样中选取目标对齐训练样本，利用待训练残差提升模型，对所述目标对齐训练样本执行模型预测，得到第二方模型训练预测结果，进而基于所述第一训练样本标签、第二方模型训练预测结果和所述第一模型预测损失，计算第一残差损失，其中，所述基于所述第一训练样本标签、第二方模型训练预测结果和所述第一模型预测损失，计算第一残差损失的具体方式可参照步骤F20中的具体内容，在此不再赘述。
步骤W23，基于所述第一残差损失，优化所述待训练本地残差提升模型，获得所述本地残差提升模型。
在本实施例中，具体地，判断所述第一残差损失是否收敛，若收敛，则将所述待训练本地残差提升模型作为本地残差提升模型，若未收敛，基于所述第一残差提升损失计算的模型梯度，对所述待训练本地残差提升模型进行更新，并返回执行步骤：在所有所述第一训练对齐样中选取目标对齐训练样本。
步骤W30，接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
在本实施例中，需要说明的是，所述对齐样本确定数据包括第二训练样本对应的第二训练样本ID，还可以包括所述第二训练样本对应的第二中间训练样本特征，步骤W30的具体实施过程可参照步骤F30中的具体内容，在此不再赘述。
其中，所述对齐样本确定数据包括所述第二训练样本对应的第二训练样本ID和对应的第二中间训练样本特征，
所述基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本的步骤包括：
步骤W31，查找所述第二训练样本ID对应的ID匹配样本，获得第二训练ID匹配样本；
在本实施例中，具体地，以所述第二训练样本ID为索引，查找对应的ID匹配样本，获得第二训练ID匹配样本。
步骤W32，基于所述第二中间训练样本特征，对所述第二训练ID匹配样本进行特征增强，获得所述第二训练对齐样本。
在本实施例中，具体地，通过将所述第二中间训练样本特征和所述第二训练ID匹配样本进行拼接，对所述第二训练ID匹配样本进行特征增强，获得所述第二训练对齐样本。
另外地，也可通过将所述第二中间训练样本特征和所述第二训练ID匹配样本进行聚合，对所述第二训练ID匹配样本进行特征增强，获得所述第二训练对齐样本，其中，聚合的方式包括求和和求平均等方式。
步骤W40，将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
在本实施例中，需要说明的是，所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的具体实施过程可参照步骤A10至步骤A30中的内容，在此不再赘述。
其中，在所述将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤W50，接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
在本实施例中，需要说明的是，所述目标残差提升数据至少包括所述目标预测模型在所述第三训练样本上的第三模型预测损失、所述第三训练样本对应的第三训练样本ID以及所述第三训练样本对应的第三训练样本标签，还可以包括所述目标预测模型在所述第三训练样本上的中间样本特征，也即为第三中间训练样本特征，所述第三中间训练样本特征由所述第一设备利用所述目标预测模型的特征提取器对所述第三训练样本进行特征提取得到，所述目标预测模型在所述第三训练样本上的第三模型预测损失由所述第一设备基于第三训练样本，对本地预测模型进行迭代训练优化得到，其中，所述第一设备基于第三训练样本，对所述本地预测模型进行迭代训练优化的具体过程可参照步骤A10中的具体内容，在此不再赘述。
步骤W60，获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
在本实施例中，具体地，若所述目标残差提升数据包括第三训练样本ID和第三模型预测损失，则第二设备将基于所述第三训练样本ID查找得到的训练ID匹配样本作为所述第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。若所述目标残差提升数据包括第三训练样本ID、第三模型预测损失和第三中间训练样本特征，则基于所述第三中间训练样本特征，对基于所述第三训练样本ID查找的训练ID匹配样本进行特征增强，获得第三训练对齐样本，进而第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型，进而实现了利用第一设备中的中间样本特征对第二设备中的样本进行特征增强的目的，使得第二设备中的样本具备更丰富的特征信息，进而使得基于第二设备中的样本构建的目标残差提升模型的预测准确度更高，且对于第一设备中的目标预测模型的预测结果，也可基于目标残差提升模型生成的残差提升信息，进一步提升目标预测模型的预测结果的准确度。
其中，所述第二设备基于所述第三训练对齐样本和所述第三模型预测损失，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的具体实施步骤可参照步骤F20中所述第二设备基于所述第一训练对齐样本和所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤中具体内容，在此不再赘述。
其中，在所述基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤W70，获取所述目标残差提升模型对应的第二方分类正确样本数和对应的第二方分类错误样本数；
在本实施例中，需要说明的是，所述第二方分类正确样本数为所述目标残差提升模型针对样本执行模型预测得到的输出分类标签和对应的真实样本标签一致的训练样本的数量，所述第二方分类错误样本数为所述目标残差提升模型针对样本执行模型预测得到的输出分类标签和对应的真实样本标签不一致的训练样本的数量。
步骤W80，通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。
在本实施例中，第二方模型权重的具体计算过程如下：
Figure PCTCN2021139641-appb-000008
其中，α B为所述第一方模型权重，A为所述第二方分类正确样本数，B为所述第二方分类错误样本数。
其中，在所述基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
步骤T10，通过与所述第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
步骤T20，基于所述目标预测模型对应的目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
步骤T30，获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
在本实施例中，需要说明的是，步骤T10至步骤T30的具体实施过程可参照步骤B10至步骤B30中的具体内容，在此不再赘述。
本申请实施例提供了一种纵向联邦学习建模优化方法，首先接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到，进而获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型，实现了利用本地预测模型对应的残差提升数据，构建本地残差提升模型的目的，而所述残差提升数据中可包括第一训练样本对应的第一中间训练样本特征，而第二设备可利用第一中间训练样本特征，将第二设备中训练样本特征增强为第一训练对齐样本，使得第一训练对齐样本特征的特征信息更加丰富，可提升本地残差提升模型的预测准确度，进而接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，进而将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型，而由于联邦学习教师模型的预测准确度明显高于本地预测模型，进而实现了通过模型蒸馏的方式促使本地预测模型学习联邦学习教师模型的模型知识的目的，得到了准确度更高的目标预测模型，且由于本地残差提升模型基于特征增强的样本进行残差提升得到，进而基于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型进行模型蒸馏得到的目标预测模型的准确度将更高，进而实现了基于模型蒸馏和特征增强构建目标预测模型的目的，提升了目标预测模型的准确度。
参照图5，图5是本申请实施例方案涉及的硬件运行环境的设备架构示意图。
如图5所示，该纵向联邦预测优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该纵向联邦预测优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图5中示出的纵向联邦预测优化设备架构并不构成对纵向联邦预测优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及纵向联邦预测优化程序。操作系统是管理和控制纵向联邦预测优化设备硬件和软件资源的程序，支持纵向联邦预测优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与纵向联邦预测优化系统中其它硬件和软件之间通信。
在图5所示的纵向联邦预测优化设备中，处理器1001用于执行存储器1005中存储的纵向联邦预测优化程序，实现上述任一项所述的纵向联邦预测优化方法的步骤。
本申请纵向联邦预测优化设备具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的设备架构示意图。
如图6所示，该纵向联邦学习建模优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该纵向联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图6中示出的纵向联邦学习建模优化设备架构并不构成对纵向联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及纵向联邦学习建模优化程序。操作系统是管理和控制纵向联邦学习建模优化设备硬件和软件资源的程序，支持纵向联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与纵向联邦学习建模优化系统中其它硬件和软件之间通信。
在图6所示的纵向联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的纵向联邦学习建模优化程序，实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
本申请纵向联邦学习建模优化设备具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置应用于第一设备，所述纵向联邦预测优化装置包括：
获取模块，用于提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
联邦交互模块，用于与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到；
接收模块，用于获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
加权聚合模块，用于基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
可选地，所述联邦交互模块还用于：
获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述 第二设备基于所述待预测样本ID对应的ID匹配样本和所述中间样本特征确定所述第二方待预测样本；或者
将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备将所述待预测样本ID对应的ID匹配样本作为所述第二方待预测样本。
可选地，所述纵向联邦预测优化装置还用于：
基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；
在所述公共样本集中提取第二训练样本，并获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在所述第二训练样本上的模型蒸馏损失；
基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
可选地，所述纵向联邦预测优化装置还用于：
获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；
将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；
接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；
基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
本申请纵向联邦预测优化装置的具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种纵向联邦预测优化装置，所述纵向联邦预测优化装置应用于第二设备，所述纵向联邦预测优化装置包括：
联邦交互模块，用于通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
预测模块，用于基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果。其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
发送模块，用于获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
可选地，所述联邦交互模块还用于：
接收所述第一设备发送的第一方待预测样本的待预测样本ID，并查找所述待预测样本ID对应的ID匹配样本，将所述ID匹配样本作为所述第二方待预测样本；或者
接收所述第一设备发送的第一方待预测样本对应的待预测样本ID和对应的中间样本特征，其中，所述中间样本特征由所述第一设备基于目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成；查找所述待预测样本ID对应的ID匹配样本，基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本。
可选地，所述纵向联邦预测优化装置还用于：
若查找成功，则执行步骤：将所述ID匹配样本作为所述第二方待预测样本，或者执行步骤：基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本；
若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果作为目标预测结果。
可选地，所述纵向联邦预测优化装置还用于：
接收所述第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集 中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型。
可选地，所述纵向联邦预测优化装置还用于：
接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得所述目标残差提升模型。
本申请纵向联邦预测优化装置的具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置应用于第一设备，所述纵向联邦学习建模优化装置包括：
第一优化模块，用于基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；
蒸馏损失构建模块，用于获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；
第二优化模块，用于基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
可选地，所述第一优化模块还用于：
通过所述待训练本地预测模型对所述第一训练样本执行模型预测，将所述第一训练样本映射为第一中间训练样本特征，以及将所述第一中间训练样本特征映射为第一训练模型预测结果；
基于所述第一训练模型预测结果和所述第一训练样本标签，计算第一模型预测损失；
基于所述第一模型预测损失，迭代优化所述待训练本地预测模型，获得所述本地预测模型；
将所述第一训练样本标签、所述第一模型预测损失和所述第一中间训练样本特征发送至所述第二设备，以供所述第二设备基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得所述第一训练对齐样本，并基于所述第一训练对齐样本、所述第一训练样本标签、所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得所述本地残差提升模型。
可选地，所述蒸馏损失构建模块还用于：
获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；
将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；
接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；
基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
可选地，所述纵向联邦学习建模优化装置还用于：
获取所述目标预测模型对应的第一方分类正确样本数和对应的第一方分类错误样本数；
通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重。
可选地，所述纵向联邦学习建模优化装置还用于：
基于所述目标预测模型，获取在所述公共样本集中提取的第三训练样本对应的目标残差提升数据；
将所述目标残差提升数据发送至所述第二设备，以供所述第二设备基于所述目标残差提升数据和所 述第三训练样本对应的第三训练对齐样本，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
可选地，所述纵向联邦学习建模优化装置还用于：
提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果；
与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用所述目标预测模型对应的目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
本申请纵向联邦学习建模优化装置的具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种纵向联邦学习建模优化装置，所述纵向联邦学习建模优化装置应用于第二设备，所述纵向联邦学习建模优化装置包括：
接收模块，用于接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
优化模块，用于获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
接收模块，用于接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
发送模块，用于将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
可选地，所述优化模块还用于：
基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得第一训练对齐样本；
基于所述第一训练样本标签和所述第一模型预测损失，计算所述待训练残差提升模型在所述第一训练对齐样本上的第一残差损失；
基于所述第一残差损失，优化所述待训练本地残差提升模型，获得所述本地残差提升模型。
可选地，所述接收模块还用于：
查找所述第二训练样本ID对应的ID匹配样本，获得第二训练ID匹配样本；
基于所述第二中间训练样本特征，对所述第二训练ID匹配样本进行特征增强，获得所述第二训练对齐样本。
可选地，所述纵向联邦学习建模优化装置还用于：
接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
可选地，所述纵向联邦学习建模优化装置还用于：
获取所述目标残差提升模型对应的第二方分类正确样本数和对应的第二方分类错误样本数；
通过计算所述第二方分类正确样本数和所述第二方分类错误样本数的比值，生成第二方模型权重。
可选地，所述纵向联邦学习建模优化装置还用于：
通过与所述第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
基于所述目标预测模型对应的目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
本申请纵向联邦学习建模优化装置的具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦预测优化方法的步骤。
本申请可读存储介质具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
本申请可读存储介质具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦预测优化方法的步骤。
本申请计算机程序产品具体实施方式与上述纵向联邦预测优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的纵向联邦学习建模优化方法的步骤。
本申请计算机程序产品具体实施方式与上述纵向联邦学习建模优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (27)

  1. 一种纵向联邦预测优化方法，其中，应用于第一设备，所述纵向联邦预测优化方法包括：
    提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
    与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
    获取所述目标预测模型对应的第一方模型权重，并接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
    基于所述第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
  2. 如权利要求1所述纵向联邦预测优化方法，其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。
  3. 如权利要求1所述纵向联邦预测优化方法，其中，所述与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本的步骤包括：
    获取所述目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成的中间样本特征；将所述中间样本特征和所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备基于所述待预测样本ID对应的ID匹配样本和所述中间样本特征确定所述第二方待预测样本；或者
    将所述第一方待预测样本对应的待预测样本ID发送所述第二设备，以供所述第二设备将所述待预测样本ID对应的ID匹配样本作为所述第二方待预测样本。
  4. 如权利要求1所述纵向联邦预测优化方法，其中，在所述获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果，其中，所述目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到的步骤之前，所述纵向联邦预测优化方法还包括：
    基于公共样本集中提取的第一训练样本，对所述待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型；
    在所述公共样本集中提取第二训练样本，并获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在所述第二训练样本上的模型蒸馏损失；
    基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
  5. 如权利要求4所述纵向联邦预测优化方法，其中，所述获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失的步骤包括：
    获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；
    将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；
    接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；
    基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
  6. 一种纵向联邦预测优化方法，其中，应用于第二设备，所述纵向联邦预测优化方法包括：
    通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
    基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果，所述 目标预测模型由所述第一设备在本地迭代训练的本地预测模型与所述本地预测模型联合第二设备中的本地残差提升模型共同组成的联邦学习教师模型之间进行模型蒸馏得到；
    获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
  7. 如权利要求6所述纵向联邦预测优化方法，其中，所述目标残差提升模型由所述第二设备基于所述第一设备发送的目标预测模型对应的目标残差提升数据，对本地残差提升模型进行基于残差学习的迭代训练优化得到，所述本地残差提升模型由所述第二设备基于所述第一设备发送的本地预测模型对应的残差提升数据，对待训练残差提升模型进行基于残差学习的迭代优化得到。
  8. 如权利要求6所述纵向联邦预测优化方法，其中，所述通过与第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本的步骤包括：
    接收所述第一设备发送的第一方待预测样本的待预测样本ID，并查找所述待预测样本ID对应的ID匹配样本，将所述ID匹配样本作为所述第二方待预测样本；或者
    接收所述第一设备发送的第一方待预测样本对应的待预测样本ID和对应的中间样本特征，其中，所述中间样本特征由所述第一设备基于目标预测模型的特征提取器针对所述第一方待预测样本进行特征提取生成；查找所述待预测样本ID对应的ID匹配样本，基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本。
  9. 如权利要求8所述纵向联邦预测优化方法，其中，在所述查找所述待预测样本ID对应的ID匹配样本的步骤之后，所述纵向联邦预测优化方法还包括：
    若查找成功，则执行步骤：将所述ID匹配样本作为所述第二方待预测样本，或者执行步骤：基于所述中间样本特征，对所述ID匹配样本进行特征增强，获得所述第二方待预测样本；
    若查找失败，则向所述第一设备反馈查找失败信息，以供所述第一设备在接收所述查找失败信息后，将基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果作为目标预测结果。
  10. 如权利要求6所述纵向联邦预测优化方法，其中，在所述基于目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果的步骤之前，所述纵向联邦预测优化方法还包括：
    接收所述第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
    获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
    接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
    将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型。
  11. 如权利要求10所述纵向联邦预测优化方法，其中，在所述将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得所述目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
    获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得所述目标残差提升模型。
  12. 一种纵向联邦学习建模优化方法，其中，应用于第一设备，所述纵向联邦学习建模优化方法包括：
    基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的 迭代训练优化，获得本地残差提升模型；
    获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失；
    基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
  13. 如权利要求12所述纵向联邦学习建模优化方法，其中，所述残差提升数据包括所述第一训练样本对应的第一训练样本标签、对应的第一模型预测损失和对应的第一中间训练样本特征，
    所述基于公共样本集中提取的第一训练样本，对待训练本地预测模型进行迭代训练优化，获得本地预测模型，并将所述本地预测模型对应的残差提升数据发送至第二设备，以供所述第二设备基于所述第一训练样本对应的第一训练对齐样本和所述残差提升数据，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得本地残差提升模型的步骤包括：
    通过所述待训练本地预测模型对所述第一训练样本执行模型预测，将所述第一训练样本映射为第一中间训练样本特征，以及将所述第一中间训练样本特征映射为第一训练模型预测结果；
    基于所述第一训练模型预测结果和所述第一训练样本标签，计算第一模型预测损失；
    基于所述第一模型预测损失，迭代优化所述待训练本地预测模型，获得所述本地预测模型；
    将所述第一训练样本标签、所述第一模型预测损失和所述第一中间训练样本特征发送至所述第二设备，以供所述第二设备基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得所述第一训练对齐样本，并基于所述第一训练对齐样本、所述第一训练样本标签、所述第一模型预测损失，对所述待训练残差提升模型进行基于残差学习的迭代训练优化，获得所述本地残差提升模型。
  14. 如权利要求12所述纵向联邦学习建模优化方法，其中，所述获取所述本地预测模型相对于所述本地预测模型与所述本地残差提升模型组成的联邦学习教师模型在第二训练样本上的模型蒸馏损失的步骤包括：
    获取所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果；
    将所述第二训练样本对应的对齐样本确定数据发送至所述第二设备，以供所述第二设备基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本，并获取所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果；
    接收所述第二设备反馈的第二方模型训练预测结果以及所述本地残差提升模型对应的第二方模型权重，并基于所述本地预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型训练预测结果和所述第二方模型训练预测结果进行聚合，得到联邦预测结果；
    基于所述第一方模型训练预测结果和所述联邦预测结果之间的差异度，计算所述模型蒸馏损失。
  15. 如权利要求12所述纵向联邦学习建模优化方法，其中，在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    获取所述目标预测模型对应的第一方分类正确样本数和对应的第一方分类错误样本数；
    通过计算所述第一方分类正确样本数和所述第一方分类错误样本数的比值，生成第一方模型权重。
  16. 如权利要求12所述纵向联邦学习建模优化方法，其中，在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    基于所述目标预测模型，获取在所述公共样本集中提取的第三训练样本对应的目标残差提升数据；
    将所述目标残差提升数据发送至所述第二设备，以供所述第二设备基于所述目标残差提升数据和所述第三训练样本对应的第三训练对齐样本，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
  17. 如权利要求12所述纵向联邦学习建模优化方法，其中，在所述基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    提取第一方待预测样本，并获取所述目标预测模型针对所述第一方待预测样本进行模型预测生成的第一方模型预测结果；
    与所述第二设备进行联邦交互，以供所述第二设备确定所述第一方待预测样本对应的第二方待预测样本，并利用所述目标预测模型对应的目标残差提升模型对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
    接收所述第二设备发送的第二方模型预测结果和所述目标残差提升模型对应的第二方模型权重；
    基于所述目标预测模型对应的第一方模型权重和所述第二方模型权重，对所述第一方模型预测结果 和所述第二方模型预测结果进行加权聚合，获得目标联邦预测结果。
  18. 一种纵向联邦学习建模优化方法，其中，应用于第二设备，所述纵向联邦学习建模优化方法包括：
    接收第一设备发送的残差提升数据，其中，所述残差提升数据由所述第一设备基于公共样本集中的第一训练样本，对待训练本地预测模型进行迭代训练优化得到；
    获取所述第一训练样本对应的第一训练对齐样本，并基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型；
    接收所述第一设备发送的第二训练样本对应的对齐样本确定数据，并基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本；
    将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型。
  19. 如权利要求18所述纵向联邦学习建模优化方法，其中，所述残差提升数据包括所述第一训练样本对应的第一训练样本标签、对应的第一模型预测损失和对应的第一中间训练样本特征，所述基于所述第一训练对齐样本和所述残差提升数据，对待训练残差提升模型进行迭代训练优化，获得本地残差提升模型的步骤包括：
    基于所述第一中间训练样本特征，对所述第一训练样本对应的训练ID匹配样本进行特征增强，获得第一训练对齐样本；
    基于所述第一训练样本标签和所述第一模型预测损失，计算所述待训练残差提升模型在所述第一训练对齐样本上的第一残差损失；
    基于所述第一残差损失，优化所述待训练本地残差提升模型，获得所述本地残差提升模型。
  20. 如权利要求18所述纵向联邦学习建模优化方法，其中，所述对齐样本确定数据包括所述第二训练样本对应的第二训练样本ID和对应的第二中间训练样本特征，
    所述基于所述对齐样本确定数据，确定所述第二训练样本对应的第二训练对齐样本的步骤包括：
    查找所述第二训练样本ID对应的ID匹配样本，获得第二训练ID匹配样本；
    基于所述第二中间训练样本特征，对所述第二训练ID匹配样本进行特征增强，获得所述第二训练对齐样本。
  21. 如权利要求18所述纵向联邦学习建模优化方法，其中，在所述将所述本地残差提升模型在所述第二训练对齐样本上的第二方模型训练预测结果和所述本地残差提升模型对应的第二方模型权重发送至所述第一设备，以供所述第一设备基于所述本地预测模型在所述第二训练样本上的第一方模型训练预测结果、所述本地预测模型对应的第一方模型权重、所述第二方模型权重、所述第二方模型训练预测结果，构建模型蒸馏损失，并基于所述模型蒸馏损失构建的模型总损失，迭代优化所述本地预测模型，获得目标预测模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    接收所述第一设备发送的目标残差提升数据，其中，所述目标残差提升数据由所述第一设备基于所述公共样本集中的第三训练样本，对所述本地预测模型进行迭代训练优化得到；
    获取所述第三训练样本对应的第三训练对齐样本，并基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型。
  22. 如权利要求21所述纵向联邦学习建模优化方法，其中，在所述基于所述第三训练对齐样本和所述目标残差提升数据，对所述本地残差提升模型进行基于残差学习的迭代训练优化，获得目标残差提升模型的步骤之后，所述纵向联邦学习建模优化方法还包括：
    通过与所述第一设备进行联邦交互，确定第一方待预测样本对应的第二方待预测样本；
    基于所述目标预测模型对应的目标残差提升模型，对所述第二方待预测样本执行模型预测，获得第二方模型预测结果；
    获取所述目标残差提升模型对应的第二方模型权重，并将所述第二方模型预测结果和所述第二方模型权重发送至所述第一设备，以供所述第一设备基于所述目标预测模型针对所述第一方待预测样本生成的第一方模型预测结果、所述目标预测模型对应的第一方模型权重、所述第二方模型预测结果和所述第二方模型权重，生成目标联邦预测结果。
  23. 一种纵向联邦预测优化设备，其中，所述纵向联邦预测优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述纵向联邦预测优化方法的程序，
    所述存储器用于存储实现纵向联邦预测优化方法的程序；
    所述处理器用于执行实现所述纵向联邦预测优化方法的程序，以实现如权利要求1至11中任一项所述纵向联邦预测优化方法的步骤。
  24. 一种纵向联邦学习建模优化设备，其中，所述纵向联邦学习建模优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述纵向联邦学习建模优化方法的程序，
    所述存储器用于存储实现纵向联邦学习建模优化方法的程序；
    所述处理器用于执行实现所述纵向联邦学习建模优化方法的程序，以实现如权利要求12至22中任一项所述纵向联邦学习建模优化方法的步骤。
  25. 一种介质，所述介质为可读存储介质，其中，所述可读存储介质上存储有实现纵向联邦预测优化方法的程序，所述实现纵向联邦预测优化方法的程序被处理器执行以实现如权利要求1至11中任一项所述纵向联邦预测优化方法的步骤。
  26. 一种介质，所述介质为可读存储介质，其中，所述可读存储介质上存储有实现纵向联邦学习建模优化方法的程序，所述实现纵向联邦学习建模优化方法的程序被处理器执行以实现如权利要求12至22中任一项所述纵向联邦学习建模优化方法的步骤。
  27. 一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述纵向联邦预测优化方法的步骤，或者实现如权利要求12至22中任一项所述纵向联邦学习建模优化方法的步骤。
PCT/CN2021/139641 2021-08-25 2021-12-20 纵向联邦预测优化方法、设备、介质及计算机程序产品 WO2023024350A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110984312.0 2021-08-25
CN202110984312.0A CN113673700A (zh) 2021-08-25 2021-08-25 纵向联邦预测优化方法、设备、介质及计算机程序产品

Publications (1)

Publication Number Publication Date
WO2023024350A1 true WO2023024350A1 (zh) 2023-03-02

Family

ID=78546397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/139641 WO2023024350A1 (zh) 2021-08-25 2021-12-20 纵向联邦预测优化方法、设备、介质及计算机程序产品

Country Status (2)

Country Link
CN (1) CN113673700A (zh)
WO (1) WO2023024350A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853212A (zh) * 2024-03-06 2024-04-09 之江实验室 一种基于知识迁移和自监督学习的纵向联邦金融风控方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673700A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633805A (zh) * 2019-09-26 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111460511A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 基于隐私保护的联邦学习、虚拟对象分配方法和装置
CN112329073A (zh) * 2021-01-05 2021-02-05 腾讯科技（深圳）有限公司 分布式数据处理方法、装置、计算机设备及存储介质
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113205863A (zh) * 2021-06-04 2021-08-03 广西师范大学 基于蒸馏的半监督联邦学习的个性化模型的训练方法
CN113673700A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633805A (zh) * 2019-09-26 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111460511A (zh) * 2020-04-17 2020-07-28 支付宝(杭州)信息技术有限公司 基于隐私保护的联邦学习、虚拟对象分配方法和装置
CN112329073A (zh) * 2021-01-05 2021-02-05 腾讯科技（深圳）有限公司 分布式数据处理方法、装置、计算机设备及存储介质
CN113051557A (zh) * 2021-03-15 2021-06-29 河南科技大学 基于纵向联邦学习的社交网络跨平台恶意用户检测方法
CN113205863A (zh) * 2021-06-04 2021-08-03 广西师范大学 基于蒸馏的半监督联邦学习的个性化模型的训练方法
CN113673700A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 纵向联邦预测优化方法、设备、介质及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DASHAN GAO; BEN TAN; CE JU; VINCENT W. ZHENG; QIANG YANG: "Privacy Threats Against Federated Matrix Factorization", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 3 July 2020 (2020-07-03), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081714185 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853212A (zh) * 2024-03-06 2024-04-09 之江实验室 一种基于知识迁移和自监督学习的纵向联邦金融风控方法

Also Published As

Publication number Publication date
CN113673700A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2023005133A1 (zh) 联邦学习建模优化方法、设备、可读存储介质及程序产品
Wang et al. Towards human-machine cooperation: Self-supervised sample mining for object detection
EP3582150A1 (en) Method of knowledge transferring, information processing apparatus and storage medium
WO2023024350A1 (zh) 纵向联邦预测优化方法、设备、介质及计算机程序产品
WO2021083276A1 (zh) 横向联邦和纵向联邦联合方法、装置、设备及介质
US20180232601A1 (en) Deep Active Learning Method for Civil Infrastructure Defect Detection
WO2023024349A1 (zh) 纵向联邦预测优化方法、设备、介质及计算机程序产品
WO2019214344A1 (zh) 系统增强学习方法和装置、电子设备、计算机存储介质
CN115482395B (zh) 模型训练方法、图像分类方法、装置、电子设备和介质
CN115147680B (zh) 目标检测模型的预训练方法、装置以及设备
KR20220047228A (ko) 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼
US9208404B2 (en) Object detection with boosted exemplars
CN115359308B (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN113962737A (zh) 目标识别模型训练方法和装置、目标识别方法和装置
CN113361384A (zh) 人脸识别模型压缩方法、设备、介质及计算机程序产品
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
CN111797996A (zh) 样本补全方法、装置、设备及可读存储介质
CN115273148B (zh) 行人重识别模型训练方法、装置、电子设备及存储介质
US20230032324A1 (en) Method for training decision-making model parameter, decision determination method, electronic device, and storage medium
CN113793298A (zh) 肺结节检测模型构建优化方法、设备、存储介质及产品
CN110717037A (zh) 对用户分类的方法和装置
CN115359322A (zh) 一种目标检测模型训练方法、装置、设备和存储介质
US11328179B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21954866

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE