WO2022174533A1 - 基于自组织集群的联邦学习方法、装置、设备及存储介质 - Google Patents

基于自组织集群的联邦学习方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2022174533A1
WO2022174533A1 PCT/CN2021/097409 CN2021097409W WO2022174533A1 WO 2022174533 A1 WO2022174533 A1 WO 2022174533A1 CN 2021097409 W CN2021097409 W CN 2021097409W WO 2022174533 A1 WO2022174533 A1 WO 2022174533A1
Authority
WO
WIPO (PCT)
Prior art keywords
user equipment
cluster
user equipments
model parameters
social
Prior art date
Application number
PCT/CN2021/097409
Other languages
English (en)
French (fr)
Inventor
李泽远
王健宗
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2022174533A1 publication Critical patent/WO2022174533A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present application relates to the technical field of artificial intelligence, and in particular, to a federated learning method, apparatus, computer equipment and computer-readable storage medium based on self-organizing clusters.
  • Federated Learning proposes a distributed learning method, based on the continuous iterative exchange of parameters between the learning model between the terminal device and the centralized server, until the global FL model converges to a certain level of accuracy, without the need to transfer data from the terminal device to the whole process.
  • Migrating to centralized servers is a promising training paradigm for machine learning.
  • FL has shown great advantages in protecting data privacy while enabling collaborative machine learning, the inventors realized that it still faces some problems. Since FL requires the use of a centralized server for iteratively iterating the parameter model and parameter aggregation with participating clients during the training process, if it is physically damaged or attacked, the failure of the server will lead to the failure of the FL process.
  • the main purpose of this application is to provide a federated learning method, device, computer equipment and computer-readable storage medium based on self-organizing clusters, which aims to solve the problem that the existing centralized server is physically damaged or attacked during the training process.
  • the failure of the centralized server can lead to technical problems in the failure of the FL process.
  • the present application provides a federated learning method based on a self-organizing cluster, and the federated learning method based on a self-organizing cluster includes the following steps:
  • the cluster determine the target user equipment in the cluster, and use the target user equipment as a central node;
  • the aggregated model parameters are sent to each of the user equipments, and the model parameters of the preset models in each of the user equipments are updated.
  • the present application also provides a federation device based on a self-organizing cluster, and the federation device based on a self-organizing cluster includes:
  • a generation module used for acquiring broadcast signals sent by each user equipment, and generating corresponding clusters
  • a determining module configured to determine a target user equipment in the cluster according to the cluster, and use the target user equipment as a central node;
  • a receiving and sending module configured to receive model parameters sent by each of the user equipment, and send each of the model parameters to the central node;
  • an acquisition module configured to acquire the aggregated model parameters returned after the central node performs aggregate federated learning on each of the model parameters
  • An update module configured to send the aggregated model parameters to each of the user equipments, and update the model parameters of the preset models in each of the user equipments.
  • the present application also provides a computer device, the computer device comprising a processor, a memory, and a computer program stored on the memory and executable by the processor, wherein the computer program is executed by the When the processor executes, the steps of the federated learning method based on the self-organizing cluster as described above are implemented.
  • the present application further provides a computer-readable storage medium on which a computer program is stored, wherein when the computer program is executed by a processor, the above-mentioned federation based on an ad hoc cluster is realized. Learn the steps of the method.
  • the present application provides a federated learning method, device, computer equipment, and computer-readable storage medium based on self-organizing clusters.
  • a corresponding cluster is generated; and use the target user equipment as the central node; receive the model parameters sent by each of the user equipments, and send each of the model parameters to the central node;
  • the model parameters are aggregated to the aggregated model parameters after federated learning; the aggregated model parameters are sent to each of the user equipments, and the model parameters of the preset models in each of the user equipments are updated, so that there is no need to use a predetermined centralized
  • the cloud server can provide joint FL model training, effectively avoiding the single point of failure of the predetermined centralized server.
  • FIG. 1 is a schematic flowchart of a federated learning method based on a self-organizing cluster provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of sub-steps of the self-organizing cluster-based federated learning method in FIG. 1;
  • FIG. 3 is a schematic flowchart of sub-steps of the self-organizing cluster-based federated learning method in FIG. 1;
  • FIG. 4 is a schematic flowchart of another self-organizing cluster-based federated learning method provided by an embodiment of the present application.
  • FIG. 5 is a schematic block diagram of a federation apparatus based on an ad hoc cluster provided by an embodiment of the present application
  • FIG. 6 is a schematic structural block diagram of a computer device according to an embodiment of the present application.
  • Embodiments of the present application provide a federated learning method, apparatus, computer device, and computer-readable storage medium based on a self-organizing cluster.
  • the federated learning method based on the self-organizing cluster can be applied to a computer device, and the computer device can be an electronic device such as a notebook computer and a desktop computer.
  • FIG. 1 is a schematic flowchart of a federated learning method based on a self-organizing cluster provided by an embodiment of the present application.
  • the federated learning method based on the self-organizing cluster includes steps S101 to S105.
  • Step S101 Acquire broadcast signals sent by each user equipment, and generate a corresponding cluster.
  • the broadcast signal sent by each user equipment is obtained, and the user equipment of the obtained broadcast signal is regarded as a cluster.
  • broadcast signals of 10 user equipments are obtained within a preset time period, and the obtained 10 user equipments are used as a cluster.
  • the broadcast signal includes identification information.
  • the identifier carried in the broadcast signal sent by each user equipment is acquired, the ID number of each user equipment is acquired through the identifier, and the user equipment corresponding to the ID number is regarded as a cluster.
  • step S101 includes: sub-step S1011 to sub-step S1013.
  • Sub-step S1011 Generate a corresponding graph community according to the acquisition of broadcast signals sent by each user equipment.
  • a broadcast signal sent by each user equipment is acquired, and a corresponding graph group is generated by using the broadcast signal sent by each user equipment.
  • the graph community is a subset of vertices, and the vertices in each subset are more closely connected than the rest of the network.
  • the broadcast signals sent by each user equipment are acquired, the user equipments that send broadcast signals to each other are connected, and a corresponding graph group is generated, wherein each point is each user equipment.
  • the generating a corresponding graph group according to the acquired broadcast signals sent by each user equipment includes: acquiring the broadcast signals sent by each user equipment; The association information between the user equipments; the corresponding graph community is generated through the association information between the user equipments.
  • a broadcast signal sent by each user equipment is acquired, and association information between each user equipment is determined by using the broadcast signal sent by each user equipment.
  • the broadcast signal sent by each user equipment is acquired, the identification user equipment corresponding to the broadcast signal sent by each user equipment is determined, and the association relationship between each user equipment and the corresponding identified user equipment is determined.
  • the first broadcast signal sent by the first user equipment is acquired, and the first broadcast signal is used to determine that the second user equipment has received the first broadcast signal, and it is determined that association information exists between the first user equipment and the second user equipment.
  • the first user equipment and the second broadcast signal sent by the second user equipment acquire the first broadcast signal sent by the first user equipment and the second broadcast signal sent by the second user equipment, and detect that the third user equipment receives the first broadcast signal and the second broadcast signal, then the first user equipment and the second The user equipment is respectively associated with the third user equipment; or, the first broadcast signal sent by the first user equipment is acquired, and it is detected that the second user equipment and the third user equipment respectively receive the first broadcast signal, then the first user equipment
  • the devices are associated with the second user equipment and the third user equipment respectively.
  • each user equipment is regarded as a point, and the points are connected through the association information between the user equipments, so as to generate a corresponding graph community.
  • Sub-step S1012 Determine whether each of the user equipments is the same cluster by performing aggregation calculation on the vertices of each of the user equipments in the graph community.
  • each user equipment in the graph community is acquired.
  • the determining whether each of the user equipments is the same cluster by performing aggregation calculation on the vertices of each of the user equipments in the graph group includes: calculating the Graph the vertices of each of the user equipments in the community, and obtain the aggregation parameters of each of the user equipments; if each of the aggregation parameters is the first preset threshold, it is determined that each of the user equipments is in the same cluster; if each of the If the aggregation parameter is the second preset threshold, it is determined that they are not the same cluster.
  • ⁇ is the Kronecker-delta function.
  • the ⁇ (C i C j ) parameter is obtained by the preset aggregation formula.
  • each user equipment is in the same cluster through the aggregation parameter. If each aggregation parameter is the first preset threshold, it is determined that each user equipment is in the same cluster; if each aggregation parameter is the second preset threshold, it is determined that it is not the same cluster. For example, when the aggregation parameter is the ⁇ (C i C j ) parameter, if the ⁇ (C i C j ) parameter is 1, it is determined that user equipment j and user equipment i are in the same cluster; If the parameter C j ) is 0, it is determined that user equipment j and user equipment i are not in the same cluster.
  • Sub-step S1013 Determine the user equipment in the same cluster, and use the user equipment in the same cluster as a cluster.
  • the user equipments in the same cluster are regarded as a cluster.
  • the multiple user equipments in the same cluster are regarded as one cluster.
  • Step S102 Determine a target user equipment in the cluster according to the cluster, and use the target user equipment as a central node.
  • any user equipment in the cluster is determined as the target user equipment, and the target user equipment is used as the central node.
  • the cluster includes a first user equipment, a second user equipment, etc., it is determined that the first user equipment is a target user equipment, and the number of the target user equipment is one.
  • step S102 includes: sub-step S1021 to sub-step S1022.
  • Sub-step S1021 Acquire the social centrality information of each of the user equipments in the cluster.
  • the social centrality information of each user equipment in the cluster is obtained, and the social centrality information having a higher social relationship with other nodes is regarded as the selection criterion of the central node.
  • the acquiring the social centrality information of each of the user equipments in the cluster includes: acquiring a social relationship between each of the user equipments in the cluster; social centrality vector information of the user equipment; calculating the social centrality vector information of each of the user equipments to obtain the social centrality information of each of the user equipments.
  • the social relationship between each user equipment in the cluster is acquired. For example, if it is obtained that the first user equipment is connected to the second user equipment and the third user equipment, respectively, the connection relationship between the first user equipment and the second user equipment and the third user equipment is used as the social network of the first user equipment. relation.
  • the social center vector information of each user equipment is obtained. For example, if the first user equipment is respectively connected to the second user equipment and the third user equipment, the social center vector information of the first user equipment is S 1 (S 2 , S 3 ); If the user equipment, the third user equipment and the fourth user equipment are connected, the social center vector information of the first user equipment is S 1 (S 2 , S 3 , S 4 ).
  • Sub-step S1022 Determine the corresponding target user equipment according to the social centrality information of each user equipment, and use the target user equipment as a central node.
  • the target user equipment is determined by comparing the social centrality information of each user equipment. For example, when the obtained social centrality information of the first user equipment is 3, and when the obtained social centrality information of the second user equipment is 4, the second user equipment is determined as the target user equipment, and the determined target user equipment is used as the target user equipment. central node.
  • Step S103 Receive model parameters sent by each of the user equipments, and send each of the model parameters to the central node.
  • each user equipment includes a preset model
  • the preset model includes a preset neural network model, a deep learning model, a pre-trained language model, and the like.
  • the model parameters in the current preset model sent by the user equipment are sent to the central node.
  • Step S104 Acquire aggregated model parameters obtained by the central node performing aggregate federated learning on each of the model parameters.
  • the central node includes a preset aggregation federation model, sends an upload request to the central node, receives an encryption public key sent by the central node, encrypts the model parameters of each preset model through the encryption public key, and encrypts the encrypted data.
  • the model parameters are sent to the central node.
  • the central node decrypts the encrypted model parameters respectively, and obtains the model parameters of the decrypted preset models.
  • Each model parameter is learned through the preset aggregate federation model in the central node, and the corresponding aggregate model parameter is obtained.
  • the aggregate federation model includes the aggregated horizontal federation model, the aggregated vertical federation model, and the aggregated federation migration model.
  • federated learning refers to the method of machine learning modeling by uniting different clients or participants.
  • clients do not need to expose their own data to other clients and coordinators (also known as servers), so federated learning can well protect user privacy and data security, and can solve the problem of data silos .
  • Federated learning has the following advantages: data isolation, data will not be leaked to the outside, to meet the needs of user privacy protection and data security; it can ensure that the quality of the federated learning model is lossless, and there will be no negative transfer, ensuring that the federated learning model is better than a split independent model. The effect is good; it can ensure that each client can perform encrypted exchange of information and model parameters while maintaining independence, and grow at the same time.
  • Step S105 Send the aggregated model parameters to each of the user equipments, and update the model parameters of the preset models in each of the user equipments.
  • the aggregation model parameter is sent to each user equipment, and the information of the preset model in each user equipment is updated. model parameters.
  • a corresponding cluster is generated by acquiring broadcast signals of each user equipment, thereby determining the target user equipment in the cluster, and using the user equipment as a central node to receive model parameters of each user equipment to perform aggregation federated learning,
  • the aggregated model parameters are updated to the model parameters of the preset models in each user equipment, so that the joint FL model training can be provided without using a predetermined centralized cloud server, and the problem of a single point of failure of the predetermined centralized server is effectively avoided.
  • FIG. 4 is a schematic flowchart of another federated learning method based on an ad hoc cluster provided by an embodiment of the present application.
  • the federated learning method based on the self-organizing cluster includes steps S201 to S203.
  • Step S201 determining whether the preset model is in a convergent state.
  • the aggregated model parameters are compared with the previously recorded aggregated model parameters, if the aggregated model parameters are the same as the previously recorded aggregated model parameters, or the difference between the aggregated model parameters and the previously recorded aggregated model parameters is less than a predetermined If the offset value is set, it is determined that the preset model is in a convergent state.
  • Step S202 if the preset model is in a convergent state, the preset model is used as a corresponding aggregation model.
  • the preset model is used as the corresponding Aggregate model.
  • Step S203 if the preset model is not in a convergent state, receive second model parameters sent by each of the user equipments, and train the preset model by using the second model parameters.
  • the preset model is not in a convergent state, continue to acquire second model parameters of the preset models in each user equipment, perform aggregate federated learning on each of the second model parameters in the central node, and obtain aggregated federated learning. After the second aggregated model parameters.
  • the second aggregation model parameters are sent to each user equipment, and the aggregation model parameters of the preset models in the user equipment are updated.
  • FIG. 5 is a schematic block diagram of a federation apparatus based on an ad hoc cluster provided by an embodiment of the present application.
  • the federation apparatus 400 based on the self-organizing cluster includes: a generating module 401 , a determining module 402 , a receiving and sending module 403 , an obtaining module 404 , and an updating module 405 .
  • a generating module 401 configured to acquire broadcast signals sent by each user equipment, and generate corresponding clusters
  • a determination module 402 configured to determine a target user equipment in the cluster according to the cluster, and use the target user equipment as a central node;
  • a receiving and sending module 403 configured to receive model parameters sent by each of the user equipments, and send each of the model parameters to the central node;
  • An acquisition module 404 configured to acquire the aggregated model parameters returned after the central node performs aggregate federated learning on each of the model parameters;
  • the updating module 405 is configured to send the aggregated model parameters to each of the user equipments, and update the model parameters of the preset models in each of the user equipments.
  • the generating module 401 is also specifically used for:
  • the user equipments in the same cluster are determined, and the user equipments in the same cluster are used as a cluster.
  • the generating module 401 is also specifically used for:
  • a corresponding graph community is generated according to the association information between each of the user equipments.
  • the generating module 401 is also specifically used for:
  • each of the aggregation parameters is a first preset threshold, determining that each of the user equipments belongs to the same cluster;
  • each of the aggregation parameters is the second preset threshold, it is determined that the cluster is not the same cluster.
  • the determining module 402 is also specifically used for:
  • the corresponding target user equipment is determined according to the social centrality information of each user equipment, and the target user equipment is used as a central node.
  • the determining module 402 is also specifically used for:
  • the social centrality vector information of each of the user equipments is calculated to obtain the social centrality information of each of the user equipments.
  • the federation device based on the self-organizing cluster is also used for:
  • the preset model is in a convergent state, the preset model is used as the corresponding aggregation model
  • the preset model is not in a convergent state, second model parameters sent by each of the user equipments are received, and the preset model is trained by using the second model parameters.
  • the apparatus provided by the above-mentioned embodiments can be implemented in the form of a computer program, and the computer program can be executed on the computer device as shown in FIG. 6 .
  • FIG. 6 is a schematic structural block diagram of a computer device according to an embodiment of the present application.
  • the computer device may be a terminal.
  • the computer device includes a processor, a memory, and a network interface connected by a system bus, wherein the memory may include a non-volatile storage medium and an internal memory.
  • the nonvolatile storage medium can store operating systems and computer programs.
  • the computer program includes program instructions that, when executed, can cause the processor to execute any federated learning method based on an ad hoc cluster.
  • the processor is used to provide computing and control capabilities to support the operation of the entire computer equipment.
  • the internal memory provides an environment for running the computer program in the non-volatile storage medium.
  • the processor can execute any federated learning method based on the self-organizing cluster.
  • the network interface is used for network communication, such as sending assigned tasks.
  • the network interface is used for network communication, such as sending assigned tasks.
  • FIG. 6 is only a block diagram of a part of the structure related to the solution of the present application, and does not constitute a limitation on the computer equipment to which the solution of the present application is applied. Include more or fewer components than shown in the figures, or combine certain components, or have a different arrangement of components.
  • the processor may be a central processing unit (Central Processing Unit, CPU), and the processor may also be other general-purpose processors, digital signal processors (Digital Signal Processors, DSP), application specific integrated circuits (Application Specific Integrated circuits) Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor or the like.
  • the processor is configured to run a computer program stored in the memory to implement the following steps:
  • the cluster determine the target user equipment in the cluster, and use the target user equipment as a central node;
  • the aggregated model parameters are sent to each of the user equipments, and the model parameters of the preset models in each of the user equipments are updated.
  • the processor when the processor acquires the broadcast signal sent by each user equipment and generates a corresponding cluster implementation, it is used to implement:
  • the user equipments in the same cluster are determined, and the user equipments in the same cluster are used as a cluster.
  • the processor when the processor generates a corresponding graph group implementation according to the acquired broadcast signals sent by each user equipment, it is used to implement:
  • a corresponding graph community is generated according to the association information between each of the user equipments.
  • the processor determines whether each of the user equipments is implemented by the same cluster by performing aggregation calculation on the vertices of each of the user equipments in the graph group, the processor is configured to implement:
  • each of the aggregation parameters is a first preset threshold, determining that each of the user equipments belongs to the same cluster;
  • each of the aggregation parameters is the second preset threshold, it is determined that the cluster is not the same cluster.
  • the processor determines the target user equipment in the cluster according to the cluster, and when the target user equipment is implemented as a central node, is used to implement:
  • the corresponding target user equipment is determined according to the social centrality information of each user equipment, and the target user equipment is used as a central node.
  • the processor when the processor acquires the social centrality information of each of the user equipments in the cluster, the processor is configured to:
  • the social centrality vector information of each of the user equipments is calculated to obtain the social centrality information of each of the user equipments.
  • the processor when the processor sends the aggregated model parameters to each of the user equipments, and after updating the model parameters of the preset models in the update of each of the user equipments, the processor is used to implement:
  • the preset model is in a convergent state, the preset model is used as the corresponding aggregation model
  • the preset model is not in a convergent state, second model parameters sent by each of the user equipments are received, and the preset model is trained by using the second model parameters.
  • Embodiments of the present application further provide a computer-readable storage medium, where the computer-readable storage medium may be non-volatile or volatile.
  • a computer program is stored on the computer-readable storage medium, and the computer program includes program instructions. For a method implemented when the program instructions are executed, reference may be made to the various embodiments of the self-organizing cluster-based federated learning method in this application.
  • the computer-readable storage medium may be an internal storage unit of the computer device described in the foregoing embodiments, such as a hard disk or a memory of the computer device.
  • the computer-readable storage medium may also be an external storage device of the computer device, such as a plug-in hard disk equipped on the computer device, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) ) card, Flash Card, etc.
  • the computer-readable storage medium may mainly include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application program required by at least one function, and the like; The data created by the use of the node, etc.
  • the blockchain referred to in this application is a new application mode of computer technology such as storage of preset models, point-to-point transmission, consensus mechanism, and encryption algorithm.
  • Blockchain essentially a decentralized database, is a series of data blocks associated with cryptographic methods. Each data block contains a batch of network transaction information to verify its Validity of information (anti-counterfeiting) and generation of the next block.
  • the blockchain can include the underlying platform of the blockchain, the platform product service layer, and the application service layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种基于自组织集群的联邦学习方法、装置、计算机设备及计算机可读存储介质，该方法包括：获取各个用户设备发送的广播信号，生成对应的集群；根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数，实现无需使用预先确定的集中式云服务器即可提供联合的FL模型训练，有效避免了预先确定的集中服务器的单点故障的问题。

Description

基于自组织集群的联邦学习方法、装置、设备及存储介质
本申请要求于2021年2月20日提交中国专利局、申请号为2021101932535、发明名称为“基于自组织集群的联邦学习方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于自组织集群的联邦学习方法、装置、计算机设备及计算机可读存储介质。
背景技术
在传统的机器学习训练中，数据通常集中存储在一个中心实体中，该中心实体必须首先从各个数据源中收集数据以便之后进行学习，这会带来安全与隐私的一系列的问题。联邦学习(FL)提出一种分布式学习的方式，基于终端设备和集中式服务器之间学习模型持续进行参数的迭代交换，直到全局FL模型收敛到一定精度水平为止，全程无需将数据从终端设备迁移到集中式服务器，是机器学习一种很有前途的训练范式。
尽管FL在实现协作进行机器学习的同时在保护数据隐私方面显示出了巨大的优势，但发明人意识到它仍然面临着一些问题。由于FL要求使用一个集中式服务器用作训练过程中与参与的客户端反复迭代参数模型并进行参数聚合，因此，如果受到物理损坏或受到攻击，服务器出现故障会导致FL过程的失败。
发明内容
本申请的主要目的在于提供一种基于自组织集群的联邦学习方法、装置、计算机设备及计算机可读存储介质，旨在解决现有集中式服务器用作训练过程中，受到物理损坏或受到攻击，集中式服务器出现故障会导致FL过程的失败的技术问题。
第一方面，本申请提供一种基于自组织集群的联邦学习方法，所述基于自组织集群的联邦学习方法包括以下步骤：
获取各个用户设备发送的广播信号，生成对应的集群；
根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；
将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
第二方面，本申请还提供一种基于自组织集群的联邦学装置，所述基于自组织集群的联邦学装置包括：
生成模块，用于获取各个用户设备发送的广播信号，生成对应的集群；
确定模块，用于根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
接收及发送模块，用于接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
获取模块，用于获取所述中心节点对各个所述模型参数进行聚合联邦学习后返回的聚合模型参数；
更新模块，用于将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的基于自组织集群的联邦学习方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的基于自组织集群的联邦学习方法的步骤。
本申请提供一种基于自组织集群的联邦学习方法、装置、计算机设备及计算机可读存储介质，通过获取各个用户设备发送的广播信号，生成对应的集群；根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数，实现无需使用预先确定的集中式云服务器即可提供联合的FL模型训练，有效避免了预先确定的集中服务器的单点故障的问题。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于自组织集群的联邦学习方法的流程示意图；
图2为图1中的基于自组织集群的联邦学习方法的子步骤流程示意图；
图3为图1中的基于自组织集群的联邦学习方法的子步骤流程示意图；
图4为本申请实施例提供的另一种基于自组织集群的联邦学习方法的流程示意图；
图5为本申请实施例提供的一种基于自组织集群的联邦学装置的示意性框图；
图6为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种基于自组织集群的联邦学习方法、装置、计算机设备及计算机可读存储介质。其中，该基于自组织集群的联邦学习方法可应用于计算机设备中，该计算机设备可以是笔记本电脑、台式电脑等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请的实施例提供的一种基于自组织集群的联邦学习方法的流程示意图。
如图1所示，该基于自组织集群的联邦学习方法包括步骤S101至步骤S105。
步骤S101、获取各个用户设备发送的广播信号，生成对应的集群。
示范性的，获取各个用户设备发送的广播信号，将获取到的广播信号的用户设备作为一个集群。例如，在预置时间段内获取到10个用户设备的广播信号，将这获取到的10个用户设备作为一个集群。该广播信号包括标识信息。例如，在获取到各个用户设备发送的广播信号中携带的标识，通过该标识获取各个用户设备的ID号码，将该ID号码对应的用户设备作为一个集群。
在一实施例中，具体地，参照图2，步骤S101包括：子步骤S1011至子步骤S1013。
子步骤S1011、根据获取各个用户设备发送的广播信号，生成对应的图团体。
示范性的，获取各个用户设备发送的广播信号，通过该各个用户设备发送的广播信号生成对应的图团体。该图团体为一种顶点的子集，每个子集中的顶点相对于网络的其它顶点来说要连接得更加紧密。例如，获取各个用户设备发送的广播信号，将相互发送广播信号的用户设备进行连接，生成对应的图团体，其中，各个点为各个用户设备。
在一实施例中，所述根据获取到各个用户设备发送的广播信号，生成对应的图团体，包括：获取各个用户设备发送的广播信号；通过各个所述用户设备发送的广播信号，确定 各个所述用户设备之间的关联信息；通过各个所述用户设备之间的关联信息，生成对应的图团体。
示范性的，获取各个用户设备发送的广播信号，通过各个用户设备发送的广播信号，确定各个用户设备之间的关联信息。例如，获取各个用户设备发送广播信号，确定各个用户设备发送广播信号对应的标识用户设备，从而确定各个用户设备分别与对应的标识用户设备之间的关联关系。获取到第一用户设备发送的第一广播信号，通过该第一广播信号确定第二用户设备接收了第一广播信号，确定第一用户设备与第二用户设备之间存在关联信息。或者，获取第一用户设备发送的第一广播信号、第二用户设备发送的第二广播信号，检测到第三用户设备接收第一广播信号和第二广播信号，则第一用户设备和第二用户设备分别与第三用户设备存在关联关系；或者，获取到第一用户设备发送的第一广播信号，检测到第二用户设备和第三用户设备分别收到第一广播信号，则第一用户设备分别与第二用户设备和第三用户设备存在关联关系。在获取到各个用户设备之间的关联信息时，将每一个用户设备作为一个点，通过各个用户设备之间的关联信息连接各个点，从而生成对应的图团体。
子步骤S1012、通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类。
示范性的，在生成图团体，获取该图团体中的各个用户设备的顶点。通过对各个用户设备的顶点进行聚合计算，确定各个用户设备之间是否为同一聚类。例如，每一个用户设备在生成的图团体中都为顶点，将第一用户设备的顶点与第二用户设备的顶点进行聚合计算，若第一用户设备的顶点与第二用户设备的顶点连接，则确定第一用户设备与第二用户设备为同一聚类；若第一用户设备的顶点没有与第二用户设备的顶点连接，则确定第一用户设备与第二用户设备不是同一聚类。
在一实施例中，所述通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类，包括；通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
示范性的，获取预置聚合公式计算该图团体中用户设备的顶点，得到各个用户对应的
Figure PCTCN2021097409-appb-000001
点j的度，A ij的值为邻接矩阵中的预置值，C i表示顶点i的聚类，C j表示顶点j的聚类，δ则是克罗内克函数(Kronecker-delta function)。通过预置聚合公式，得到δ(C iC j)参数。
在得到聚合参数，通过该聚合参数确定各个用户设备是否为同一聚类。若各个聚合参数为第一预置阈值，则确定各个用户设备为同一聚类；若各个聚合参数为第二预置阈值，则确定不是同一聚类。例如，当该聚合参数为δ(C iC j)参数时，若该δ(C iC j)参数为1，则 确定用户设备j与用户设备i是同一聚类；若该δ(C iC j)参数为0，则确定用户设备j与用户设备i不是同一聚类。
子步骤S1013、确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
示范性的，在获取到同一聚类的用户设备时，将该同一聚类内的用户设备作为集群。例如，在获取到同一聚类的多个用户设备时，将同一聚类内的多个用户设备作为一个集群。
步骤S102、根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点。
示范性的，在获取到同一聚类的集群时，确定该集群中的任意一个用户设备作为目标用户设备，并将将目标用户设备作为中心节点。例如，该集群中包括第一用户设备、第二用户设备等，确定第一用户设备为目标用户设备，且该目标用户设备的数量为一个。
在一实施例中，具体地，参照图3，步骤S102包括：子步骤S1021至子步骤S1022。
子步骤S1021、获取所述集群中各个所述用户设备的社会中心性信息。
示范性的，在获取到同一聚类的集群时，获取该集群中各个用户设备的社会中心性信息，该社会中心性信息与其他节点具有更高社交关系视为中心节点的选择标准。
在一实施例中，所述获取所述集群中各个所述用户设备的社会中心性信息，包括：获取所述集群中各个所述用户设备之间的社交关系；通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
示范性的，获取集群中各个用户设备之间的社交关系。例如，获取到第一用户设备分别与第二用户设备和第三用户设备连接，则将该第一用户设备分别与第二用户设备和第三用户设备连接的连接关系作为第一用户设备的社交关系。通过各个用户设备的社交关系，得到各个用户设备的社会中心向量信息。例如，第一用户设备分别与第二用户设备和第三用户设备连接，则第一用户设备的社会中心向量信息为S 1(S 2,S 3)；或者，第一用户设备分别与第二用户设备、第三用户设备和第四用户设备连接，则第一用户设备的社会中心向量信息为S 1(S 2,S 3,S 4)。计算各个用户设备的社会中心向量信息，得到各个用户设备的社会中心性信息。例如，在得到第一用户设备的社会中心向量信息为S 1(S 2,S 3)时，确定第一用户设备的社会中心性信息为2。或者，在得到第一用户设备的社会中心向量信息为S 1(S 2,S 3,S 4)，确定第一用户设备的社会中心性信息为3。
子步骤S1022、通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
示范性的，在得到各个用户设备的社会中心性信息时，通过比对各个用户设备的社会中心性信息，确定目标用户设备。例如，在获取到第一用户设备的社会中心性信息为3时，获取到第二用户设备的社会中心性信息为4时，确定第二用户设备为目标用户设备，将确定的目标用户设备作为中心节点。
步骤S103、接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所 述中心节点。
示范性的，各个用户设备中包括预置模型，该预置模型包括预置神经网络模型、深度学习模型、预训练语言模型等。在接收到各个用户设备发送当前预置模型中的模型参数时，将该个用户设备发送当前预置模型中的模型参数发送至中心节点。
步骤S104、获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数。
示范性的，该中心节点包括预置聚合联邦模型，向中心节点发送上传请求，接收中心节点发送的的加密公钥，通过该加密公钥对各个预置模型的模型参数进行加密，将加密后的模型参数发送至中心节点。中心节点在接收到加密后的模型参数时，分别对各个加密后的模型参数进行解密，获取解密后各个预置模型的模型参数。通过中心节点中预置聚合联邦模型对各个模型参数进行学习，得到对应的聚合模型参数。其中，聚合联邦模型包括聚合横向联邦模型、聚合纵向联邦模型以及聚合联邦迁移模型等类型。
需要说明的是，联邦学习是指通过联合不同的客户端或参与者进行机器学习建模的方法。在联邦学习中，客户端不需要向其它客户端和协调者(也称为服务器)暴露自己所拥有的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全，并可以解决数据孤岛问题。联邦学习具有以下优势：数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求；能够保证联邦学习模型的质量无损，不会出现负迁移，保证联邦学习模型比割裂的独立模型效果好；能够保证各客户端在保持独立性的情况下，进行信息与模型参数的加密交换，并同时获得成长。
步骤S105、将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
示范性的，在获取到通过中心节点中预置聚合联邦模型对各个模型参数进行学习，得到对应的聚合模型参数后，将聚合模型参数发送至各个用户设备，更新各个用户设备中预置模型的模型参数。
在本申请实施例中，通过获取各个用户设备的广播信号生成对应的集群，从而确定该集群中的目标用户设备，并将该用户设备作为中心节点接收各个用户设备的模型参数进行聚合联邦学习，将聚合模型参数更新各个用户设备中预置模型的模型参数，实现无需使用预先确定的集中式云服务器即可提供联合的FL模型训练，有效避免了预先确定的集中服务器的单点故障的问题。
请参照图4，图4为本申请的实施例提供的另一种基于自组织集群的联邦学习方法的流程示意图。
如图4所示，该基于自组织集群的联邦学习方法包括步骤S201至步骤S203。
步骤S201，确定所述预置模型是否处于收敛状态。
示范性的，确定预置模型是否处于收敛状态。例如，将该聚合模型参数与之前记录的聚合模型参数进行比对，若该聚合模型参数与之前记录的聚合模型参数相同，或者，该聚 合模型参数与之前记录的聚合模型参数的差值小于预置差值，则确定该预置模型处于收敛状态。
步骤S202，若所述预置模型处于收敛状态，则将所述预置模型作为对应的聚合模型。
示范性的，若该聚合模型参数信息与之前记录的聚合模型参数相同，或者，该聚合模型参数信息与之前记录的聚合模型参数的差值小于预置差值，则将预置模型作为对应的聚合模型。
步骤S203，若所述预置模型未处于收敛状态，则接收各个所述用户设备发送的第二模型参数，通过第二模型参数训练所述预置模型。
示范性的，若确定预置模型未处于收敛状态，则继续获取各个用户设备中预置模型的第二模型参数，通过中心节点中对各个第二模型参数进行聚合联邦学习，并获取聚合联邦学习后的第二聚合模型参数。将第二聚合模型参数发送至各个用户设备，更新所述用户设备中预置模型的聚合模型参数。
在本申请实施例中，通过检测预置模型是否处于收敛状态，并在预置模型不处于收敛状态下继续对预置模型进行训练，从而保证预置模型处于收敛状态，有效避免预置模型在不处于收敛状态下预置结果不准确。
请参照图5，图5为本申请实施例提供的一种基于自组织集群的联邦学装置的示意性框图。
如图5所示，该基于自组织集群的联邦学装置400，包括：生成模块401、确定模块402、接收及发送模块403、获取模块404、更新模块405。
生成模块401，用于获取各个用户设备发送的广播信号，生成对应的集群；
确定模块402，用于根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
接收及发送模块403，用于接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
获取模块404，用于获取所述中心节点对各个所述模型参数进行聚合联邦学习后返回的聚合模型参数；
更新模块405，用于将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
其中，生成模块401具体还用于：
根据获取各个用户设备发送的广播信号，生成对应的图团体；
通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类；
确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
其中，生成模块401具体还用于：
获取各个用户设备发送的广播信号；
通过各个所述用户设备发送的广播信号，确定各个所述用户设备之间的关联信息；
通过各个所述用户设备之间的关联信息，生成对应的图团体。
其中，生成模块401具体还用于：
通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；
若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；
若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
其中，确定模块402具体还用于：
获取所述集群中各个所述用户设备的社会中心性信息；
通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
其中，确定模块402具体还用于：
获取所述集群中各个所述用户设备之间的社交关系；
通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；
计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
其中，基于自组织集群的联邦学装置具体还用于：
确定所述预置模型是否处于收敛状态；
若所述预置模型处于收敛状态，则将所述预置模型作为对应的聚合模型；
若所述预置模型未处于收敛状态，则接收各个所述用户设备发送的第二模型参数，通过第二模型参数训练所述预置模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述基于自组织集群的联邦学习方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。
如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种基于自组织集群的联邦学习方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种基于自组织集群的联邦学习方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取各个用户设备发送的广播信号，生成对应的集群；
根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；
将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
在一个实施例中，所述处理器所述获取各个用户设备发送的广播信号，生成对应的集群实现时，用于实现：
根据获取各个用户设备发送的广播信号，生成对应的图团体；
通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类；
确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
在一个实施例中，所述处理器所述根据获取到各个用户设备发送的广播信号，生成对应的图团体实现时，用于实现：
获取各个用户设备发送的广播信号；
通过各个所述用户设备发送的广播信号，确定各个所述用户设备之间的关联信息；
通过各个所述用户设备之间的关联信息，生成对应的图团体。
在一个实施例中，所述处理器所述通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类实现时，用于实现：
通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；
若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；
若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
在一个实施例中，所述处理器所述根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点实现时，用于实现：
获取所述集群中各个所述用户设备的社会中心性信息；
通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
在一个实施例中，所述处理器所述获取所述集群中各个所述用户设备的社会中心性信息实现时，用于实现：
获取所述集群中各个所述用户设备之间的社交关系；
通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；
计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
在一个实施例中，所述处理器所述将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备更新中预置模型的模型参数之后实现时，用于实现：
确定所述预置模型是否处于收敛状态；
若所述预置模型处于收敛状态，则将所述预置模型作为对应的聚合模型；
若所述预置模型未处于收敛状态，则接收各个所述用户设备发送的第二模型参数，通过第二模型参数训练所述预置模型。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请基于自组织集群的联邦学习方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是预置模型的存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种基于自组织集群的联邦学习方法，其中，包括：
    获取各个用户设备发送的广播信号，生成对应的集群；
    根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
    接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
    获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；
    将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
  2. 如权利要求1所述的基于自组织集群的联邦学习方法，其中，所述获取各个用户设备发送的广播信号，生成对应的集群，包括：
    根据获取各个用户设备发送的广播信号，生成对应的图团体；
    通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类；
    确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
  3. 如权利要求2所述的基于自组织集群的联邦学习方法，其中，所述根据获取到各个用户设备发送的广播信号，生成对应的图团体，包括：
    获取各个用户设备发送的广播信号；
    通过各个所述用户设备发送的广播信号，确定各个所述用户设备之间的关联信息；
    通过各个所述用户设备之间的关联信息，生成对应的图团体。
  4. 如权利要求2所述的基于自组织集群的联邦学习方法，其中，所述通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类，包括；
    通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；
    若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；
    若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
  5. 如权利要求1所述的基于自组织集群的联邦学习方法，其中，所述根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点，包括：
    获取所述集群中各个所述用户设备的社会中心性信息；
    通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
  6. 如权利要求5所述的基于自组织集群的联邦学习方法，其中，所述获取所述集群中各个所述用户设备的社会中心性信息，包括：
    获取所述集群中各个所述用户设备之间的社交关系；
    通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；
    计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
  7. 如权利要求1所述的基于自组织集群的联邦学习方法，其中，所述将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备更新中预置模型的模型参数之后，还包括：
    确定所述预置模型是否处于收敛状态；
    若所述预置模型处于收敛状态，则将所述预置模型作为对应的聚合模型；
    若所述预置模型未处于收敛状态，则接收各个所述用户设备发送的第二模型参数，通过第二模型参数训练所述预置模型。
  8. 一种基于自组织集群的联邦学装置，其中，包括：
    生成模块，用于获取各个用户设备发送的广播信号，生成对应的集群；
    确定模块，用于根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
    接收及发送模块，用于接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
    获取模块，用于获取所述中心节点对各个所述模型参数进行聚合联邦学习后返回的聚合模型参数；
    更新模块，用于将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
  9. 一种计算机设备，其中，所述计算机设备包括处理器和存储器；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如下步骤：
    获取各个用户设备发送的广播信号，生成对应的集群；
    根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
    接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
    获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；
    将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
  10. 根据权利要求9所述的计算机设备，其中，所述处理器实现所述获取各个用户设备发送的广播信号，生成对应的集群的步骤，包括：
    根据获取各个用户设备发送的广播信号，生成对应的图团体；
    通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类；
    确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
  11. 根据权利要求10所述的计算机设备，其中，所述处理器实现所述根据获取到各个用户设备发送的广播信号，生成对应的图团体的步骤，包括：
    获取各个用户设备发送的广播信号；
    通过各个所述用户设备发送的广播信号，确定各个所述用户设备之间的关联信息；
    通过各个所述用户设备之间的关联信息，生成对应的图团体。
  12. 根据权利要求10所述的计算机设备，其中，所述处理器实现所述通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类的步骤，包括；
    通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；
    若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；
    若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
  13. 根据权利要求9所述的计算机设备，其中，所述处理器实现所述根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点的步骤，包括：
    获取所述集群中各个所述用户设备的社会中心性信息；
    通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
  14. 根据权利要求13所述的计算机设备，其中，所述处理器实现所述获取所述集群中各个所述用户设备的社会中心性信息的步骤，包括：
    获取所述集群中各个所述用户设备之间的社交关系；
    通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；
    计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时使所述处理器实现如下步骤：
    获取各个用户设备发送的广播信号，生成对应的集群；
    根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点；
    接收各个所述用户设备发送的模型参数，并将各个所述模型参数发送至所述中心节点；
    获取所述中心节点对各个所述模型参数进行聚合联邦学习后的聚合模型参数；
    将所述聚合模型参数发送至各个所述用户设备，更新各个所述用户设备中预置模型的所述模型参数。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述处理器实现处理器实现所述获取各个用户设备发送的广播信号，生成对应的集群的步骤，包括：
    根据获取各个用户设备发送的广播信号，生成对应的图团体；
    通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类；
    确定所述同一聚类的用户设备，并将同一聚类的用户设备作为集群。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述处理器实现所述根据获取到各个用户设备发送的广播信号，生成对应的图团体的步骤，包括：
    获取各个用户设备发送的广播信号；
    通过各个所述用户设备发送的广播信号，确定各个所述用户设备之间的关联信息；
    通过各个所述用户设备之间的关联信息，生成对应的图团体。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述处理器实现所述通过对所述图团体中各个所述用户设备的顶点进行聚合计算，确定各个所述用户设备之间是否为同一聚类的步骤，包括；
    通过预置聚合公式计算所述图团体中各个所述用户设备的顶点，得到各个所述用户设备的聚合参数；
    若各个所述聚合参数为第一预置阈值，则确定各个所述用户设备为同一聚类；
    若各个所述聚合参数为第二预置阈值，则确定不是同一聚类。
  19. 根据权利要求15所述的计算机可读存储介质，其中，所述处理器实现所述根据所述集群，确定所述集群中的目标用户设备，并将所述目标用户设备作为中心节点的步骤，包括：
    获取所述集群中各个所述用户设备的社会中心性信息；
    通过各个所述用户设备的社会中心性信息确定对应的目标用户设备，并将所述目标用户设备作为中心节点。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述处理器实现所述获取所述集群中各个所述用户设备的社会中心性信息的步骤，包括：
    获取所述集群中各个所述用户设备之间的社交关系；
    通过所述社交关系，得到各个所述用户设备的社会中心性向量信息；
    计算各个所述用户设备的社会中心性向量信息，得到各个所述用户设备的社会中心性信息。
PCT/CN2021/097409 2021-02-20 2021-05-31 基于自组织集群的联邦学习方法、装置、设备及存储介质 WO2022174533A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110193253.5 2021-02-20
CN202110193253.5A CN112990276B (zh) 2021-02-20 2021-02-20 基于自组织集群的联邦学习方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2022174533A1 true WO2022174533A1 (zh) 2022-08-25

Family

ID=76393764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/097409 WO2022174533A1 (zh) 2021-02-20 2021-05-31 基于自组织集群的联邦学习方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112990276B (zh)
WO (1) WO2022174533A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808126A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质
CN117808126B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255937B (zh) * 2021-06-28 2021-11-09 江苏奥斯汀光电科技股份有限公司 一种面向智能车间不同智能体之间的联邦学习方法及系统
CN113487041B (zh) * 2021-07-15 2024-05-07 深圳市与飞科技有限公司 横向联邦学习方法、装置及存储介质
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113723509B (zh) * 2021-08-30 2024-01-16 平安科技（深圳）有限公司 基于联邦强化学习的随访监测方法、装置及相关设备
CN114662340B (zh) * 2022-04-29 2023-02-28 烟台创迹软件有限公司 称重模型方案的确定方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111600707A (zh) * 2020-05-15 2020-08-28 华南师范大学 一种在隐私保护下的去中心化联邦机器学习方法
CN111966698A (zh) * 2020-07-03 2020-11-20 华南师范大学 一种基于区块链的可信联邦学习方法、系统、装置及介质
CN112200263A (zh) * 2020-10-22 2021-01-08 国网山东省电力公司电力科学研究院 一种应用于配电物联网的自组织联邦聚类方法
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271416A (zh) * 2018-09-03 2019-01-25 中国平安人寿保险股份有限公司 时间管理推荐方法、电子装置及可读存储介质
EP3970074A1 (en) * 2019-05-16 2022-03-23 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN112329940A (zh) * 2020-11-02 2021-02-05 北京邮电大学 一种结合联邦学习与用户画像的个性化模型训练方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN111212110A (zh) * 2019-12-13 2020-05-29 清华大学深圳国际研究生院 一种基于区块链的联邦学习系统及方法
CN111600707A (zh) * 2020-05-15 2020-08-28 华南师范大学 一种在隐私保护下的去中心化联邦机器学习方法
CN111966698A (zh) * 2020-07-03 2020-11-20 华南师范大学 一种基于区块链的可信联邦学习方法、系统、装置及介质
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112200263A (zh) * 2020-10-22 2021-01-08 国网山东省电力公司电力科学研究院 一种应用于配电物联网的自组织联邦聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: " Cluster Analysis (2): Graph Group Detection", 26 April 2018 (2018-04-26), XP055961182, Retrieved from the Internet <URL:https://blog.csdn.net/gaofeipaopaotang/article/details/80094656> [retrieved on 20220914] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808126A (zh) * 2024-02-29 2024-04-02 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质
CN117808126B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 机器学习方法、装置、设备、联邦学习系统及存储介质

Also Published As

Publication number Publication date
CN112990276A (zh) 2021-06-18
CN112990276B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
WO2022174533A1 (zh) 基于自组织集群的联邦学习方法、装置、设备及存储介质
US11218457B2 (en) Establishment of consortium blockchain network
US11836583B2 (en) Method, apparatus and system for secure vertical federated learning
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
CN111213340B (zh) 选择用于密码功能的证明委托并使其安全
US20190012592A1 (en) Secure federated neural networks
US11940958B2 (en) Artificial intelligence software marketplace
US11941155B2 (en) Secure data management in a network computing environment
WO2022121538A1 (zh) 基于区块链的数据同步方法、系统及相关设备
CN110866546B (zh) 一种共识节点的评估方法及装置
CN112153085A (zh) 一种数据处理方法、节点及区块链系统
CN104255011B (zh) 云计算安全数据存储
CN112417480B (zh) 一种基于区块链的数据存储系统及方法
WO2018233051A1 (zh) 数据发布方法、装置、服务器和存储介质
WO2022116421A1 (zh) 一种联邦学习工人节点选择方法、系统、终端以及存储介质
Keller et al. Balancing quality and efficiency in private clustering with affinity propagation
CN111917696A (zh) 使用不可旁路的网关的基于tpm的安全多方计算系统
Alqarni et al. Authenticated wireless links between a drone and sensors using a blockchain: Case of smart farming
Yang et al. Cell based raft algorithm for optimized consensus process on blockchain in smart data market
US20200183586A1 (en) Apparatus and method for maintaining data on block-based distributed data storage system
WO2023051455A1 (zh) 一种信任模型的训练方法及装置
WO2023124219A1 (zh) 一种联合学习模型迭代更新方法、装置、系统及存储介质
CN113051035B (zh) 一种远程控制方法、装置、系统及宿主机
CN114519191A (zh) 医疗数据管理方法及装置
CN116723202B (zh) 一种基于区块链的物联网设备管理系统及其控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21926250

Country of ref document: EP

Kind code of ref document: A1