WO2022116439A1 - 一种基于联邦学习的ct图像检测方法及相关装置 - Google Patents

一种基于联邦学习的ct图像检测方法及相关装置 Download PDF

Info

Publication number
WO2022116439A1
WO2022116439A1 PCT/CN2021/083805 CN2021083805W WO2022116439A1 WO 2022116439 A1 WO2022116439 A1 WO 2022116439A1 CN 2021083805 W CN2021083805 W CN 2021083805W WO 2022116439 A1 WO2022116439 A1 WO 2022116439A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
average value
devices
parameters
type
Prior art date
Application number
PCT/CN2021/083805
Other languages
English (en)
French (fr)
Inventor
王健宗
李泽远
朱星华
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2022116439A1 publication Critical patent/WO2022116439A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Definitions

  • the present application relates to the field of Internet technologies, and in particular, to a CT image detection method and related devices based on federated learning.
  • Lung cancer is one of the cancers with the highest mortality rate in the world, and early-stage lung cancer can be cured by surgical resection. Therefore, early detection of lung cancer is crucial.
  • the early manifestations of lung cancer are pulmonary nodules. Doctors generally judge the benign and malignant pulmonary nodules through CT scan images. However, pulmonary nodules are generally small in size, difficult to distinguish in shape, and have a large range of changes, which brings great advantages to doctors' diagnosis work. a lot of inconvenience.
  • CAD computer-aided detection
  • the existing deep learning algorithm also targets the characteristics of pulmonary nodules.
  • the present application is proposed in order to provide a method and apparatus for detecting and generating CT images based on federated learning that overcomes the above problems or at least partially solves the above problems.
  • an embodiment of the present application provides a CT image detection method based on federated learning, which may include:
  • the first device trains the first model based on the first data, and obtains the trained first model and the first model parameters, the first device is any one of the plurality of first devices, and the first data includes all the first devices.
  • a first type of CT image in the first device where the first type of CT image is a CT image that is not shared with other first devices in the first device, and the first model parameter includes a gradient value;
  • the first device sends the first model parameter to the second device
  • the first device receives a first average value and a second average value sent by the second device, where the first average value and the second average value are based on the first average values corresponding to the plurality of first devices respectively. determined by the model parameters, the first average value is used to replace the positive gradient value in the first model parameter, and the second average value is used to replace the negative gradient value in the first model parameter;
  • the first device updates the parameters of the first model according to the first average value and the second average value according to a preset rule, retrains the first model based on the CT image of the first type, and obtains: The trained second model and the second model parameters;
  • the first device marks abnormal regions of the input CT image based on the second model.
  • the embodiment of the present application provides a CT image detection method based on federated learning.
  • Each hospital (equivalent to the multiple first devices in the embodiment of the present application) extracts the local CT image under the condition that the patient's privacy is not exposed.
  • Image data (equivalent to the first type of CT image in the embodiment of the present application)
  • the parameters are encrypted and uploaded to the cloud (equivalent to the second device in the embodiment of the present application) for joint training to solve the problem of missing data sets and improve lung cancer.
  • Accuracy of early detection is Moreover, for the problem of slow information transmission due to too many devices in federated learning, in order to reduce the number of communication bytes required, the size of the positive gradient update and the negative gradient update is compared to further reduce the need for participation.
  • the calculated gradient value reduces the amount of data that needs to be involved in the calculation and effectively improves the efficiency of communication.
  • the embodiment of the present application provides a CT image detection method based on federated learning, which may include:
  • the second device receives first model parameters sent respectively by multiple first devices, where the first model parameters include gradient values;
  • the second device sorts the received gradient values according to the preset contribution rule
  • the second device calculates a first average value of the gradient values of the top k% of the sorted and a second average value of the gradient values of the bottom k%, respectively, the first average value is used to replace the multiple
  • the positive gradient values in the first model parameters corresponding to the first devices are updated, and the second average value is used to replace the negative gradient values in the first model parameters corresponding to the plurality of first devices.
  • k is a preset constant;
  • the second device sends the first average value and the second average value to the plurality of first devices, respectively.
  • the new compression algorithm abandons the averaging of all gradient values, and selects the gradient with the highest contribution degree k% according to the contribution degree of the gradient according to the preset contribution degree rule. update (k is the input value of the algorithm); and, by comparing the size of the positive gradient update and the negative gradient update, the gradient value that needs to be involved in the calculation is further reduced, the amount of data that needs to be involved in the calculation is effectively reduced, and the communication efficiency is improved. efficiency.
  • an embodiment of the present application provides a CT image detection apparatus based on federated learning, which is applied to the first device and may include:
  • the first training unit is configured to train the first model based on the first data, and obtain the trained first model and the first model parameters, where the first device is any one of a plurality of first devices, and the first device is A data includes a first type of CT image in the first device, the first type of CT image is a CT image in the first device that is not shared with other first devices, and the first model parameter includes a gradient value;
  • a first sending unit configured to send the first model parameter to the second device
  • a first receiving unit configured to receive a first average value and a second average value sent by the second device, where the first average value and the second average value are based on the corresponding first devices respectively determined by the first model parameter, the first average value is used to replace the positive gradient value in the first model parameter, and the second average value is used to replace the negative gradient value in the first model parameter;
  • a second training unit configured to retrain the first model based on the first type of CT images after updating the parameters of the first model according to the first average value and the second average value according to a preset rule , obtain the trained second model and the second model parameters;
  • a first marking unit configured to mark abnormal regions of the input CT image based on the second model.
  • the embodiment of the present application provides another CT image detection apparatus based on federated learning, which is applied to the second device and may include:
  • a fourth receiving unit configured to receive first model parameters sent respectively by multiple first devices, where the first model parameters include gradient values
  • a sorting unit used to sort the received gradient values according to the preset contribution rule
  • a calculation unit configured to calculate a first average value of the gradient values of the top k% and a second average value of the gradient values of the bottom k% respectively after sorting, the first average value is used to replace the multiple The positive gradient values in the first model parameters corresponding to the first devices are updated, and the second average value is used to replace the negative gradient values in the first model parameters corresponding to the plurality of first devices.
  • k is a preset constant;
  • a third sending unit configured to send the first average value and the second average value to the plurality of first devices respectively.
  • the embodiments of the present application provide another CT image detection apparatus based on federated learning, including a storage component, a processing component and a communication component, the storage component, and the processing component and the communication component are connected to each other, wherein the storage component is used for storing The computer program, the communication component is used for information interaction with the external device; the processing component is configured to call the computer program to execute the following methods:
  • the first model is trained based on the first data, and the trained first model and the first model parameters are obtained, and the apparatus is any one of the plurality of first devices or any device set in the plurality of first devices
  • the first data includes a first type of CT image in the first device, the first type of CT image is a CT image that is not shared with other first devices in the first device, and the first type of CT image is not shared with other first devices in the first device.
  • first average value and a second average value sent by the second device receive a first average value and a second average value sent by the second device, where the first average value and the second average value are determined based on first model parameters corresponding to the plurality of first devices respectively,
  • the first average value is used to replace the positive gradient value in the first model parameter
  • the second average value is used to replace the negative gradient value in the first model parameter
  • the first model After updating the parameters of the first model according to the first average value and the second average value according to preset rules, the first model is retrained based on the CT images of the first type, and a trained second model is obtained. model and second model parameters;
  • An abnormal area of the input CT image is marked based on the second model.
  • the embodiments of the present application provide another CT image detection device based on federated learning, including a storage component, a processing component and a communication component, the storage component, and the processing component and the communication component are connected to each other, wherein the storage component is used for storing The computer program, the communication component is used for information interaction with the external device; the processing component is configured to call the computer program to execute the following methods:
  • first model parameters sent respectively by multiple first devices, where the first model parameters include gradient values
  • the first average value and the second average value are respectively sent to the plurality of first devices.
  • an embodiment of the present application provides a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and the computer program is executed by a processor to implement the following method:
  • the first model is trained based on the first data, and the trained first model and the first model parameters are obtained, where the first data includes the first type of CT images in the first device, and the first type of CT images are CT images in the first device that are not shared with other first devices, the first model parameters include gradient values;
  • first average value and a second average value sent by the second device, where the first average value and the second average value are determined based on first model parameters corresponding to a plurality of first devices respectively, and the The first average value is used to replace the positive gradient value in the first model parameter, and the second average value is used to replace the negative gradient value in the first model parameter;
  • the first model After updating the parameters of the first model according to the first average value and the second average value according to preset rules, the first model is retrained based on the CT images of the first type, and a trained second model is obtained. model and second model parameters;
  • An abnormal area of the input CT image is marked based on the second model.
  • an embodiment of the present application provides a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and the computer program is executed by a processor to implement the following method:
  • first model parameters sent respectively by multiple first devices, where the first model parameters include gradient values
  • the first average value and the second average value are respectively sent to the plurality of first devices.
  • the embodiment of the present application further reduces the gradient value that needs to be involved in the calculation by comparing the magnitude of the positive gradient update and the negative gradient update, effectively reduces the amount of data that needs to be involved in the calculation, and improves the efficiency of communication.
  • FIG. 1 is a schematic diagram of the architecture of a CT image detection system based on federated learning provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of a flow of a CT image detection method based on federated learning provided by an embodiment of the present application.
  • FIG. 3 is a schematic structural diagram of a U-Net network provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of a CT image detection based on federated learning provided by an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • FIG. 8 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • a server may be, but is not limited to, a processor, a data processing platform, a computing device, a computer, two or more computers, and the like.
  • the technical solution of the present application relates to the field of artificial intelligence technology, such as machine learning technology.
  • This application can be used in scenarios such as digital healthcare to promote the construction of smart cities.
  • the information involved in this application such as images, parameters and/or average values, may be stored in a database, or may be stored in a blockchain, which is not limited in this application.
  • Federated machine learning is also known as federated learning, federated learning, and federated learning.
  • Federated Machine Learning is a machine learning framework that can effectively help multiple agencies conduct data usage and machine learning modeling while meeting user privacy protection, data security, and government regulations.
  • IOS Internetwork Operating System
  • Windows Phone (referred to as WP) is a mobile operating system officially released by Microsoft on October 21, 2010. Windows Phone has a series of school-garde operating experiences such as desktop customization, icon dragging, and sliding control. Its home screen displays new emails, text messages, missed calls, calendar appointments, and more by providing a dashboard-like experience. It also includes an enhanced touchscreen interface for more finger-friendly operation.
  • FIG. 1 is a schematic diagram of the architecture of a CT image detection system based on federated learning provided by an embodiment of the present application, including multiple first devices 101 and second devices 102 . in:
  • the first device may include, but is not limited to, a background server, a component server, a data processing server, etc., a program that provides local services for clients.
  • the first device in the embodiment of the present application is equivalent to the server of the hospital, which may include, but is not limited to, implementing: training the first model based on the first data, and obtaining the trained first model and the first model parameters, the first
  • the device is any one of a plurality of first devices, and the first data includes a first type of CT image in the first device, and the first type of CT image is a CT image of the first type that is not associated with other first devices in the first device.
  • a CT image shared by a device the first model parameter includes a gradient value; the first model parameter is sent to a second device; the first average value and the second average value sent by the second device are received, the The first average value and the second average value are determined based on the first model parameters corresponding to the plurality of first devices respectively, and the first average value is used to replace the positive gradient value in the first model parameter , the second average value is used to replace the negative gradient value in the first model parameter; after updating the first model parameter according to the first average value and the second average value according to a preset rule, based on The first type of CT image retrains the first model to obtain a trained second model and second model parameters based on the second model to mark abnormal regions of the input CT image.
  • the second device 102 can install and run related applications.
  • the application refers to corresponding to the first device.
  • the server can communicate with multiple first devices through the Internet, and the server also needs to run a corresponding program to provide corresponding model training. service and more.
  • the server may receive first model parameters sent respectively by multiple first devices, where the first model parameters include gradient values; sort the received gradient values according to a preset contribution degree rule; calculate the sorted top k separately % of the first average value of the gradient values and the second average value of the last k% of the gradient values, the first average value is used to replace the first model parameters corresponding to the plurality of first devices
  • the positive gradient value is updated, the second average value is used to replace the negative gradient value update in the first model parameters corresponding to the plurality of first devices, and k is a preset constant;
  • the value and the second average value are respectively sent to the plurality of first devices.
  • the first device 101 may send information (eg, first model parameters, etc.) to the second device, receive information (eg, first average value and second average value, etc.) sent by the second device, and other shared information and the like.
  • the first device and the second device in the embodiments of this solution may include, but are not limited to, any electronic product based on an intelligent operating system, which can interact with the user through input devices such as a keyboard, a virtual keyboard, a touchpad, a touchscreen, and a voice control device.
  • the smart operating system includes, but is not limited to, any operating system that enriches device functions by providing various mobile applications to the mobile device, such as: iOS TM , Windows Phone TM and so on.
  • the architecture of the CT image detection system based on federated learning in FIG. 1 is only some exemplary implementations in the embodiments of the present application, and the architecture of the CT image detection system based on federated learning in the embodiments of the present application includes but not only Limited to the above federated learning-based CT image detection system architecture.
  • FIG. 2 is a schematic diagram of a flow of a CT image detection method based on federated learning provided by an embodiment of the present application.
  • the system in FIG. 1 can be applied to the above-mentioned system, and the interaction between the first device 101 and the second device 102 will be described below with reference to FIG. 2 .
  • the method may include the following steps S201-S213.
  • Step S201 the first device trains the first model based on the first data, and obtains the trained first model and the first model parameters.
  • the first device trains the first model based on the first data, and obtains the trained first model and first model parameters, where the first device is any one of multiple first devices, and the first The data includes a first type of CT image in the first device, the first type of CT image is a CT image in the first device that is not shared with other first devices, and the first model parameter includes a gradient value .
  • the CT images of the first type are CT images that are not disclosed in the first device, that is, cannot be acquired by other first devices. Therefore, each first device (hospital) can locally use U-Net as the neural network model, train the model based on its own first-type CT image dataset, and obtain the trained first model and the first model parameters. Please refer to FIG.
  • the first model includes: an input layer, a convolution layer, and a pooling layer for downsampling, and an unpooling layer, a convolution transposition layer, and an output layer for upsampling.
  • Step S202 the second device receives the first model parameters respectively sent by a plurality of first devices.
  • the multiple first devices respectively send the first model parameters to the second devices.
  • the second device receives first model parameters sent respectively by the plurality of first devices, where the first model parameters include gradient values.
  • the second device is equivalent to a cloud server and can communicate with multiple first devices. It should be noted that, during data interaction between the first device and the second device in this embodiment of the present application, the communicated data may be encrypted, or an encrypted communication method may be used, which is not specifically limited in the present application.
  • Step S203 the second device sorts the received gradient values according to the preset contribution rule.
  • the second device sorts the received gradient values according to a preset contribution degree rule.
  • the contribution degree corresponding to the gradient value corresponds to the size of the first type of CT image data used when training the first model in the first device. For example, the richer the CT images of the first type in the training process, the greater the contribution of the gradient corresponding to the first model.
  • This application does not specifically limit its preset contribution degree rules.
  • Step S204 the second device calculates the first average value of the gradient values of the top k% and the second average value of the gradient values of the bottom k% of the sorted values, respectively.
  • the second device calculates the first average value of the gradient values of the top k% and the second average value of the gradient values of the bottom k% respectively after sorting, and the first average value is used to replace the The positive gradient values in the first model parameters corresponding to the plurality of first devices are updated, and the second average value is used to replace the negative gradient values in the first model parameters corresponding to the plurality of first devices.
  • k is a preset constant. It can be understood that all gradient update values are input and the desired gradient value ratio k is determined. Among all the gradient update values, the first k% of the gradient updates are taken to replace all positive gradient updates, and the last k% of the gradient updates are taken to replace all negative value updates.
  • the second device updates all negative gradient values to 0, and updates positive gradient values to the first average value; If the first average value is less than the second average value, the second device updates all positive gradient values to 0, and updates negative gradient values to the second average value.
  • Step S205 the second device sends the first average value and the second average value to the plurality of first devices respectively.
  • the second device sends the first average value and the second average value to the plurality of first devices respectively, so that the first device can make the first average value and the second average value according to the first average value and the second average value.
  • the first model parameters are updated according to preset rules.
  • Step S206 after the first device updates the parameters of the first model according to the preset rules according to the first average value and the second average value, retrains the first model based on the CT images of the first type, and obtains the trained second model and the second model. model parameters.
  • the first device after updating the parameters of the first model according to the first average value and the second average value according to a preset rule, the first device retrains the first model based on the CT images of the first type, Obtain the trained second model and the second model parameters.
  • the first device uses the MSE as the loss function to retrain the first model, so that The loss function, which converges quickly, gets the initialized model.
  • yi is the real value of the data
  • y′ i is the predicted value of the model.
  • the first device marks abnormal regions of the input CT image based on the second model.
  • the second model is a newly-connected initialization model, which can simply mark abnormal regions on the input CT image.
  • Step S207 the second device may determine the third model parameter according to the second model parameters respectively sent by the multiple first devices.
  • multiple first devices (hospitals) upload the model parameters and gradient updates that were trained last time in the previous stage to the cloud.
  • the second device receives the second model parameters sent respectively by the multiple first devices, and then determines the third model parameters according to the second model parameters sent respectively by the multiple first devices.
  • Step S208 the second device obtains a third model according to the first model.
  • the second device obtains a third model according to the first model, where the third model includes two decoding networks, the two decoding networks share the feature extraction network, and the two decoding networks perform The classification results of the first type of CT images and the classification results of the second type of CT images are output.
  • the first model parameters are model parameters of the first model
  • the first model includes a decoder network and a feature extraction network.
  • Step S209 the second device trains the third model based on the CT images of the first type and the CT images of the second type, and obtains the trained third model parameters.
  • the second device trains the third model based on the first type of CT image and the second type of CT image, and obtains trained third model parameters, and the second type of CT image is in the CT images shared among multiple first devices, the second device updates the third model and the trained third model parameters to the multiple first devices respectively.
  • the second device may use a weighted loss function to evaluate the training result of the model.
  • the weighted loss function is:
  • ⁇ 1 and ⁇ 2 in the formula represent the weight values of the two decoder networks, yi represents the true value of the unlabeled image, y′ i represents the predicted value of the unlabeled image; y j represents the true value of the labeled image, y ' j represents the predicted value of the labeled image.
  • Step S210 the first device performs training according to the third model and based on the CT images of the first type, and obtains model parameters of the trained third model.
  • the first device receives and updates the third model and the trained third model parameters sent by the second device, and the first device performs training based on the third model and the CT images of the first type,
  • the model parameters of the trained third model are obtained, wherein the model parameters of the trained third model are characteristic parameters.
  • Step S211 the second device obtains the fourth model parameter according to the characteristic parameter
  • the second device obtains the fourth model parameter according to the characteristic parameters sent by the plurality of first devices, and the specific implementation thereof may refer to the relevant descriptions of the above steps 203 to S204, which will not be repeated in this application.
  • Step S212 the second device adds a fully connected layer and a classifier on the basis of the third model to obtain a fourth model.
  • the second device adds a fully connected layer and a classifier on the basis of the third model to obtain a fourth model, and the second device updates the fourth model and the parameters of the fourth model to the in a plurality of first devices.
  • Step S213 the first device classifies the input CT image based on the fourth model and marks the abnormal area of the input CT image.
  • the first device classifies the input CT image based on the fourth model and the fourth model parameters and marks abnormal regions of the input CT image. It is understandable that, according to the local CT images to be classified in the first device, fine-tune can be continued to train to achieve four classifications of inflammation, squamous cell carcinoma, adenocarcinoma and others. Please refer to FIG. 4 .
  • FIG. 4 is a schematic flowchart of a CT image detection based on federated learning provided by an embodiment of the present application.
  • the unlabeled data set (equivalent to the first type of CT images in this application), that is, the hospital private data set, is trained in the first stage, and then the unlabeled data set (hospital private data set) is trained in the second stage.
  • Private data set) and annotated data set (public data set, equivalent to the second type of CT images in the embodiments of this application) are jointly trained.
  • federated transfer learning is performed, and the trained parameters (phase model parameters) and the model are used to classify and label the input unlabeled images of inflammation, squamous cell carcinoma, adenocarcinoma, and others.
  • the embodiments of the present application may provide a CT image detection method based on federated learning.
  • Each hospital (equivalent to multiple first devices in the embodiments of the present application) extracts local CT image data (equivalent to the first type of CT image in the embodiment of the present application), the parameters are encrypted and uploaded to the cloud (equivalent to the second device in the embodiment of the present application) for joint training to solve the problem of missing data sets and improve Accuracy of early detection of lung cancer.
  • the new compression algorithm abandons the average of all gradient values, and according to the contribution of the gradient
  • select the gradient with the highest contribution degree k% to participate in the update (k is the input value of the algorithm); and, by comparing the size of the positive gradient update and the negative gradient update, further reduce the need to participate in the calculation.
  • the gradient value effectively reduces the amount of data that needs to be involved in the calculation and improves the efficiency of communication.
  • FIG. 5 is a schematic structural diagram of a CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • the CT image detection apparatus 30 based on federated learning may include a first training unit 301, a first sending unit 302, a first receiving unit 303, a second training unit 304 and a first marking unit 305, and may further include a second receiving unit 306, The third training unit 307 , the second sending unit 308 , the third receiving unit 309 and the second marking unit 310 .
  • the first training unit 301 is configured to train the first model based on the first data, and obtain the trained first model and the first model parameters, where the first device is any one of a plurality of first devices, and the The first data includes a first type of CT image in the first device, where the first type of CT image is a CT image that is not shared with other first devices in the first device, and the first model parameters include gradient value;
  • a first sending unit 302 configured to send the first model parameter to a second device
  • the first receiving unit 303 is configured to receive a first average value and a second average value sent by the second device, where the first average value and the second average value are based on the corresponding first devices respectively. determined by the first model parameter of , the first average value is used to replace the positive gradient value in the first model parameter, and the second average value is used to replace the negative gradient value in the first model parameter;
  • the second training unit 304 is configured to, after updating the parameters of the first model according to the first average value and the second average value according to a preset rule, re-train the first model based on the CT images of the first type training to obtain the trained second model and the second model parameters;
  • the first marking unit 305 is configured to mark abnormal regions of the input CT image based on the second model.
  • the apparatus further includes: a second receiving unit 306, configured to receive and update the third model and the trained third model parameters sent by the second device, the third model Obtained by the second device according to the first model, the trained third model parameters are the first type of CT images and the second type of CT images corresponding to the second device based on the plurality of first devices respectively CT images, obtained by training the third model, the second type of CT images are CT images shared among the multiple first devices; the third training unit 307 is configured to The model is trained based on the CT images of the first type to obtain the model parameters of the trained third model; the second sending unit 308 is configured to send the model parameters of the trained third model into the second device.
  • the apparatus further includes: a third receiving unit 309, configured to receive and update the fourth model and fourth model parameters sent by the second device, where the fourth model is the The second device is obtained according to the third model; the second marking unit 310 is configured to classify the input CT image based on the fourth model and mark the abnormal area of the input CT image.
  • each operation may also correspond to the corresponding descriptions of the method embodiments shown in FIG. 2 to FIG. 4 , which will not be repeated here.
  • FIG. 6 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application, which is applied to the second device.
  • the apparatus 40 includes: a fourth receiving unit 401 , and a sorting unit 402 , the computing unit 403 and the third sending unit 404 may further include: a first updating unit 405, a fifth receiving unit 406, a determining unit 407, a first model unit 408, a fourth training unit 409, a second updating unit 410, Six receiving unit 411 , acquiring unit 412 , second model unit 413 and third updating unit 414 .
  • a fourth receiving unit 401 configured to receive first model parameters respectively sent by multiple first devices, where the first model parameters include gradient values;
  • a sorting unit 402 configured to sort the received gradient values according to a preset contribution rule
  • the calculating unit 403 is configured to calculate the first average value of the gradient values of the top k% and the second average value of the gradient values of the bottom k% respectively after sorting, and the first average value is used to replace the The positive gradient values in the first model parameters corresponding to the plurality of first devices are updated, and the second average value is used to replace the negative gradient values in the first model parameters corresponding to the plurality of first devices.
  • k is a preset constant
  • the third sending unit 404 is configured to send the first average value and the second average value to the plurality of first devices respectively.
  • the apparatus further includes: a first updating unit 405, configured to, if the first average value is greater than or equal to the second average value, the second device will update all negative values The gradient value is updated to 0, and the positive gradient value is updated to the first average value; if the first average value is less than the second average value, the second device updates all positive gradient values to 0, Negative gradient values are updated to the second average.
  • a first updating unit 405 configured to, if the first average value is greater than or equal to the second average value, the second device will update all negative values The gradient value is updated to 0, and the positive gradient value is updated to the first average value; if the first average value is less than the second average value, the second device updates all positive gradient values to 0, Negative gradient values are updated to the second average.
  • the first model parameters are model parameters of the first model, and the first model includes a decoder network and a feature extraction network; the apparatus further includes: a fifth receiving unit 406 , for receiving the second model parameters respectively sent by the multiple first devices, where the second model parameters are based on the multiple first devices after updating the first average value and the second average value
  • the first type of CT image trains the first model to obtain trained second model parameters, and the first type of CT image is a CT image that is not shared with other first devices in the first device; determining unit 407, configured to determine the third model parameters according to the second model parameters respectively sent by the plurality of first devices; the first model unit 408, configured to obtain a third model according to the first model, the first model
  • the three-model includes two decoding networks, the two decoding networks share the feature extraction network, and the two decoding networks respectively output the classification results of the first type of CT images and the classification results of the second type of CT images; Fourth training unit 409, configured to train the third model based on the first type of CT image and
  • the apparatus further includes: a sixth receiving unit 411, configured to receive characteristic parameters sent by the multiple first devices, where the characteristic parameters are sent by the multiple first devices according to the The third model is based on the model parameters obtained by training the first type of CT images in the first device; the obtaining unit 412 is used for obtaining the fourth model parameters according to the characteristic parameters; the second model unit 413 is used for On the basis of the third model, a fully connected layer and a classifier are added to obtain a fourth model; a third updating unit 414 is configured to update the fourth model and the parameters of the fourth model to the plurality of first models in the device.
  • a sixth receiving unit 411 configured to receive characteristic parameters sent by the multiple first devices, where the characteristic parameters are sent by the multiple first devices according to the The third model is based on the model parameters obtained by training the first type of CT images in the first device; the obtaining unit 412 is used for obtaining the fourth model parameters according to the characteristic parameters; the second model unit 413 is used for On the basis of the third model, a fully connected layer
  • each operation may also correspond to the corresponding descriptions of the method embodiments shown in FIG. 2 to FIG. 4 , which will not be repeated here.
  • FIG. 7 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • the apparatus 50 is applied to the first device and includes at least one processor 501 and at least one memory 502 , at least one communication interface 503 .
  • the device may also include general components such as an antenna, which will not be described in detail here.
  • the processor may also be referred to as a processing component
  • the memory may also be referred to as a storage component
  • the communication interface may also be referred to as a communication component, etc., which are not limited in this application.
  • the processor 501 may be a general-purpose central processing unit (CPU), a microprocessor, an application-specific integrated circuit (ASIC), or one or more integrated circuits for controlling the execution of the programs in the above solutions.
  • CPU central processing unit
  • ASIC application-specific integrated circuit
  • the communication interface 503 is used to communicate with other devices or communication networks, such as Ethernet, Radio Access Network (RAN), Core Network, Wireless Local Area Networks (Wireless Local Area Networks, WLAN) and the like.
  • RAN Radio Access Network
  • Core Network Core Network
  • Wireless Local Area Networks Wireless Local Area Networks, WLAN
  • Memory 502 may be read-only memory (ROM) or other type of static storage device that can store static information and instructions, random access memory (RAM) or other type of static storage device that can store information and instructions It can also be an electrically erasable programmable read-only memory (Electrically Erasable Programmable Read-Only Memory, EEPROM), a compact disc read-only memory (CD-ROM) or other optical disk storage, optical disk storage (including compact discs, laser discs, optical discs, digital versatile discs, Blu-ray discs, etc.), magnetic disk storage media or other magnetic storage devices, or capable of carrying or storing desired program code in the form of instructions or data structures and capable of being executed by a computer Access any other medium without limitation.
  • the memory can exist independently and be connected to the processor through a bus.
  • the memory can also be integrated with the processor.
  • the memory 502 is used for storing the application code for executing the above solution, and the execution is controlled by the processor 501 .
  • the processor 501 is configured to execute the application code stored in the memory 502 .
  • the code stored in the memory 502 can execute the CT image detection method based on federated learning provided in FIG. 2 above.
  • the first model can be trained based on the first data to obtain The trained first model and the first model parameters, the first device is any one of multiple first devices, the first data includes the first type of CT images in the first device, the first device A type of CT image is a CT image that is not shared with other first devices in the first device, and the first model parameter includes a gradient value; sending the first model parameter to the second device; receiving the first model parameter The first average value and the second average value sent by the second device, the first average value and the second average value are determined based on the first model parameters respectively corresponding to the plurality of first devices, the first average value and the second average value The average value is used to replace the positive gradient value in the first model parameter, and the second average value is used to replace the negative gradient value in the first model parameter; according to the first average value and the second average value After the
  • FIG. 8 is a schematic structural diagram of another CT image detection apparatus based on federated learning provided by an embodiment of the present application.
  • the apparatus 60 is applied to a second device and includes at least one processor 601 and at least one memory 602 , at least one communication interface 603 .
  • the device may also include general components such as an antenna, which will not be described in detail here.
  • the processor may also be referred to as a processing component
  • the memory may also be referred to as a storage component
  • the communication interface may also be referred to as a communication component, etc., which are not limited in this application.
  • the processor 601 may be a general-purpose central processing unit (CPU), a microprocessor, an application-specific integrated circuit (ASIC), or one or more integrated circuits used to control the execution of the above programs.
  • CPU central processing unit
  • ASIC application-specific integrated circuit
  • the communication interface 603 is used to communicate with other devices or communication networks, such as Ethernet, Radio Access Network (RAN), Core Network, Wireless Local Area Networks (Wireless Local Area Networks, WLAN) and the like.
  • RAN Radio Access Network
  • Core Network Core Network
  • Wireless Local Area Networks Wireless Local Area Networks, WLAN
  • the memory 602 may be read-only memory (ROM) or other type of static storage device that can store static information and instructions, random access memory (RAM) or other type of static storage device that can store information and instructions It can also be an electrically erasable programmable read-only memory (Electrically Erasable Programmable Read-Only Memory, EEPROM), a compact disc read-only memory (CD-ROM) or other optical disk storage, optical disk storage (including compact discs, laser discs, optical discs, digital versatile discs, Blu-ray discs, etc.), magnetic disk storage media or other magnetic storage devices, or capable of carrying or storing desired program code in the form of instructions or data structures and capable of being executed by a computer Access any other medium without limitation.
  • the memory can exist independently and be connected to the processor through a bus.
  • the memory can also be integrated with the processor.
  • the memory 602 is used for storing the application code for executing the above solution, and the execution is controlled by the processor 601 .
  • the processor 601 is configured to execute the application code stored in the memory 602 .
  • the code stored in the memory 602 can execute the CT image detection method based on federated learning provided in FIG. 2 above.
  • the apparatus 60 when it is a CT image detection apparatus based on federated learning, it can receive the first model sent by multiple first devices respectively.
  • the first model parameters include gradient values; the received gradient values are sorted according to the preset contribution degree rule; the first average value and the bottom k% of the gradient values of the sorted top k% are calculated respectively.
  • the second average value of the gradient values where the first average value is used to replace the update of positive gradient values in the first model parameters corresponding to the plurality of first devices, and the second average value is used to replace the
  • the negative gradient values in the first model parameters corresponding to the plurality of first devices are updated, and k is a preset constant; the first average value and the second average value are respectively sent to the plurality of first devices. a device.
  • Embodiments of the present application further provide a computer-readable storage medium, on which a computer program is stored.
  • a computer program When the computer program is executed by a processor, the steps of the methods in the foregoing embodiments can be implemented, or, when the computer program is executed by a processor, the steps of the methods in the foregoing embodiments can be implemented.
  • the functions of each module/unit of the apparatus in the above-mentioned embodiment will not be repeated here.
  • the storage medium involved in this application such as a computer-readable storage medium, may be non-volatile or volatile.
  • the unit described as a separate component may or may not be physically separated, and the component shown as a unit may or may not be a physical unit, that is, it may be located in one place, or may be distributed to many on a network unit. Some or all of the units may be selected according to actual needs to achieve the purpose of the solutions of the embodiments of the present application.
  • each functional component in each embodiment of the present application may be integrated into one component, or each component may physically exist alone, or two or more components may be integrated into one component.
  • the above-mentioned integrated components can be implemented in the form of hardware, and can also be implemented in the form of software functional units.
  • the integrated components if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer-readable storage medium.
  • the technical solutions of the present application are essentially or part of contributions to the prior art, or all or part of the technical solutions can be embodied in the form of software products, and the computer software products are stored in a storage medium , including several instructions to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the embodiments of the present application.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种基于联邦学习的CT图像检测方法及相关装置，应用于智慧医疗，其中，该方法包括：第一设备基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数（S201）；第一设备将第一模型参数发送至第二设备；第一设备接收第二设备发送的第一平均值和第二平均值（S205）；第一设备根据第一平均值和第二平均值按预设规则更新第一模型参数后，基于第一类CT图像对第一模型重新训练，获得训练好的第二模型和第二模型参数（S206）；第一设备基于第二模型标记输入的CT图像的异常区域。该方法通过联邦建模方法为不同平台的协作提供了可能，而且采用新的压缩算法，有效地提高了通信的效率。

Description

一种基于联邦学习的CT图像检测方法及相关装置
本申请要求于2020年12月2日提交中国专利局、申请号为202011393242.3，发明名称为“一种基于联邦学习的CT图像检测方法及相关装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及互联网技术领域，尤其涉及一种基于联邦学习的CT图像检测方法及相关装置。
背景技术
肺癌是癌症中全球死亡率最高的一种，而早期肺癌可以通过手术切除的方式达到治愈的目的。因此，肺癌早期的检测是至关重要的。肺癌的早期表现形式是肺结节，医生一般通过CT扫描图像判断肺结节的良恶性，而肺结节普遍具有体积小，形态不易辨别，变化范围大的特点，给医生的诊断工作带来了许多不便。发明人发现，为减轻工作量并提高准确率，在目前的肺结节检测中，使用了计算机辅助检测(CAD)来辅助医生诊断，另外，现有的深度学习算法也针对肺结节的特点，采用2D深度学习、3D深度学习等方法构建针对CT图像的神经网络辅助肺癌的早期筛查；但大多数研究均建立在公开的数据集LIDC-IDRI上，存在着数据量小，种类不丰富，适用性较低的问题；而本身拥有更多CT图像的医院，由于数据私密性高，无法流通，就无法将拥有的数据投入模型的训练；导致了模型识别精度差，投入人工成本高(手动标注图像)的问题。
因此，我们需要考虑如何在保证数据安全的前提下，提高模型的识别精度，减少人工成本，是亟需解决的问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于联邦学习的CT图像检测生成方法及装置。
第一方面，本申请实施例提供了一种基于联邦学习的CT图像检测方法，可包括：
第一设备基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
所述第一设备将所述第一模型参数发送至第二设备；
所述第一设备接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
所述第一设备根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
所述第一设备基于所述第二模型标记输入的CT图像的异常区域。
本申请实施例提供了一种基于联邦学习的CT图像检测方法，各个医院(相当于本申请实施例中的多个第一设备)在保证患者隐私不被暴露的情况下，通过提取本地的CT图像数据(相当于本申请实施例中的第一类CT图像)，将参数加密上传至云端(相当于本申请实施例中的第二设备)进行联合训练，解决数据集缺失的问题，提高肺癌早期检测的精度。而且，针对于对于联邦学习中可能存在的设备过多导致信息传输速度慢的问题，为了减少所需的通信字节数，通过比较正值梯度更新和负值梯度更新的大小，进一步减少需要参与计算的梯度值，减少了需要参与计算的数据量，有效地提高了通信的效率。
第二方面，本申请实施例提供了一种基于联邦学习的CT图像检测方法，可包括：
第二设备接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
所述第二设备将接收到的梯度值按照预设贡献度规则进行排序；
所述第二设备分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
所述第二设备将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
本申请实施例为了减少所需的通信字节数，新的压缩算法放弃了将所有梯度值进行平均，而且根据梯度的贡献程度，按照预设贡献度规则选出贡献度最高k％的梯度参与更新(k为算法的输入值)；并且，通过比较正值梯度更新和负值梯度更新的大小，进一步减少需要参与计算的梯度值，有效地减少了需要参与计算的数据量，提高了通信的效率。
第三方面，本申请实施例提供了一种基于联邦学习的CT图像检测装置，应用于第一设备，可包括：
第一训练单元，用于基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
第一发送单元，用于将所述第一模型参数发送至第二设备；
第一接收单元，用于接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
第二训练单元，用于根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
第一标记单元，用于基于所述第二模型标记输入的CT图像的异常区域。
第四方面，本申请实施例提供了另一种基于联邦学习的CT图像检测装置，应用于第二设备，可包括：
第四接收单元，用于接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
排序单元，用于将接收到的梯度值按照预设贡献度规则进行排序；
计算单元，用于分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
第三发送单元，用于将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
第五方面，本申请实施例提供了又一种基于联邦学习的CT图像检测装置，包括存储组件，处理组件和通信组件，存储组件，处理组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用计算机程序，执行以下方法：
基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述装置为多个第一设备中的任意一个或设置于所述多个第一设备中的任意一个，所述第一数据 包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
将所述第一模型参数发送至第二设备；
接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
基于所述第二模型标记输入的CT图像的异常区域。
第六方面，本申请实施例提供了又一种基于联邦学习的CT图像检测装置，包括存储组件，处理组件和通信组件，存储组件，处理组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用计算机程序，执行以下方法：
接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
将接收到的梯度值按照预设贡献度规则进行排序；
分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
第七方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现以下方法：
基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一数据包括第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
将所述第一模型参数发送至第二设备；
接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
基于所述第二模型标记输入的CT图像的异常区域。
第八方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现以下方法：
接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
将接收到的梯度值按照预设贡献度规则进行排序；
分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
本申请实施例通过比较正值梯度更新和负值梯度更新的大小，进一步减少需要参与计算的梯度值，有效地减少了需要参与计算的数据量，提高了通信的效率。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种基于联邦学习的CT图像检测系统架构示意图。
图2是本申请实施例提供的一种基于联邦学习的CT图像检测方法流程的示意图。
图3是本申请实施例提供的一种U-Net网络结构示意图。
图4是本申请实施例提供的一种基于联邦学习的CT图像检测的流程示意图。
图5是本申请实施例提供的一种基于联邦学习的CT图像检测装置的结构示意图。
图6是本申请实施例提供的另一种基于联邦学习的CT图像检测装置的结构示意图。
图7是本申请实施例提供的又一种基于联邦学习的CT图像检测装置的结构示意图。
图8是本申请实施例提供的又一种基于联邦学习的CT图像检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在本申请中使用的术语“服务器”、“单元”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，服务器可以是但不限于，处理器，数据处理平台，计算设备，计算机，两个或更多个计算机等。
本申请的技术方案涉及人工智能技术领域，如可具体涉及机器学习技术。本申请可用于数字医疗等场景中，以推动智慧城市的建设。可选的，本申请涉及的信息如图像、参数和/或平均值等可存储于数据库中，或者可以存储于区块链中，本申请不做限定。
首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)联邦机器学习又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
(2)Cisco的网际操作系统(IOS)，是一个为网际互连优化的操作系统，与硬件分离的软件体系结构，随网络技术的不断发展，可动态地升级以适应不断变化的技术(硬件和软件)，具有模块性、灵活性、可伸缩性、可操控性。
(3)Windows Phone(简称为WP)是微软于2010年10月21日正式发布的一款手机操作系统，Windows Phone具有桌面定制、图标拖拽、滑动控制等一系列前卫的操作体验。其主屏幕通过提供类似仪表盘的体验来显示新的电子邮件、短信、未接来电、日历约会等。它还包括一个增强的触摸屏界面，更方便手指操作。
其次，对本申请实施例所基于的其中一种基于联邦学习的CT图像检测系统架构进行描述。请参考附图1，图1是本申请实施例提供的一种基于联邦学习的CT图像检测系统架构示意图，包括：多个第一设备101和第二设备102。其中：
第一设备可以包括但不限于后台服务器、组件服务器、数据处理服务器等，为客户提供本地服务的程序。本申请实施例中的第一设备相当于医院的服务器，可包括但不限于实施：基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第 一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；将所述第一模型参数发送至第二设备；接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数基于所述第二模型标记输入的CT图像的异常区域。
第二设备102可以安装并运行相关的应用。应用是指与第一设备相对应，当上述第二设备102为服务器时，所述服务器可以通过互联网与多个第一设备进行通信，服务器上也需要运行有相应的程序来提供相应的模型训练服务等等。例如，服务器可以接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；将接收到的梯度值按照预设贡献度规则进行排序；分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
第一设备101可以向第二设备发送信息(例如：第一模型参数等)和接收第二设备发送的信息(例如：第一平均值和第二平均值等)以及其他共享信息等等。本方案实施例中的第一设备和第二设备可以包括但不限于任何一种基于智能操作系统的电子产品，其可与用户通过键盘、虚拟键盘、触摸板、触摸屏以及声控设备等输入设备来进行人机交互，诸如平板电脑、个人电脑等。其中，智能操作系统包括但不限于任何通过向移动设备提供各种移动应用来丰富设备功能的操作系统，诸如：iOS TM、Windows Phone TM等等。
还可以理解的是，图1的基于联邦学习的CT图像检测系统架构只是本申请实施例中的部分示例性的实施方式，本申请实施例中的基于联邦学习的CT图像检测系统架构包括但不仅限于以上基于联邦学习的CT图像检测系统架构。
参考附图2，图2是本申请实施例提供的一种基于联邦学习的CT图像检测方法流程的示意图。可应用于上述图1中的系统，下面将结合图2从第一设备101和第二设备102之间的交互进行描述。该方法可以包括以下步骤S201-步骤S213。
步骤S201，第一设备基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数。
具体的，第一设备基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值。可以理解的是，第一类CT图像为在所述第一设备中未公开的CT图像，即不能够被其他的第一设备获取。因此，每个第一设备(医院)可以在本地使用U-Net作为神经网络模型，基于自己的第一类CT图像数据集训练模型，获得训练好的第一模型和第一模型参数。请参考附图3，图3是本申请实施例提供的一种U-Net网络结构示意图。如图3所示，所属第一模型包括：用于下采样的输入层，卷积层，池化层，以及用于上采样的反池化层，卷积转置层和输出层。
步骤S202，第二设备接收多个第一设备分别发送的第一模型参数。
具体的，多个第一设备将第一模型参数分别发送至第二设备。第二设备接收所述多个 第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值。其中，第二设备相当于云服务器可以与多个第一设备通信。需要说明的是，在本申请实施例中第一设备与第二设备之间进行数据交互时，可以对通信的数据进行加密，或者使用加密的通信方式，本申请对比不做具体的限定。
步骤S203，第二设备将接收到的梯度值按照预设贡献度规则进行排序。
具体的，第二设备将接收到的梯度值按照预设贡献度规则进行排序。其中，所述梯度值对应的贡献度与第一设备中训练第一模型时，采用的第一类CT图像数据的大小相对应。例如：训练过程中第一类CT图像越丰富，其对应第一模型的梯度的贡献度越大。本申请对其预设贡献度规则不作具体限定。
步骤S204，第二设备分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值。
具体的，第二设备分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数。可以理解的是，输入所有的梯度更新值，并确定所需的梯度值比例k。在所有的梯度更新值中，取前k％的梯度更新代替所有的正值梯度更新，取最末k％的梯度更新代替所有的负值更新。
可选的，若所述第一平均值大于或等于所述第二平均值，所述第二设备将所有的负值梯度值更新为0，正值梯度值更新为所述第一平均值；若所述第一平均值小于所述第二平均值，所述第二设备将所有的正值梯度值更新为0，负值梯度值更新为所述第二平均值。
步骤S205，第二设备将第一平均值和第二平均值分别发送至多个第一设备。
具体的，第二设备将所述第一平均值和所述第二平均值分别发送至所述多个第一设备，以使第一设备根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数。
步骤S206，第一设备根据第一平均值和第二平均值按预设规则更新第一模型参数后，基于第一类CT图像对第一模型重新训练，获得训练好的第二模型和第二模型参数。
具体的，第一设备根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数。可以理解的，第一设备根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，使用MSE作为损失函数，对所述第一模型重新训练，使得损失函数，快速收敛，得到初始化模型。其中，
Figure PCTCN2021083805-appb-000001
其中，y i为数据的真实值，y′ i为模型的预测值。
可选的，第一设备基于所述第二模型标记输入的CT图像的异常区域。可以理解的是，第二模型为新联好的初始化模型，可以对输入的CT图像进行简单的异常区域标记。
步骤S207，第二设备可以根据多个第一设备分别发送的第二模型参数确定第三模型参数。
具体的，多个第一设备(医院)将上一阶段最后一次训练好的模型参数和梯度更新加密上传至云端。第二设备接收所述多个第一设备分别发送的第二模型参数，然后根据所述多个第一设备分别发送的第二模型参数确定所述第三模型参数。其具体的实施方式可对应参考上述步骤203-步骤S204的相关描述，本申请对此不再赘述。
步骤S208，第二设备根据第一模型，获得第三模型。
具体的，第二设备根据所述第一模型，获得第三模型，所述第三模型包括两条解码网络，所述两条解码网络共享所述特征提取网络，所述两条解码网络分别进行第一类CT图像的分类结果输出和第二类CT图像的分类结果输出。
可选的，所述第一模型参数为第一模型的模型参数，所述第一模型包括解码(decoder)网络和特征提取网络。
步骤S209，第二设备基于第一类CT图像和第二类CT图像，对第三模型进行训练，获得训练好的第三模型参数。
具体的，第二设备基于所述第一类CT图像和第二类CT图像，对所述第三模型进行训练，获得训练好的第三模型参数，所述第二类CT图像为在所述多个第一设备之间共享的CT图像，所述第二设备将所述第三模型和所述训练好的第三模型参数分别更新至所述多个第一设备中。其中，第二设备可以使用加权损失函数来评价模型的训练结果。其中，加权损失函数为：
Figure PCTCN2021083805-appb-000002
其中，公式中λ 1和λ 2表示两条decoder网络的权重值，y i表示未标注图像的真实值，y′ i表示未标注图像的预测值；y j表示已标注图像的真实值，y′ j表示已标注图像的预测值。
步骤S210，第一设备根据第三模型，基于第一类的CT图像进行训练，获得训练好的第三模型的模型参数。
具体的，第一设备接收并更新所述第二设备发送的第三模型和训练好的第三模型参数，第一设备根据所述第三模型，基于所述第一类的CT图像进行训练，获得训练好的所述第三模型的模型参数，其中，训练好的所述第三模型的模型参数为特征参数。
步骤S211，第二设备根据特征参数获取第四模型参数；
具体的，第二设备根据所述多个第一设备发送的特征参数获得第四模型参数，其具体的实施方式可对应参考上述步骤203-步骤S204的相关描述，本申请对此不再赘述。
步骤S212，第二设备在第三模型的基础上增加全连接层和分类器，获得第四模型。
具体的，第二设备在所述第三模型的基础上增加全连接层和分类器，获得第四模型，所述第二设备将所述第四模型和所述第四模型参数更新至所述多个第一设备中。
步骤S213，第一设备基于第四模型对输入的CT图像进行分类并标记输入的CT图像的异常区域。
具体的，第一设备基于所述第四模型和所述第四模型参数对输入的CT图像进行分类并标记所述输入的CT图像的异常区域。可以理解的是，根据第一设备中本地待分类的CT图像可以进行fine-tune继续训练，实现炎症、鳞癌、腺癌和其他的四分类。请参考附图4，图4是本申请实施例提供的一种基于联邦学习的CT图像检测的流程示意图。如图4所示，首先对第一阶段进行未标注的数据集(相当于本申请中的第一类CT图像)，即医院私有数据集进行训练，然后第二阶段进行未标注数据集(医院私有数据集)和已标注数据集(公开数据集，相当于本申请实施例中的第二类CT图像)的共同训练。最后进行联邦迁移学习，将训练好的参数(相模型参数)和模型对输入的未标注图像实现炎症、鳞癌、腺癌和其他的四分类和标注。
本申请实施例可以提供了一种基于联邦学习的CT图像检测方法，各个医院(相当于本申请实施例中的多个第一设备)在保证患者隐私不被暴露的情况下，通过提取本地的CT图像数据(相当于本申请实施例中的第一类CT图像)，将参数加密上传至云端(相当于本申请实施例中的第二设备)进行联合训练，解决数据集缺失的问题，提高肺癌早期检测的精度。而且，针对于对于联邦学习中可能存在的设备过多导致信息传输速度慢的问题，为了减少所需的通信字节数，新的压缩算法放弃了将所有梯度值进行平均，而且根据梯度的贡献程度，按照预设贡献度规则选出贡献度最高k％的梯度参与更新(k为算法的输入值)； 并且，通过比较正值梯度更新和负值梯度更新的大小，进一步减少需要参与计算的梯度值，有效地减少了需要参与计算的数据量，提高了通信的效率。
上述详细阐述了本申请实施例的方法，下面提供了与本申请实施例的相关基于联邦学习的CT图像检测装置，应用于第一设备，基于联邦学习的CT图像检测装置可以是一种通过快速获取、处理、分析和提取有价值的数据，以交互数据为基础，为第三方使用带来各种便利的服务设备。请参考附图5，图5是本申请实施例提供的一种基于联邦学习的CT图像检测装置的结构示意图。基于联邦学习的CT图像检测装置30可以包括第一训练单元301，第一发送单元302，第一接收单元303，第二训练单元304和第一标记单元305，还可以包括第二接收单元306，第三训练单元307，第二发送单元308，第三接收单元309和第二标记单元310。
第一训练单元301，用于基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
第一发送单元302，用于将所述第一模型参数发送至第二设备；
第一接收单元303，用于接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
第二训练单元304，用于根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
第一标记单元305，用于基于所述第二模型标记输入的CT图像的异常区域。
在一种可能实现的方式中，所述装置还包括：第二接收单元306，用于接收并更新所述第二设备发送的第三模型和训练好的第三模型参数，所述第三模型为所述第二设备根据所述第一模型获得的，所述训练好的第三模型参数为所述第二设备基于所述多个第一设备分别对应的第一类CT图像和第二类CT图像，对所述第三模型进行训练获得的，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；第三训练单元307，用于根据所述第三模型，基于所述第一类的CT图像进行训练，获得训练好的所述第三模型的模型参数；第二发送单元308，用于将所述训练好的所述第三模型的模型参数发送至所述第二设备中。
在一种可能实现的方式中，所述装置还包括：第三接收单元309，用于接收并更新所述第二设备发送的第四模型和第四模型参数，所述第四模型为所述第二设备根据所述第三模型获得的；第二标记单元310，用于基于所述第四模型对输入的CT图像进行分类并标记所述输入的CT图像的异常区域。
需要说明的是，各个操作的实现还可以对应参照图2-图4所示的方法实施例的相应描述，此处不再赘述。
如图6所示，图6是本申请实施例提供的另一种基于联邦学习的CT图像检测装置的结构示意图，应用于第二设备，该装置40包括：第四接收单元401，排序单元402，计算单元403和第三发送单元404，还可以包括：第一更新单元405，第五接收单元406，确定单元407，第一模型单元408，第四训练单元409，第二更新单元410，第六接收单元411，获取单元412，第二模型单元413和第三更新单元414。
第四接收单元401，用于接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
排序单元402，用于将接收到的梯度值按照预设贡献度规则进行排序；
计算单元403，用于分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
第三发送单元404，用于将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
在一种可能实现的方式中，所述装置还包括：第一更新单元405，用于若所述第一平均值大于或等于所述第二平均值，所述第二设备将所有的负值梯度值更新为0，正值梯度值更新为所述第一平均值；若所述第一平均值小于所述第二平均值，所述第二设备将所有的正值梯度值更新为0，负值梯度值更新为所述第二平均值。
在一种可能实现的方式中，所述第一模型参数为第一模型的模型参数，所述第一模型包括解码(decoder)网络和特征提取网络；所述装置还包括：第五接收单元406，用于接收所述多个第一设备分别发送的第二模型参数，所述第二模型参数为所述多个第一设备更新所述第一平均值和所述第二平均值后，基于第一类CT图像对所述第一模型训练，获得训练好的第二模型参数，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像；确定单元407，用于根据所述多个第一设备分别发送的第二模型参数确定所述第三模型参数；第一模型单元408，用于根据所述第一模型，获得第三模型，所述第三模型包括两条解码网络，所述两条解码网络共享所述特征提取网络，所述两条解码网络分别进行第一类CT图像的分类结果输出和第二类CT图像的分类结果输出；第四训练单元409，用于基于所述第一类CT图像和第二类CT图像，对所述第三模型进行训练，获得训练好的第三模型参数，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；第二更新单元410，用于将所述第三模型和所述训练好的第三模型参数分别更新至所述多个第一设备中。
在一种可能实现的方式中，所述装置还包括：第六接收单元411，用于接收所述多个第一设备发送的特征参数，所述特征参数所述多个第一设备根据所述第三模型，基于所述第一设备中第一类CT图像进行训练，获得的模型参数；获取单元412，用于根据所述特征参数获取第四模型参数；第二模型单元413，用于在所述第三模型的基础上增加全连接层和分类器，获得第四模型；第三更新单元414，用于将所述第四模型和所述第四模型参数更新至所述多个第一设备中。
需要说明的是，各个操作的实现还可以对应参照图2-图4所示的方法实施例的相应描述，此处不再赘述。
如图7所示，图7是本申请实施例提供的又一种基于联邦学习的CT图像检测装置的结构示意图，该装置50应用于第一设备，包括至少一个处理器501，至少一个存储器502、至少一个通信接口503。此外，该设备还可以包括天线等通用部件，在此不再详述。可选的，该处理器还可称为处理组件，存储器还可称为存储组件，通信接口还可称为通信组件，等等，本申请不做限定。
处理器501可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口503，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，核心网，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器502可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically  Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器502用于存储执行以上方案的应用程序代码，并由处理器501来控制执行。所述处理器501用于执行所述存储器502中存储的应用程序代码。
存储器502存储的代码可执行以上图2提供的基于联邦学习的CT图像检测方法，比如，当装置50为基于联邦学习的CT图像检测装置时，可以基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；将所述第一模型参数发送至第二设备；接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数基于所述第二模型标记输入的CT图像的异常区域。
需要说明的是，本申请实施例中所描述的基于联邦学习的CT图像检测装置中各功能单元的功能可参照图2-图4所示的方法实施例的相应描述，此处不再赘述。
如图8所示，图8是本申请实施例提供的又一种基于联邦学习的CT图像检测装置的结构示意图，该装置60应用于第二设备，包括至少一个处理器601，至少一个存储器602、至少一个通信接口603。此外，该设备还可以包括天线等通用部件，在此不再详述。可选的，该处理器还可称为处理组件，存储器还可称为存储组件，通信接口还可称为通信组件，等等，本申请不做限定。
处理器601可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口603，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，核心网，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器602可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器602用于存储执行以上方案的应用程序代码，并由处理器601来控制执行。所述处理器601用于执行所述存储器602中存储的应用程序代码。
存储器602存储的代码可执行以上图2提供的基于联邦学习的CT图像检测方法，比如，当装置60为基于联邦学习的CT图像检测装置时，可以接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；将接收到的梯度值按照预设贡献度规则进行排序；分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二 平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
需要说明的是，本申请实施例中所描述的基于联邦学习的CT图像检测装置中各功能单元的功能可参照图2-图4所示的方法实施例的相应描述，此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可实现上述实施例中方法的步骤，或者，计算机程序被处理器执行时可实现上述实施例中装置的各模块/单元的功能，这里不再赘述。可选的，本申请涉及的存储介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。
在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能组件可以集成在一个组件也可以是各个组件单独物理存在，也可以是两个或两个以上组件集成在一个组件中。上述集成的组件既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的组件如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。尽管在此结合各实施例对本申请进行了描述，然而，在实施例所要求保护的本申请过程中，本领域技术人员可理解并实现公开实施例的其他变化。

Claims (20)

  1. 一种基于联邦学习的CT图像检测方法，其中，包括：
    第一设备基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一设备为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
    所述第一设备将所述第一模型参数发送至第二设备；
    所述第一设备接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
    所述第一设备根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
    所述第一设备基于所述第二模型标记输入的CT图像的异常区域。
  2. 根据权利要求1所述方法，其中，所述方法还包括：
    所述第一设备接收并更新所述第二设备发送的第三模型和训练好的第三模型参数，所述第三模型为所述第二设备根据所述第一模型获得的，所述训练好的第三模型参数为所述第二设备基于所述多个第一设备分别对应的第一类CT图像和第二类CT图像，对所述第三模型进行训练获得的，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    所述第一设备根据所述第三模型，基于所述第一类的CT图像进行训练，获得训练好的所述第三模型的模型参数；
    所述第一设备将所述训练好的所述第三模型的模型参数发送至所述第二设备中。
  3. 根据权利要求2所述方法，其中，所述方法还包括：
    所述第一设备接收并更新所述第二设备发送的第四模型和第四模型参数，所述第四模型为所述第二设备根据所述第三模型获得的；
    所述第一设备基于所述第四模型对输入的CT图像进行分类并标记所述输入的CT图像的异常区域。
  4. 一种基于联邦学习的CT图像检测方法，其中，包括：
    第二设备接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
    所述第二设备将接收到的梯度值按照预设贡献度规则进行排序；
    所述第二设备分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
    所述第二设备将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
  5. 根据权利要求4所述方法，其中，所述方法还包括：
    若所述第一平均值大于或等于所述第二平均值，所述第二设备将所有的负值梯度值更新为0，正值梯度值更新为所述第一平均值；
    若所述第一平均值小于所述第二平均值，所述第二设备将所有的正值梯度值更新为0，负值梯度值更新为所述第二平均值。
  6. 根据权利要求4或5所述方法，其中，所述第一模型参数为第一模型的模型参数，所述第一模型包括解码(decoder)网络和特征提取网络；所述方法还包括：
    所述第二设备接收所述多个第一设备分别发送的第二模型参数，所述第二模型参数为 所述多个第一设备更新所述第一平均值和所述第二平均值后，基于第一类CT图像对所述第一模型训练，获得训练好的第二模型参数，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像；
    所述第二设备根据所述多个第一设备分别发送的第二模型参数确定所述第三模型参数；
    所述第二设备根据所述第一模型，获得第三模型，所述第三模型包括两条解码网络，所述两条解码网络共享所述特征提取网络，所述两条解码网络分别进行第一类CT图像的分类结果输出和第二类CT图像的分类结果输出；
    所述第二设备基于所述第一类CT图像和第二类CT图像，对所述第三模型进行训练，获得训练好的第三模型参数，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    所述第二设备将所述第三模型和所述训练好的第三模型参数分别更新至所述多个第一设备中。
  7. 根据权利要求6所述方法，其中，所述方法还包括：
    所述第二设备接收所述多个第一设备发送的特征参数，所述特征参数所述多个第一设备根据所述第三模型，基于所述第一设备中第一类CT图像进行训练，获得的模型参数；
    所述第二设备根据所述特征参数获取第四模型参数；
    所述第二设备在所述第三模型的基础上增加全连接层和分类器，获得第四模型；
    所述第二设备将所述第四模型和所述第四模型参数更新至所述多个第一设备中。
  8. 一种基于联邦学习的CT图像检测装置，其中，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用计算机程序，执行以下方法：
    基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述装置为多个第一设备中的任意一个，所述第一数据包括所述第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
    将所述第一模型参数发送至第二设备；
    接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于所述多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
    根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
    基于所述第二模型标记输入的CT图像的异常区域。
  9. 根据权利要求8所述装置，其中，所述处理组件还用于执行：
    接收并更新所述第二设备发送的第三模型和训练好的第三模型参数，所述第三模型为所述第二设备根据所述第一模型获得的，所述训练好的第三模型参数为所述第二设备基于所述多个第一设备分别对应的第一类CT图像和第二类CT图像，对所述第三模型进行训练获得的，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    根据所述第三模型，基于所述第一类的CT图像进行训练，获得训练好的所述第三模型的模型参数；
    将所述训练好的所述第三模型的模型参数发送至所述第二设备中。
  10. 根据权利要求9所述装置，其中，所述处理组件还用于执行：
    接收并更新所述第二设备发送的第四模型和第四模型参数，所述第四模型为所述第二设备根据所述第三模型获得的；
    基于所述第四模型对输入的CT图像进行分类并标记所述输入的CT图像的异常区域。
  11. 一种基于联邦学习的CT图像检测装置，其中，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储计算机程序，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用计算机程序，执行以下方法：
    接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
    将接收到的梯度值按照预设贡献度规则进行排序；
    分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
    将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
  12. 根据权利要求11所述装置，其中，所述处理组件还用于执行：
    若所述第一平均值大于或等于所述第二平均值，将所有的负值梯度值更新为0，正值梯度值更新为所述第一平均值；
    若所述第一平均值小于所述第二平均值，将所有的正值梯度值更新为0，负值梯度值更新为所述第二平均值。
  13. 根据权利要求11或12所述装置，其中，所述第一模型参数为第一模型的模型参数，所述第一模型包括解码(decoder)网络和特征提取网络；所述处理组件还用于执行：
    接收所述多个第一设备分别发送的第二模型参数，所述第二模型参数为所述多个第一设备更新所述第一平均值和所述第二平均值后，基于第一类CT图像对所述第一模型训练，获得训练好的第二模型参数，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像；
    根据所述多个第一设备分别发送的第二模型参数确定所述第三模型参数；
    根据所述第一模型，获得第三模型，所述第三模型包括两条解码网络，所述两条解码网络共享所述特征提取网络，所述两条解码网络分别进行第一类CT图像的分类结果输出和第二类CT图像的分类结果输出；
    基于所述第一类CT图像和第二类CT图像，对所述第三模型进行训练，获得训练好的第三模型参数，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    将所述第三模型和所述训练好的第三模型参数分别更新至所述多个第一设备中。
  14. 根据权利要求13所述装置，其中，所述处理组件还用于执行：
    接收所述多个第一设备发送的特征参数，所述特征参数所述多个第一设备根据所述第三模型，基于所述第一设备中第一类CT图像进行训练，获得的模型参数；
    根据所述特征参数获取第四模型参数；
    在所述第三模型的基础上增加全连接层和分类器，获得第四模型；
    将所述第四模型和所述第四模型参数更新至所述多个第一设备中。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现以下方法：
    基于第一数据对第一模型进行训练，获得训练好的第一模型和第一模型参数，所述第一数据包括第一设备中的第一类CT图像，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像，所述第一模型参数包括梯度值；
    将所述第一模型参数发送至第二设备；
    接收所述第二设备发送的第一平均值和第二平均值，所述第一平均值和所述第二平均值为基于多个第一设备分别对应的第一模型参数确定的，所述第一平均值用于代替所述第 一模型参数中正值梯度值，所述第二平均值用于代替所述第一模型参数中负值梯度值；
    根据所述第一平均值和所述第二平均值按预设规则更新所述第一模型参数后，基于所述第一类CT图像对所述第一模型重新训练，获得训练好的第二模型和第二模型参数；
    基于所述第二模型标记输入的CT图像的异常区域。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述计算机程序被处理器执行时还用于实现：
    接收并更新所述第二设备发送的第三模型和训练好的第三模型参数，所述第三模型为所述第二设备根据所述第一模型获得的，所述训练好的第三模型参数为所述第二设备基于所述多个第一设备分别对应的第一类CT图像和第二类CT图像，对所述第三模型进行训练获得的，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    根据所述第三模型，基于所述第一类的CT图像进行训练，获得训练好的所述第三模型的模型参数；
    将所述训练好的所述第三模型的模型参数发送至所述第二设备中。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述计算机程序被处理器执行时还用于实现：
    接收并更新所述第二设备发送的第四模型和第四模型参数，所述第四模型为所述第二设备根据所述第三模型获得的；
    基于所述第四模型对输入的CT图像进行分类并标记所述输入的CT图像的异常区域。
  18. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现以下方法：
    接收多个第一设备分别发送的第一模型参数，所述第一模型参数包括梯度值；
    将接收到的梯度值按照预设贡献度规则进行排序；
    分别计算排序后的前k％的所述梯度值的第一平均值和后k％的所述梯度值的第二平均值，所述第一平均值用于代替所述多个第一设备对应的所述第一模型参数中正值梯度值更新，所述第二平均值用于代替所述多个第一设备对应的所述第一模型参数中负值梯度值更新，k为预设常数；
    将所述第一平均值和所述第二平均值分别发送至所述多个第一设备。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述第一模型参数为第一模型的模型参数，所述第一模型包括解码(decoder)网络和特征提取网络；所述计算机程序被处理器执行时还用于实现：
    接收所述多个第一设备分别发送的第二模型参数，所述第二模型参数为所述多个第一设备更新所述第一平均值和所述第二平均值后，基于第一类CT图像对所述第一模型训练，获得训练好的第二模型参数，所述第一类CT图像为在所述第一设备中未与其他第一设备共享的CT图像；
    根据所述多个第一设备分别发送的第二模型参数确定所述第三模型参数；
    根据所述第一模型，获得第三模型，所述第三模型包括两条解码网络，所述两条解码网络共享所述特征提取网络，所述两条解码网络分别进行第一类CT图像的分类结果输出和第二类CT图像的分类结果输出；
    基于所述第一类CT图像和第二类CT图像，对所述第三模型进行训练，获得训练好的第三模型参数，所述第二类CT图像为在所述多个第一设备之间共享的CT图像；
    将所述第三模型和所述训练好的第三模型参数分别更新至所述多个第一设备中。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述计算机程序被处理器执行时还用于实现：
    接收所述多个第一设备发送的特征参数，所述特征参数所述多个第一设备根据所述第 三模型，基于所述第一设备中第一类CT图像进行训练，获得的模型参数；
    根据所述特征参数获取第四模型参数；
    在所述第三模型的基础上增加全连接层和分类器，获得第四模型；
    将所述第四模型和所述第四模型参数更新至所述多个第一设备中。
PCT/CN2021/083805 2020-12-02 2021-03-30 一种基于联邦学习的ct图像检测方法及相关装置 WO2022116439A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011393242.3 2020-12-02
CN202011393242.3A CN112508907B (zh) 2020-12-02 2020-12-02 一种基于联邦学习的ct图像检测方法及相关装置

Publications (1)

Publication Number Publication Date
WO2022116439A1 true WO2022116439A1 (zh) 2022-06-09

Family

ID=74969314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/083805 WO2022116439A1 (zh) 2020-12-02 2021-03-30 一种基于联邦学习的ct图像检测方法及相关装置

Country Status (2)

Country Link
CN (1) CN112508907B (zh)
WO (1) WO2022116439A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117951715A (zh) * 2023-12-13 2024-04-30 天翼云科技有限公司 一种基于模型压缩和数据加密的联邦学习方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508907B (zh) * 2020-12-02 2024-05-14 平安科技（深圳）有限公司 一种基于联邦学习的ct图像检测方法及相关装置
CN113239972A (zh) * 2021-04-19 2021-08-10 温州医科大学 一种面向医学影像的人工智能辅助诊断模型构建系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114537A1 (en) * 2017-10-16 2019-04-18 Facebook, Inc. Distributed training and prediction using elastic resources
US20200005071A1 (en) * 2019-08-15 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a business card using federated learning
CN111523686A (zh) * 2020-04-23 2020-08-11 支付宝(杭州)信息技术有限公司 一种模型联合训练的方法和系统
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN112508907A (zh) * 2020-12-02 2021-03-16 平安科技（深圳）有限公司 一种基于联邦学习的ct图像检测方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11137462B2 (en) * 2016-06-10 2021-10-05 Board Of Trustees Of Michigan State University System and method for quantifying cell numbers in magnetic resonance imaging (MRI)
CN107025369B (zh) * 2016-08-03 2020-03-10 北京推想科技有限公司 一种对医疗图像进行转换学习的方法和装置
CN109165725B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110288094B (zh) * 2019-06-10 2020-12-18 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114537A1 (en) * 2017-10-16 2019-04-18 Facebook, Inc. Distributed training and prediction using elastic resources
US20200005071A1 (en) * 2019-08-15 2020-01-02 Lg Electronics Inc. Method and apparatus for recognizing a business card using federated learning
CN111523686A (zh) * 2020-04-23 2020-08-11 支付宝(杭州)信息技术有限公司 一种模型联合训练的方法和系统
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN112508907A (zh) * 2020-12-02 2021-03-16 平安科技（深圳）有限公司 一种基于联邦学习的ct图像检测方法及相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117951715A (zh) * 2023-12-13 2024-04-30 天翼云科技有限公司 一种基于模型压缩和数据加密的联邦学习方法

Also Published As

Publication number Publication date
CN112508907B (zh) 2024-05-14
CN112508907A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
WO2022116439A1 (zh) 一种基于联邦学习的ct图像检测方法及相关装置
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
US10796452B2 (en) Optimizations for structure mapping and up-sampling
US10733431B2 (en) Systems and methods for optimizing pose estimation
US10956785B2 (en) Methods, systems, and media for selecting candidates for annotation for use in training classifiers
WO2021174944A1 (zh) 基于目标对象活跃度的消息推送方法及相关设备
WO2019127924A1 (zh) 样本权重分配方法、模型训练方法、电子设备及存储介质
US10402750B2 (en) Identifying entities using a deep-learning model
US20190197670A1 (en) Automatic Image Correction Using Machine Learning
CN111684490A (zh) 动态对象实例检测、分割和结构映射的优化
US9569501B2 (en) Optimizing electronic layouts for media content
WO2022110640A1 (zh) 一种模型优化方法、装置、计算机设备及存储介质
WO2022105117A1 (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
KR102382401B1 (ko) 조직 레벨의 전체 슬라이드 이미지의 적은 수의 사진 학습 기반 이미지 인식
CN111670457A (zh) 动态对象实例检测、分割和结构映射的优化
US11176217B2 (en) Taxonomy-based system for discovering and annotating geofences from geo-referenced data
CN111433812A (zh) 动态对象实例检测、分割和结构映射的优化
CN113657289B (zh) 阈值估计模型的训练方法、装置和电子设备
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN113298116A (zh) 基于注意力权重的图嵌入特征提取方法、装置及电子设备
CN112668482A (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN112801107A (zh) 一种图像分割方法和电子设备
WO2023168810A1 (zh) 药物分子的性质预测方法、装置、存储介质及计算机设备
CN114444619A (zh) 样本生成方法、训练方法、数据处理方法以及电子设备
Sahu et al. Pulmonary nodule detection in CT images using optimal multilevel thresholds and rule-based filtering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21899483

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21899483

Country of ref document: EP

Kind code of ref document: A1