WO2021159898A1 - 基于隐私保护的深度学习方法、系统、服务器及存储介质 - Google Patents

基于隐私保护的深度学习方法、系统、服务器及存储介质 Download PDF

Info

Publication number
WO2021159898A1
WO2021159898A1 PCT/CN2021/071089 CN2021071089W WO2021159898A1 WO 2021159898 A1 WO2021159898 A1 WO 2021159898A1 CN 2021071089 W CN2021071089 W CN 2021071089W WO 2021159898 A1 WO2021159898 A1 WO 2021159898A1
Authority
WO
WIPO (PCT)
Prior art keywords
dissimilarity
degree
trained
extraction module
sample
Prior art date
Application number
PCT/CN2021/071089
Other languages
English (en)
French (fr)
Inventor
刘利
郭鹏程
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021159898A1 publication Critical patent/WO2021159898A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • This application relates to the field of neural network technology, and in particular to a deep learning method, system, server, and computer-readable storage medium based on privacy protection.
  • deep learning is a machine learning technology that simulates human brain neural networks to achieve artificial intelligence.
  • it has been widely used in computer vision, natural language processing, unmanned driving, smart home and other related fields or industries, affecting people's daily life.
  • the cloud/server processes these pictures, videos, texts, or voices according to user needs, and then informs users of the processing results, so as to provide users with related services.
  • users need to send pictures, videos, or voice data to the cloud/server for processing, and the pictures, videos, texts, or voices sent by users may involve private information
  • the main purpose of this application is to propose a deep learning method, system, server and computer-readable storage medium based on privacy protection, aiming to solve the problem of privacy caused by deep learning in the prior art using a deep learning framework set in the cloud or server Technical issues of information leakage.
  • this application provides a privacy protection-based deep learning method applied to a server.
  • the privacy protection-based deep learning method includes the steps:
  • the feature extraction module in the trained deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module, obtains feature information corresponding to the data to be processed, and feeds back the Feature information
  • the characteristic information fed back by the mobile terminal is input to the result generation module in the trained deep learning model, the result is output, and the result is sent to the mobile terminal.
  • this application provides a privacy protection-based deep learning method, which is applied to a mobile terminal, and the privacy protection-based deep learning method includes the steps:
  • this application provides a privacy protection-based deep learning system
  • the privacy protection-based deep learning system includes:
  • the sending module is used to send the feature extraction module in the trained deep learning model to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module to obtain feature information corresponding to the data to be processed, And feed back the characteristic information;
  • the receiving module is configured to receive the characteristic information fed back by the mobile terminal, input the characteristic information to the learning result generation module in the trained deep learning model, output the learning result, and send the learning result to the Mobile terminal.
  • this application also provides a privacy protection-based deep learning server, which includes a memory, a processor, and is stored on the memory and can be stored on the processor.
  • a running computer program that, when executed by the processor, implements the following method:
  • the feature extraction module in the trained deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module, obtains feature information corresponding to the data to be processed, and feeds back the Feature information
  • the characteristic information fed back by the mobile terminal is input to the result generation module in the trained deep learning model, the result is output, and the result is sent to the mobile terminal.
  • the present application also provides a computer-readable storage medium having a computer program stored on the computer-readable storage medium, and when the computer program is executed by a processor, the following method is implemented:
  • the feature extraction module in the trained deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module, obtains feature information corresponding to the data to be processed, and feeds back the Feature information
  • the characteristic information fed back by the mobile terminal is input to the result generation module in the trained deep learning model, the result is output, and the result is sent to the mobile terminal.
  • the original data is first input into the feature extraction module, and finally converted into feature information through multi-layer analysis and calculation in the feature extraction module.
  • the feature information is completely different from the original data, and the user’s information cannot be obtained directly from the feature information. Private data, so when the user sends the characteristic information to the server for deep learning, even if it is stolen, it will not cause privacy leakage, which improves the security of the deep learning process using the server.
  • FIG. 1 is a schematic structural diagram of a hardware operating environment involved in a solution of an embodiment of the present application
  • FIG. 2 is a schematic flowchart of a first embodiment of a deep learning method based on privacy protection in this application;
  • FIG. 3 is a schematic flowchart of a second embodiment of a deep learning method based on privacy protection according to this application;
  • step S60 is a detailed flowchart of step S60 in the third embodiment of the privacy protection-based deep learning method of this application.
  • FIG. 5 is a detailed flowchart of step S60 in the fourth embodiment of the privacy protection-based deep learning method of this application.
  • Figure 6 is a schematic diagram of the functional modules of the deep learning system based on privacy protection of this application.
  • the technical solution of this application can be applied to the fields of artificial intelligence, smart city, blockchain and/or big data technology, for example, it can specifically involve deep learning technology.
  • the data involved in this application can be stored in a database, or can be stored in a blockchain, such as distributed storage through a blockchain, which is not limited in this application.
  • FIG. 1 is a schematic diagram of the hardware structure of a privacy protection-based deep learning server provided in various embodiments of this application.
  • the deep learning server based on privacy protection includes a communication module 01, a memory 02, a processor 03 and other components.
  • the processor 03 is respectively connected to the memory 02 and the communication module 01, and a computer program is stored on the memory 02, and the computer program is executed by the processor 03 at the same time.
  • the communication module 01 can be connected to external devices through the network.
  • the communication module 01 can receive data sent by an external device, and can also send data, instructions, and information to the external device.
  • the external device can be other electronic devices such as servers, mobile phones, tablet computers, notebook computers, and desktop computers.
  • the memory 02 can be used to store software programs and various data.
  • the memory 02 may mainly include a storage program area and a storage data area, where the storage program area can store an operating system, at least one application program required for a function (send the feature extraction module in the trained deep learning model to the mobile terminal), etc. ;
  • the storage data area can store data or information created based on the use of a privacy-protected deep learning server.
  • the memory 02 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • the processor 03 is the control center of the deep learning server based on privacy protection. It uses various interfaces and lines to connect the various parts of the entire deep learning server based on privacy protection, and runs or executes the software programs and/or stored in the memory 02. Module, and call the data stored in the memory 02, execute various functions and process data of the deep learning server based on privacy protection, so as to monitor the deep learning server based on privacy protection as a whole.
  • the processor 03 may include one or more processing units; preferably, the processor 03 may integrate an application processor and a modem processor, where the application processor mainly processes the operating system, user interface and application programs, etc., the modem The processor mainly deals with wireless communication. It can be understood that the above-mentioned modem processor may not be integrated into the processor 03.
  • the above-mentioned privacy protection-based deep learning server may further include a circuit control module, which is used to connect to the mains to realize power control and ensure the normal operation of other components.
  • the structure of the deep learning server based on privacy protection shown in FIG. 1 does not constitute a limitation on the deep learning server based on privacy protection, and may include more or less components than shown in the figure, or a combination Certain components, or different component arrangements.
  • the privacy protection-based deep learning method of this application in the first embodiment of the privacy protection-based deep learning method of this application, it is applied to any privacy protection-based deep learning server, and the privacy protection-based deep learning method includes the steps:
  • Step S10 Send the feature extraction module in the trained deep learning model to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module to obtain feature information corresponding to the data to be processed, and Feedback the characteristic information;
  • the neural network used in the neural network-based deep learning model can be a convolutional neural network, a deep neural network, or a cyclic neural network, etc., which is not limited here.
  • the server designates a certain layer in the middle of the neural network as the boundary layer, and decomposes the trained deep learning model based on the neural network into a feature extraction module and a result generation module.
  • the feature extraction module includes multiple layers from the input layer to the boundary layer. And the input layer of the neural network is the input layer of the feature extraction module, and the specified boundary layer is the output layer of the feature extraction module.
  • the result generation module includes multiple layers from the next layer of the boundary layer to the output layer, where the specified boundary layer
  • the next layer of the layer is used as the input layer of the result generation module
  • the output layer of the neural network is used as the output layer of the result generation module.
  • the mobile terminal After the mobile terminal receives the feature extraction module, when it needs to perform deep learning on some raw data, these data can be pictures, videos, text or voice, etc., and the mobile terminal inputs the raw data to be processed into the feature extraction module Through the analysis and calculation of each layer in the feature extraction module, the output layer finally outputs the feature information corresponding to the original data, and the mobile terminal sends the feature information corresponding to the original data to the server through a wireless or wired network.
  • Step S20 Input the characteristic information fed back by the mobile terminal into the result generation module in the trained deep learning model, output the result, and send the result to the mobile terminal.
  • the server receives the corresponding characteristic information of the original data sent by the mobile terminal through the wireless or wired network, and uses the characteristic information as the parameters of the input layer of the result generation module in the trained neural network-based deep learning model, and inputs it to all In the result generation module, and through analysis and calculation of each layer in the result generation module, the output layer of the result generation module finally outputs the result, and the server sends the result to the mobile terminal through a wireless or wired network.
  • the feature extraction module in the trained neural network-based deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the original data into the feature extraction module to obtain feature information corresponding to the original data , And feed back the characteristic information; input the characteristic information fed back by the mobile terminal to the result generation module in the trained neural network-based deep learning model, output the result, and send the result to the mobile terminal. Therefore, because the original data is first input into the feature extraction module, the feature information is finally converted into feature information through the analysis and calculation of multiple layers in the feature extraction module. The feature information is completely different from the original data, and the user's privacy cannot be directly obtained from the feature information. Data, so when the user sends the characteristic information to the server for deep learning, even if it is stolen, it will not cause privacy leakage, which improves the security of the deep learning process using the server.
  • step S10 includes:
  • Step S30 input multiple samples to the feature extraction module in the deep learning model to be trained, and output feature information corresponding to each sample, where each sample has a corresponding preset label;
  • sample data are obtained.
  • these sample data need to be manually labeled, and a corresponding label is set for each training sample, such as the depth of gender recognition.
  • the label of "male” or “female” will be set for each sample data according to the actual gender corresponding to the sample.
  • the server inputs multiple samples with preset labels to the feature extraction module of the deep learning model to be trained for the first training.
  • the feature extraction module is finally used
  • the output layer outputs the characteristic information of each sample.
  • Step S40 Calculate the first degree of dissimilarity between the pair of feature information corresponding to the same preset label, and calculate the second degree of dissimilarity between the pair of feature information corresponding to different preset labels;
  • the server After acquiring the feature information of each sample output by the feature extraction module, the server calculates the first degree of difference in feature information between the two samples with the same preset label according to the preset label of each sample, and calculates the different predictions. Suppose the second degree of dissimilarity of the feature information between the labeled samples.
  • Step S41 Calculate the first dissimilarity between the feature information corresponding to the same preset label according to the dissimilarity calculation formula, and calculate the feature information corresponding to the same preset label according to the dissimilarity calculation formula.
  • margin is the preset hyperparameter
  • L 1 is the first degree of dissimilarity
  • L 2 is the second degree of dissimilarity
  • f 1 and f 2 are the two feature information of the same preset label
  • f 3 and f 4 are respectively not Characteristic information of two of the same preset label.
  • Step S50 If the first degree of dissimilarity and the second degree of dissimilarity do not conform to a preset rule, adjust the feature extraction module according to the first degree of dissimilarity and the second degree of dissimilarity, and execute the Step S30;
  • the server After the server calculates and obtains the first degree of dissimilarity between the characteristic information of all pairwise samples with the same label and the second degree of dissimilarity between the characteristic information of all pairwise samples with different labels, it will judge and obtain according to preset rules. Whether all the first dissimilarity and all the second dissimilarity meet the preset rule, and if it is determined that the first dissimilarity and the second dissimilarity do not meet the preset rule, then according to the first dissimilarity The degree and the second degree of dissimilarity adjust the parameters of each layer in the feature extraction module. After adjusting the parameters, the server will start the next training, that is, re-execute step S30, input multiple samples into the feature extraction module in the deep learning model to be trained, and output feature information corresponding to each sample.
  • the specific process of determining through a preset rule that the first dissimilarity and the second dissimilarity obtained by the server do not meet the preset rule may be:
  • Step S51 judging whether all the first degrees of dissimilarity are less than or equal to a first preset threshold and whether all the second degrees of dissimilarity are greater than or equal to a second preset threshold, where the first preset threshold is less than the second preset threshold;
  • a first preset threshold corresponding to the first degree of dissimilarity and a second preset threshold corresponding to the second degree of dissimilarity are respectively set, and all the obtained first dissimilities are sequentially combined with the first preset
  • the threshold is compared in size, and at the same time, all the obtained second degrees of dissimilarity are sequentially compared with the second preset threshold, where the first preset threshold is smaller than the second preset threshold.
  • Step S52 if at least one first degree of dissimilarity is greater than a first predetermined threshold and/or at least one second degree of dissimilarity is less than a second predetermined threshold, then according to the first degree of dissimilarity and the second degree of dissimilarity
  • the degree adjustment feature extraction module executes the step S30.
  • the server traverses the result of comparing each first degree of dissimilarity with the first preset threshold and the result of comparing each second degree of dissimilarity with the second preset threshold.
  • the server When it is determined that there is at least one first degree of dissimilarity greater than a first preset threshold and/or at least one second degree of dissimilarity less than a second preset threshold, it is determined that the first degree of dissimilarity and the second degree of dissimilarity are The different degrees do not meet the preset rules, so the server will determine that the feature information obtained by inputting the sample into the feature extraction module during the current training does not achieve the expected goal. Before the next time the sample is input to the feature extraction module to obtain the feature information, the server will adjust the parameters of each layer in the feature extraction module and perform the next training again, that is, re-input the sample into the feature extraction module to obtain new feature information.
  • the specific process for the server to adjust the parameters of each layer in the feature extraction module is: constructing a first loss function through the first degree of dissimilarity and a first preset threshold, and then using backpropagation based on a gradient descent algorithm The method sequentially adjusts the parameters of each layer from the output layer to the input layer of the feature extraction module.
  • Step S60 if the first degree of dissimilarity and the second degree of dissimilarity meet the preset rule, obtain a trained feature extraction module
  • the server determines that the training of the parameters in the feature extraction module has been completed, and uses the current feature extraction module as the trained feature extraction module.
  • the similarity between the feature information of samples with the same label is extremely high, that is, similar to multiple points mapped to one point, so that in the actual application process, the mobile terminal sends the feature information of a certain data to be processed to the server.
  • Illegal interception because multiple data will be mapped to a feature information, it is impossible for the interceptor to infer unique data from the feature information, for example, multiple different male portrait pictures, input to the trained feature extraction module Among them, the output feature information is the same or extremely similar.
  • the similarity between the feature information of samples with different labels is extremely low through training, which improves the accuracy of subsequent result generation.
  • step S70 the feature information of each sample output by the trained feature extraction module is input into the training result generation module for training, and the trained result generation module is obtained.
  • the sample is input to the trained feature extraction module to obtain the feature information of each sample output by the trained feature extraction module.
  • the feature information of each sample output by these trained feature extraction modules is used as the training sample of the result generation module to be trained and input to the result generation module to be trained for training.
  • the final trained result generation module is obtained. Since the training samples of the result generation module are the feature information output by the trained feature extraction module, the result generation module trained by these training samples receives the feature information sent by the mobile terminal during the actual application process and conducts deep learning of the feature information
  • the correct rate of the obtained results can also reach the correct rate of the results obtained by directly inputting the data to be processed into a complete deep learning model in the prior art.
  • the feature information of the same type of data is very similar or the same through training, so that in the actual application process, the mobile terminal will
  • the characteristic information of the data to be processed is illegally intercepted during the process of sending it to the server. Since multiple data will be mapped to one characteristic information, it is impossible for the interceptor to infer unique data from the characteristic information, which improves the confidentiality of the data to be processed , Further avoiding the leakage of private information.
  • the step S70 includes:
  • Step S701 input the feature information of each sample output by the trained feature extraction module to the result generation module to be trained, and output the actual result corresponding to each sample;
  • the server outputs the feature information corresponding to each sample in the feature extraction module where the input values of all samples have been trained, and uses the feature information of the samples output by the trained feature extraction module as the training of the result generation module sample.
  • these feature information are input to the result generation module to be trained, and the analysis and calculation of each layer from the input layer to the output layer in the result generation module to be trained are sequentially performed to obtain the output and each sample of the result generation module to be trained. Corresponding actual results.
  • Step S702 obtaining a loss function value according to the actual result of each sample and the preset expected result
  • the server will input the actual results of each sample and the preset expected results into the preset loss function to obtain the loss function value of this training, where the preset loss function can adopt the mean square error loss Function, root mean square error loss function, average absolute error loss function, cross entropy cost loss function, or other types of loss functions, etc.
  • Step S703 Determine whether the loss function value is less than or equal to a third preset threshold; if not, perform step S704; if yes, perform step S705;
  • Step S704 According to the loss function value, use a backpropagation algorithm to adjust the parameters of the result generation module, and execute the step S701;
  • Step S705 Stop training, and obtain the trained result generation module.
  • the server After the server obtains the loss function value of this training, it will determine whether the loss function value is less than or equal to the third preset threshold. If the loss function value of this training is greater than the third preset threshold, it means that the value obtained in this training The result did not meet the preset expectations.
  • the parameters of the result generation module need to be adjusted.
  • the parameters of the result generation module are adjusted using the backpropagation algorithm to sequentially adjust the parameters of the output layer to the input layer of the result generation module, and then start to proceed.
  • step S701 is executed again, and the feature information of each sample output by the trained feature extraction module is input into the parameter-adjusted result generation module until the loss function value obtained after training is less than or equal to the third preset threshold.
  • the loss function value of this training is less than or equal to the third preset threshold, stop training the result generation module, indicating that the results of each sample output by the result generation module at this time have reached the preset expectations, and there is no need to generate results
  • the parameters of the module are adjusted, and the result generation module at this time is used as the trained result generation module.
  • the result generation module is trained by using the feature information output by the trained feature extraction module as the training sample of the result generation module, and the parameters of the result generation module are adjusted by constructing the loss function value during the training process, so that The training result generation module can perform deep learning according to the feature information sent by the mobile terminal.
  • the step S70 includes:
  • Step S711 input the feature information of each sample output by the trained feature extraction module to the result generation module, output the actual result corresponding to each sample, and update the cumulative number of training n to be n+1, n ⁇ 0;
  • the server outputs the feature information corresponding to each sample in the feature extraction module where the input values of all samples have been trained, and uses the feature information of the samples output by the trained feature extraction module as the training of the result generation module sample.
  • these feature information are input to the result generation module to be trained, and the analysis and calculations of each layer from the input layer to the output layer in the result generation module to be trained are sequentially performed to obtain the output and each sample of the result generation module to be trained.
  • Corresponding to the actual result and add 1 to the cumulative number of training to update the cumulative number of training. Before the result generation module is trained, the cumulative number of initial training is 0.
  • Step S712 obtaining a loss function value according to the actual result of each sample and the preset expected result
  • the server will input the actual results of each sample and the preset expected results into the preset loss function to obtain the loss function value of this training, where the preset loss function can adopt the mean square error loss Function, root mean square error loss function, average absolute error loss function, cross entropy cost loss function, or other types of loss functions, etc.
  • Step S713 Determine whether the loss function value is less than or equal to a third preset threshold; if not, perform step S714; if yes, perform step S717;
  • Step S714 Determine whether the cumulative number of training times is less than the preset number; if not, perform step S716; if yes, perform step S715;
  • Step S715 According to the loss function value, use a back propagation algorithm to adjust the parameters of the result generation module, and execute the step S711;
  • step S717 the training is stopped, and the trained result generation module is obtained.
  • the server After the server obtains the loss function value of each training, it will determine whether the loss function value is less than or equal to the third preset threshold. If the loss function value of this training is greater than the third preset threshold, it means that the value obtained in this training If the result does not meet the preset expectations, the parameters of the result generation module need to be adjusted. Before adjusting the parameters of the result generation module, it will be judged whether the cumulative number of training has reached the preset number until the current training. If the cumulative number of training has not reached the preset number, the backpropagation algorithm is used to sequentially adjust the parameters of each layer from the output layer to the input layer of the result generation module, and then the next training is started, that is, step S711 is executed again.
  • the feature information of each sample output by the trained feature extraction module is input into the parameter-adjusted result generation module until the loss function value obtained after training is less than or equal to the third preset threshold or the cumulative number of training reaches the preset number of times. If the loss function value of this training is less than or equal to the third preset threshold, stop training the result generation module, indicating that the results of each sample output by the result generation module at this time have reached the preset expectations, and there is no need to generate results The parameters of the module are adjusted, and the result generation module at this time is used as the trained result generation module.
  • the result generation module is trained by using the feature information output by the trained feature extraction module as the training sample of the result generation module, and the parameters of the result generation module are adjusted by constructing the loss function value during the training process, so that
  • the training result generation module can perform deep learning according to the characteristic information sent by the mobile terminal; at the same time, in addition to whether the loss function reaches the preset threshold range, it also determines whether to end the training of the result generation module according to whether the number of training times reaches the preset number. , To avoid too many training times for the result generation module, and the training time is too long.
  • the privacy protection-based deep learning method includes the steps:
  • Step S100 receiving the feature extraction module in the trained deep learning model sent by the server;
  • the neural network adopted by the deep learning model may be a convolutional neural network, a deep neural network, or a cyclic neural network, etc., which is not limited herein.
  • the server designates a certain layer in the middle of the neural network as the boundary layer, and decomposes the trained deep learning model based on the neural network into a feature extraction module and a result generation module.
  • the feature extraction module includes multiple layers from the input layer to the boundary layer. And the input layer of the neural network is the input layer of the feature extraction module, and the specified boundary layer is the output layer of the feature extraction module.
  • the result generation module includes multiple layers from the next layer of the boundary layer to the output layer, and the specified boundary layer
  • the next layer of the layer is used as the input layer of the result generation module
  • the output layer of the neural network is used as the output layer of the result generation module.
  • Step S200 input the to-be-processed data into the feature extraction module to obtain feature information corresponding to the to-be-processed data;
  • the mobile terminal After the mobile terminal receives the feature extraction module, when it needs to perform deep learning on some raw data, these data can be pictures, videos, text or voice, etc., and the mobile terminal inputs the raw data to be processed into the feature extraction module , Through the analysis and calculation of each layer in the feature extraction module, the output layer finally outputs the feature information corresponding to the original data.
  • Step S300 Send the characteristic information to the server, so that the server inputs the characteristic information into the result generation module of the trained deep learning model, outputs the result, and feeds back the result;
  • Step S400 Receive the result sent by the server.
  • the mobile terminal sends the characteristic information corresponding to the original data to the server through a wireless or wired network.
  • the server receives the corresponding characteristic information of the original data sent by the mobile terminal through the wireless or wired network, it uses the characteristic information as the parameters of the input layer of the result generation module in the trained neural network-based deep learning model, and inputs it to In the result generation module, through analysis and calculation of each layer in the result generation module, the output layer of the result generation module finally outputs the result, and the server sends the result to the mobile terminal through a wireless or wired network.
  • the feature extraction module in the trained neural network-based deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the original data into the feature extraction module to obtain feature information corresponding to the original data , And feed back the characteristic information; input the characteristic information fed back by the mobile terminal to the result generation module in the trained neural network-based deep learning model, output the result, and send the result to the mobile terminal . Therefore, because the original data is first input into the feature extraction module, the feature information is finally converted into feature information through the analysis and calculation of multiple layers in the feature extraction module. The feature information is completely different from the original data, and the user's privacy cannot be directly obtained from the feature information. Data, so when the user sends the characteristic information to the server for deep learning, even if it is stolen, it will not cause privacy leakage, which improves the security of the deep learning process using the server.
  • this application also provides a deep learning system based on privacy protection, including:
  • the sending module 10 is configured to send the feature extraction module in the trained deep learning model to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module to obtain features corresponding to the data to be processed Information, and feed back the characteristic information;
  • the first input module 20 is configured to input the characteristic information fed back by the mobile terminal into the result generation module in the trained deep learning model, output the result, and send the result to the mobile terminal.
  • the deep learning system based on privacy protection further includes:
  • the second input module 30 is configured to input multiple samples to the feature extraction module in the deep learning model to be trained, and output feature information corresponding to each sample, wherein each sample has a corresponding preset label;
  • the calculation module 40 is configured to calculate the first degree of dissimilarity between the pair of feature information corresponding to the same preset label, and calculate the second degree of dissimilarity between the pair of feature information corresponding to different preset labels;
  • the adjustment module 50 is configured to adjust the feature extraction module according to the first degree of dissimilarity and the second degree of dissimilarity if the first degree of dissimilarity and the second degree of dissimilarity do not conform to a preset rule, Call the second input module 30 to perform corresponding operations;
  • An obtaining module 60 configured to obtain a trained feature extraction module if the first degree of dissimilarity and the second degree of dissimilarity meet the preset rule;
  • the third input module 70 is configured to input the feature information of each sample output by the trained feature extraction module into the training result generation module for training, and obtain the trained result generation module.
  • calculation module 40 includes:
  • the calculation unit 41 is configured to calculate the first degree of difference between the feature information corresponding to the same preset label according to the difference degree calculation formula, and calculate the feature information corresponding to the same preset label according to the difference degree calculation formula.
  • margin is the preset hyperparameter
  • L 1 is the first degree of dissimilarity
  • L 2 is the second degree of dissimilarity
  • f 1 and f 2 are the two feature information of the same preset label
  • f 3 and f 4 are respectively not Characteristic information of two of the same preset label.
  • the adjustment module 50 includes:
  • the first determining unit 51 is configured to determine whether all the first degrees of dissimilarity are less than or equal to a first preset threshold and whether all the second degrees of dissimilarity are greater than or equal to a second preset threshold, wherein the first preset threshold is less than the second preset threshold.
  • Preset threshold a first preset threshold and whether all the second degrees of dissimilarity are greater than or equal to a second preset threshold, wherein the first preset threshold is less than the second preset threshold.
  • the first adjustment unit 52 is configured to: if at least one first degree of dissimilarity is greater than a first preset threshold and/or at least one second degree of dissimilarity is less than a second preset threshold, according to the first degree of dissimilarity and the The second dissimilarity adjustment feature extraction module calls the second input module 30 to perform corresponding operations.
  • the third input module 70 includes:
  • the first input unit 701 is configured to input the feature information of each sample output by the trained feature extraction module to the to-be-trained result generation module, and output the actual result corresponding to each sample;
  • the first obtaining unit 702 is configured to obtain a loss function value according to the actual result of each sample and the preset expected result;
  • the second determining unit 703 is configured to determine whether the loss function value is less than or equal to a third preset threshold
  • the second adjustment unit 704 is configured to, if not, adjust the parameters of the result generation module by using a backpropagation algorithm according to the loss function value, and call the first input unit 701 to perform corresponding operations;
  • the first obtaining unit 705 is configured to, if yes, stop training and obtain the trained result generation module.
  • the third input module 70 includes:
  • the second input unit 711 is used to input the feature information of each sample output by the trained feature extraction module to the result generation module, output the actual result corresponding to each sample, and update the cumulative number of training n to be n+1, n ⁇ 0;
  • the second obtaining unit 712 is configured to obtain the loss function value according to the actual result of each sample and the preset expected result;
  • the third determining unit 713 is configured to determine whether the loss function value is less than or equal to a third preset threshold
  • the fourth determining unit 714 is configured to determine whether the cumulative number of training times is less than the preset number if the loss function value is greater than the third preset threshold;
  • the third adjustment unit 715 is configured to, if the cumulative number of training times is less than the preset number, adjust the parameters of the result generation module by using a backpropagation algorithm according to the loss function value, and call the second input unit 711 to perform corresponding operations ;
  • the second obtaining unit 716 is configured to stop the training and obtain the trained result generation module if the cumulative number of training times is greater than or equal to the preset number of times;
  • the third obtaining unit 717 is configured to, if the loss function value is less than or equal to the third preset threshold, stop training and obtain the trained result generation module.
  • This application also proposes a mobile terminal, including a memory, a processor, and a computer program stored on the memory and running on the processor.
  • the computer program When the computer program is executed by the processor, it can be realized: receiving server Send the feature extraction module in the trained deep learning model; input the data to be processed into the feature extraction module to obtain feature information corresponding to the data to be processed; send the feature information to the server so that all The server inputs the characteristic information to the result generation module in the trained deep learning model, outputs the result, and feeds back the result; receiving the result sent by the server.
  • This application also proposes a computer-readable storage medium on which a computer program is stored, and the computer program can implement the above-mentioned method when executed by a processor.
  • the computer-readable storage medium may be the memory 02 in the privacy protection-based deep learning server of FIG. 1, or may be ROM (Read-Only Memory)/RAM (Random Access Memory), At least one of random access memory), magnetic disks, and optical disks.
  • the computer-readable storage medium includes a number of information to enable a server or a TV to execute the methods described in the various embodiments of the present application.
  • the feature extraction module in the trained deep learning model is sent to the mobile terminal, so that the mobile terminal inputs the data to be processed into the feature extraction module, obtains feature information corresponding to the data to be processed, and feeds back the Feature information; input the feature information fed back by the mobile terminal into the result generation module in the trained deep learning model, output the result, and send the result to the mobile terminal; or,
  • the storage medium involved in this application such as a computer-readable storage medium, may be non-volatile or volatile.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于隐私保护的深度学习方法、系统、服务器及存储介质，所述方法应用于服务器，包括：将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息，并反馈所述特征信息（S10）；将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端（S20）。解决了现有利用设置在云端或服务器的深度学习框架进行深度学习会导致隐私信息泄露的问题。

Description

基于隐私保护的深度学习方法、系统、服务器及存储介质
本申请要求于2020年2月12日提交中国专利局、申请号为202010092513.5，发明名称为“基于隐私保护的深度学习方法、系统、服务器及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及神经网络技术领域，尤其涉及一种基于隐私保护的深度学习方法、系统、服务器及计算机可读存储介质。
背景技术
在人工智能技术中，深度学习是一种通过模拟人脑神经网络实现类人工智能的机器学习技术。鉴于其具有高效的数据特征提取与分析能力，其现已被广泛应用在计算机视觉、自然语言处理、无人驾驶、智能家居等相关的领域或行业，影响着人们的日常生活。
发明人发现，目前一般将深度学习框架放置在云端/服务器端，包括模型训练和推理计算均是在云端/服务器端进行，用户将需要处理的图片、视频、文本或语音发送至云端/服务器，云端/服务器根据用户需求对这些图片、视频、文本或语音进行相应的处理，然后将处理结果告知用户，从而为用户提供相关服务。但由于用户需要将图片、视频或语音等待处理数据发送至云端/服务器，而用户发送的图片、视频、文本或语音可能涉及到隐私信息，在用户将包括隐私信息的图片、视频、文本或语音发送至云端/服务器过程中，可能被非法截获，导致隐私信息被泄漏。
发明内容
本申请的主要目的在于提出一种基于隐私保护的深度学习方法、系统、服务器及计算机可读存储介质，旨在解决现有技术中利用设置在云端或服务器的深度学习框架进行深度学习会导致隐私信息泄露的技术问题。
为实现上述目的，本申请提供一种基于隐私保护的深度学习方法，应用于服务器，所述基于隐私保护的深度学习方法包括步骤：
将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
将移动终端反馈的所述的特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
此外，为实现上述目的，本申请提供一种基于隐私保护的深度学习方法，应用于移动终端，所述基于隐私保护的深度学习方法包括步骤：
接收服务器发送的已训练的深度学习模型中的特征提取模块；
将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息；
将所述特征信息发送至所述服务器，以使所述服务器将所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并反馈所述结果；
接收所述服务器发送的所述结果。
此外，为实现上述目的，本申请提供一种基于隐私保护的深度学习系统，所述基于隐私保护的深度学习系统包括：
发送模块，用于将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息，并反馈所述特征信息；
接收模块，用于接收到移动终端反馈的所述特征信息，将所述特征信息输入至已训练的深度学习模型中的学习结果生成模块，输出学习结果，并将所述学习结果发送至所述移动终端。
此外，为实现上述目的，本申请还提供一种基于隐私保护的深度学习服务器，所述基于隐私保护的深度学习服务器包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下方法：
将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下方法：
将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
本申请由于先将原始数据输入至特征提取模块中，通过特征提取模块中多层依次进行分析和计算最终转换为特征信息，该特征信息完全不同于原始数据，不能直接从特征信息中获取用户的隐私数据，故用户将特征信息发送至服务器进行深度学习过程中，即使被窃取，也不会造成隐私的泄漏，提高了利用服务器进行深度学习过程的安全性。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的结构示意图；
图2为本申请基于隐私保护的深度学习方法第一实施例的流程示意图；
图3为本申请基于隐私保护的深度学习方法第二实施例的流程示意图；
图4为本申请基于隐私保护的深度学习方法第三实施例中步骤S60的细化流程示意图；
图5为本申请基于隐私保护的深度学习方法第四实施例中步骤S60的细化流程示意图；
图6为本申请基于隐私保护的深度学习系统的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请的技术方案可应用于人工智能、智慧城市、区块链和/或大数据技术领域，如可具体涉及深度学习技术。可选的，本申请涉及的数据如特征信息和/或输出结果等可存储于数据库中，或者可以存储于区块链中，比如通过区块链分布式存储，本申请不做限定。
请参照图1，图1为本申请各个实施例中所提供的基于隐私保护的深度学习服务器的硬件结构示意图。所述基于隐私保护的深度学习服务器包括通信模块01、存储器02及处理器03等部件。本领域技术人员可以理解，图1中所示出的基于隐私保护的深度学习服务器还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述通信模块01连接，所述存储器02上存储有计算机程序，所述计算机程序同时被处理器03执行。
通信模块01，可通过网络与外部设备连接。通信模块01可以接收外部设备发出的数据，还可发送数据、指令及信息至所述外部设备，所述外部设备可以是其他服务器、手机、平板电脑、笔记本电脑和台式电脑等电子设备。
存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(将已训练的深度学习模型中的特征提取模块发送至移动终端)等；存储数据区可存储根据基于隐 私保护的深度学习服务器的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器03，是基于隐私保护的深度学习服务器的控制中心，利用各种接口和线路连接整个基于隐私保护的深度学习服务器的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储器02内的数据，执行基于隐私保护的深度学习服务器的各种功能和处理数据，从而对基于隐私保护的深度学习服务器进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
尽管图1未示出，但上述基于隐私保护的深度学习服务器还可以包括电路控制模块，电路控制模块用于与市电连接，实现电源控制，保证其他部件的正常工作。
本领域技术人员可以理解，图1中示出的基于隐私保护的深度学习服务器结构并不构成对基于隐私保护的深度学习服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
根据上述硬件结构，提出本申请方法各个实施例。
参照图2，在本申请基于隐私保护的深度学习方法的第一实施例中，应用于任一基于隐私保护的深度学习服务器，所述基于隐私保护的深度学习方法包括步骤：
步骤S10，将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
在本方案中，基于神经网络的深度学习模型采用的神经网络可以为卷积神经网络、深度神经网络或循环神经网络等，在此不作限定。服务器指定神经网络的中间的某一层为分界层，将已训练的基于神经网络的深度学习模型分解为特征提取模块和结果生成模块，特征提取模块包括从输入层至分界层的多个层，并且神经网络的输入层是作为特征提取模块的输入层，指定的分界层作为特征提取模块的输出层，结果生成模块包括从分界层的下一个层至输出层的多个层，其中指定的分界层的下一个层作为结果生成模块的输入层，神经网络的输出层作为结果生成模块的输出层。服务器在接收到移动终端发送的对特征提取模块的需求时，将特征提取模块通过无线或有线网络发送至移动终端。移动终端接收到所述特征提取模块后，在需要进行对某些原始数据进行深度学习时，这些数据可以是图片、视频、文本或语音等，移动终端将待处理的原始数据输入至特征提取模块，通过特征提取模块中的各层的分析和计算，最终由其输出层输出所述原始数据对应的特征信息，移动终端通过无线或有线网络将所述原始数据对应的特征信息发送至服务器。
步骤S20，将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
服务器通过无线或有线网络接收到移动终端发送的原始数据的对应的特征信息，将所述特征信息作为已训练的基于神经网络的深度学习模型中的结果生成模块的输入层的参数，输入至所述结果生成模块中，并通过结果生成模块中的各层的分析计算，最终由结果生成模块的输出层，输出结果，服务器通过无线或有线网络将所述结果发送至移动终端。
本实施例通过将已训练的基于神经网络的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将原始数据输入至所述特征提取模块中，获得原始数据对应的特征信息，并反馈所述特征信息；将移动终端反馈的所述特征信息输入至已训练的基于神经网络的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。从而由于先将原始数据输入至特征提取模块中，通过特征提取模块中多层依次进行分析和 计算最终转换为特征信息，该特征信息完全不同于原始数据，不能直接从特征信息中获取用户的隐私数据，故用户将特征信息发送至服务器进行深度学习过程中，即使被窃取，也不会造成隐私的泄漏，提高了利用服务器进行深度学习过程的安全性。
进一步地，参照图3，根据本申请基于隐私保护的深度学习方法的第一实施例提出本申请基于隐私保护的深度学习方法的第二实施例，在本实施例中，步骤S10之前包括：
步骤S30，将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息，其中每个样本具有对应的预设标签；
在本实施例中，获取多个样本数据，在采用这些样本数据对深度学习模型进行训练前，需要对这些样本数据进行人工标注，为每个训练样本设置对应的标签，例如对性别识别的深度学习模型进行训练前，会根据样本实际对应的性别，为各样本数据设置“男性”或“女性”的标签。
服务器将具有预设标签的多个样本输入至待训练深度学习模型中的特征提取模块进行第一次训练，通过前向传播方式，经过特征提取模块中各层的分析计算，最终由特征提取模块的输出层输出每个样本的特征信息。
步骤S40，计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度；
服务器将获取到的特征提取模块输出的各样本的特征信息后，根据每个样本的预设标签，计算相同预设标签的样本两两之间特征信息的第一相异度，以及计算不同预设标签的样本两两之间特征信息的第二相异度。
实施所述计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度步骤的具体过程为：
步骤S41，根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度，并根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度；
所述相异度计算公式为：
Figure PCTCN2021071089-appb-000001
和
Figure PCTCN2021071089-appb-000002
其中margin为预设超参数，L 1为第一相异度，L 2第二相异度，f 1和f 2分别为相同预设标签的两个特征信息，f 3和f 4分别为不相同预设标签的两个的特征信息。
两样本的特征信息间的相异度的值越大，则说明两样本的特征信息越不相似，两样本的特征信息间的相异度的值越小，则说明两样本的特征信息越相似，若两样本的特征信息间的相异度的值为0，则说明两样本的特征信息相同。
步骤S50，若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行所述步骤S30；
服务器在计算获得所有标签相同的两两样本的特征信息间的第一相异度和所有标签不同的两两样本的特征信息间的第二相异度后，会根据预设的规则，判断获得的所有第一相异度和所有第二相异度是否符合预设规则，确定所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块中各层的参数。调整参数后，服务器会开始下一次训练，即重新执行步骤S30，将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息。
在一实施例中，通过预设规则确定服务器获得的第一相异度和第二相异度不符合预设规则的具体过程可为：
步骤S51，判断所有第一相异度是否均小于等于第一预设阈值以及所有第二相异度是否均大于等于第二预设阈值，其中第一预设阈值小于第二预设阈值；
在该预设规则中分别设置了第一相异度对应的第一预设阈值和第二相异度对应的第二预设阈值，将获得的所有第一相异度依次和第一预设阈值进行大小比较，同时将获得的所有第二相异度依次和第二预设阈值进行大小比较，其中第一预设阈值小于第二预设阈值。
步骤S52，若至少一第一相异度大于第一预设阈值和/或至少一第二相异度小于第二预设阈值，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行所述步骤S30。
服务器遍历各第一相异度与第一预设阈值依次比较的结果以及各第二相异度与第二预设阈值依次比较的结果，当确定所有第一相异度都小于等于第一预设阈值以及所有第二相异度都大于等于第二预设阈值，则确定所述第一相异度和所述第二相异度符合预设规则。而当确定存在至少一个第一相异度大于第一预设阈值和/或至少一个第二相异度小于第二预设阈值时，则确定所述第一相异度和所述第二相异度不符合预设规则，因此服务器会确定当次训练将样本输入至特征提取模块中获得的特征信息并没有达到预期目标。在下一次将样本输入至特征提取模块重新获得特征信息前，服务器会调整特征提取模块中各层参数，并重新进行下一次训练，即重新将样本输入至特征提取模块中，获得新的特征信息。
在一实施例中，服务器调整特征提取模块中各层参数的具体过程为：通过所述第一相异度与第一预设阈值构建第一损失函数，再通过基于梯度下降算法的反向传播法依次调整从特征提取模块的输出层至输入层的各层参数。
步骤S60，若所述第一相异度和所述第二相异度符合所述预设规则，则获得已训练的特征提取模块；
当基于任一次训练后获得的特征信息计算的所述第一相异度和所述第二相异度符合预设规则，即所有第一相异度都小于等于第一预设阈值以及所有第二相异度都大于等于第二预设阈值，此时，服务器确定特征提取模块中的参数已经训练完成了，将当前的特征提取模块作为已训练的特征提取模块。
通过训练使得具有相同标签的样本的特征信息间相似度极高，即类似于多点映射于一点，从而在实际应用过程中，移动终端将某一待处理数据的特征信息发送至服务器过程中，被非法截取，由于多个数据会被映射一个特征信息，截取者也不可能从该特征信息推断出唯一的数据，例如，多张各不相同的男性肖像图片，输入至已训练的特征提取模块中，输出的特征信息相同或相似度极高。同时通过训练使得具有不同标签的样本的特征信息间相似度极低，提高了后续的结果生成的准确率。
步骤S70，将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块。
当服务器对特征模块训练完成后，将样本输入至已训练的特征提取模块，获得已训练的特征提取模块输出的各样本的特征信息。将这些已训练的特征提取模块输出的各样本的特征信息作为待训练的结果生成模块的训练样本，输入至待训练结果生成模块进行训练，训练完成后，获得最终的已训练的结果生成模块。由于结果生成模块的训练样本为已训练的特征提取模块输出的特征信息，通过这些训练样本训练出来的结果生成模块在实际应用过程中接收到的移动终端发送的特征信息，对特征信息进行深度学习获得的结果的正确率也能达到与直接将待处理数据输入至现有技术中完整的深度学习模型中获得的结果正确率。
本实施例在对深度学习模型中的特征提取模块和结果生成模块训练过程中，通过训练使得同类别的数据的特征信息相似度极高或相同，从而在实际应用过程中，移动终端将某一待处理数据的特征信息发送至服务器过程中，被非法截取，由于多个数据会被映射一个特征信息，截取者也不可能从该特征信息推断出唯一的数据，提高了待处理数据的保密性，进一步避免了隐私信息的泄漏。
进一步地，参照图4，根据本申请基于隐私保护的深度学习方法的第一实施例提出本申请基于隐私保护的深度学习方法的第三实施例，在本实施例中，所述步骤S70包括：
步骤S701，将已训练的特征提取模块输出的各样本的特征信息输入至待训练结果生成模块，输出与各样本对应的实际结果；
在本实施例中，服务器将所有样本输入值已训练的特征提取模块中，输出各样本对应的特征信息，将这些由已训练的特征提取模块输出的个样本的特征信息作为结果生成模块的训练样本。在进行训练时，将这些特征信息输入至待训练的结果生成模块，依次经过待训练的结果生成模块中的输入层至输出层的各层分析计算，获得待训练结果生成模块输出的与各样本对应的实际结果。
步骤S702，根据各样本的实际结果和预设期望结果，获得损失函数值；
在每次训练时，服务器会将各样本的实际结果和预设期望结果输入至预设的损失函数中，获得本次训练的损失函数值，其中该预设的损失函数可以采用均方误差损失函数、均方根误差损失函数、平均绝对误差损失函数、交叉熵代价损失函数或其他类型损失函数等。
步骤S703，判断所述损失函数值是否小于等于第三预设阈值；若否，则执行步骤S704；若是，则执行步骤S705；
步骤S704，根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行所述步骤S701；
步骤S705，停止训练，获得已训练的结果生成模块。
服务器获得本次训练的损失函数值后，会判断其所述损失函数值是否小于等于第三预设阈值，若本次训练的损失函数值大于第三预设阈值，则说明本次训练获得的结果未达到预设期望，需要对结果生成模块的参数进行调整，调整结果生成模块的参数采用反向传播算法依次对结果生成模块的输出层至输入层的各层的参数进行调整，然后开始进行下一次训练，即再次执行步骤S701，将已训练的特征提取模块输出的各样本的特征信息输入调整参数后的结果生成模块中，直至训练后获得的损失函数值小于等于第三预设阈值。若本次训练的损失函数值小于等于第三预设阈值，则停止对结果生成模块的训练，说明此时结果生成模块输出的各样本的结果已经达到了预设的期望，不需要对结果生成模块的参数进行调整，将此时的结果生成模块作为已训练的结果生成模块。
本实施例通过采用已训练的特征提取模块输出的特征信息作为结果生成模块的训练样本对结果生成模块进行训练，并在训练过程中通过构建损失函数值对结果生成模块的参数进行调整，从而使得训练完成的结果生成模块能够根据移动终端发送的特征信息进行深度学习。
进一步地，参照图5，根据本申请基于隐私保护的深度学习方法的第一实施例提出本申请基于隐私保护的深度学习方法的第四实施例，在本实施例中，所述步骤S70包括：
步骤S711，将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果，并更新训练累积次数n为n+1，n≥0；
在本实施例中，服务器将所有样本输入值已训练的特征提取模块中，输出各样本对应的特征信息，将这些由已训练的特征提取模块输出的个样本的特征信息作为结果生成模块的训练样本。在进行训练时，将这些特征信息输入至待训练的结果生成模块，依次经过待训练的结果生成模块中的输入层至输出层的各层分析计算，获得待训练结果生成模块输出的与各样本对应的实际结果，并将训练累积次数加1，更新训练累积次数，在未对结果生成模块进行训练前，初始训练累积次数为0。
步骤S712，根据各样本的实际结果和预设期望结果，获得损失函数值；
在每次训练时，服务器会将各样本的实际结果和预设期望结果输入至预设的损失函数中，获得本次训练的损失函数值，其中该预设的损失函数可以采用均方误差损失函数、均方根误差损失函数、平均绝对误差损失函数、交叉熵代价损失函数或其他类型损失函数等。
步骤S713，判断所述损失函数值是否小于等于第三预设阈值；若否，则执行步骤S714； 若是，则执行步骤S717；
步骤S714，判断训练累积次数是否小于预设次数；若否，则执行步骤S716；若是，则执行步骤S715；
步骤S715，根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行所述步骤S711；
步骤S716，停止训练，获得已训练的结果生成模块；
步骤S717，停止训练，获得已训练的结果生成模块。
服务器获得每次训练的损失函数值后，会判断其所述损失函数值是否小于等于第三预设阈值，若本次训练的损失函数值大于第三预设阈值，则说明本次训练获得的结果未达到预设期望，需要对结果生成模块的参数进行调整，在对结果生成模块的参数进行调整前，会判断到本次训练为止，训练累计次数是否已经达到预设次数。若训练累积次数还没有达到预设次数，则采用反向传播算法依次对结果生成模块的输出层至输入层的各层的参数进行调整，然后开始进行下一次训练，即再次执行步骤S711，将已训练的特征提取模块输出的各样本的特征信息输入调整参数后的结果生成模块中，直至训练后获得的损失函数值小于等于第三预设阈值或者训练累积次数达到预设次数。若本次训练的损失函数值小于等于第三预设阈值，则停止对结果生成模块的训练，说明此时结果生成模块输出的各样本的结果已经达到了预设的期望，不需要对结果生成模块的参数进行调整，将此时的结果生成模块作为已训练的结果生成模块。
本实施例通过采用已训练的特征提取模块输出的特征信息作为结果生成模块的训练样本对结果生成模块进行训练，并在训练过程中通过构建损失函数值对结果生成模块的参数进行调整，从而使得训练完成的结果生成模块能够根据移动终端发送的特征信息进行深度学习；同时除了根据损失函数是否达到预设阈值范围内还根据训练次数是否达到预设次数，来确定是否结束对结果生成模块的训练，避免了对结果生成模块的训练次数过多，训练时间过长。
在本申请基于隐私保护的深度学习方法的第六实施例中，应用于移动终端，所述基于隐私保护的深度学习方法包括步骤：
步骤S100，接收服务器发送的已训练的深度学习模型中的特征提取模块；
在本实施例中，深度学习模型采用的神经网络可以为卷积神经网络、深度神经网络或循环神经网络等，在此不作限定。服务器指定神经网络的中间的某一层为分界层，将已训练的基于神经网络的深度学习模型分解为特征提取模块和结果生成模块，特征提取模块包括从输入层至分界层的多个层，并且神经网络的输入层是作为特征提取模块的输入层，指定的分界层作为特征提取模块的输出层，结果生成模块包括从分界层的下一个层至输出层的多个层，其中指定的分界层的下一个层作为结果生成模块的输入层，神经网络的输出层作为结果生成模块的输出层。服务器在接收到移动终端发送的对特征提取模块的需求时，将特征提取模块通过无线或有线网络发送至移动终端。
步骤S200，将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息；
移动终端接收到所述特征提取模块后，在需要进行对某些原始数据进行深度学习时，这些数据可以是图片、视频、文本或语音等，移动终端将待处理的原始数据输入至特征提取模块，通过特征提取模块中的各层的分析和计算，最终由其输出层输出所述原始数据对应的特征信息。
步骤S300，将所述特征信息发送至所述服务器，以使所述服务器将所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并反馈所述结果；
步骤S400，接收所述服务器发送的所述结果。
移动终端通过无线或有线网络将所述原始数据对应的特征信息发送至服务器。服务器通过无线或有线网络接收到移动终端发送的原始数据的对应的特征信息后，将所述特征信息作为已训练的基于神经网络的深度学习模型中的结果生成模块的输入层的参数，输入至所述结果生成模块中，并通过结果生成模块中的各层的分析计算，最终由结果生成模块的输出层，输出结果，服务器通过无线或有线网络将所述结果发送至移动终端。
本实施例通过将已训练的基于神经网络的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将原始数据输入至所述特征提取模块中，获得原始数据对应的特征信息，并反馈所述特征信息；将移动终端反馈的所述的特征信息输入至已训练的基于神经网络的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。从而由于先将原始数据输入至特征提取模块中，通过特征提取模块中多层依次进行分析和计算最终转换为特征信息，该特征信息完全不同于原始数据，不能直接从特征信息中获取用户的隐私数据，故用户将特征信息发送至服务器进行深度学习过程中，即使被窃取，也不会造成隐私的泄漏，提高了利用服务器进行深度学习过程的安全性。
参见图6，本申请还提供一种基于隐私保护的深度学习系统，包括：
发送模块10，用于将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
第一输入模块20，用于将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
进一步地，所述基于隐私保护的深度学习系统还包括：
第二输入模块30，用于将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息，其中每个样本具有对应的预设标签；
计算模块40，用于计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度；
调整模块50，用于若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，调用所述第二输入模块30执行相应操作；
获得模块60，用于若所述第一相异度和所述第二相异度符合所述预设规则，则获得已训练的特征提取模块；
第三输入模块70，用于将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块。
进一步地，所述计算模块40包括：
计算单元41，用于根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度，并根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度；
所述相异度计算公式为：
Figure PCTCN2021071089-appb-000003
和
Figure PCTCN2021071089-appb-000004
其中margin为预设超参数，L 1为第一相异度，L 2第二相异度，f 1和f 2分别为相同预设标签的两个特征信息，f 3和f 4分别为不相同预设标签的两个的特征信息。
进一步地，所述调整模块50包括：
第一判断单元51，用于判断所有第一相异度是否均小于等于第一预设阈值以及所有第二相异度是否均大于等于第二预设阈值，其中第一预设阈值小于第二预设阈值；
第一调整单元52，用于若至少一第一相异度大于第一预设阈值和/或至少一第二相异度小于第二预设阈值，则根据所述第一相异度和所述第二相异度调整特征提取模块，调用所 述第二输入模块30执行相应操作。
进一步地，所述第三输入模块70包括：
第一输入单元701，用于将已训练的特征提取模块输出的各样本的特征信息输入至待训练结果生成模块，输出与各样本对应的实际结果；
第一获得单元702，用于根据各样本的实际结果和预设期望结果，获得损失函数值；
第二判断单元703，用于判断所述损失函数值是否小于等于第三预设阈值；
第二调整单元704，用于若否，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，调用所述第一输入单元701执行相应操作；
第一获得单元705，用于若是，则停止训练，获得已训练的结果生成模块。
进一步地，所述第三输入模块70包括：
第二输入单元711，用于将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果，并更新训练累积次数n为n+1，n≥0；
第二获得单元712，用于根据各样本的实际结果和预设期望结果，获得损失函数值；
第三判断单元713，用于判断所述损失函数值是否小于等于第三预设阈值；
第四判断单元714，用于若所述损失函数值大于第三预设阈值，则判断训练累积次数是否小于预设次数；
第三调整单元715，用于若训练累积次数小于预设次数，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，调用所述第二输入单元711执行相应操作；
第二获得单元716，用于若训练累积次数大于或等于预设次数，则停止训练，获得已训练的结果生成模块；
第三获得单元717，用于若所述损失函数值小于或等于第三预设阈值，则停止训练，获得已训练的结果生成模块。
本申请还提出一种移动终端，包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时可实现：接收服务器发送的已训练的深度学习模型中的特征提取模块；将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息；将所述特征信息发送至所述服务器，以使所述服务器将所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并反馈所述结果；接收所述服务器发送的所述结果。
本申请还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现上述方法。可选的，所述计算机可读存储介质可以是图1的基于隐私保护的深度学习服务器中的存储器02，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干信息用以使得服务器或电视执行本申请各个实施例所述的方法。
例如，计算机程序被处理器执行时实现以下方法：
将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端；或者，
接收服务器发送的已训练的深度学习模型中的特征提取模块；将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息；将所述特征信息发送至所述服务器，以使所述服务器将所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并反馈所述结果；接收所述服务器发送的所述结果。
可选的，本申请涉及的存储介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于隐私保护的深度学习方法，其中，应用于服务器，所述方法包括步骤：
    将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
    将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
  2. 根据权利要求1所述的基于隐私保护的深度学习方法，其中，所述将已训练的深度学习模型中的特征提取模块发送至移动终端的步骤之前，还包括：
    将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息，其中每个样本具有对应的预设标签；
    计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度；
    若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤；
    若所述第一相异度和所述第二相异度符合所述预设规则，则获得已训练的特征提取模块；
    将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块。
  3. 根据权利要求2所述的基于隐私保护的深度学习方法，其中，所述计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度的步骤包括：
    根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度，并根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第二相异度；
    所述相异度计算公式为：
    Figure PCTCN2021071089-appb-100001
    和
    Figure PCTCN2021071089-appb-100002
    其中margin为预设超参数，L 1为第一相异度，L 2第二相异度，f 1和f 2分别为相同预设标签的两个特征信息，f 3和f 4分别为不相同预设标签的两个的特征信息。
  4. 根据权利要求2或3所述的基于隐私保护的深度学习方法，其中，所述若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤包括：
    判断所有第一相异度是否均小于等于第一预设阈值以及所有第二相异度是否均大于等于第二预设阈值，其中第一预设阈值小于第二预设阈值；
    若至少一第一相异度大于第一预设阈值和/或至少一第二相异度小于第二预设阈值，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤。
  5. 根据权利要求4所述的基于隐私保护的深度学习方法，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块的步骤包括：
    将已训练的特征提取模块输出的各样本的特征信息输入至待训练结果生成模块，输出与各样本对应的实际结果；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若否，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若是，则停止训练，获得已训练的结果生成模块。
  6. 根据权利要求4所述的基于隐私保护的深度学习方法，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块的步骤包括：
    将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果，并更新训练累积次数n为n+1，n≥0；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若所述损失函数值大于第三预设阈值，则判断训练累积次数是否小于预设次数；
    若训练累积次数小于预设次数，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若训练累积次数大于或等于预设次数，则停止训练，获得已训练的结果生成模块；
    若所述损失函数值小于或等于第三预设阈值，则停止训练，获得已训练的结果生成模块。
  7. 一种基于隐私保护的深度学习方法，其中，应用于移动终端，所述基于隐私保护的深度学习方法的步骤包括：
    接收服务器发送的已训练的深度学习模型中的特征提取模块；
    将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息；
    将所述特征信息发送至所述服务器，以使所述服务器将所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并反馈所述结果；
    接收所述服务器发送的所述结果。
  8. 一种基于隐私保护的深度学习系统，其中，所述基于隐私保护的深度学习系统包括：
    发送模块，用于将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得待处理数据对应的特征信息，并反馈所述特征信息；
    接收模块，用于接收到移动终端反馈的所述特征信息，将所述特征信息输入至已训练的深度学习模型中的学习结果生成模块，输出学习结果，并将所述学习结果发送至所述移动终端。
  9. 一种基于隐私保护的深度学习服务器，其中，所述基于隐私保护的深度学习服务器包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下方法：
    将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
    将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
  10. 根据权利要求9所述的基于隐私保护的深度学习服务器，其中，所述将已训练的深度学习模型中的特征提取模块发送至移动终端的步骤之前，所述计算机程序被所述处理 器执行时还用于实现：
    将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息，其中每个样本具有对应的预设标签；
    计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度；
    若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤；
    若所述第一相异度和所述第二相异度符合所述预设规则，则获得已训练的特征提取模块；
    将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块。
  11. 根据权利要求10所述的基于隐私保护的深度学习服务器，其中，所述计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度时，具体实现：
    根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度，并根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第二相异度；
    所述相异度计算公式为：
    Figure PCTCN2021071089-appb-100003
    和
    Figure PCTCN2021071089-appb-100004
    其中margin为预设超参数，L 1为第一相异度，L 2第二相异度，f 1和f 2分别为相同预设标签的两个特征信息，f 3和f 4分别为不相同预设标签的两个的特征信息。
  12. 根据权利要求10或11所述的基于隐私保护的深度学习服务器，其中，所述若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤时，具体实现：
    判断所有第一相异度是否均小于等于第一预设阈值以及所有第二相异度是否均大于等于第二预设阈值，其中第一预设阈值小于第二预设阈值；
    若至少一第一相异度大于第一预设阈值和/或至少一第二相异度小于第二预设阈值，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤。
  13. 根据权利要求12所述的基于隐私保护的深度学习服务器，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块时，具体实现：
    将已训练的特征提取模块输出的各样本的特征信息输入至待训练结果生成模块，输出与各样本对应的实际结果；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若否，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若是，则停止训练，获得已训练的结果生成模块。
  14. 根据权利要求12所述的基于隐私保护的深度学习服务器，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的 结果生成模块时，具体实现：
    将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果，并更新训练累积次数n为n+1，n≥0；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若所述损失函数值大于第三预设阈值，则判断训练累积次数是否小于预设次数；
    若训练累积次数小于预设次数，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若训练累积次数大于或等于预设次数，则停止训练，获得已训练的结果生成模块；
    若所述损失函数值小于或等于第三预设阈值，则停止训练，获得已训练的结果生成模块。
  15. 一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下方法：
    将已训练的深度学习模型中的特征提取模块发送至移动终端，以使所述移动终端将待处理数据输入至所述特征提取模块中，获得与待处理数据对应的特征信息，并反馈所述特征信息；
    将移动终端反馈的所述特征信息输入至已训练的深度学习模型中的结果生成模块，输出结果，并将所述结果发送至所述移动终端。
  16. 根据权利要求15所述的计算机可读存储介质，其中，所述将已训练的深度学习模型中的特征提取模块发送至移动终端的步骤之前，所述计算机程序被处理器执行时还用于实现：
    将多个样本输入至待训练深度学习模型中的特征提取模块，输出与各样本对应的特征信息，其中每个样本具有对应的预设标签；
    计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度；
    若所述第一相异度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤；
    若所述第一相异度和所述第二相异度符合所述预设规则，则获得已训练的特征提取模块；
    将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述计算对应相同预设标签的特征信息两两之间的第一相异度，并计算对应不同预设标签的特征信息两两之间的第二相异度时，具体实现：
    根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第一相异度，并根据相异度计算公式分别计算对应相同预设标签的特征信息两两之间的第二相异度；
    所述相异度计算公式为：
    Figure PCTCN2021071089-appb-100005
    和
    Figure PCTCN2021071089-appb-100006
    其中margin为预设超参数，L 1为第一相异度，L 2第二相异度，f 1和f 2分别为相同预设标签的两个特征信息，f 3和f 4分别为不相同预设标签的两个的特征信息。
  18. 根据权利要求16或17所述的计算机可读存储介质，其中，所述若所述第一相异 度和所述第二相异度不符合预设规则，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤时，具体实现：
    判断所有第一相异度是否均小于等于第一预设阈值以及所有第二相异度是否均大于等于第二预设阈值，其中第一预设阈值小于第二预设阈值；
    若至少一第一相异度大于第一预设阈值和/或至少一第二相异度小于第二预设阈值，则根据所述第一相异度和所述第二相异度调整特征提取模块，执行：所述将多个样本输入至特征提取模块，输出与各样本对应的特征信息的步骤。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块时，具体实现：
    将已训练的特征提取模块输出的各样本的特征信息输入至待训练结果生成模块，输出与各样本对应的实际结果；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若否，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若是，则停止训练，获得已训练的结果生成模块。
  20. 根据权利要求18所述的计算机可读存储介质，其中，所述将已训练的特征提取模块输出的各样本的特征信息输入待训练结果生成模块进行训练，获得已训练的结果生成模块时，具体实现：
    将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果，并更新训练累积次数n为n+1，n≥0；
    根据各样本的实际结果和预设期望结果，获得损失函数值；
    判断所述损失函数值是否小于等于第三预设阈值；
    若所述损失函数值大于第三预设阈值，则判断训练累积次数是否小于预设次数；
    若训练累积次数小于预设次数，则根据所述损失函数值，采用反向传播算法对结果生成模块的参数进行调整，执行：所述将已训练的特征提取模块输出的各样本的特征信息输入至结果生成模块，输出与各样本对应的实际结果的步骤；
    若训练累积次数大于或等于预设次数，则停止训练，获得已训练的结果生成模块；
    若所述损失函数值小于或等于第三预设阈值，则停止训练，获得已训练的结果生成模块。
PCT/CN2021/071089 2020-02-12 2021-01-11 基于隐私保护的深度学习方法、系统、服务器及存储介质 WO2021159898A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010092513.5A CN111325322A (zh) 2020-02-12 2020-02-12 基于隐私保护的深度学习方法、系统、服务器及存储介质
CN202010092513.5 2020-02-12

Publications (1)

Publication Number Publication Date
WO2021159898A1 true WO2021159898A1 (zh) 2021-08-19

Family

ID=71167125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/071089 WO2021159898A1 (zh) 2020-02-12 2021-01-11 基于隐私保护的深度学习方法、系统、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN111325322A (zh)
WO (1) WO2021159898A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254275A (zh) * 2021-11-16 2022-03-29 浙江大学 一种基于对抗样本指纹的黑盒深度学习模型版权保护方法
CN114254275B (zh) * 2021-11-16 2024-05-28 浙江大学 一种基于对抗样本指纹的黑盒深度学习模型版权保护方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325322A (zh) * 2020-02-12 2020-06-23 深圳壹账通智能科技有限公司 基于隐私保护的深度学习方法、系统、服务器及存储介质
CN112214791B (zh) * 2020-09-24 2023-04-18 广州大学 基于强化学习的隐私策略优化方法、系统及可读存储介质
CN113849665A (zh) * 2021-09-02 2021-12-28 中科创达软件股份有限公司 多媒体数据识别方法、装置、设备及存储介质
CN115098885B (zh) * 2022-07-28 2022-11-04 清华大学 数据处理方法、系统及电子设备
CN115530773B (zh) * 2022-10-17 2024-01-05 广州市番禺区中心医院 一种基于病人摄入饮食的心血管疾病评估预防系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373514A (zh) * 2007-08-24 2009-02-25 李树德 人脸识别方法和系统
CN103473563A (zh) * 2013-09-23 2013-12-25 程涛 指甲图像处理方法及系统、指甲特征分析方法及系统
CN106202166A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 文件的清理方法、装置及相应的客户端
CN107103279A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种在垂直视角下基于深度学习的客流计数方法
CN109145829A (zh) * 2018-08-24 2019-01-04 中共中央办公厅电子科技学院 一种基于深度学习和同态加密的安全高效的人脸识别方法
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110188303A (zh) * 2019-05-10 2019-08-30 百度在线网络技术（北京）有限公司 页面错误识别方法和装置
CN110378092A (zh) * 2019-07-26 2019-10-25 北京积加科技有限公司 身份识别系统及客户端、服务器和方法
CN111325322A (zh) * 2020-02-12 2020-06-23 深圳壹账通智能科技有限公司 基于隐私保护的深度学习方法、系统、服务器及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373514A (zh) * 2007-08-24 2009-02-25 李树德 人脸识别方法和系统
CN103473563A (zh) * 2013-09-23 2013-12-25 程涛 指甲图像处理方法及系统、指甲特征分析方法及系统
CN106202166A (zh) * 2016-06-24 2016-12-07 北京奇虎科技有限公司 文件的清理方法、装置及相应的客户端
CN107103279A (zh) * 2017-03-09 2017-08-29 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种在垂直视角下基于深度学习的客流计数方法
CN109145829A (zh) * 2018-08-24 2019-01-04 中共中央办公厅电子科技学院 一种基于深度学习和同态加密的安全高效的人脸识别方法
CN109918532A (zh) * 2019-03-08 2019-06-21 苏州大学 图像检索方法、装置、设备及计算机可读存储介质
CN110188303A (zh) * 2019-05-10 2019-08-30 百度在线网络技术（北京）有限公司 页面错误识别方法和装置
CN110378092A (zh) * 2019-07-26 2019-10-25 北京积加科技有限公司 身份识别系统及客户端、服务器和方法
CN111325322A (zh) * 2020-02-12 2020-06-23 深圳壹账通智能科技有限公司 基于隐私保护的深度学习方法、系统、服务器及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254275A (zh) * 2021-11-16 2022-03-29 浙江大学 一种基于对抗样本指纹的黑盒深度学习模型版权保护方法
CN114254275B (zh) * 2021-11-16 2024-05-28 浙江大学 一种基于对抗样本指纹的黑盒深度学习模型版权保护方法

Also Published As

Publication number Publication date
CN111325322A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
WO2021159898A1 (zh) 基于隐私保护的深度学习方法、系统、服务器及存储介质
WO2021217935A1 (zh) 问题生成模型的训练方法、问题生成方法及其相关设备
CN110866184B (zh) 短视频数据标签推荐方法、装置、计算机设备和存储介质
US11301637B2 (en) Methods, devices, and systems for constructing intelligent knowledge base
US10650102B2 (en) Method and apparatus for generating parallel text in same language
US9595002B2 (en) Normalizing electronic communications using a vector having a repeating substring as input for a neural network
US9552547B2 (en) Normalizing electronic communications using a neural-network normalizer and a neural-network flagger
WO2018166114A1 (zh) 图片识别的方法、系统、电子装置及介质
KR102223382B1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
WO2020073533A1 (zh) 自动问答方法及装置
KR102253402B1 (ko) Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
US20200320284A1 (en) Media processing method, related apparatus, and storage medium
WO2020206910A1 (zh) 产品信息推送方法、装置、计算机设备和存储介质
WO2018205999A1 (zh) 一种数据处理方法及装置
WO2019218476A1 (zh) 一种数据的导出方法及设备
US20230252294A1 (en) Data processing method, apparatus, and device, and computer-readable storage medium
CN110502620B (zh) 导诊相似问题对生成方法、系统及计算机设备
CN108154165B (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
US11562518B2 (en) Image manipulation by text instruction
KR102073644B1 (ko) 이미지에 포함된 텍스트 인식장치, 텍스트 인식방법 및 텍스트 인식방법을 실행하기 위한 프로그램을 기록한 기록매체
CN113553386A (zh) 嵌入表示模型训练方法、基于知识图谱的问答方法及装置
CN117473249A (zh) 网络流量检测模型的建模方法、检测方法及相关设备
CA3166090A1 (en) Method and apparatus for pushing subscription data in internet of things, device and storage medium thereof
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 09/12/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 21754012

Country of ref document: EP

Kind code of ref document: A1