WO2022142060A1 - 基于联邦学习的虹膜图像特征提取方法、系统和装置 - Google Patents
基于联邦学习的虹膜图像特征提取方法、系统和装置 Download PDFInfo
- Publication number
- WO2022142060A1 WO2022142060A1 PCT/CN2021/092794 CN2021092794W WO2022142060A1 WO 2022142060 A1 WO2022142060 A1 WO 2022142060A1 CN 2021092794 W CN2021092794 W CN 2021092794W WO 2022142060 A1 WO2022142060 A1 WO 2022142060A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- local
- feature
- iris
- features
- feature set
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 81
- 230000006870 function Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 21
- 210000000554 iris Anatomy 0.000 description 205
- 230000008569 process Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Definitions
- the invention belongs to image recognition, and specifically relates to a method, system and device for iris image feature extraction based on federated learning.
- the iris As a biometric feature with high accuracy and good security, the iris is being widely used in various identification and security control scenarios. After strict, the method of building a large-scale iris data center for stacked training tends to be infeasible, so it is imperative to establish a federal iris recognition model training and feature learning framework based on privacy protection and multi-party cooperation. Federated learning can combine multi-party data for training, which is more suitable for occasions with high security and privacy requirements. On the other hand, the federated iris recognition model training and feature learning framework can combine multiple iris databases and various iris recognition neural networks for collaborative learning, fully balancing the recognition performance and generalization ability of all parties, and highlighting the individual characteristics of each model and data distribution. opposite sex.
- the multi-party features after homomorphic encryption are interactively learned through a third-party computing platform, and under the condition of strict confidentiality, the distinguishability of the extracted features of each party model in the feature space is fully improved, so as to obtain higher iris recognition accuracy.
- the iris recognition model based on the deep learning framework usually requires a large number of iris samples for learning, but there are security risks and privacy protection limitations in the construction of a large-scale iris data center, because the original biometric data, which is highly private, will be irreversible once it is leaked.
- the generalization ability and marginal effect of iris recognition models lacking a large amount of training data will be greatly reduced in practical applications. Therefore, it is particularly important to establish a framework for iris recognition model training and feature learning that combines multi-party data decentralization.
- most of the current iris datasets have obvious differences in acquisition rules, acquisition equipment, acquisition environment, data scale, image quality, etc., and the distribution of different iris databases is significantly different, which simply relies on stacking unlimited irises.
- the present invention provides an iris image feature extraction method based on federated learning, the method comprising:
- Step S100 the iris image preprocessing network of each local platform preprocesses the local iris data set to generate a normalized iris image set and a corresponding iris effective area mask image set, and based on the normalized iris image set and the corresponding iris image set.
- the iris effective area mask image set generates the iris effective area image set;
- the preprocessing includes eye detection, iris segmentation and normalization;
- Step S200 based on the iris effective area image set, obtain local iris features through the iris image feature extraction network of each local platform, and generate local feature triples and local triple losses based on the local iris features;
- Step S300 performing homomorphic encryption on the local feature triplet and the local triplet loss to generate an encrypted local feature triplet and an encrypted local triplet loss;
- Step S400 the third-party federated computing platform calculates the Wasserstein federation ternary loss function based on the encrypted local feature triplet and the encrypted local ternary loss;
- Step S500 each local platform decrypts the Wasserstein Federation ternary loss function to obtain a decrypted ternary loss function, and updates the iris image feature extraction network of each local platform based on the decrypted ternary loss function to obtain a new iris image Feature extraction network; obtain final iris image features through the new iris image feature extraction network.
- step S200 includes:
- Step S210 with N local iris image feature extraction networks, the inputted iris effective area image set is:
- N represents the iris effective area image
- the number of local iris effective area image sets is P
- m1 represents the number of samples in the local iris dataset D A
- m2 represents the number of samples in the local iris dataset D B
- mP represents the local iris dataset.
- the number of samples in the iris dataset DP ;
- the iris feature extraction network of the corresponding local platform is EF A , EF B , ... , EF P ; Represents the class label of the first sample in the local iris dataset D A ; the local iris feature set extracted by the iris feature extraction network of each local platform is:
- i, j and k are sample labels, Represents an iris image local iris features
- Step S220 randomly select an anchor point feature from each local iris feature set, randomly select a positive sample feature that is the same as the anchor point category based on the anchor point feature, and randomly select a negative sample feature that is different from the anchor point category, and set the anchor point feature.
- Point features, positive sample features and negative sample features form K groups of feature triples:
- Step S230 calculating a local triple loss L Tri based on each of the feature triples:
- (TA, TP, TN) represents the feature triplet
- ⁇ is the interval constraint between positive and negative samples, which is used to improve the discrimination of feature distribution.
- step S300 includes:
- the feature triplet is encrypted by a homomorphic encryption function to generate an encrypted local feature triplet, and the homomorphic encryption function is:
- h( ) represents a homomorphic encryption function
- the encrypted local feature triples are:
- the local ternary loss is encrypted by a homomorphic encryption function to generate an encrypted local ternary loss L Tri :
- step S400 includes:
- Step S410 based on the encrypted local iris feature, the third-party federated computing platform aggregates the local ternary loss to generate a global ternary loss matrix:
- L AA represents the ternary loss of feature set FA to feature set FA, passed
- Step S420 based on the encrypted feature triplet, calculate the Wasserstein weight matrix:
- Step S430 based on the global ternary loss matrix and the Wasserstein weight matrix, obtain the Wasserstein federated ternary loss function [[L WFT ]]:
- step S410 includes:
- Step S411 the third-party federated computing platform sends the local ternary loss to each local platform, and each local platform obtains the triple pair loss based on the local ternary loss:
- L AA represents the ternary loss of the feature set FA to the feature set FA , and the anchor point sample features of the feature set FA Positive sample features and the negative sample features of the feature set FA Calculated
- L AB represents the ternary loss of the feature set FA to the feature set FB , and the anchor point sample features of the feature set FA positive sample features and and the negative sample features of the feature set FB Calculated
- L AP represents the ternary loss of the feature set FA to the feature set FP , and the anchor point sample features of the feature set FA positive sample features and and the negative sample features of the feature set FP Calculated
- L BA represents the ternary loss of the feature set FB to the feature set FA , and the anchor point sample features of the feature set FB positive sample features and and the negative sample features of the feature set FA Calculated
- L BB represents the ternary loss of the feature set FB to the feature set FB , and the anchor sample features of the feature set FB are positive sample features and and the negative sample features of the feature set FB
- Step S412 Collect the triplet pair losses to generate a global triplet loss matrix.
- step S420 includes:
- Step S421 based on the encrypted feature triples, obtain the class centers of different iris classes by calculating the class average in the feature space:
- C A , C B and C P represent the feature centers of all categories in the feature space of each local iris dataset, and the number of centers is n1, n2, ... and nP, respectively, and r represents the variable of the summation function, Indicates that the face class is l;
- Step S422 perform homomorphic encryption based on the class feature center, and generate an encrypted class feature center:
- H represents homomorphic encryption
- q and s represent the variables of the summation function
- Step S423 transmitting the encryption category feature center to the third-party federal computing platform, and the third-party federal computing platform calculates the distance function d qs :
- Step S424 the third-party federated computing server calculates the distribution difference based on the distance function d ij , and forms a feature distribution difference matrix;
- EMD(A, B) is the difference of the class center distribution between the local iris feature set A and the local iris feature set B, and d ij represents the i-th class center of the local iris feature set A to the j-th class center of the local iris feature set B
- the distance to minimize the flow flow ij represents the minimum distance required for the local iris feature set A to migrate to B;
- W AA , W BB , ..., W PP are defined as 1, indicating the relationship of the data set to itself, after which all off-diagonal elements are normalized for longitudinal data.
- the iris image feature extraction network of each local platform is updated based on the decryption ternary loss function, and the parameters of the iris image feature extraction network of each local platform are updated by the method of gradient backpropagation until the loss function converges.
- an iris image feature learning system based on federated learning includes a local data preprocessing module, a local feature extraction module, a homomorphic encryption module, an information aggregation module, a federated computing module, a federated loss transfer module and local network update module;
- the local data preprocessing module is used for the iris image feature extraction network of each local platform to preprocess the local iris data set to generate a normalized iris image set and a corresponding iris effective area mask image set; transforming the iris image set and the corresponding iris effective area mask image set to generate an iris effective area image set; the preprocessing includes eye detection, iris segmentation and normalization;
- the local feature extraction module is used to obtain local iris features through the iris image feature extraction network of each local platform based on the iris effective area image set, and generate local feature triples based on the local iris features;
- the iris feature generates a local ternary loss;
- the homomorphic encryption module is used to perform homomorphic encryption on the local feature triplet and the local triplet loss, generate an encrypted local feature triplet and an encrypted local triplet loss; and transmit the local triplet loss to the A tripartite federated computing platform;
- Encrypt the federated computing module for the third-party federated computing platform to calculate the Wasserstein federation ternary loss function based on the encrypted local feature triplet and the encrypted local ternary loss;
- the meta-loss function is transmitted to each local platform;
- the local network update module is used for each local platform to decrypt the Wasserstein Federation ternary loss function, obtain a decrypted ternary loss function, and update the iris image feature extraction of each local platform based on the decrypted ternary loss function network.
- a storage device wherein a plurality of programs are stored, and the programs are adapted to be loaded and executed by a processor to implement the above-mentioned federated learning-based iris image feature extraction method.
- a processing device including a processor and a storage device; the processor is suitable for executing various programs; the storage device is suitable for storing multiple programs; the program is suitable for Loaded and executed by the processor to implement the above-mentioned federated learning-based iris image feature extraction method.
- the iris image feature extraction method based on federated learning of the present invention interacts the private iris image data sets of each local platform by means of homomorphic encryption, and calculates the ciphertext interaction information through an independent third-party federated computing platform, so that each The feature extraction network of the local platform can learn the iris data of other platforms under the condition of model privacy security and local data privacy security, obtain better feature extraction performance and better generalization ability, and the extracted features have better availability. Distinctive.
- the iris image feature extraction method based on federated learning of the present invention collects the ternary losses between each pair of local platforms through a third-party federated computing platform, and calculates the Wasserstein federation ternary loss, through the Wasserstein federation
- the ternary loss is used to train the feature extraction network of each local platform, and only the distribution of the feature space of other partners is learned. Therefore, the performance of each party is improved, and the individuality of each party's model is fully protected.
- the iris image feature extraction method based on federated learning of the present invention through the federated learning method, enables the iris image feature extraction networks of all parties to learn multi-party data from each other, and utilizes the distribution characteristics and laws of iris features from different sources in the feature space , to assist the training of its own model, so that the extracted features have better distinguishability, thereby improving the expression ability and recognition accuracy of the extracted features.
- the federated learning of the present invention adopts the method of feature combination to replace the commonly used gradient combination method, and applies the federated learning to the field of biometrics, thereby improving the accuracy of biometrics recognition.
- the present invention applies federated learning to the biological field.
- the biological features extracted by different feature extraction models are very different. Simply relying on stacking unlimited iris data cannot improve the recognition performance of the model, and even play a role in On the contrary, the present invention balances the differences in data scale, image quality and acquisition conditions between different models by setting the Wasserstein weight, so that each feature extraction model will benefit from the training data of other platforms.
- FIG. 1 is a schematic flowchart of an embodiment of an iris image feature extraction method based on federated learning of the present invention
- FIG. 2 is a schematic diagram of the principle of transmitting the characteristics of each local platform to the federated computing platform in an embodiment of the present invention, and then the federated computing platform distributes the information to each local platform;
- FIG. 3 is a schematic diagram of the principle of information transmission and processing in an embodiment of the present invention.
- a method for extracting iris image features based on federated learning of the present invention includes:
- Step S100 the iris image preprocessing network of each local platform preprocesses the local iris data set to generate a normalized iris image set and a corresponding iris effective area mask image set, and based on the normalized iris image set and the corresponding iris image set.
- the iris effective area mask image set generates the iris effective area image set;
- the preprocessing includes eye detection, iris segmentation and normalization;
- Step S200 based on the iris effective area image set, obtain local iris features through the iris image feature extraction network of each local platform, and generate local feature triples and local triple losses based on the local iris features;
- Step S300 performing homomorphic encryption on the local feature triplet and the local triplet loss to generate an encrypted local feature triplet and an encrypted local triplet loss;
- Step S400 the third-party federated computing platform calculates the Wasserstein federation ternary loss function based on the encrypted local feature triplet and the encrypted local ternary loss;
- Step S500 each local platform decrypts the Wasserstein Federation ternary loss function to obtain a decrypted ternary loss function, and updates the iris image feature extraction network of each local platform based on the decrypted ternary loss function to obtain a new iris image Feature extraction network; obtain final iris image features through the new iris image feature extraction network.
- the third party received by each partner during the cooperation process is a scalar loss with a sharp drop in information entropy, and it is almost impossible to recover enough original or similar data through generation methods.
- the invention establishes a privacy protection and multi-party cooperation iris recognition model joint training and feature learning framework, based on different data sets.
- the basic principle that the distribution tends to be similar in the feature space, that is, the samples of the same category in the feature space are close to each other, and the samples of different categories are far away.
- the iris features of each party after the three-party interactive homomorphic encryption these iris features not only come from different iris feature extraction models, but also the extracted samples come from different original biological individuals privately owned by multiple parties. These different biological individuals contain differences in race, gender, and age.
- the iris joint training and feature learning method under privacy protection and multi-party cooperation proposed by the present invention can improve the recognition accuracy of the feature extraction models of all parties on the basis of fully ensuring the security of the original data and the security of the respective models. gender and individuality
- the method for extracting iris image features based on federated learning includes steps S100 to S500, and each step is described in detail as follows:
- Step S100 the iris image preprocessing network of each local platform preprocesses the local iris data set to generate a normalized iris image set and a corresponding iris effective area mask image set, and based on the normalized iris image set and the corresponding iris image set.
- the iris effective area mask image set generates the iris effective area image set;
- the preprocessing includes eye detection, iris segmentation and normalization;
- Step S200 based on the iris effective area image set, obtain local iris features through the iris image feature extraction network of each local platform, and generate local feature triples and local triple losses based on the local iris features;
- the iris image feature extraction network in this embodiment can extract iris features from the normalized iris image and map them into the feature space where it is located. Since the federated iris training framework proposed by the present invention needs to perform interactive learning in the feature space, so The iris data of all partners is uniformly mapped to the same feature space, and all extracted iris features have the same dimension.
- step S200 includes:
- Step S210 there are P local iris image feature extraction networks, then the input iris effective area image set is:
- N represents the iris effective area image
- m1 represents the number of samples in the local iris dataset D A
- m2 represents the number of samples in the local iris dataset D B
- mP represents the number of samples in the local iris dataset D P ;
- the iris feature extraction network of the corresponding local platform is EF A , EF B , ... , EF P ; Represents the class label of the first sample in the local iris dataset D A ; the local iris feature set extracted by the iris feature extraction network of each local platform is:
- i, j and k are sample labels, Represents an iris image local iris features
- Step S220 randomly select an anchor point feature from each local iris feature set, randomly select a positive sample feature that is the same as the anchor point category based on the anchor point feature, and randomly select a negative sample feature that is different from the anchor point category, and set the anchor point feature.
- Point features, positive sample features and negative sample features form K groups of feature triples:
- K triplet pairs are randomly selected in each feature set.
- the number of triplet pairs K is much larger than the maximum sample size.
- the selection of enough triplet pairs can cover enough feature pair combinations and fully learn, so that the same features in the feature space can be brought closer and the same features can be pulled away.
- all the different triplet pairs here are applicable to the selection method, and only the random selection combination is used to illustrate the method, but the proposed federated iris training framework includes but is not limited to the random combination triplet selection method.
- Step S230 calculating a local triple loss L Tri based on each of the feature triples:
- (TA, TP, TN) represents the feature triplet
- ⁇ is the interval constraint between positive and negative samples, which is used to improve the discrimination of feature distribution.
- Step S300 performing homomorphic encryption on the local feature triplet and the local triplet loss to generate an encrypted local feature triplet and an encrypted local triplet loss;
- step S300 includes:
- the feature triplet is encrypted by a homomorphic encryption function to generate an encrypted local feature triplet, and the homomorphic encryption function is:
- the encrypted local feature triples are:
- the local ternary loss is encrypted by a homomorphic encryption function to generate an encrypted local ternary loss L Tri :
- Step S400 the third-party federation computing platform calculates the Wasserstein federation ternary loss function based on the encrypted local feature triplet and the encrypted local ternary loss;
- the Wasserstein distance is introduced to measure the difference between different distributions. distribution differences.
- the Wasserstein distance calculation formula can be expressed as:
- step S400 includes step S410-step S430;
- Step S410 based on the encrypted local iris feature, the third-party federated computing platform aggregates the local ternary loss to generate a global ternary loss matrix:
- L AA represents the ternary loss of feature set FA to feature set FA, passed
- step S410 includes step S411-step S412:
- Step S411 the third-party federated computing platform sends the local ternary loss to each local platform, and each local platform obtains the triple pair loss based on the local ternary loss:
- L AA represents the ternary loss of the feature set FA to the feature set FA , and the anchor point sample features of the feature set FA Positive sample features and the negative sample features of the feature set FA Calculated
- L AB represents the ternary loss of the feature set FA to the feature set FB , and the anchor point sample features of the feature set FA positive sample features and and the negative sample features of the feature set FB Calculated
- L AP represents the ternary loss of the feature set FA to the feature set FP , and the anchor point sample features of the feature set FA positive sample features and and the negative sample features of the feature set FP Calculated
- L BA represents the ternary loss of the feature set FB to the feature set FA , and the anchor point sample features of the feature set FB positive sample features and and the negative sample features of the feature set FA Calculated
- L BB represents the ternary loss of the feature set FB to the feature set FB , and the anchor sample features of the feature set FB are positive sample features and and the negative sample features of the feature set FB
- Step S412 collecting the triplet pair losses to generate a global triplet loss matrix.
- Step S420 based on the encrypted feature triplet, calculate the Wasserstein weight matrix:
- step S420 includes step S421-step S425;
- Step S421 based on the encrypted feature triples, obtain the class centers of different iris classes by calculating the class average in the feature space:
- C A , C B and C P represent the feature centers of all categories in the feature space of each local iris dataset, and the number of centers is n1, n2, ... and nP, respectively, and r represents the variable of the summation function, Indicates that the face class is l;
- Step S422 perform homomorphic encryption based on the category feature center, and generate an encrypted category feature center:
- H represents homomorphic encryption
- q and s represent the variables of the summation function
- Step S423 transmitting the encryption category feature center to the third-party federal computing platform, and the third-party federal computing platform calculates the distance function d qs :
- Step S424 the third-party federated computing server calculates the distribution difference based on the distance function d ij , and forms a feature distribution difference matrix;
- EMD(A, B) is the distribution difference of the class centers between the local iris feature set A and the local iris feature set B, and d ij represents the i-th class center of the local iris feature set A to the j-th class center of the local iris feature set B
- the distance to minimize the flow flow ij represents the minimum distance required for the local iris feature set A to migrate to B;
- W AA , W BB , ..., W PP are defined as 1, indicating the relationship of the data set to itself, after which all off-diagonal elements are normalized for longitudinal data.
- Step S430 based on the global ternary loss matrix and the Wasserstein weight matrix, obtain the Wasserstein federated ternary loss function [[L WFT ]]:
- Step S500 each local platform decrypts the Wasserstein Federation ternary loss function to obtain a decrypted ternary loss function, and updates the iris image feature extraction network of each local platform based on the decrypted ternary loss function to obtain a new iris image Feature extraction network; obtain final iris image features through the new iris image feature extraction network.
- the iris image feature extraction network of each local platform is updated based on the decryption ternary loss function, and the parameters of the iris image feature extraction network of each local platform are updated by gradient backpropagation until the loss function converges.
- the federated learning-based iris image feature learning system includes a local data preprocessing module, a local feature extraction module, a homomorphic encryption module, an information aggregation module, a federated computing module, a federated loss transmission module, and a Local network update module;
- the local data preprocessing module is used for the iris image feature extraction network of each local platform to preprocess the local iris data set to generate a normalized iris image set and a corresponding iris effective area mask image set; transforming the iris image set and the corresponding iris effective area mask image set to generate an iris effective area image set; the preprocessing includes eye detection, iris segmentation and normalization;
- the local feature extraction module is used to obtain local iris features through the iris image feature extraction network of each local platform based on the iris effective area image set, and generate local feature triples based on the local iris features;
- the iris feature generates a local ternary loss;
- the homomorphic encryption module is used to perform homomorphic encryption on the local feature triplet and the local triplet loss, generate an encrypted local feature triplet and an encrypted local triplet loss; and transmit the local triplet loss to the A tripartite federated computing platform;
- Encrypt the federated computing module for the third-party federated computing platform to calculate the Wasserstein federation ternary loss function based on the encrypted local feature triplet and the encrypted local ternary loss;
- the meta-loss function is transmitted to each local platform;
- the local network update module is used for each local platform to decrypt the Wasserstein Federation ternary loss function, obtain a decrypted ternary loss function, and update the iris image feature extraction of each local platform based on the decrypted ternary loss function network.
- the iris image feature extraction system based on federated learning provided by the above-mentioned embodiments is only illustrated by the division of the above-mentioned functional modules. In practical applications, the above-mentioned functions can be allocated to different functional modules as required. To complete, that is, the modules or steps in the embodiments of the present invention are decomposed or combined. For example, the modules in the above embodiments can be combined into one module, or can be further split into multiple sub-modules to complete all or part of the functions described above. .
- the names of the modules and steps involved in the embodiments of the present invention are only for distinguishing each module or step, and should not be regarded as an improper limitation of the present invention.
- a storage device stores a plurality of programs, and the programs are adapted to be loaded and executed by a processor to implement the above-mentioned federated learning-based iris image feature extraction method.
- a processing device includes a processor and a storage device; the processor is adapted to execute various programs; the storage device is adapted to store multiple programs; the programs are adapted to be loaded and executed by the processor In order to realize the above-mentioned iris image feature extraction method based on federated learning.
Abstract
一种基于联邦学习的虹膜图像特征提取方法、系统和装置，旨在解决现有的虹膜特征提取模型无法兼顾隐私保护和多方合作，且单纯地堆叠虹膜数据进行模型训练无法提升模型的识别性能的问题。该方法通过获取本地虹膜数据集的本地虹膜特征，进而生成本地特征三元组和本地三元损失，于第三方计算瓦瑟斯坦联邦三元损失函数，根据瓦瑟斯坦联邦三元损失函数更新本地平台的虹膜图像特征提取网络并用新的虹膜图像特征提取网络提取新虹膜图像特征。该方法利用不同来源的虹膜特征在特征空间中的分布特性和规律，辅助自身模型训练，使得抽取出的特征具备更好的可区分性，从而提升各个合作方的虹膜特征表达能力和识别准确性。
Description
本发明属于图像识别，具体涉及了一种基于联邦学习的虹膜图像特征提取方法、系统和装置。
虹膜作为一种准确性高且安全性好的生物特征，正在广泛的应用于各种身份识别和安全控制场景，随着各国对于生物特征这种关乎生命财产安全的高度隐私数据的保护法规愈发严格后，构建大规模虹膜数据中心进行堆叠训练的方式趋于不可行，因此建立基于隐私保护和多方合作的联邦虹膜识别模型训练和特征学习框架势在必行。联邦学习可以联合多方数据进行训练，对于安全性和隐私性要求较高的场合更加适用。另一方面，联邦虹膜识别模型训练和特征学习框架可以联合多个虹膜数据库和各种虹膜识别神经网络协同学习，充分平衡各方识别性能和泛化能力，凸显各个模型和数据分布所具有的个异性。同时，通过第三方计算平台对同态加密后的多方特征进行交互学习，在严格保密条件下充分提升各方模型抽取特征在特征空间的可区分性，从而获得更高的虹膜识别准确性。
现有技术中，通过收集多个虹膜数据集，不考虑数据安全和隐私保护的前提下，建立单一数据中心，将全部数据直接堆叠混合在一起，送入深度神经网络等模型进行特征学习的训练方式。
基于深度学习框架的虹膜识别模型通常需要海量的虹膜样本进行学习，但是构建大规模虹膜数据中心存在安全性隐患和隐私保护的限制，因为作为高度隐私的生物特征原始数据一旦泄露将是不可逆的，但是缺 乏大量训练数据的虹膜识别模型在实际应用中的泛化能力和边际效果将大幅下降，因此建立联合多方的数据去中心化的虹膜识别模型训练和特征学习的框架尤为重要。另外目前的大多数虹膜数据集之间由于采集规则，采集设备、采集环境、数据规模、图片质量等方面存在着明显的差异，不同的虹膜数据库分布显著不同，单纯的依赖于堆叠无限制的虹膜数据并不能持续提升模型的识别性能，甚至会起到反作用。目前，缺乏一种兼顾隐私保护和多方合作的虹膜识别模型训练和特征学习框架，以充分挖掘出多方数据的潜能和深层价值，使得各个合作方的识别模型都能受益于他方数据集的空间分布和模型特征表达能力，从而进一步提升自身的识别能力和泛化能力。
发明内容
为了解决现有技术中的上述问题，即如何在保护隐私的基础上，使虹膜特征提取网络学习多个其他平台的虹膜特征数据，同时还保留各合作方的个异性，提高虹膜识别的准确性提高模型的识别性能，本发明提供了一种基于联邦学习的虹膜图像特征提取方法方法，所述方法包括：
步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
进一步地，步骤S200包括：
步骤S210，设有N个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：
其中，N表示虹膜有效区域图像，本地虹膜有效区域图像集的个数为P，m1表示本地虹膜数据集D
A中的样本数目，m2表示本地虹膜数据集D
B中的样本数目，mP表示本地虹膜数据集D
P中的样本数目；
每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
对应的本地平台的虹膜特征提取网络为EF
A，EF
B，……，EF
P；
表示本地虹膜数据集D
A中的第1个样本的类别标签；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
其中，i、j和k为样本标号，
表示虹膜图像
的本地虹膜特征；
步骤S220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成K组特征三元组：
其中，
表示本地虹膜特征F
A中的特征集中的锚点特征，
表示本地虹膜特征F
A中与锚点同类别的正样本特征，
表示本地虹膜特征F
A中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
每个本地特征三元组满足：
s.t.
a，b，c∈1，2，......，m1
步骤S230，基于每个所述特征三元组计算本地三元损失L
Tri：
其中，(TA，TP，TN)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。
进一步地，步骤S300包括：
通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：
h(·)＝[[·]]
其中，Ω和
表示加密对象，h(·)表示同态加密函数；
所述加密本地特征三元组为：
通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失L
Tri：
进一步地，步骤S400包括：
步骤S410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
其中，L
AA表示特征集F
A对特征集F
A的三元损失，通过；
步骤S420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
步骤S430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[L
WFT]]：
[[L
WFT]]＝∑
i∈{A，B，......，P}∑
j∈{A，B，......，P}[[W
ij]]*[[L
ij]]＝[[W
AA]][[L
AA]]+[[W
AB]][[L
AB]]+…+[[W
AP]][[L
AP]]+[[W
BA]][[L
BA]]+[[W
BB]][[L
BB]]+…+[[W
BP]][[L
BP]]+…+[[W
PA]][[L
PA]]+[[W
PB]][[L
PB]]+…+[[W
PP]][[L
PP]]。
进一步地，所述步骤S410包括：
步骤S411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地平台基于所述本地三元损失，获取三元组对损失：
…
…
…
…
其中，L
AA表示特征集F
A对特征集F
A的三元损失，由特征集F
A的锚点样本特征
正样本特征
和特征集F
A的负样本特征
计算得到；L
AB表示特征集F
A对特征集F
B的三元损失，由特征集F
A的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
AP表示特征集F
A对特征集F
P的三元损失，由特征集F
A的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；L
BA表示特征集F
B对特征集F
A的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
A的负样本特征
计算得到；L
BB表示特征集F
B对特征集F
B的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
BP表示特征集F
B对特征集F
P的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；L
PA表示特征集F
P对特征集F
A的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
A的负样本特征
计算得到；L
PB表示特征集F
P对特征集F
B的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
PP表示特征集F
P对特征集F
P的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；
步骤S412，汇集所述三元组对损失，生成全局三元损失矩阵。
进一步地，步骤S420包括：
步骤S421，基于所述加密的特征三元组，在特征空间中通过类平均的计算获取不同虹膜类别的类别中心：
其中，C
A、C
B和C
P表示各本地虹膜数据集在特征空间中所有类别的特征中心，中心个数分别是n1、n2、……和nP，r表示求和函数的变量，
表示人脸类别为l；
步骤S422，基于所述类别特征中心进行同态加密，生成加密类别特征中心：
其中，H表示进行同态加密，
表示L2范数,q和s表示求和函数的变量；
步骤S423，将所述加密类别特征中心传输至第三方联邦计算平台，第三方联邦计算平台计算距离函数d
qs：
步骤S424，第三方联邦计算服务器基于所述距离函数d
ij，计算分布差异，并组成特征分布差异矩阵；
所述特征分布差异为：
其中，EMD(A，B)为本地虹膜特征集A和本地虹膜特征集B 的类别中心分布差异，d
ij表示本地虹膜特征集A第i个类别中心到本地虹膜特征集B第j个类别中心的距离，最小化流量flow
ij表示本地虹膜特征集A迁移到B所需要的最小距离；
步骤S425，基于所述特征分布差异矩阵，增加平衡系数，获取瓦瑟斯坦权重矩阵W：
其中，
和
为平衡系数，W
AA、W
BB、……、W
PP定义为1，表示数据集对自身的关系，之后将所有非对角线元素进行纵向数据的归一化。
进一步地，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，通过梯度反传的方法更新各本地平台的虹膜图像特征提取网络的参数直至损失函数收敛。
本发明的另一方面，提出了一种基于联邦学习的虹膜图像特征学习系统，所述系统包括本地数据预处理模块、本地特征提取模块、同态加密模块、信息汇总模块、联邦计算模块、联邦损失传输模块和本地网络更新模块；
所述本地数据预处理模块，用于各本地平台的虹膜图像特征提取网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集；基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
所述本地特征提取模块，用于基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组；基于所述本地虹膜特征生成本地三元损失；
所述同态加密模块，用于对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；并将本地三元损失传输至第三方联邦计算平台；
加密所述联邦计算模块，用于所述第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；并将所述瓦瑟斯坦联邦三元损失函数传输至各本地平台；
所述本地网络更新模块，用于各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
本发明的有益效果：
(1)本发明基于联邦学习的虹膜图像特征提取方法，通过同态加密的方式交互各本地平台的私有的虹膜图像数据集，并通过独立的第三方联邦计算平台计算密文交互信息，使得各本地平台的特征提取网络能够在模型隐私安全和本地数据隐私安全的情况下学习其他平台的虹膜数据，获得更好的特征提取性能获得更好的泛化能力，提取到的特征有更好的可区分性。
(2)本发明基于联邦学习的虹膜图像特征提取方法，通过第三方联邦计算平台来汇集各个本地平台对之间的三元损失，并计算出瓦瑟斯坦联邦三元损失，通过瓦瑟斯坦联邦三元损失来训练各本地平台的特征提取网络，仅学习其他合作方特征空间的分布，因此各方提升了性能的同时，又充分保护了各方模型的个异性。
(3)本发明基于联邦学习的虹膜图像特征提取方法，通过联邦学习的方法，使各方的虹膜图像特征提取网络相互学习多方数据，利用不同来源的虹膜特征在特征空间中的分布特性和规律，辅助自身模型训练，使得抽取出的特征具备更好的可区分性，从而提高提取出的特征的表达能力和识别准确性。
(4)本发明的联邦学习，采用特征联合的方式替代常用的gradient联合的方式，将联邦学习运用到生物识别领域，提高了对生物特征识别的准确性。
(5)本发明将联邦学习运用到生物领域中，不同的特征提取模型提取的生物特征具备很大的差异性，单纯依赖于堆叠无限制的虹膜数据并不能提高模型的识别性能，甚至起到反作用，本发明通过设置瓦瑟斯坦权重平衡不同模型由于数据规模、图像质量和采集条件的差异，使得每个特征提取模型都会受益于其他平台的训练数据。
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于联邦学习的虹膜图像特征提取方法实施例的流程示意图；
图2是本发明实施例中将各本地平台的特征传输至联邦计算平台，联邦计算平台再将信息分发至各本地平台的原理示意图；
图3是本发明实施例中信息传递和处理的原理示意图。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于联邦学习的虹膜图像特征提取方法，所述方法包括：
步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
各合作方在合作过程中接收的第三方传来的都是信息熵大幅下降的标量损失，几乎无法通过生成方法恢复出足以原始或相似数据
本发明针对目前虹膜实际训练中数据安全保护不足，各方数据共享困难，联合学习能力匮乏等问题，建立隐私保护和多方合作的虹膜识别模型联合训练和特征学习框架，基于不同数据集面对相同识别任务时，在特征空间中趋于相近分布的基本原理，即特征空间中同类别样本分布接近，不同类别样本远离，提出了基于沃瑟斯坦特征分布差异加权的联邦三元损失，通过独立第三方交互同态加密后的各方虹膜特征，这些虹膜特征不仅来自于不同的虹膜特征抽取模型，且被抽取的样本来自于多方私有的不同的原始生物个体。这些不同的生物个体包含着不同人种，性别，年龄的差异，在联邦虹膜识别训练和特征学习过程中，各方模型可以广泛地学习不同来源的虹膜特征分布，从而获取更好的泛化性；在另一方面，整个训练过程中原始数据从未离开己方，模型参数各方保密，唯一传递的加密特征对于第三方而言无法解密获取有效信息，回传给各方的信息是计算好的标量损失，信息熵大幅减少，各合作方无法通过生成的方法恢复出足以导致泄露的原始或相似数据，从而联邦虹膜训练框架充分保障了数据安全，模型安全和特征安全。由于仅学习其他合作方特征空间的分布，因此各方提升了性能的同时，又充分保护了 各方模型的个异性。综上所述，本发明提出的隐私保护和多方合作下的虹膜联合训练和特征学习方法，在充分保证原始数据安全，各自模型安全的基础上能够提升各方特征提取模型的识别准确性，泛化性和个异性
为了更清晰地对本发明基于联邦学习的虹膜图像特征提取方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明一种实施例的基于联邦学习的虹膜图像特征提取方法，包括步骤S100-步骤S500，各步骤详细描述如下：
步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
本实施例的虹膜图像特征提取网络可以从归一化的虹膜图像中抽取虹膜特征，将其映射到所在的特征空间中，由于本发明提出的联邦虹膜训练框架需要在特征空间进行交互学习，因此所有合作方的虹膜数据被统一映射到相同的特征空间，所有抽取的虹膜特征为相同的维度。
在本实施例中，步骤S200包括：
步骤S210，设有P个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：
其中，N表示虹膜有效区域图像，m1表示本地虹膜数据集D
A中的样本数目，m2表示本地虹膜数据集D
B中的样本数目，mP表示本地虹膜数据集D
P中的样本数目；
每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
对应的本地平台的虹膜特征提取网络为EF
A，EF
B，......，EF
P；
表示本地虹膜数据集D
A中的第1个样本的类别标签；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
其中，i、j和k为样本标号，
表示虹膜图像
的本地虹膜特征；
步骤S220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成K组特征三元组：
其中，
表示本地虹膜特征F
A中的特征集中的锚点特征，
表示本地虹膜特征F
A中与锚点同类别的正样本特征，
表示本地虹膜特征F
A中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
在每个特征集中分别随机选取K个三元组对，为了保证模型训练的准确性，三元组对数目K远远大于样本规模最大值。足够多的三元组对选取才能涵盖足够多的特征对组合，得以充分学习，使得特征空间的同类特征得以靠近而不同类特征得以拉远。理论上这里所有不同的三元组对选择方法都适用，在此仅用随机选取组合用于说明方法，但提出的联邦虹膜训练框架包含但不仅限于随机组合的三元组选取方式。
每个本地特征三元组满足：
s.t.
a，b，c∈1，2，......，m1
步骤S230，基于每个所述特征三元组计算本地三元损失L
Tri：
其中，(TA，TP，TN)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。
步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
在本实施例中，步骤S300包括：
通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：
H(·)＝[[·]]
其中，Ω和
表示加密对象，H(·)表示同态加密函数；
所述加密本地特征三元组为：
通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失L
Tri：
步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
为了平衡由于不同虹膜数据集之间由于数据规模、图像质量、采集条件等差异过大可能导致识别性能下降泛化性能变差等负面影响， 引入瓦瑟斯坦距离Wasserstein distance用于衡量不同分布之间的分布差异。
Wasserstein distance计算公式可以表示为：
在本实施例中，步骤S400包括步骤S410-步骤S430；
步骤S410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
其中，L
AA表示特征集F
A对特征集F
A的三元损失，通过；
在本实施例中，步骤S410包括步骤S411-步骤S412：
步骤S411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地平台基于所述本地三元损失，获取三元组对损失：
…
…
…
…
其中，L
AA表示特征集F
A对特征集F
A的三元损失，由特征集F
A的锚点样本特征
正样本特征
和特征集F
A的负样本特征
计算得到；L
AB表示特征集F
A对特征集F
B的三元损失，由特征集F
A的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
AP表示特征集F
A对特征集F
P的三元损失，由特征集F
A的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；L
BA表示特征集F
B对特征集F
A的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
A的负样本特征
计算得到；L
BB表示特征集F
B对特征集F
B的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
BP表示特征集F
B对特征集F
P的三元损失，由特征集F
B的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；L
PA表示特征集F
P对特征集F
A的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
A的负样本特征
计算得到；L
PB表示特征集F
P对特征集F
B的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
B的负样本特征
计算得到；L
PP表示特征集F
P对特征集F
P的三元损失，由特征集F
P的锚点样本特征
正样本特征和
和特征集F
P的负样本特征
计算得到；
步骤S412，汇集所述三元组对损失，生成全局三元损失矩阵。
步骤S420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
在本实施例中，步骤S420包括步骤S421-步骤S425；
步骤S421，基于所述加密的特征三元组，在特征空间中通过类平均的计算获取不同虹膜类别的类别中心：
l∈1，2，......，nP
其中，C
A、C
B和C
P表示各本地虹膜数据集在特征空间中所有类别的特征中心，中心个数分别是n1、n2、……和nP，r表示求和函数的变量，
表示人脸类别为l；
步骤S422，基于所述类别特征中心进行同态加密，生成加密类别特征中心：
其中，H表示进行同态加密，
表示L2范数,q和s表示求和函数的变量；
步骤S423，将所述加密类别特征中心传输至第三方联邦计算平台，第三方联邦计算平台计算距离函数d
qs：
步骤S424，第三方联邦计算服务器基于所述距离函数d
ij，计算分布差异，并组成特征分布差异矩阵；
所述特征分布差异为：
其中，EMD(A，B)为本地虹膜特征集A和本地虹膜特征集B的类别中心分布差异，d
ij表示本地虹膜特征集A第i个类别中心到本地虹膜特征集B第j个类别中心的距离，最小化流量flow
ij表示本地虹膜特征集 A迁移到B所需要的最小距离；
步骤S425，基于所述特征分布差异矩阵，增加平衡系数，获取瓦瑟斯坦权重矩阵W：
其中，
和
为平衡系数，W
AA、W
BB、……、W
PP定义为1，表示数据集对自身的关系，之后将所有非对角线元素进行纵向数据的归一化。
步骤S430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[L
WFT]]：
[[L
WFT]]＝∑
i∈{A，B，......，P}∑
j∈{A，B，......，P}[[W
ij]]*[[L
ij]]＝[[W
AA]][[L
AA]]+[[W
AB]][[L
AB]]+…+[[W
AP]][[L
AP]]+[[W
BA]][[L
BA]]+[[W
BB]][[L
BB]]+…+[[W
BP]][[L
BP]]+…+[[W
PA]][[L
PA]]+[[W
PB]][[L
PB]]+…+[[W
PP]][[L
PP]]。
步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
在本实施例中，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，通过梯度反传的方法更新各本地平台的虹膜图像特征提取网络的参数直至损失函数收敛。
本发明第二实施例的基于联邦学习的虹膜图像特征学习系统，所述系统包括本地数据预处理模块、本地特征提取模块、同态加密模块、信息汇总模块、联邦计算模块、联邦损失传输模块和本地网络更新模块；
所述本地数据预处理模块，用于各本地平台的虹膜图像特征提取网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集；基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；
所述本地特征提取模块，用于基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组；基于所述本地虹膜特征生成本地三元损失；
所述同态加密模块，用于对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；并将本地三元损失传输至第三方联邦计算平台；
加密所述联邦计算模块，用于所述第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；并将所述瓦瑟斯坦联邦三元损失函数传输至各本地平台；
所述本地网络更新模块，用于各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于联邦学习的虹膜图像特征提取系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于联邦学习的虹膜图像特征提取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的 可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
- 一种基于联邦学习的虹膜图像特征提取方法，其特征在于，所述方法包括：步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
- 根据权利要求1所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S200包括：步骤S210，设有P个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：
其中，N表示虹膜有效区域图像m1表示本地虹膜数据集D A中的样本数目，m2表示本地虹膜数据集D B中的样本数目，mP表示本地虹膜数据集D P中的样本数目；每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
对应的本地平台的虹膜特征提取网络为EF A，EF B，......，EF P；表示本地虹膜数据集D A中的第1个样本的类别标签，
时表示虹膜有效区域的类别为i；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
其中，i、j和k为样本标号，表示虹膜图像
的本地虹膜特征；
步骤S220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成K组特征三元组：
其中，表示本地虹膜特征F A中锚点的特征，
表示在本地虹膜特征集F A中与锚点同类别的正样本特征，
表示本地虹膜特征F A中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
表示本地虹膜特征
中的特征集中的锚点特征，
表示本地虹膜特征
中与锚点同类别的正样本特征，
表示本地虹膜特征
中与锚点类别不同的负样本特征；
每个本地特征三元组满足：
步骤S230，基于每个所述特征三元组计算本地三元损失L Tri：
其中，(TA，TP，TN)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。 - 根据权利要求2所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S300包括：通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：H(·)＝[[·]]
其中，Ω和表示加密对象，H(·)表示同态加密函数；
所述加密本地特征三元组为：
通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失L Tri：
- 根据权利要求3所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S400包括：步骤S410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
其中，L AA表示特征集F A对特征集F A的三元损失，通过；步骤S420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
步骤S430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[L WFT]]：
- 根据权利要求4所述的基于联邦学习的虹膜图像特征提取方法，所述步骤S410包括：步骤S411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地平台基于所述本地三元损失，获取三元组对损失：
其中，L AA表示特征集F A对特征集F A的三元损失，由特征集F A的锚点样本特征正样本特征
和特征集F A的负样本特征
计算得到；L AB表示特征集F A对特征集F B的三元损失，由特征集F A的锚点样本特征
正样本特征和
和特征集F B的负样本特征
计算得到；L AP表示特征集F A对特征集F P的三元损失，由特征集F A的锚点样本特征
正样本特征和
和特征集F P的负样本特征
计算得到；L BA表示特征集F B对特征集F A的三元损失，由特征集F B的锚点样本特征
正样本特征和
和特征集F A的负样本特征
计算得到；L BB表示特征集F B对特征集F B的三元损失，由特征集F B的锚点样本特征
正样本特征和
和特征集F B的负样本特征
计算得到；L BP表示特征集F B对特征集F P的三元损失，由特征集F B的锚点样本特征
正样本特征和
和特征集F P 的负样本特征
计算得到；L PA表示特征集F P对特征集F A的三元损失，由特征集F P的锚点样本特征
正样本特征和
和特征集F A的负样本特征
计算得到；L PB表示特征集F P对特征集F B的三元损失，由特征集F P的锚点样本特征
正样本特征和
和特征集F B的负样本特征
计算得到；L PP表示特征集F P对特征集F P的三元损失，由特征集F P的锚点样本特征
正样本特征和
和特征集F P的负样本特征
计算得到；
步骤S412，汇集所述三元组对损失，生成全局三元损失矩阵。 - 根据权利要求4所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S420包括：步骤S421，基于所述加密的特征三元组，在特征空间中通过类平均的计算获取不同虹膜类别的类别中心：
其中，C A、C B和C P表示各本地虹膜数据集在特征空间中所有类别的特征中心，中心个数分别是n1、n2、……和nP，r表示求和函数的变量，表示人脸类别为l；
步骤S422，基于所述类别特征中心进行同态加密，生成加密类别特征中心：
其中，H表示进行同态加密，表示L2范数,q和s表示求和函数的变量；
步骤S423，将所述加密类别特征中心传输至第三方联邦计算平台，第三方联邦计算平台计算距离函数d qs：
步骤S424，第三方联邦计算服务器基于所述距离函数d ij，计算分布差异，并组成特征分布差异矩阵；所述特征分布差异为：
其中，EMD(A，B)为本地虹膜特征集A和本地虹膜特征集B的类别中心分布差异，d qs表示本地虹膜特征集A第q个类别中心到本地虹膜特征集B第s个类别中心的距离，最小化流量flow qs表示本地虹膜特征集A迁移到B所需要的最小距离；步骤S425，基于所述特征分布差异矩阵，增加平衡系数，获取瓦瑟斯坦权重矩阵W：
其中，和
为平衡系数，W AA、W BB、……、W PP定义为1，表示数据集对自身的关系，之后将所有非对角线元素进行纵向数据的归一化。
- 根据权利要求1所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，通过梯度反传的方法更新各本地平台的虹膜图像特征提取网络的参数直至损失函数收敛。
- 一种基于联邦学习的虹膜图像特征学习系统，其特征在于，所述系统包括：本地数据预处理模块、本地特征提取模块、同态加密模块、信息汇总模块、联邦计算模块、联邦损失传输模块和本地网络更新模块；所述本地数据预处理模块，用于各本地平台的虹膜图像特征提取网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集；基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分 割和归一化；所述本地特征提取模块，用于基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组；基于所述本地虹膜特征生成本地三元损失；所述同态加密模块，用于对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；并将本地三元损失传输至第三方联邦计算平台；加密所述联邦计算模块，用于所述第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；并将所述瓦瑟斯坦联邦三元损失函数传输至各本地平台；所述本地网络更新模块，用于各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络。
- 一种存储装置，其中存储有多条程序，其特征在于，所述程序用于由处理器加载并执行以实现权利要求1-7任一项所述的基于联邦学习的虹膜图像特征提取方法。
- 一种处理装置，包括处理器，用于执行各条程序，其特征在于，所述程序由处理器加载并执行以实现权利要求1-7任一项基于联邦学习的虹膜图像特征提取方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581741.5 | 2020-12-28 | ||
| CN202011581741.5A CN112668472B (zh) | 2020-12-28 | 2020-12-28 | 基于联邦学习的虹膜图像特征提取方法、系统和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022142060A1 true WO2022142060A1 (zh) | 2022-07-07 |
Family
ID=75411030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/092794 WO2022142060A1 (zh) | 2020-12-28 | 2021-05-10 | 基于联邦学习的虹膜图像特征提取方法、系统和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112668472B (zh) |
| WO (1) | WO2022142060A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152567A (zh) * | 2023-10-31 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 特征提取网络的训练方法、分类方法、装置及电子设备 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668472B (zh) * | 2020-12-28 | 2021-08-31 | 中国科学院自动化研究所 | 基于联邦学习的虹膜图像特征提取方法、系统和装置 |
| CN113420888B (zh) * | 2021-06-03 | 2023-07-14 | 中国石油大学(华东) | 一种基于泛化域自适应的无监督联邦学习方法 |
| CN113792632A (zh) * | 2021-09-02 | 2021-12-14 | 广州广电运通金融电子股份有限公司 | 基于多方合作的指静脉识别方法、系统和存储介质 |
| CN116383771B (zh) * | 2023-06-06 | 2023-10-27 | 云南电网有限责任公司信息中心 | 基于变分自编码模型的网络异常入侵检测方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815850A (zh) * | 2019-01-02 | 2019-05-28 | 中国科学院自动化研究所 | 基于深度学习的虹膜图像分割及定位方法、系统、装置 |
| CN112668472A (zh) * | 2020-12-28 | 2021-04-16 | 中国科学院自动化研究所 | 基于联邦学习的虹膜图像特征提取方法、系统和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330395B (zh) * | 2017-06-27 | 2018-11-09 | 中国矿业大学 | 一种基于卷积神经网络的虹膜图像加密方法 |
| US11710300B2 (en) * | 2017-11-06 | 2023-07-25 | Google Llc | Computing systems with modularized infrastructure for training generative adversarial networks |
| CN107819587B (zh) * | 2017-12-13 | 2020-08-11 | 陈智罡 | 基于全同态加密的认证方法和用户设备以及认证服务器 |
| US11403521B2 (en) * | 2018-06-22 | 2022-08-02 | Insilico Medicine Ip Limited | Mutual information adversarial autoencoder |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN111181712A (zh) * | 2018-11-09 | 2020-05-19 | 刘要秀 | 一种同态加密生物特征的身份认证方法 |
| US10658005B1 (en) * | 2019-08-19 | 2020-05-19 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| US10803646B1 (en) * | 2019-08-19 | 2020-10-13 | Neon Evolution Inc. | Methods and systems for image and voice processing |
| CN110636493B (zh) * | 2019-10-28 | 2024-02-02 | 深圳传音控股股份有限公司 | 虚拟sim卡的信息备份方法、装置、设备及存储介质 |
| CN111401277A (zh) * | 2020-03-20 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 人脸识别模型更新方法、装置、设备和介质 |
| CN111402095A (zh) * | 2020-03-23 | 2020-07-10 | 温州医科大学 | 一种基于同态加密联邦学习来检测学生行为与心理的方法 |
| CN111539256B (zh) * | 2020-03-31 | 2023-12-01 | 北京万里红科技有限公司 | 一种虹膜特征提取方法、装置及存储介质 |
-
2020
- 2020-12-28 CN CN202011581741.5A patent/CN112668472B/zh active Active
-
2021
- 2021-05-10 WO PCT/CN2021/092794 patent/WO2022142060A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815850A (zh) * | 2019-01-02 | 2019-05-28 | 中国科学院自动化研究所 | 基于深度学习的虹膜图像分割及定位方法、系统、装置 |
| CN112668472A (zh) * | 2020-12-28 | 2021-04-16 | 中国科学院自动化研究所 | 基于联邦学习的虹膜图像特征提取方法、系统和装置 |
Non-Patent Citations (3)
| Title |
|---|
| BAO XIAOAN, TU XIAOMEI;XU LU;ZHANG NA;WU BIAO: "Finger vein recognition based on extended convolutional neural networks and metric learning", JOURNAL OF ZHEJIANG SCI-TECH UNIVERSITY, vol. 13, no. 2, 2 January 2020 (2020-01-02), pages 232 - 239, XP055948582, ISSN: 1673-3851, DOI: 10.3969/j.issn.1673-3851(n).2020.02.013 * |
| HE RAN; WU XIANG; SUN ZHENAN; TAN TIENIU: "Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 41, no. 7, 1 July 2019 (2019-07-01), USA , pages 1761 - 1773, XP011728020, ISSN: 0162-8828, DOI: 10.1109/TPAMI.2018.2842770 * |
| LIU MINGKANG;WANG HONGMIN;LI QI;SUN ZHENAN: "Enhanced gray-level image space for iris liveness detection", JOURNAL OF IMAGE AND GRAPHICS, vol. 25, no. 7, 16 July 2020 (2020-07-16), pages 1421 - 1435+1435, XP055948599, ISSN: 1006-8961, DOI: 10.11834/jig.190503 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152567A (zh) * | 2023-10-31 | 2023-12-01 | 腾讯科技（深圳）有限公司 | 特征提取网络的训练方法、分类方法、装置及电子设备 |
| CN117152567B (zh) * | 2023-10-31 | 2024-02-23 | 腾讯科技（深圳）有限公司 | 特征提取网络的训练方法、分类方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668472B (zh) | 2021-08-31 |
| CN112668472A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022142060A1 (zh) | 基于联邦学习的虹膜图像特征提取方法、系统和装置 | |
| Zhao et al. | Privacy-preserving collaborative deep learning with unreliable participants | |
| CN111931950B (zh) | 一种基于联邦学习进行模型参数更新的方法及系统 | |
| CN110797124A (zh) | 一种模型多端协同训练方法、医疗风险预测方法和装置 | |
| US20230039182A1 (en) | Method, apparatus, computer device, storage medium, and program product for processing data | |
| CN110751291B (zh) | 实现安全防御的多方联合训练神经网络的方法及装置 | |
| CN112085159B (zh) | 一种用户标签数据预测系统、方法、装置及电子设备 | |
| Jia et al. | Preserving model privacy for machine learning in distributed systems | |
| CN115943394A (zh) | 用于安全纵向联邦学习的方法、装置和系统 | |
| US9524370B2 (en) | Method for privacy-preserving medical risk test | |
| WO2022160623A1 (zh) | 一种基于随机响应差分隐私技术的教师共识聚集学习方法 | |
| CN112101403A (zh) | 基于联邦少样本网络模型的分类方法、系统及电子设备 | |
| CN113014566A (zh) | 恶意注册的检测方法、装置、计算机可读介质及电子设备 | |
| CN114936372A (zh) | 一种基于三方同态加密纵向联邦学习的模型保护方法 | |
| CN112101404A (zh) | 基于生成对抗网络的图像分类方法、系统及电子设备 | |
| CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
| WO2020051232A1 (en) | Decentralized biometric identification and authentication network | |
| Manisha et al. | CBRC: a novel approach for cancelable biometric template generation using random permutation and Chinese Remainder Theorem | |
| CN112085051B (zh) | 基于加权投票的图像分类方法、系统及电子设备 | |
| CN112597379B (zh) | 数据识别方法、装置和存储介质及电子装置 | |
| CN116244731A (zh) | 一种可验证的隐私保护的卷积神经网络系统 | |
| CN111062484B (zh) | 基于多任务学习的数据集选取方法及装置 | |
| CN113657611A (zh) | 联合更新模型的方法及装置 | |
| Karabina et al. | Revisiting the false acceptance rate attack on biometric visual cryptographic schemes | |
| CN112686100B (zh) | 一种联邦制人脸图像特征学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21912821 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21912821 Country of ref document: EP Kind code of ref document: A1 |