WO2025256027A1 - 一种身份认证模型训练方法、身份认证方法、装置及设备 - Google Patents

一种身份认证模型训练方法、身份认证方法、装置及设备

Info

Publication number
WO2025256027A1
WO2025256027A1 PCT/CN2024/129140 CN2024129140W WO2025256027A1 WO 2025256027 A1 WO2025256027 A1 WO 2025256027A1 CN 2024129140 W CN2024129140 W CN 2024129140W WO 2025256027 A1 WO2025256027 A1 WO 2025256027A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
face image
user
identity authentication
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/129140
Other languages
English (en)
French (fr)
Inventor
陈志军
姚伟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant Blockchain Technology Shanghai Co Ltd
Original Assignee
Ant Blockchain Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ant Blockchain Technology Shanghai Co Ltd filed Critical Ant Blockchain Technology Shanghai Co Ltd
Publication of WO2025256027A1 publication Critical patent/WO2025256027A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Definitions

  • This application relates to the field of identity verification technology, and in particular to an identity authentication model training method, identity authentication method, apparatus and equipment.
  • Deepfake technology refers to artificial intelligence technology that uses neural networks to learn from user image or video samples, thereby splicing together a user's voice, facial expressions, and body movements to create fake content.
  • the most common method in deepfake technology is AI face-swapping, which makes it possible to tamper with or generate highly realistic and difficult-to-distinguish user audio and video content; observers often cannot distinguish the real from the fake with the naked eye.
  • AI face-swapping which makes it possible to tamper with or generate highly realistic and difficult-to-distinguish user audio and video content; observers often cannot distinguish the real from the fake with the naked eye.
  • criminals have begun to use it to steal others' identities or forge personal identities for authentication purposes during business transactions, thus posing new challenges to the normal operation of businesses.
  • the embodiments of this specification provide an identity authentication model training method, identity authentication method, apparatus, and device that can accurately identify situations where users use deepfake technology to commit identity fraud during the identity authentication process, thereby reducing the risk of deepfake technology being abused and ensuring the security of identity authentication.
  • a first training sample is obtained, which includes a first user face image sample and a first document face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; and the first document face image sample is a document face image obtained by style transfer processing of the first user face image sample.
  • the first label data is used to identify the risk that the user of the first sample has used deepfake technology for identity authentication.
  • the identity authentication model is trained using the first training sample containing the first label data to obtain the target identity authentication model.
  • This specification provides an authentication method, including:
  • the user's facial image and the document's facial image are processed using a target identity authentication model to obtain identity authentication result information indicating whether the target user poses a risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training method in the embodiments of this specification.
  • This specification provides an embodiment of an identity authentication model training device, comprising:
  • the first acquisition module is used to acquire a first training sample containing a first user face image sample and a first document face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; and the first document face image sample is a document face image obtained by performing style transfer processing on the first user face image sample.
  • the first determining module is used to determine the first label data of the first training sample; the first label data is used to identify the risk that the user of the first sample has used deepfake technology for identity authentication.
  • the first training module is used to train the identity authentication model using the first training samples with the first label data to obtain the target identity authentication model.
  • the first acquisition module is used to acquire the user's facial image of the target user collected during the identity authentication process
  • the second acquisition module is used to acquire the facial image of the ID card in the ID card image of the target user
  • the identity authentication module is used to process the user's face image and the document's face image using a target identity authentication model to obtain identity authentication result information indicating whether the target user has the risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training device in the embodiments of this specification.
  • This specification provides an embodiment of an identity authentication model training device, comprising:
  • At least one processor and,
  • a memory communicatively connected to the at least one processor; wherein,
  • the memory stores instructions executable by the at least one processor, which, when executed by the at least one processor, enable the at least one processor to:
  • a first training sample is obtained, which includes a first user face image sample and a first document face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; and the first document face image sample is a document face image obtained by style transfer processing of the first user face image sample.
  • the first label data is used to identify the risk that the user of the first sample has used deepfake technology for identity authentication.
  • the identity authentication model is trained using the first training sample containing the first label data to obtain the target identity authentication model.
  • At least one processor and,
  • a memory communicatively connected to the at least one processor; wherein,
  • the memory stores instructions executable by the at least one processor, which, when executed by the at least one processor, enable the at least one processor to:
  • the user's facial image and the document's facial image are processed using a target identity authentication model to obtain identity authentication result information indicating whether the target user poses a risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training method in the embodiments of this specification.
  • the method involves pre-acquiring a first-sample user's facial image generated using generative artificial intelligence (AI) technology. Style transfer processing is then applied to this first-sample user's facial image to obtain a first-sample ID card facial image. Based on both the forged first-sample user's facial image and the first-sample ID card facial image, a first training sample with a label indicating the risk of the first-sample user using deepfake technology for identity verification is generated. This first training sample with the label is then used to train the identity authentication model, resulting in the target identity authentication model for users requiring verification.
  • AI generative artificial intelligence
  • the first training sample used to train the target identity authentication model contains forged facial images generated using generative AI and image style transfer techniques, the first training sample shares similarities with the facial images used by criminals for deepfake identity fraud. This allows the target identity authentication model to accurately identify users using deepfake technology for identity fraud during the authentication process, reducing the risk of deepfake technology abuse and ensuring identity authentication security.
  • Figure 1 is a schematic diagram of an application scenario of an identity authentication scheme provided in the embodiments of this specification.
  • Figure 2 is a flowchart illustrating an identity authentication model training method provided in an embodiment of this specification
  • Figure 3 is a schematic diagram of the structure of a target identity authentication model provided in an embodiment of this specification.
  • Figure 4 is a flowchart illustrating an identity authentication method provided in an embodiment of this specification
  • FIG. 5 is a schematic diagram of the swimlane process corresponding to the identity authentication schemes in Figures 2 and 4 provided in the embodiments of this specification;
  • Figure 6 is a structural schematic diagram of an identity authentication model training device corresponding to Figure 2 provided in the embodiments of this specification;
  • Figure 7 is a structural schematic diagram of an identity authentication device corresponding to Figure 4 provided in the embodiments of this specification;
  • Figure 8 is a structural schematic diagram of an identity authentication model training device corresponding to Figure 2 provided in the embodiments of this specification;
  • Figure 9 is a structural schematic diagram of an identity authentication device corresponding to Figure 4 provided in the embodiments of this specification.
  • Figure 1 is a schematic diagram of an application scenario of an identity authentication scheme provided in the embodiments of this specification.
  • the service provider can use device 101 to acquire a first training sample containing a first user face image sample and a first ID card face image sample.
  • the first user face image sample can be a user face image generated using generative artificial intelligence technology;
  • the first ID card face image sample can be an ID card face image obtained by style transfer processing of the first user face image sample.
  • First label data is set for the first training sample to identify the risk of the first user using deepfake technology for identity authentication.
  • the identity authentication model is trained using the first training sample with the first label data to obtain the target identity authentication model.
  • terminal device 102 can communicate with service provider device 101 so that service provider device 101 can obtain the user's face image captured in real time during the authentication process from terminal device 102.
  • Service provider device 101 can also obtain the face image from the target user's ID document image; by processing the user's face image and the ID document face image using a target identity authentication model, identity authentication result information indicating whether the target user poses a risk of using deepfake technology for authentication can be obtained.
  • FIG. 2 is a flowchart illustrating an identity authentication model training method provided in an embodiment of this specification. From a programming perspective, the entity executing this process can be a device used for model training, or an application running on that device. As shown in Figure 2, the process may include the following steps:
  • Step 202 Obtain a first training sample containing a first user face image sample and a first ID card face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; the first ID card face image sample is an ID card face image obtained by style transfer processing of the first user face image sample.
  • current user authentication typically involves real-time capture of the user's facial image.
  • the user's facial image is then compared to the facial image on the identification document. If the consistency is high, it can be assumed that the user is the one performing the authentication, thus allowing the user to pass the authentication process.
  • criminals use deepfake technology for identity fraud, they usually forge a user's facial image and directly process this forged image to use as the facial image on the counterfeit identification document. Because the forged user's facial image and the identification document's facial image contain highly similar facial posture, expression, hairstyle, etc., it is easy for criminals to successfully pass the authentication.
  • generative artificial intelligence technology can be used to generate a first user face image, which is a forged user face image.
  • a first ID card face image is obtained by performing style transfer processing on the first user face image; this first ID card face image is a forged ID card face image.
  • the facial attribute information e.g., facial pose, expression, hairstyle
  • a first training sample can be generated based on the first user face image sample and the first ID card face image sample to train the identity authentication model.
  • Generative artificial intelligence (AI) technology refers to a new type of AI technology that generates new original content by learning from large-scale datasets. It can generate text, images, audio, video, code, and other content based on algorithms, models, and rules. Currently, various algorithms and models can generate highly realistic facial images or videos. Based on this, generative AI technology can be used to generate first-person user facial images. This reduces the difficulty of obtaining training samples and avoids the risk of infringing on user data rights by directly using real user data.
  • Style transfer refers to the fusion of the content of one image with the style of another, thereby generating an image with a novel appearance and specific style.
  • Style can refer to the texture, color, and visual patterns at different spatial scales within an image. Because some identification documents contain grayscale images of faces, and due to the influence of document printing quality, the facial images on these documents often possess their own specific styles. Based on this, pre-trained algorithms and models with styles for generating facial images for identification documents can be used to process a first user's facial image sample to obtain a first identification document facial image sample.
  • Step 204 Determine the first label data of the first training sample; the first label data is used to identify the risk that the first sample user has used deepfake technology for identity authentication.
  • the features and characteristics of the image pairs of the first training sample and the user face image and the ID card face image used by criminals to commit identity fraud are consistent. Therefore, the first training sample can be given first label data to identify that the first sample user to which the first training sample belongs has the risk of using deepfake technology for identity authentication.
  • Step 206 Train the identity authentication model using the first training sample with the first label data to obtain the target identity authentication model.
  • the identity authentication model is trained using a first training sample with the first label data. This allows the trained target identity authentication model to learn the features and knowledge of image pairs of user face images and document face images used by criminals to commit identity fraud, thereby accurately identifying situations where users use deepfake technology for identity authentication.
  • the method in Figure 2 uses forged face images generated by generative artificial intelligence and image style transfer techniques in the first training samples used when training the target identity authentication model. This makes the feature information of the first training samples consistent with the face images used by criminals to commit identity fraud using deepfake technology.
  • the target identity authentication model can accurately identify situations where users use deepfake technology to commit identity fraud during the identity authentication process, thereby reducing the risk of deepfake technology being abused and ensuring the security of identity authentication.
  • step 202: obtaining a first training sample containing a first user face image sample and a first ID card face image sample may specifically include:
  • Generative artificial intelligence models are used to generate user face images of the first sample user based on preset prompts, thus obtaining the first user face image sample.
  • the style transfer model for the target image which was pre-trained, is used to perform style transfer processing on the first user's face image sample. Obtain the facial image sample of the first document.
  • existing generative artificial intelligence models can be used to generate facial images as first user facial image samples.
  • These generative artificial intelligence models may include, but are not limited to, Stable Diffusion AI painting generation tools, the Midjourney online image generation platform, and the StyleGAN image generation model, etc., without specific limitations.
  • preset prompts can be set according to actual needs to generate first user facial image samples with specified features and characteristics.
  • the preset prompts can be used to indicate information such as the user's clothing, hairstyle, facial features, lighting conditions, and background environment, without specific limitations.
  • the process may further include:
  • a second training sample is obtained, which includes a second user face image sample and a second document face image sample; wherein, the second user face image sample is a real face image obtained by image acquisition of the face of the second user, and the second document face image sample is a document face image contained in the document sample of the second user that has passed the credibility verification, and the document sample belongs to the same type of document as the first document face image sample.
  • the style transfer model is trained using the second training sample to obtain the predicted ID card face image output by the style transfer model.
  • the style transfer model is optimized to obtain the target image style transfer model.
  • the target image style transfer model needs to generate ID card face images with the style of the face on the ID card based on the input user face image, user face image samples and ID card face image samples with good credibility and authenticity and belonging to the same user can be obtained as second training samples when training the target image style transfer model.
  • the second user face image samples included in the second training samples can be obtained by capturing images of the live faces of real users (i.e., the second sample users), while the second document face image samples included in the second training samples can be face images contained in the authentic and reliable documents of the second sample users. It is understandable that service providers typically obtain authorization from the second sample users before using the second training samples for model training, thereby avoiding any infringement on user rights.
  • the style transfer model will generate a predicted ID card face image. Since the training goal of the model is to make the visual effect of the predicted ID card face image close to the second ID card face image sample in the second training sample, the style transfer model can be optimized with the goal of minimizing the difference between the predicted ID card face image and the second ID card face image sample, so as to obtain a target image style transfer model with the ability to generate face images with the style of ID card faces.
  • multimodal models can combine and analyze rich visual information and information from other modalities (such as text), they can capture the relationships between various data, which helps to improve the accuracy and efficiency of the model, and thus have been widely applied.
  • the second training sample may also contain style description information for the second ID card face image sample.
  • the optimization of the style transfer model with the goal of minimizing the difference between the predicted ID card face image and the second ID card face image sample, may specifically include:
  • the style transfer model is optimized with the goal of minimizing the differences between the predicted ID face image, the second ID face image sample, and the style description information.
  • the style description information for the second document face image sample may include, but is not limited to, at least one of the following: the name and type information of the document to which the second document face image sample belongs, the name and type information of the face style to which the second document face image sample belongs (defined by the user), and the visual characteristics and facial attribute information of the face region.
  • the goal can be to minimize the differences between the predicted ID card face image, the second ID card face image sample, and the style description information. Therefore, the parameters of the style transfer model can be optimized to ensure that the trained target image is consistent with the style description information.
  • the facial images for identification documents generated by the standard image style transfer model have high realism and meet practical needs.
  • the style transfer model may include, but is not limited to, at least one of the following: styleGAN model, CAP-VSTNet model, InstantStyle model, AdaIN model, and InstantID model. Since the InstantStyle and InstantID models are multimodal models, the second training samples for these models may include not only the second user face image sample and the second ID card face image sample, but also style description information for the second ID card face image sample. Furthermore, since the InstantID model has the ability to automatically extract text input information from the input image, if only a single type of ID card face image needs to be generated using the InstantID model, it is not necessary to include style description information for the second ID card face image sample in the second training samples; this is not specifically limited.
  • the facial attribute information contained in the facial image of a user with high credibility and the facial image on the ID often differs, but they have a relatively high similarity in facial features.
  • the facial attribute information contained in the facial images of different users and the facial images on the ID often differs significantly, and the similarity in facial features is also relatively low. In both of these cases, it should be considered that the user does not pose a risk of using deepfake technology for identity authentication.
  • the method described in Figure 2 may further include:
  • the second label data of the third training sample is determined; the second label data is used to identify that the third sample user does not pose a risk of using deepfake technology for identity authentication.
  • step 206: Training the identity authentication model to obtain the target identity authentication model may include:
  • the identity authentication model is trained using the first training sample with the first label data and the third training sample with the second label data to obtain the target identity authentication model.
  • facial attribute information may include, but is not limited to, facial expression, facial pose, identity, makeup, and other information.
  • the facial attribute information of the user's facial image and the facial image on the identification document collected for that user is often different.
  • a third facial image sample from the identification document and a third facial image sample from the same user but with different facial attribute information can be used as the third training sample.
  • a second label data is set for the third training sample to indicate that the user to whom the third training sample belongs does not pose a risk of using deepfake technology for identity authentication.
  • third-party facial image samples from identification documents and third-party facial image samples belonging to different users can be used as third training samples.
  • a second label is set for the third training samples to indicate that the third sample user to which the third training sample belongs does not have the risk of using deepfake technology for identity authentication.
  • the performance of the trained target identity authentication model can be further improved, which will not be elaborated further.
  • the first user face image sample in the first training sample and the third user face image sample in the third training sample can be images within the face region identified by the face recognition model from the captured user image.
  • the first ID card face image sample in the first training sample and the third ID card face image sample in the third training sample can be images within the face region identified by the face recognition model from the ID card image, thereby reducing interference from background areas.
  • the identity authentication model may include a feature extraction model for extracting features from facial image samples, and a risk identification model for identifying identity authentication risks based on the facial image feature data extracted by the feature extraction model.
  • the model consists of an output layer of the feature extraction model connected to an input layer of the risk identification model, thereby forming a (target) identity authentication model.
  • step 206 train the identity authentication model to obtain the target identity authentication model, which may specifically include:
  • a face recognition model is trained using target training samples to obtain a trained face recognition model; wherein, the target training samples include at least one of the first training samples and the third training samples.
  • the model formed by the input layer to the specified network layer in the trained face recognition model is determined as the feature extraction model.
  • the output layer of the feature extraction model with locked parameters is connected to the input layer of the preset relationship model to obtain the initial identity authentication model.
  • the target training sample is input into the initial identity authentication model to obtain the predicted label data output by the initial identity authentication model.
  • the risk identification model is obtained by optimizing the parameters of the preset relationship model in the initial identity authentication model with the goal of minimizing the difference between the predicted label data and the preset label data of the target training sample; wherein the preset label data is the first label data or the second label data.
  • the working principle of the identity authentication model can be simply considered as follows: Features extracted from the user's facial image and the facial image on the identification document are processed to obtain a classification result reflecting whether the user poses a risk of using deepfake technology for identity authentication. Based on this, to ensure the performance of the identity authentication model, a separate feature extraction model can be trained to extract facial image features, and this trained feature extraction model can be combined with a classification model to serve as a risk identification model. Thus, the target identity authentication model is built using the feature extraction model and the risk identification model.
  • the face recognition model can be trained using face images from the first and third training samples.
  • the later network layers in the trained face recognition model often have the ability to extract face features with good accuracy.
  • the model formed from the input layer to a specified network layer in the trained face recognition model can be identified as the feature extraction model in the identity authentication model.
  • the specified network layer can preferably be a fully connected layer close to the output layer of the face recognition model; however, it can also be other network layers, without specific limitations.
  • the preset relation model can be used to learn the similarity between input data, and through parameter optimization, make the data with the same label more similar, while the data with different labels less similar.
  • the output layer of the parameter-locked feature extraction model can be connected to the input layer of the preset relation model to obtain the initial identity authentication model.
  • the parameter-locked feature extraction model extracts the corresponding facial image feature data from the two facial images in the target training samples, it can input both into the preset relation model.
  • This allows the preset relation model to generate predictive label data reflecting whether a user poses a risk of using deepfake technology for identity authentication based on the aforementioned facial image feature data.
  • the parameters of the preset relation model are then optimized based on the difference between the predicted label data and the preset label data in the target training samples, without further optimization of the feature extraction model's parameters.
  • the resulting parameter-optimized preset relation model can then be used as the risk identification model within the identity authentication model.
  • the preset relationship model may include various network layers such as fully connected layers, convolutional layers, pooling layers, activation layers, and loss layers.
  • it may include a more complex neural network block, which is a composite unit encapsulated by a set of continuous layers, such as a residual block structure or an attention module based on an attention mechanism. No specific limitation is made in this regard.
  • a feature extraction model specifically for extracting feature data of user facial images and a feature extraction model specifically for extracting feature data of ID card facial images can be trained.
  • the feature extraction model may include: a first feature extraction model for extracting features from user face images, and a second feature extraction model for extracting features from ID card face images; the risk identification model is specifically used to identify identity authentication risks based on the face image feature data extracted by the first feature extraction model and the second feature extraction model.
  • the face recognition model is trained using target training samples to obtain a trained face recognition model, specifically... Including:
  • the first face recognition model is trained using at least one of the first user's face image samples and the third user's face image samples to obtain the first trained face recognition model.
  • the second face recognition model is trained using at least one of the first ID card face image samples and the third ID card face image samples to obtain the second trained face recognition model.
  • determining the model formed by the input layer to the specified network layer in the trained face recognition model as the feature extraction model may specifically include:
  • the model formed by the input layer to the target network layer in the first trained face recognition model is determined as the first feature extraction model.
  • the model formed by the input layer to the preset network layer in the second trained face recognition model is determined as the second feature extraction model.
  • the output layers of the first feature extraction model and the second feature extraction model after parameter locking, can be connected to the input layer of a preset relational model to obtain the initial identity authentication model.
  • the predicted label data output by the initial identity authentication model is obtained by using the first feature extraction model with parameter locking for the first user's face image sample, and the second feature extraction model with parameter locking for the first ID document's face image sample; alternatively, the predicted label data output by the initial identity authentication model is obtained by using the first feature extraction model with parameter locking for the third user's face image sample, and the second feature extraction model with parameter locking for the third ID document's face image sample. Further details are omitted here.
  • the face recognition model can be a pre-trained face recognition model; alternatively, the face recognition model can include a lightweight multilayer perceptron and a pre-trained face recognition model with locked parameters, wherein the output layer of the pre-trained face recognition model is connected to the input layer of the lightweight multilayer perceptron (MLP).
  • MLP lightweight multilayer perceptron
  • Figure 3 is a schematic diagram of the structure of a target identity authentication model provided in an embodiment of this specification.
  • the target identity authentication model may include a first feature extraction model 301 and a second feature extraction model 302, each composed of a pre-trained face recognition model and a lightweight multilayer perceptron, as well as a risk identification model 303.
  • the output layers of the pre-trained face recognition models in both the first feature extraction model 301 and the second feature extraction model 302 can be connected to the input layers of their respective lightweight multilayer perceptrons, and the output layers of the lightweight multilayer perceptrons in both the first feature extraction model 301 and the second feature extraction model 302 can be connected to the risk identification model 303; further details are omitted here.
  • Figure 4 is a flowchart illustrating an authentication method provided in this specification.
  • the executing entity of this process can be a device performing authentication, or an application running on the device performing authentication. As shown in Figure 4, the process may include:
  • Step 402 Obtain the user's face image collected during the identity authentication process.
  • the target user's terminal device or the device provided by the service provider can be used to collect the target user's facial image. If the target user's terminal device or the device provided by the service provider is equipped with a target identity authentication model for identity verification, then the execution entity in the scheme of Figure 4 can be the target user's terminal device or the device provided by the service provider, and step 402 can be used to collect the target user's facial image in real time using the target user's terminal device or the device provided by the service provider.
  • the execution entity in the scheme of Figure 4 can be the service provider's server, and step 402 can specifically be the service provider's server obtaining the target user's facial image collected by the target user's terminal device or the device provided by the service provider.
  • Step 404 Obtain the face image of the ID card in the target user's ID card image.
  • the service provider's device or server may store pre-acquired images of the target user's identification documents.
  • the target user can collect and report their personal ID image in real time.
  • step 404 can specifically involve using a face recognition model to identify the face region from the target user's ID image and extracting the image within the face region to obtain the ID face image.
  • Step 406 Process the user's face image and the document's face image using the target identity authentication model to obtain identity authentication result information indicating whether the target user has the risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training method provided in the embodiments of this specification.
  • the target user's identity authentication will typically fail. However, if the identity authentication result information generated by the target identity authentication model indicates that the target user does not pose a risk of using deepfake technology for identity authentication, the target user's identity authentication can either succeed, or other means can be used to further authenticate the target user to ensure the security of identity authentication; no specific limitations are made in this regard.
  • the method in Figure 4 uses forged face images generated by generative artificial intelligence and image style transfer techniques in the first training samples used when training the target identity authentication model. This makes the feature information of the first training samples relatively consistent with the face images used by criminals to commit identity fraud using deepfake technology.
  • the target identity authentication model can accurately identify situations where target users use deepfake technology to commit identity fraud during the identity authentication process, thereby reducing the risk of deepfake technology being abused and ensuring the security of identity authentication.
  • a video clip is often captured of the target user, from which their facial image is extracted.
  • the facial pose of the user may vary across different video frames, while the facial pose in the target user's ID document image is fixed. Therefore, it is advisable to prioritize selecting the facial image from the video frame whose facial pose is most consistent with that in the ID document image as the target user's facial image. This reduces interference factors and improves the accuracy of the identity authentication results.
  • step 406 Obtain the user's facial image captured during the identity authentication process, which may specifically include:
  • the first pose information of the face in each candidate user face image is determined using a face attribute recognition algorithm.
  • the candidate user face image corresponding to the first pose information that has the highest degree of consistency with the second pose information is determined as the target user's face image.
  • a face recognition model can be used to perform face recognition processing on the collected user image, and the image within the recognized face area can be used as the user's face image of the target user. This will not be elaborated further.
  • FIG. 5 is a swimlane flowchart corresponding to the identity authentication schemes in Figures 2 and 4 provided in the embodiments of this specification. As shown in Figure 5, this identity authentication process may involve execution entities such as service providers and target users.
  • the service provider can obtain a first training sample containing a first user face image sample and a first ID card face image sample.
  • the first user face image sample is a user face image generated using generative artificial intelligence technology.
  • the first ID card face image sample is an ID card face image obtained by style transfer processing of the first user face image sample.
  • the service provider also determines the first label data of the first training sample. The first label data can be used to identify the risk that the first sample user may use deepfake technology for identity authentication.
  • the service provider can also obtain a third training sample containing third-user facial image samples and third-identity document facial image samples; wherein the third-identity document facial image sample and the third-user facial image sample are facial images of different users; or, the third-identity document facial image sample and the third-user facial image sample belong to the same user but have different facial attribute information.
  • the service provider determines the second label data of the third training sample; wherein the second label data can be used to identify that the third-sample user does not pose a risk of identity authentication using deepfake technology.
  • a face recognition model is trained using target training samples to obtain a trained face recognition model; wherein the target training samples include at least one of a first training sample and a third training sample.
  • the model formed from the input layer to a specified network layer in the trained face recognition model is determined as a feature extraction model.
  • the output layer of the feature extraction model, after parameter locking, is then compared with a preset relationship.
  • the input layer of the model is connected to obtain an initial identity authentication model.
  • the target training sample is input into the initial identity authentication model to obtain the predicted label data output by the initial identity authentication model.
  • the parameters of the preset relationship model are optimized to obtain the target identity authentication model.
  • the preset label data is either the first label data or the second label data.
  • the target user needs to cooperate in performing the identity authentication operation so that the service provider can obtain the user's facial image collected during the identity authentication process, as well as the facial image of the target user's ID card image.
  • the service provider can obtain identity authentication result information indicating whether the target user has the risk of using deepfake technology for identity authentication.
  • FIG. 6 is a schematic diagram of the structure of an identity authentication model training device corresponding to Figure 2 provided in an embodiment of this specification. As shown in Figure 6, the device may include:
  • the first acquisition module 602 is used to acquire a first training sample containing a first user face image sample and a first document face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; and the first document face image sample is a document face image obtained by style transfer processing of the first user face image sample.
  • the first determining module 604 is used to determine the first label data of the first training sample; the first label data is used to identify the risk that the first sample user has used deepfake technology for identity authentication.
  • the first training module 606 is used to train the identity authentication model using the first training sample with the first label data to obtain the target identity authentication model.
  • the first acquisition module may include:
  • the generation unit is used to generate a user face image of the first sample user based on preset prompts using a generative artificial intelligence model, thereby obtaining the first user face image sample.
  • the style transfer processing unit is used to perform style transfer processing on the first user face image sample using a pre-trained target image style transfer model to obtain the first document face image sample.
  • the apparatus described in Figure 6 may further include:
  • the second acquisition module is used to acquire a second training sample containing a second user face image sample and a second document face image sample; wherein, the second user face image sample is a real face image obtained by image acquisition of the face of the second user, and the second document face image sample is a document face image contained in the document sample of the second user that has passed the credibility verification, and the document sample belongs to the same type of document as the first document face image sample.
  • the second training module is used to train the style transfer model using the second training samples to obtain the predicted ID card face image output by the style transfer model.
  • the parameter optimization module is used to optimize the parameters of the style transfer model with the goal of minimizing the difference between the predicted ID card face image and the second ID card face image sample, so as to obtain the target image style transfer model.
  • the second training sample may also include style description information for the second ID card face image sample.
  • parameter optimization module can be specifically used for:
  • the style transfer model is optimized with the goal of minimizing the differences between the predicted ID face image, the second ID face image sample, and the style description information.
  • the style transfer model may include at least one of the following: styleGAN model, CAP-VSTNet model, InstantStyle model, AdaIN model, and InstantID model.
  • the apparatus described in Figure 6 may further include:
  • the third acquisition module is used to acquire a third training sample containing a third user's face image sample and a third ID card face image sample; wherein the third ID card face image sample and the third user's face image sample are face images of different users; or, the third ID card face image sample and the third user's face image sample are face images belonging to the same user but with different face attribute information.
  • the second determining module is used to determine the second label data of the third training sample; the second label data is used to identify that the third sample user does not pose a risk of using deepfake technology for identity authentication.
  • the first training module can be specifically used for:
  • the identity authentication model is trained using the first training sample with the first label data and the third training sample with the second label data to obtain the target identity authentication model.
  • the identity authentication model may include a feature extraction model for extracting features from face image samples, and a risk identification model for identifying identity authentication risks based on the face image feature data extracted by the feature extraction model.
  • the first training module may include:
  • the first training unit is used to train the face recognition model using the target training samples to obtain the trained face recognition model; wherein the target training samples include at least one of the first training samples and the third training samples.
  • the determining unit is used to determine the model formed by the input layer to the specified network layer in the trained face recognition model as the feature extraction model.
  • the model connection unit is used to connect the output layer of the feature extraction model after parameter locking with the input layer of the preset relationship model to obtain the initial identity authentication model.
  • the second training unit is used to input the target training sample into the initial identity authentication model to obtain the predicted label data output by the initial identity authentication model.
  • the parameter optimization unit is used to optimize the parameters of the preset relationship model in the initial identity authentication model with the goal of minimizing the difference between the predicted label data and the preset label data of the target training sample, so as to obtain the risk identification model; wherein the preset label data is the first label data or the second label data.
  • the feature extraction model may include: a first feature extraction model for extracting features from user face images, and a second feature extraction model for extracting features from ID card face images; the risk identification model is specifically used to identify identity authentication risks based on the face image feature data extracted by the first feature extraction model and the second feature extraction model.
  • the first training unit can be specifically used for:
  • the first face recognition model is trained using at least one of the first user's face image samples and the third user's face image samples to obtain the first trained face recognition model.
  • the second face recognition model is trained using at least one of the first ID card face image samples and the third ID card face image samples to obtain the second trained face recognition model.
  • the determining unit can specifically be used for:
  • the model formed by the input layer to the target network layer in the first trained face recognition model is determined as the first feature extraction model.
  • the model formed by the input layer to the preset network layer in the second trained face recognition model is determined as the second feature extraction model.
  • the face recognition model can be a pre-trained face recognition model; or,
  • the face recognition model may include: a lightweight multilayer perceptron and a pre-trained face recognition model with locked parameters, wherein the output layer of the pre-trained face recognition model is connected to the input layer of the lightweight multilayer perceptron.
  • FIG. 7 is a structural schematic diagram of an identity authentication device corresponding to Figure 4 provided in an embodiment of this specification. As shown in Figure 7, the device may include:
  • the first acquisition module 702 is used to acquire the user's face image collected during the identity authentication process.
  • the second acquisition module 704 is used to acquire the face image of the ID card in the ID card image of the target user.
  • the identity authentication module 706 is used to process the user's face image and the document's face image using a target identity authentication model to obtain identity authentication result information indicating whether the target user has the risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training device in the embodiments of this specification.
  • the first acquisition module may include:
  • the first determining unit is used to determine the first pose information of the face in each of the candidate user face images by using a face attribute recognition algorithm if multiple candidate user face images are collected during the identity authentication process.
  • the second determining unit is used to determine the second pose information of the face in the face image of the document.
  • the third determining unit is used to determine the candidate user face image corresponding to the first posture information that has the highest degree of consistency with the second posture information as the target user's face image.
  • this specification also provides devices corresponding to the above methods in its embodiments.
  • Figure 8 is a structural schematic diagram of an identity authentication model training device corresponding to Figure 2, provided in an embodiment of this specification. As shown in Figure 8, the device 800 may include:
  • At least one processor 810 and,
  • Memory 830 communicatively connected to the at least one processor; wherein,
  • the memory 830 stores instructions 820 that can be executed by the at least one processor 810, the instructions being executed by the at least one processor 810 to enable the at least one processor 810 to:
  • a first training sample is obtained, which includes a first user face image sample and a first document face image sample; wherein, the first user face image sample is a user face image generated using generative artificial intelligence technology; and the first document face image sample is a document face image obtained by style transfer processing of the first user face image sample.
  • the first label data of the first training sample is determined; the first label data is used to identify the risk that the user of the first sample has used deepfake technology for identity authentication.
  • the identity authentication model is trained using the first training sample containing the first label data to obtain the target identity authentication model.
  • this specification also provides devices corresponding to the above methods in its embodiments.
  • Figure 9 is a structural schematic diagram of an identity authentication device corresponding to Figure 4, provided in an embodiment of this specification. As shown in Figure 9, the device 900 may include:
  • At least one processor 910 and,
  • Memory 930 communicatively connected to the at least one processor; wherein,
  • the memory 930 stores instructions 920 that can be executed by the at least one processor 910, the instructions being executed by the at least one processor 910 to enable the at least one processor 910 to:
  • the user's facial image and the document's facial image are processed using a target identity authentication model to obtain identity authentication result information indicating whether the target user poses a risk of using deepfake technology for identity authentication; wherein, the target identity authentication model is a model trained using the identity authentication model training method in the embodiments of this specification.
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • Hardware Description Language is a language used in many fields, including ABEL (Advanced Boolean Expression Language), AHDL (Altera Hardware Description Language), Confluence, CUPL (Cornell University Programming Language), HDCal, JHDL (Java Hardware Description Language), Lava, Lola, MyHDL, PALASM, and RHDL (Ruby Hardware Description Language).
  • VHDL Very-High-Speed Integrated Circuit Hardware Description Language
  • Verilog Verilog
  • the controller can be implemented in any suitable manner.
  • it can take the form of a microprocessor or processor and a computer-readable medium storing computer-readable program code (e.g., software or firmware) executable by the (micro)processor, logic gates, switches, application-specific integrated circuits (ASICs), programmable logic controllers, and embedded microcontrollers.
  • computer-readable program code e.g., software or firmware
  • ASICs application-specific integrated circuits
  • controllers include, but are not limited to, the following microcontrollers: ARC 625D, Atmel AT91SAM, Microchip PIC18F26K20, and Silicon Labs C8051F320.
  • a memory controller can also be implemented as part of the control logic of the memory.
  • controller in addition to implementing the controller in purely computer-readable program code form, the same functionality can be achieved by logically programming the method steps to make the controller take the form of logic gates, switches, ASICs, programmable logic controllers, and embedded microcontrollers. Therefore, such a controller can be considered a hardware component, and the means included therein for implementing various functions can also be considered as structures within the hardware component. Alternatively, the means for implementing various functions can be considered as both software modules implementing the method and structures within the hardware component.
  • a typical implementation device is a computer.
  • a computer can be, for example, a personal computer, laptop computer, cellular phone, camera phone, smartphone, personal digital assistant, media player, navigation device, email device, game console, tablet computer, wearable device, or any combination of these devices.
  • each unit can be implemented in one or more software and/or hardware.
  • embodiments of the present invention can be provided as methods, systems, or computer program products. Therefore, the present invention can take the form of a completely hardware embodiment, a completely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present invention can take the form of a computer program product embodied on one or more computer-usable storage media (including, but not limited to, disk storage, CD-ROM, optical storage, etc.) containing computer-usable program code.
  • a computer-usable storage media including, but not limited to, disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable storage medium that can direct a computer or other programmable data processing device to function in a particular manner, such that the instructions stored in the computer-readable storage medium produce an article of manufacture including instruction means that implement the functions specified in one or more flowcharts and/or one or more block diagrams.
  • These computer program instructions may also be loaded onto a computer or other programmable data processing apparatus to cause a series of operational steps to be performed on the computer or other programmable apparatus to produce a computer-implemented process, such that the instructions, which execute on the computer or other programmable apparatus, provide steps for implementing the functions specified in one or more flowcharts and/or one or more block diagrams.
  • a computing device includes one or more processors (CPU), input/output interfaces, network interfaces, and memory.
  • processors CPU
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • Memory may include non-persistent storage in computer-readable media, such as random access memory (RAM) and/or non-volatile memory, such as read-only memory (ROM) or flash RAM. Memory is an example of computer-readable media.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash random access memory
  • Computer-readable media including permanent and non-permanent, removable and non-removable media, can be implemented by any method or technology.
  • Information storage. Information can be computer-readable instructions, data structures, program modules, or other data. Examples of computer storage media include, but are not limited to, phase-change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technologies, CD-ROM, digital versatile optical disc (DVD) or other optical storage, magnetic tape, magnetic disk storage or other magnetic storage devices, or any other non-transferable medium that can be used to store information accessible by a computing device. As defined herein, computer-readable media does not include transient media, such as modulated data signals and carrier waves.
  • this application can be provided as methods, systems, or computer program products. Therefore, this application can take the form of a completely hardware embodiment, a completely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, this application can take the form of a computer program product embodied on one or more computer-usable storage media (including, but not limited to, disk storage, CD-ROM, optical storage, etc.) containing computer-usable program code.
  • computer-usable storage media including, but not limited to, disk storage, CD-ROM, optical storage, etc.
  • program modules include routines, programs, objects, components, data structures, etc., that perform a specific task or implement a specific abstract data type.
  • This application can also be practiced in distributed computing environments where tasks are performed by remote processing devices connected via a communication network.
  • program modules can reside in local and remote computer storage media, including storage devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书实施例中公开了一种身份认证模型训练方法、身份认证方法、装置及设备。该方案可以包括：预先获取利用生成式人工智能技术生成的第一样本用户的第一用户人脸图像，通过对第一用户人脸图像样本进行风格迁移处理得到第一证件人脸图像样本，以便于根据伪造的第一用户人脸图像样本以及第一证件人脸图像样本，生成具有标识该第一样本用户具有利用深度伪造技术进行身份认证的风险的第一标签数据的第一训练样本；利用具有第一标签数据的第一训练样本对身份认证模型进行训练，即可得到对具有身份核验需求的用户进行身份认证所需使用的目标身份认证模型。

Description

一种身份认证模型训练方法、身份认证方法、装置及设备
本申请要求于2024年6月14日提交中国专利局、申请号为202410775563.1、发明名称为“一种身份认证模型训练方法、身份认证方法、装置及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及身份核验技术领域，尤其涉及一种身份认证模型训练方法、身份认证方法、装置及设备。
背景技术
深度伪造技术(Deepfake)可以指借助神经网络技术对用户图像样本或用户视频样本进行学习，从而将用户的声音、面部表情及身体动作等拼接合成虚假内容的人工智能技术。在深度伪造技术中，最常见方式是人工智能(Artificial Intelligence，AI)换脸技术，它的出现使得篡改或生成高度逼真且难以甄别的用户音视频内容成为可能，观察者往往无法通过肉眼明辨真伪。近年来随着深度伪造技术门槛的降低，不法分子在办理业务的过程中，开始利用深度伪造技术去盗用他人身份或伪造个人身份以进行身份认证，从而给业务的正常运行带来了新的挑战。
基于此，如何准确识别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，以降低深度伪造技术被滥用的风险，保障身份认证安全性，成为了亟待解决的技术问题。
发明内容
本说明书实施例提供的一种身份认证模型训练方法、身份认证方法、装置及设备，可以准确识别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，以降低深度伪造技术被滥用的风险，保障身份认证安全性。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供的一种身份认证模型训练方法，包括：
获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
本说明书实施例提供的一种身份认证方法，包括：
获取在身份认证过程中采集到的目标用户的用户人脸图像；
获取所述目标用户的证件图像中的证件人脸图像；
利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中的身份认证模型训练方法训练得到的模型。
本说明书实施例提供的一种身份认证模型训练装置，包括：
第一获取模块，用于获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
第一确定模块，用于确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
第一训练模块，用于利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
本说明书实施例提供的一种身份认证装置，包括：
第一获取模块，用于获取在身份认证过程中采集到的目标用户的用户人脸图像；
第二获取模块，用于获取所述目标用户的证件图像中的证件人脸图像；
身份认证模块，用于利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中的身份认证模型训练装置训练得到的模型。
本说明书实施例提供的一种身份认证模型训练设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
本说明书实施例提供的一种身份认证设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取在身份认证过程中采集到的目标用户的用户人脸图像；
获取所述目标用户的证件图像中的证件人脸图像；
利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中的身份认证模型训练方法训练得到的模型。
本说明书中提供的至少一个实施例能够实现以下有益效果：
预先获取利用生成式人工智能技术生成的第一样本用户的第一用户人脸图像，通过对第一用户人脸图像样本进行风格迁移处理得到第一证件人脸图像样本，以便于根据伪造的第一用户人脸图像样本以及第一证件人脸图像样本，生成具有标识该第一样本用户具有利用深度伪造技术进行身份认证的风险的第一标签数据的第一训练样本；利用具有第一标签数据的第一训练样本对身份认证模型进行训练，即可得到对具有身份核验需求的用户进行身份认证所需使用的目标身份认证模型。该方案，由于针对目标身份认证模型训练时所使用的第一训练样本中包含的是利用生成式人工智能技术以及图像风格迁移技术所生成的伪造人脸图像，使得第一训练样本与不法分子利用深度伪造技术进行身份欺诈时所使用的人脸图像所具有的特征信息较为一致，从而能够利用目标身份认证模型准确识别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，以降低深度伪造技术被滥用的风险，保障身份认证安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例中提供的一种身份认证方案的应用场景示意图；
图2为本说明书实施例提供的一种身份认证模型训练方法的流程示意图；
图3为本说明书实施例提供的一种目标身份认证模型的结构示意图；
图4为本说明书实施例提供的一种身份认证方法的流程示意图；
图5为本说明书实施例提供的对应于图2及图4中的身份认证方案的泳道流程示意图；
图6为本说明书实施例提供的对应于图2的一种身份认证模型训练装置的结构示意图；
图7为本说明书实施例提供的对应于图4的一种身份认证装置的结构示意图；
图8为本说明书实施例提供的对应于图2的一种身份认证模型训练设备的结构示意图；
图9为本说明书实施例提供的对应于图4的一种身份认证设备的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
现有技术中，随着深度伪造技术门槛的降低，不法分子开始利用深度伪造技术去伪造用户人脸图像，并利用伪造用户人脸图像去制作包含人脸图像的伪造证件，使得不法分子在身份认证过程中所使用的用户人脸图像及证件中所包含的证件人脸图像在人脸姿态、表情、妆造等方面的一致性较高。由于现有的身份认证模型往往会根据不法分子提供的人脸属性信息一致性较高的伪造用户人脸图像及伪造证件图像，错误的判别不法分子可以通过身份认证，从而无法准确别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，容易存在深度伪造技术被滥用的风险，无法保障业务运行过程中的身份认证安全性。
为了解决现有技术中的缺陷，本方案给出了以下实施例：
图1为本说明书实施例中提供的一种身份认证方案的应用场景示意图。
如图1所示，服务提供方可以利用设备101去获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本可以是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本可以是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像。针对所述第一训练样本设置用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险的第一标签数据；利用具有所述第一标签数据的第一训练样本对身份认证模型进行训练，就可以得到目标身份认证模型。
在业务运行过程中，当目标用户需要进行身份认证时，终端设备102可以与服务提供方的设备101进行通信，以便于服务提供方的设备101可以从终端设备102处获取到在身份认证过程中针对目标用户实时的采集到的用户人脸图像。服务提供方的设备101还可以获取所述目标用户的证件图像中的证件人脸图像；通过利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，以得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息。
接下来，将针对说明书实施例提供的一种身份认证模型训练方法、身份认证方法结合附图进行具体说明：
图2为本说明书实施例提供的一种身份认证模型训练方法的流程示意图。从程序角度而言，该流程的执行主体可以为用于进行模型训练的设备，或者，该设备处搭载的应用程序。如图2所示，该流程可以包括以下步骤：
步骤202：获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像。
本说明书实施例中，目前在对用户进行身份认证时，通常需要实时的对用户进行人脸图像采集以得到用户人脸图像，比对用户人脸图像与证件中携带的证件人脸图像之间的一致性，若一致性较高，则可以认为证件所属的用户本人在进行身份认证，从而可以令该用户通过身份认证。基于此，不法分子在利用深度伪造技术进行身份欺诈时，通常会伪造一张用户人脸图像，并直接对该伪造的用户人脸图像进行处理以作为伪造证件中的证件人脸图像。由于此时伪造的用户人脸图像与证件人脸图像中包含的人脸姿态、表情、发型等均高度一致，从而容易令不法分子成功通过身份认证。
可知，若需要准确识别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，则可以利用生成式人工智能技术生成第一用户人脸图像，该第一用户人脸图像属于伪造的用户人脸图像。以及，通过对第一用户人脸图像进行风格迁移处理得到第一证件人脸图像，该第一证件人脸图像属于伪造的证件人脸图像。此时，第一用户人脸图像样本与第一证件人脸图像样本之间具有的人脸属性信息(例如，人脸姿态、表情、发型)具有较高的一致程度，其与不法分子进行身份欺诈时使用的用户人脸图像以及证件人脸图像的图像对的特征及特点具有一致性，因此，可以根据第一用户人脸图像样本以及第一证件人脸图像样本生成第一训练样本，以训练身份认证模型。
其中，生成式人工智能(Artificial Intelligence Generated Content)技术可以指通过学习大规模数据集生成新的原创内容的新型人工智能技术，它可以基于算法、模型、规则生成文本、图片、声音、视频、代码等内容。目前，已经有多种算法、模型能够生成具有高度真实感的人脸图像或视频，基于此，可以利用生成式人工智能技术去生成第一用户人脸图像。既能够降低训练样本的获取难度，又能够避免直接使用真实用户数据带来的侵犯用户数据权益的风险。
其中，风格迁移(style transfer)可以指将一张图像的内容与另一张图像的风格相融合，从而生成具有新颖外观与特定风格的图像。其中，风格(style)可以指图像中不同空间尺度的纹理、颜色和视觉图案。由于部分证件中包含的是人脸的灰度图像，以及，受到证件打印效果的影响，因此，证件中包含的证件人脸图像往往具有各自的特定风格。在此基础上，可以利用预先训练得到的具有生成证件人脸风格的算法、模型对第一用户人脸图像样本进行处理，以得到第一证件人脸图像样本。
步骤204：确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险。
本说明书实施例中，第一训练样本与不法分子进行身份欺诈时使用的用户人脸图像以及证件人脸图像的图像对的特征及特点具有一致性，因此，可以给第一训练样本设置用于标识所述第一训练样本所属的第一样本用户具有利用深度伪造技术进行身份认证的风险的第一标签数据。
步骤206：利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
本说明书实施例中，利用具有所述第一标签数据的第一训练样本对身份认证模型进行训练，可以令训练得到的目标身份认证模型学习到不法分子进行身份欺诈时使用的用户人脸图像以及证件人脸图像的图像对的特征及知识，从而能够准确识别出用户利用深度伪造技术进行身份认证的情况。
图2中的方法，由于针对目标身份认证模型训练时所使用的第一训练样本中包含的是利用生成式人工智能技术以及图像风格迁移技术所生成的伪造人脸图像，使得第一训练样本与不法分子利用深度伪造技术进行身份欺诈时所使用的人脸图像所具有的特征信息较为一致，从而能够利用目标身份认证模型准确识别出用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，以降低深度伪造技术被滥用的风险，保障身份认证安全性。
基于图2中的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
本说明书实施例中，步骤202：获取包含有样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本，具体可以包括：
利用生成式人工智能模型根据预设提示词，生成所述第一样本用户的用户人脸图像，得到所述第一用户人脸图像样本。
利用预先训练得到的目标图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理， 得到所述第一证件人脸图像样本。
本说明书实施例中，可以利用现有的生成式人工智能模型去生成人脸图像以作为第一用户人脸图像样本。其中，所述生成式人工智能模型可以包括但不限于Stable Diffusion AI绘画生成工具、Midjourney在线图像生成平台、StyleGAN图像生成模型等，对此不作具体限定。在实际应用中，由于不同地理环境中的用户的人脸特征往往存在差异，因此，可以根据实际需求，通过设置预设提示词，以生成具有指定特征、特点的第一用户人脸图像样本。例如，所述预设提示词可以用于指示用户的衣着、发型、五官特点、光照条件、背景环境等信息，对此不作具体限定。
本说明书实施例中，为了令目标图像风格迁移模型能够生成具有证件上的人脸风格的图像，通常需要对目标图像风格迁移模型进行预训练，基于此，所述利用预先训练得到图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理之前，还可以包括：
获取包含有第二样本用户的第二用户人脸图像样本以及第二证件人脸图像样本的第二训练样本；其中，所述第二用户人脸图像样本为针对所述第二样本用户的人脸进行图像采集得到的真实人脸图像，所述第二证件人脸图像样本为所述第二样本用户的通过可信性核验的证件样本中包含的证件人脸图像，且所述证件样本与所述第一证件人脸图像样本所属证件的种类相同。
利用所述第二训练样本对风格迁移模型进行训练，得到所述风格迁移模型输出的预测证件人脸图像。
以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，得到目标图像风格迁移模型。
本说明书实施例中，由于需要令目标图像风格迁移模型具有根据输入的用户人脸图像去生成具有证件上的人脸的风格的证件人脸图像，因此，在训练目标图像风格迁移模型时，可以获取可信性及真实度较好且归属于同一用户的用户人脸图像样本以及证件人脸图像样本作为第二训练样本。
具体的，第二训练样本中包含的第二用户人脸图像样本可以是通过对真实用户(即第二样本用户)的活体人脸进行图像采集得到的，而第二训练样本中包含的第二证件人脸图像样本可以是第二样本用户的真实可信的证件中包含的人脸图像。可以理解的是，服务提供商在利用第二训练样本进行模型训练之前，通常已经取得了第二样本用户的使用授权，从而能够避免损害用户权益。
在实际应用中，需要将第二训练样本中包含的第二用户人脸图像样本输入风格迁移模型，此时，风格迁移模型会生成一个预测证件人脸图像，由于模型训练目标是令预测证件人脸图像的视觉效果接近第二训练样本中的第二证件人脸图像样本，因此，可以将使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对风格迁移模型进行参数优化，以得到具有生成证件人脸风格的人脸图像的能力的目标图像风格迁移模型。
本说明书实施例中，由于多模态模型能够对丰富的视觉信息以及其他模态(如文本)的信息进行结合分析，捕捉到多种数据之间的关系，有助于提高模型的准确性和效率，从而得到了推广应用。
基于此，若目标图像风格迁移模型为多模态模型，则第二训练样本中还可以包含针对所述第二证件人脸图像样本的风格描述信息。
对应的，所述以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，具体可以包括：
以使得所述预测证件人脸图像与所述第二证件人脸图像样本以及所述风格描述信息之间的差异最小化为目标，对所述风格迁移模型进行参数优化。
本说明书实施例中，针对所述第二证件人脸图像样本的风格描述信息可以包括但不限于：所述第二证件人脸图像样本所属证件的名称、类型信息，人为定义的第二证件人脸图像样本所属的人脸风格名称、类型信息，人脸区域具有的视觉特点信息、人脸属性信息等中的至少一种。
由于需要保障目标图像风格迁移模型生成的证件人脸图像与针对所述第二证件人脸图像样本的风格描述信息具有一致性，因此，可以将令所述预测证件人脸图像与所述第二证件人脸图像样本以及所述风格描述信息之间的差异最小化为目标，对风格迁移模型进行参数优化，从而保障训练得到的目 标图像风格迁移模型生成的证件人脸图像具有较高的真实度，满足实际需求。
在实际应用中，所述风格迁移模型可以包括但不限于：styleGAN模型、CAP-VSTNet模型、InstantStyle模型、AdaIN模型及InstantID模型中的至少一种。由于InstantStyle模型及InstantID模型属于多模态模型，因此，针对InstantStyle模型及InstantID模型的第二训练样本中除了可以包含第二用户人脸图像样本以及第二证件人脸图像样本以外，还可以包含针对所述第二证件人脸图像样本的风格描述信息。以及，由于InstantID模型具有根据输入图像自动提取得到文本输入信息的能力，若仅需要利用InstantID模型生成单一种类的证件的证件人脸图像，则也可以无需令第二训练样本中包含针对所述第二证件人脸图像样本的风格描述信息，对此不作具体限定。
本说明书实施例中，由于用户的证件生成时间与用户进行身份认证的时间之间往往具有一定的时间间隔，因此，同一用户的可信度较高的用户人脸图像与证件人脸图像中包含的人脸属性信息往往存在差异，但在人脸特征方面又具有比较高的相似度；而不同用户的用户人脸图像与证件人脸图像中包含的人脸属性信息往往存在较大差异，并且在人脸特征方面的相似度也比较低。在上述两种情况下均应该认为用户不具有利用深度伪造技术进行身份认证的风险。
基于此，图2中所述的方法，还可以包括：
获取包含有第三样本用户的第三用户人脸图像样本以及第三证件人脸图像样本的第三训练样本；其中，所述第三证件人脸图像样本与所述第三用户人脸图像样本为不同用户的人脸图像；或者，所述第三证件人脸图像样本与所述第三用户人脸图像样本为归属于同一用户且具有的人脸属性信息不同的人脸图像。
确定所述第三训练样本具有的第二标签数据；所述第二标签数据用于标识所述第三样本用户不具有利用深度伪造技术进行身份认证的风险。
对应的，步骤206：对身份认证模型进行训练，得到目标身份认证模型，可以包括：
利用具有所述第一标签数据的所述第一训练样本以及具有所述第二标签数据的所述第三训练样本，对身份认证模型进行训练，得到目标身份认证模型。
本说明书实施例中，人脸属性信息可以包括但不限于：人脸表情、人脸姿态、身份、妆造等信息。在实际应用中，同一用户在利用个人证件进行身份认证时，针对该用户采集到的用户人脸图像及证件人脸图像的人脸属性信息往往并不相同，这种情况下，由于用户并未利用深度伪造技术进行身份欺诈，因此，可以将归属于同一用户且具有的人脸属性信息不同的第三证件人脸图像样本与第三用户人脸图像样本作为第三训练样本，并为第三训练样本设置表示第三训练样本所属的第三样本用户不具有利用深度伪造技术进行身份认证的风险的第二标签数据。
而在利用不同用户的用户人脸图像及证件人脸图像进行身份认证的场景中，尽管用户存在身份欺诈的行为，但其并不属于利用深度伪造技术进行身份欺诈的情况，因此，可以将归属于不同用户的第三证件人脸图像样本与第三用户人脸图像样本作为第三训练样本，并为第三训练样本设置表示第三训练样本所属的第三样本用户不具有利用深度伪造技术进行身份认证的风险的第二标签数据。
通过利用具有第一标签数据的第一训练样本以及具有第二标签数据的第三训练样本，对身份认证模型进行训练，能够进一步提升训练得到目标身份认证模型的性能，对此不作赘述。
在实际应用中，由于实时针对用户采集到的用户人脸图像中往往会包含面积较大的背景区域，从而包含较多的干扰信息，而证件中的证件人脸图像不仅背景区域面积占比较小，且其背景区域往往为纯色区域，从而包含的干扰信息较少。基于此，为了提升模型性能，可以令第一训练样本中的第一用户人脸图像样本以及第三训练样本中的第三用户人脸图像样本是利用人脸识别模型从采集到的用户图像中识别出的人脸区域内的图像，以及，令第一训练样本中的第一证件人脸图像样本以及第三训练样本中的第三证件人脸图像样本是利用人脸识别模型从证件图像中识别出的人脸区域内的图像，从而减少背景区域带来的干扰。
本说明书实施例中，所述身份认证模型可以包括用于针对人脸图像样本进行特征提取的特征提取模型，以及用于根据所述特征提取模型提取到的人脸图像特征数据进行身份认证风险识别的风险识别 模型。其中，所述特征提取模型的输出层与所述风险识别模型的输入层连接，从而构成(目标)身份认证模型。
基于此，步骤206：对身份认证模型进行训练，得到目标身份认证模型，具体可以包括：
利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型；其中，所述目标训练样本包括所述第一训练样本与所述第三训练样本中的至少一种。
将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型。
将参数锁定后的所述特征提取模型的输出层与预设关系模型的输入层连接，得到初始身份认证模型。
将所述目标训练样本输入所述初始身份认证模型，得到所述初始身份认证模型输出的预测标签数据。
将使得所述预测标签数据与所述目标训练样本具有的预设标签数据之间的差异最小化为目标，对所述初始身份认证模型中的所述预设关系模型进行参数优化，得到所述风险识别模型；其中，所述预设标签数据为所述第一标签数据或所述第二标签数据。
本说明书实施例中，身份认证模型的工作原理可以简单的被认为是：根据从用户人脸图像及证件人脸图像中提取到的特征进行处理，以得到反映用户是否具有利用深度伪造技术进行身份认证的风险的分类结果。基于此，为了保障身份认证模型的性能，可以单独训练一个特征提取模型用于提取人脸图像特征，并结合训练得到的特征提取模型去训练分类模型作为风险识别模型，从而利用特征提取模型与风险识别模型搭建目标身份认证模型。
具体的，可以利用第一训练样本与第三训练样本中的人脸图像对人脸识别模型进行训练，此时得到的训练后人脸识别模型中的位置比较靠后的网络层往往具有提取到准确性较好的人脸特征的能力，基于此，可以将训练后人脸识别模型中自输入层至指定网络层所构成的模型确定为身份认证模型中的特征提取模型。其中，所述指定网络层可以优先选择靠近人脸识别模型的输出层的全连接层，当然，也可以是其它网络层，对此不作具体限定。
本说明书实施例中，预设关系模型(Relation Model)可以用于学习输入数据之间的相似程度，通过参数优化使相同标签的数据相似度更大，而不同标签的数据相似度更小。
由于特征提取模型已经完成了参数优化，并且能够从第一训练样本及第三训练样本中提取到准确性好的人脸图像特征数据，基于此，可以将参数锁定后的特征提取模型的输出层与预设关系模型的输入层连接，得到初始身份认证模型。在模型训练过程中，参数锁定后的特征提取模型在从目标训练样本中的两张人脸图像中提取到各自相应的人脸图像特征数据后，可以均输入给预设关系模型，使得预设关系模型可以根据上述人脸图像特征数据生成反映用户是否具有利用深度伪造技术进行身份认证的风险的预测标签数据。并根据预测标签数据与目标训练样本具有的预设标签数据之间的差异，对预设关系模型的参数进行优化，而不再对特征提取模型进行参数优化。基于此得到的参数优化后的预设关系模型就可以作为身份认证模型中的风险识别模型进行使用了。
在实际应用中，所述预设关系模型可以包括全连接层、卷积层、池化层、激活层、损失层等各个网络层，或者，也可以包括结构更为复杂的由一组连续的层封装作为一个复合单元的神经网络块(Block)，例如，残差块结构(Residual Block)、基于注意力机制的注意力模块(Attention Module)等，对此不作具体限定。
本说明书实施例中，为了进一步提升特征提取模型所提取到的人脸图像特征数据的准确性，可以训练得到一个专门用于提取用户人脸图像的特征数据的特征提取模型，以及，一个专门用于提取证件人脸图像的特征数据的特征提取模型。
基于此，所述特征提取模型可以包括：用于针对用户人脸图像进行特征提取的第一特征提取模型，以及用于针对证件人脸图像进行特征提取的第二特征提取模型；所述风险识别模型具体用于根据所述第一特征提取模型以及所述第二特征提取模型提取到的人脸图像特征数据进行身份认证风险识别。
对应的，所述利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型，具体可 以包括：
利用所述第一用户人脸图像样本与所述第三用户人脸图像样本中的至少一种，对第一人脸识别模型进行训练，得到第一训练后人脸识别模型。
利用所述第一证件人脸图像样本与所述第三证件人脸图像样本中的至少一种，对第二人脸识别模型进行训练，得到第二训练后人脸识别模型。
以及，所述将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型，具体可以包括：
将所述第一训练后人脸识别模型中自输入层至目标网络层所构成的模型，确定为所述第一特征提取模型。
将所述第二训练后人脸识别模型中自输入层至预设网络层所构成的模型，确定为所述第二特征提取模型。
后续，在针对风险识别模型进行训练时，可以将参数锁定后的第一特征提取模型的输出层以及第二特征提取模型的输出层分别与预设关系模型的输入层连接而得到初始身份认证模型。通过将所述第一用户人脸图像样本输入参数锁定后的第一特征提取模型，以及，将所述第一证件人脸图像样本输入参数锁定后的第二特征提取模型，从而得到所述初始身份认证模型输出的预测标签数据；或者，通过将所述第三用户人脸图像样本输入参数锁定后的第一特征提取模型，以及，将所述第三证件人脸图像样本输入参数锁定后的第二特征提取模型，从而得到所述初始身份认证模型输出的预测标签数据，对此不作赘述。
在实际应用中，所述人脸识别模型可以为预训练人脸识别模型；或者，所述人脸识别模型可以包括：轻量化多层感知机与参数锁定后的预训练人脸识别模型，其中，所述预训练人脸识别模型的输出层与所述轻量化多层感知机(MLP，Multilayer Perceptron)的输入层连接。从而利用预训练人脸识别模型自身具有的良好的提取人脸特征数据的能力，去保证训练得到的特征提取模型的可靠性与有效性。
为了便于理解，图3为本说明书实施例提供的一种目标身份认证模型的结构示意图。如图3所示，目标身份认证模型中可以包含由预训练人脸识别模型与轻量化多层感知机构成的第一特征提取模型301与第二特征提取模型302，以及，风险识别模型303。其中，第一特征提取模型301与第二特征提取模型302中的预训练人脸识别模型的输出层均可以与其包含的轻量化多层感知机的输入层连接，而第一特征提取模型301与第二特征提取模型302中的轻量化多层感知机的输出层又均可以与风险识别模型303连接，对此不作赘述。
基于与图2中所示的方案同样的思路，本说明书实施例还提供了一种身份认证方法。图4为本说明书实施例提供的一种身份认证方法的流程示意图。该流程的执行主体可以为进行身份认证的设备，或者，进行身份认证的设备处搭载的应用程序。如图4所示，该流程可以包括：
步骤402：获取在身份认证过程中采集到的目标用户的用户人脸图像。
本说明书实施例中，在对目标用户进行身份认证时，通常需要实时采集目标用户的用户人脸图像，以对用户人脸图像及目标用户的证件中的证件人脸图像进行比对，从而生成针对目标用户的身份认证结果。
在实际应用中，可以利用目标用户的终端设备或者服务提供方所提供的设备去采集目标用户的用户人脸图像。若目标用户的终端设备或者服务提供方所提供的设备处搭载有用于身份认证的目标身份认证模型，则图4中方案的执行主体可以为目标用户的终端设备或者服务提供方所提供的设备，步骤402可以为利用目标用户的终端设备或者服务提供方所提供的设备实时采集目标用户的用户人脸图像。而若目标身份认证模型部署于服务提供方的服务端，则图4中方案的执行主体可以为服务提供方的服务端，步骤402具体可以是服务提供方的服务端从目标用户的终端设备或者服务提供方所提供的设备处获取其采集到的目标用户的用户人脸图像。
步骤404：获取所述目标用户的证件图像中的证件人脸图像。
本说明书实施例中，服务提供商的设备或服务端处可以存储有预先获取到的目标用户的证件图像， 或者，也可以由目标用户实时采集并上报个人的证件图像，则步骤404具体可以是利用人脸识别模型从目标用户的证件图像中识别出人脸区域，提取人脸区域内的图像得到证件人脸图像。
步骤406：利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中提供的身份认证模型训练方法训练得到的模型。
本说明书实施例中，若目标身份认证模型生成的身份认证结果信息表示目标用户具有利用深度伪造技术进行身份认证的风险，则通常会令目标用户身份认证失败，无法通过身份认证。而若目标身份认证模型生成的身份认证结果信息表示目标用户不具有利用深度伪造技术进行身份认证的风险，则既可以令目标用户身份认证成功，以通过身份认证，或者，还可以利用其它手段进一步对目标用户进行身份认证，以保障身份认证的安全性，对此不作具体限定。
图4中的方法，由于针对目标身份认证模型训练时所使用的第一训练样本中包含的是利用生成式人工智能技术以及图像风格迁移技术所生成的伪造人脸图像，使得第一训练样本与不法分子利用深度伪造技术进行身份欺诈时所使用的人脸图像所具有的特征信息较为一致，从而能够利用目标身份认证模型准确识别出目标用户在身份认证过程中使用深度伪造技术进行身份欺诈的情况，以降低深度伪造技术被滥用的风险，保障身份认证安全性。
基于图4中的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。
由于在身份认证过程中，往往可以针对目标用户采集一段视频，并从中提取目标用户的用户人脸图像。然而，视频中不同视频帧内具有的用户人脸姿态可能存在差异，但目标用户的证件人脸图像中的人脸姿态是固定的，因此，可以优先选取视频帧中与证件人脸图像中的人脸姿态较为一致的人脸图像作为目标用户的用户人脸图像，从而减少干扰因素，提升身份认证结果的准确性。
基于此，步骤406：获取在身份认证过程中采集到的目标用户的用户人脸图像，具体可以包括：
若在身份认证过程中采集到目标用户的多张备选用户人脸图像，则利用人脸属性识别算法，确定各个所述备选用户人脸图像中的人脸的第一姿态信息。
确定所述证件人脸图像中的人脸的第二姿态信息。
将与所述第二姿态信息一致程度最高的所述第一姿态信息对应的所述备选用户人脸图像，确定为目标用户的用户人脸图像。
在实际应用中，若在身份认证过程中采集到的目标用户的用户图像内包含占比较大的背景区域，则为了减少背景信息带来的干扰，还可以利用人脸识别模型对采集到的用户图像进行人脸识别处理，将识别出的人脸区域内的图像作为目标用户的用户人脸图像，对此不作赘述。
图5为本说明书实施例提供的对应于图2及图4中的身份认证方案的泳道流程示意图。如图5所示，该身份认证流程可以涉及服务提供商以及目标用户等执行主体。
在模型训练阶段，服务提供商可以获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；第一证件人脸图像样本是对第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像，并确定所述第一训练样本具有的第一标签数据；其中，所述第一标签数据可以用于标识第一样本用户具有利用深度伪造技术进行身份认证的风险。
服务提供商还可以获取包含有第三样本用户的第三用户人脸图像样本以及第三证件人脸图像样本的第三训练样本；其中，第三证件人脸图像样本与第三用户人脸图像样本为不同用户的人脸图像；或者，第三证件人脸图像样本与第三用户人脸图像样本为归属于同一用户且具有的人脸属性信息不同的人脸图像。并确定所述第三训练样本具有的第二标签数据；其中，所述第二标签数据可以用于标识第三样本用户不具有利用深度伪造技术进行身份认证的风险。
利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型；其中，目标训练样本包括第一训练样本与第三训练样本中的至少一种。将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为特征提取模型。通过将参数锁定后的所述特征提取模型的输出层与预设关系 模型的输入层连接，得到初始身份认证模型，将所述目标训练样本输入所述初始身份认证模型，得到所述初始身份认证模型输出的预测标签数据；进而将使得预测标签数据与目标训练样本具有的预设标签数据之间的差异最小化为目标，对预设关系模型进行参数优化，以得到目标身份认证模型；其中，预设标签数据为第一标签数据或第二标签数据。
在身份认证阶段，目标用户需要配合执行身份认证操作，以使得服务提供商可以获取到在身份认证过程中采集到的目标用户的用户人脸图像，以及，获取所述目标用户的证件图像中的证件人脸图像，通过利用目标身份认证模型对用户人脸图像与证件人脸图像进行处理，从而得到表示目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图6为本说明书实施例提供的对应于图2的一种身份认证模型训练装置的结构示意图。如图6所示，该装置可以包括：
第一获取模块602，用于获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像。
第一确定模块604，用于确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险。
第一训练模块606，用于利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
基于图6的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明。
可选的，所述第一获取模块，可以包括：
生成单元，用于利用生成式人工智能模型根据预设提示词，生成所述第一样本用户的用户人脸图像，得到所述第一用户人脸图像样本。
风格迁移处理单元，用于利用预先训练得到的目标图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理，得到所述第一证件人脸图像样本。
可选的，图6中所述的装置，还可以包括：
第二获取模块，用于获取包含有第二样本用户的第二用户人脸图像样本以及第二证件人脸图像样本的第二训练样本；其中，所述第二用户人脸图像样本为针对所述第二样本用户的人脸进行图像采集得到的真实人脸图像，所述第二证件人脸图像样本为所述第二样本用户的通过可信性核验的证件样本中包含的证件人脸图像，且所述证件样本与所述第一证件人脸图像样本所属证件的种类相同。
第二训练模块，用于利用所述第二训练样本对风格迁移模型进行训练，得到所述风格迁移模型输出的预测证件人脸图像。
参数优化模块，用于以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，得到目标图像风格迁移模型。
可选的，所述第二训练样本中还可以包含针对所述第二证件人脸图像样本的风格描述信息。
对应的，所述参数优化模块，具体可以用于：
以使得所述预测证件人脸图像与所述第二证件人脸图像样本以及所述风格描述信息之间的差异最小化为目标，对所述风格迁移模型进行参数优化。
可选的，所述风格迁移模型可以包括：styleGAN模型、CAP-VSTNet模型、InstantStyle模型、AdaIN模型及InstantID模型中的至少一种。
可选的，图6中所述的装置，还可以包括：
第三获取模块，用于获取包含有第三样本用户的第三用户人脸图像样本以及第三证件人脸图像样本的第三训练样本；其中，所述第三证件人脸图像样本与所述第三用户人脸图像样本为不同用户的人脸图像；或者，所述第三证件人脸图像样本与所述第三用户人脸图像样本为归属于同一用户且具有的人脸属性信息不同的人脸图像。
第二确定模块，用于确定所述第三训练样本具有的第二标签数据；所述第二标签数据用于标识所述第三样本用户不具有利用深度伪造技术进行身份认证的风险。
所述第一训练模块，具体可以用于：
利用具有所述第一标签数据的所述第一训练样本以及具有所述第二标签数据的所述第三训练样本，对身份认证模型进行训练，得到目标身份认证模型。
可选的，所述身份认证模型可以包括用于针对人脸图像样本进行特征提取的特征提取模型，以及用于根据所述特征提取模型提取到的人脸图像特征数据进行身份认证风险识别的风险识别模型。
对应的，所述第一训练模块，可以包括：
第一训练单元，用于利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型；其中，所述目标训练样本包括所述第一训练样本与所述第三训练样本中的至少一种。
确定单元，用于将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型。
模型连接单元，用于将参数锁定后的所述特征提取模型的输出层与预设关系模型的输入层连接，得到初始身份认证模型。
第二训练单元，用于将所述目标训练样本输入所述初始身份认证模型，得到所述初始身份认证模型输出的预测标签数据。
参数优化单元，用于将使得所述预测标签数据与所述目标训练样本具有的预设标签数据之间的差异最小化为目标，对所述初始身份认证模型中的所述预设关系模型进行参数优化，得到所述风险识别模型；其中，所述预设标签数据为所述第一标签数据或所述第二标签数据。
可选的，所述特征提取模型可以包括：用于针对用户人脸图像进行特征提取的第一特征提取模型，以及用于针对证件人脸图像进行特征提取的第二特征提取模型；所述风险识别模型具体用于根据所述第一特征提取模型以及所述第二特征提取模型提取到的人脸图像特征数据进行身份认证风险识别。
对应的，所述第一训练单元，具体可以用于：
利用所述第一用户人脸图像样本与所述第三用户人脸图像样本中的至少一种，对第一人脸识别模型进行训练，得到第一训练后人脸识别模型。
利用所述第一证件人脸图像样本与所述第三证件人脸图像样本中的至少一种，对第二人脸识别模型进行训练，得到第二训练后人脸识别模型。
所述确定单元，具体可以用于：
将所述第一训练后人脸识别模型中自输入层至目标网络层所构成的模型，确定为所述第一特征提取模型。
将所述第二训练后人脸识别模型中自输入层至预设网络层所构成的模型，确定为所述第二特征提取模型。
可选的，所述人脸识别模型可以为预训练人脸识别模型；或者，
所述人脸识别模型可以包括：轻量化多层感知机与参数锁定后的预训练人脸识别模型，其中，所述预训练人脸识别模型的输出层与所述轻量化多层感知机的输入层连接。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图7为本说明书实施例提供的对应于图4的一种身份认证装置的结构示意图。如图7所示，该装置可以包括：
第一获取模块702，用于获取在身份认证过程中采集到的目标用户的用户人脸图像。
第二获取模块704，用于获取所述目标用户的证件图像中的证件人脸图像。
身份认证模块706，用于利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中的身份认证模型训练装置训练得到的模型。
基于图7的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明。
可选的，所述第一获取模块，可以包括：
第一确定单元，用于若在身份认证过程中采集到目标用户的多张备选用户人脸图像，则利用人脸属性识别算法，确定各个所述备选用户人脸图像中的人脸的第一姿态信息。
第二确定单元，用于确定所述证件人脸图像中的人脸的第二姿态信息。
第三确定单元，用于将与所述第二姿态信息一致程度最高的所述第一姿态信息对应的所述备选用户人脸图像，确定为目标用户的用户人脸图像。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
图8为本说明书实施例提供的对应于图2的一种身份认证模型训练设备的结构示意图。如图8所示，设备800可以包括：
至少一个处理器810；以及，
与所述至少一个处理器通信连接的存储器830；其中，
所述存储器830存储有可被所述至少一个处理器810执行的指令820，所述指令被所述至少一个处理器810执行，以使所述至少一个处理器810能够：
获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像。
确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险。
利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
基于同样的思路，本说明书实施例还提供了上述方法对应的设备。
图9为本说明书实施例提供的对应于图4的一种身份认证设备的结构示意图。如图9所示，设备900可以包括：
至少一个处理器910；以及，
与所述至少一个处理器通信连接的存储器930；其中，
所述存储器930存储有可被所述至少一个处理器910执行的指令920，所述指令被所述至少一个处理器910执行，以使所述至少一个处理器910能够：
获取在身份认证过程中采集到的目标用户的用户人脸图像。
获取所述目标用户的证件图像中的证件人脸图像。
利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用本说明书实施例中的身份认证模型训练方法训练得到的模型。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图8及图9所示的设备而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware  Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信 息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (24)

  1. 一种身份认证模型训练方法，包括：
    获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
    确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
    利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
  2. 如权利要求1所述的方法，所述获取包含有样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本，具体包括：
    利用生成式人工智能模型根据预设提示词，生成所述第一样本用户的用户人脸图像，得到所述第一用户人脸图像样本；
    利用预先训练得到的目标图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理，得到所述第一证件人脸图像样本。
  3. 如权利要求2所述的方法，所述利用预先训练得到图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理之前，还包括：
    获取包含有第二样本用户的第二用户人脸图像样本以及第二证件人脸图像样本的第二训练样本；其中，所述第二用户人脸图像样本为针对所述第二样本用户的人脸进行图像采集得到的真实人脸图像，所述第二证件人脸图像样本为所述第二样本用户的通过可信性核验的证件样本中包含的证件人脸图像，且所述证件样本与所述第一证件人脸图像样本所属证件的种类相同；
    利用所述第二训练样本对风格迁移模型进行训练，得到所述风格迁移模型输出的预测证件人脸图像；
    以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，得到目标图像风格迁移模型。
  4. 如权利要求3所述的方法，所述第二训练样本中还包含针对所述第二证件人脸图像样本的风格描述信息；
    所述以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，具体包括：
    以使得所述预测证件人脸图像与所述第二证件人脸图像样本以及所述风格描述信息之间的差异最小化为目标，对所述风格迁移模型进行参数优化。
  5. 如权利要求3或4所述的方法，所述风格迁移模型包括：styleGAN模型、CAP-VSTNet模型、InstantStyle模型、AdaIN模型及InstantID模型中的至少一种。
  6. 如权利要求1所述的方法，还包括：
    获取包含有第三样本用户的第三用户人脸图像样本以及第三证件人脸图像样本的第三训练样本；其中，所述第三证件人脸图像样本与所述第三用户人脸图像样本为不同用户的人脸图像；或者，所述第三证件人脸图像样本与所述第三用户人脸图像样本为归属于同一用户且具有的人脸属性信息不同的人脸图像；
    确定所述第三训练样本具有的第二标签数据；所述第二标签数据用于标识所述第三样本用户不具有利用深度伪造技术进行身份认证的风险；
    所述对身份认证模型进行训练，得到目标身份认证模型，具体包括：
    利用具有所述第一标签数据的所述第一训练样本以及具有所述第二标签数据的所述第三训练样本，对身份认证模型进行训练，得到目标身份认证模型。
  7. 如权利要求6所述的方法，所述身份认证模型包括用于针对人脸图像样本进行特征提取的特征提取模型，以及用于根据所述特征提取模型提取到的人脸图像特征数据进行身份认证风险识别的风险识别模型；
    所述对身份认证模型进行训练，得到目标身份认证模型，具体包括：
    利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型；其中，所述目标训练样本 包括所述第一训练样本与所述第三训练样本中的至少一种；
    将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型；
    将参数锁定后的所述特征提取模型的输出层与预设关系模型的输入层连接，得到初始身份认证模型；
    将所述目标训练样本输入所述初始身份认证模型，得到所述初始身份认证模型输出的预测标签数据；
    将使得所述预测标签数据与所述目标训练样本具有的预设标签数据之间的差异最小化为目标，对所述初始身份认证模型中的所述预设关系模型进行参数优化，得到所述风险识别模型；其中，所述预设标签数据为所述第一标签数据或所述第二标签数据。
  8. 如权利要求7所述的方法，所述特征提取模型包括：用于针对用户人脸图像进行特征提取的第一特征提取模型，以及用于针对证件人脸图像进行特征提取的第二特征提取模型；所述风险识别模型具体用于根据所述第一特征提取模型以及所述第二特征提取模型提取到的人脸图像特征数据进行身份认证风险识别；
    所述利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型，具体包括：
    利用所述第一用户人脸图像样本与所述第三用户人脸图像样本中的至少一种，对第一人脸识别模型进行训练，得到第一训练后人脸识别模型；
    利用所述第一证件人脸图像样本与所述第三证件人脸图像样本中的至少一种，对第二人脸识别模型进行训练，得到第二训练后人脸识别模型；
    所述将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型，具体包括：
    将所述第一训练后人脸识别模型中自输入层至目标网络层所构成的模型，确定为所述第一特征提取模型；
    将所述第二训练后人脸识别模型中自输入层至预设网络层所构成的模型，确定为所述第二特征提取模型。
  9. 如权利要求7所述的方法，所述人脸识别模型为预训练人脸识别模型；或者，
    所述人脸识别模型包括：轻量化多层感知机与参数锁定后的预训练人脸识别模型，其中，所述预训练人脸识别模型的输出层与所述轻量化多层感知机的输入层连接。
  10. 一种身份认证方法，包括：
    获取在身份认证过程中采集到的目标用户的用户人脸图像；
    获取所述目标用户的证件图像中的证件人脸图像；
    利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用权利要求1-9中任意一项所述的身份认证模型训练方法训练得到的模型。
  11. 如权利要求10所述的方法，所述获取在身份认证过程中采集到的目标用户的用户人脸图像，具体包括：
    若在身份认证过程中采集到目标用户的多张备选用户人脸图像，则利用人脸属性识别算法，确定各个所述备选用户人脸图像中的人脸的第一姿态信息；
    确定所述证件人脸图像中的人脸的第二姿态信息；
    将与所述第二姿态信息一致程度最高的所述第一姿态信息对应的所述备选用户人脸图像，确定为目标用户的用户人脸图像。
  12. 一种身份认证模型训练装置，包括：
    第一获取模块，用于获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
    第一确定模块，用于确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
    第一训练模块，用于利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到 目标身份认证模型。
  13. 如权利要求12所述的装置，所述第一获取模块，包括：
    生成单元，用于利用生成式人工智能模型根据预设提示词，生成所述第一样本用户的用户人脸图像，得到所述第一用户人脸图像样本；
    风格迁移处理单元，用于利用预先训练得到的目标图像风格迁移模型，对所述第一用户人脸图像样本进行风格迁移处理，得到所述第一证件人脸图像样本。
  14. 如权利要求13所述的装置，还包括：
    第二获取模块，用于获取包含有第二样本用户的第二用户人脸图像样本以及第二证件人脸图像样本的第二训练样本；其中，所述第二用户人脸图像样本为针对所述第二样本用户的人脸进行图像采集得到的真实人脸图像，所述第二证件人脸图像样本为所述第二样本用户的通过可信性核验的证件样本中包含的证件人脸图像，且所述证件样本与所述第一证件人脸图像样本所属证件的种类相同；
    第二训练模块，用于利用所述第二训练样本对风格迁移模型进行训练，得到所述风格迁移模型输出的预测证件人脸图像；
    参数优化模块，用于以使得所述预测证件人脸图像与所述第二证件人脸图像样本之间的差异最小化为目标，对所述风格迁移模型进行参数优化，得到目标图像风格迁移模型。
  15. 如权利要求14所述的装置，所述第二训练样本中还包含针对所述第二证件人脸图像样本的风格描述信息；
    所述参数优化模块，具体用于：
    以使得所述预测证件人脸图像与所述第二证件人脸图像样本以及所述风格描述信息之间的差异最小化为目标，对所述风格迁移模型进行参数优化。
  16. 如权利要求14或15所述的装置，所述风格迁移模型包括：styleGAN模型、CAP-VSTNet模型、InstantStyle模型、AdaIN模型及InstantID模型中的至少一种。
  17. 如权利要求12所述的装置，还包括：
    第三获取模块，用于获取包含有第三样本用户的第三用户人脸图像样本以及第三证件人脸图像样本的第三训练样本；其中，所述第三证件人脸图像样本与所述第三用户人脸图像样本为不同用户的人脸图像；或者，所述第三证件人脸图像样本与所述第三用户人脸图像样本为归属于同一用户且具有的人脸属性信息不同的人脸图像；
    第二确定模块，用于确定所述第三训练样本具有的第二标签数据；所述第二标签数据用于标识所述第三样本用户不具有利用深度伪造技术进行身份认证的风险；
    所述第一训练模块，具体用于：
    利用具有所述第一标签数据的所述第一训练样本以及具有所述第二标签数据的所述第三训练样本，对身份认证模型进行训练，得到目标身份认证模型。
  18. 如权利要求17所述的装置，所述身份认证模型包括用于针对人脸图像样本进行特征提取的特征提取模型，以及用于根据所述特征提取模型提取到的人脸图像特征数据进行身份认证风险识别的风险识别模型；
    所述第一训练模块，包括：
    第一训练单元，用于利用目标训练样本，对人脸识别模型进行训练，得到训练后人脸识别模型；其中，所述目标训练样本包括所述第一训练样本与所述第三训练样本中的至少一种；
    确定单元，用于将所述训练后人脸识别模型中自输入层至指定网络层所构成的模型，确定为所述特征提取模型；
    模型连接单元，用于将参数锁定后的所述特征提取模型的输出层与预设关系模型的输入层连接，得到初始身份认证模型；
    第二训练单元，用于将所述目标训练样本输入所述初始身份认证模型，得到所述初始身份认证模型输出的预测标签数据；
    参数优化单元，用于将使得所述预测标签数据与所述目标训练样本具有的预设标签数据之间的差异最小化为目标，对所述初始身份认证模型中的所述预设关系模型进行参数优化，得到所述风险识别模型；其中，所述预设标签数据为所述第一标签数据或所述第二标签数据。
  19. 如权利要求18所述的装置，所述特征提取模型包括：用于针对用户人脸图像进行特征提取的第一特征提取模型，以及用于针对证件人脸图像进行特征提取的第二特征提取模型；所述风险识别模型具体用于根据所述第一特征提取模型以及所述第二特征提取模型提取到的人脸图像特征数据进行身份认证风险识别；
    所述第一训练单元，具体用于：
    利用所述第一用户人脸图像样本与所述第三用户人脸图像样本中的至少一种，对第一人脸识别模型进行训练，得到第一训练后人脸识别模型；
    利用所述第一证件人脸图像样本与所述第三证件人脸图像样本中的至少一种，对第二人脸识别模型进行训练，得到第二训练后人脸识别模型；
    所述确定单元，具体用于：
    将所述第一训练后人脸识别模型中自输入层至目标网络层所构成的模型，确定为所述第一特征提取模型；
    将所述第二训练后人脸识别模型中自输入层至预设网络层所构成的模型，确定为所述第二特征提取模型。
  20. 如权利要求18所述的装置，所述人脸识别模型为预训练人脸识别模型；或者，
    所述人脸识别模型包括：轻量化多层感知机与参数锁定后的预训练人脸识别模型，其中，所述预训练人脸识别模型的输出层与所述轻量化多层感知机的输入层连接。
  21. 一种身份认证装置，包括：
    第一获取模块，用于获取在身份认证过程中采集到的目标用户的用户人脸图像；
    第二获取模块，用于获取所述目标用户的证件图像中的证件人脸图像；
    身份认证模块，用于利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用权利要求1-9中任意一项所述的身份认证模型训练装置训练得到的模型。
  22. 如权利要求21所述的装置，所述第一获取模块，包括：
    第一确定单元，用于若在身份认证过程中采集到目标用户的多张备选用户人脸图像，则利用人脸属性识别算法，确定各个所述备选用户人脸图像中的人脸的第一姿态信息；
    第二确定单元，用于确定所述证件人脸图像中的人脸的第二姿态信息；
    第三确定单元，用于将与所述第二姿态信息一致程度最高的所述第一姿态信息对应的所述备选用户人脸图像，确定为目标用户的用户人脸图像。
  23. 一种身份认证模型训练设备，包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
    获取包含有第一样本用户的第一用户人脸图像样本以及第一证件人脸图像样本的第一训练样本；其中，所述第一用户人脸图像样本是利用生成式人工智能技术生成的用户人脸图像；所述第一证件人脸图像样本是对所述第一用户人脸图像样本进行风格迁移处理得到的证件人脸图像；
    确定所述第一训练样本具有的第一标签数据；所述第一标签数据用于标识所述第一样本用户具有利用深度伪造技术进行身份认证的风险；
    利用具有所述第一标签数据的所述第一训练样本对身份认证模型进行训练，得到目标身份认证模型。
  24. 一种身份认证设备，包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
    获取在身份认证过程中采集到的目标用户的用户人脸图像；
    获取所述目标用户的证件图像中的证件人脸图像；
    利用目标身份认证模型对所述用户人脸图像与所述证件人脸图像进行处理，得到表示所述目标用户是否具有利用深度伪造技术进行身份认证的风险的身份认证结果信息；其中，所述目标身份认证模型是利用权利要求1-9中任意一项所述的身份认证模型训练方法训练得到的模型。
PCT/CN2024/129140 2024-06-14 2024-10-31 一种身份认证模型训练方法、身份认证方法、装置及设备 Pending WO2025256027A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410775563.1 2024-06-14
CN202410775563.1A CN118711231B (zh) 2024-06-14 2024-06-14 一种身份认证模型训练方法、身份认证方法、装置及设备

Publications (1)

Publication Number Publication Date
WO2025256027A1 true WO2025256027A1 (zh) 2025-12-18

Family

ID=92812063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/129140 Pending WO2025256027A1 (zh) 2024-06-14 2024-10-31 一种身份认证模型训练方法、身份认证方法、装置及设备

Country Status (2)

Country Link
CN (1) CN118711231B (zh)
WO (1) WO2025256027A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121706074A (zh) * 2026-02-06 2026-03-20 杭州蚂蚁酷爱科技有限公司 一种确定身份认证过程中的风险的方法及计算设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118711231B (zh) * 2024-06-14 2025-05-30 蚂蚁区块链科技(上海)有限公司 一种身份认证模型训练方法、身份认证方法、装置及设备
CN119760402B (zh) * 2024-12-19 2026-04-07 上海交通大学 语料特征提取方法、设备、存储介质及程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN108470169A (zh) * 2018-05-23 2018-08-31 国政通科技股份有限公司 人脸识别系统及方法
CN109359502A (zh) * 2018-08-13 2019-02-19 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN114519635A (zh) * 2022-02-14 2022-05-20 中国工商银行股份有限公司 银行账户开户监控方法、服务器和系统
CN114897655A (zh) * 2022-07-12 2022-08-12 深圳市信润富联数字科技有限公司 基于视觉的防疫控制方法及装置、存储介质、电子设备
CN117373091A (zh) * 2023-10-27 2024-01-09 浙江大学 一种模型训练的方法、身份验证的方法及装置
CN118035970A (zh) * 2024-02-05 2024-05-14 支付宝(杭州)信息技术有限公司 身份认证方法及装置
CN118711231A (zh) * 2024-06-14 2024-09-27 蚂蚁区块链科技(上海)有限公司 一种身份认证模型训练方法、身份认证方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783505B (zh) * 2019-05-10 2025-01-03 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN113657248B (zh) * 2021-08-13 2024-12-03 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
CN117611923B (zh) * 2024-01-08 2024-08-13 北京锐融天下科技股份有限公司 一种身份证件真伪识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935438A (zh) * 2015-05-28 2015-09-23 北京旷视科技有限公司 用于身份验证的方法和装置
CN108470169A (zh) * 2018-05-23 2018-08-31 国政通科技股份有限公司 人脸识别系统及方法
CN109359502A (zh) * 2018-08-13 2019-02-19 北京市商汤科技开发有限公司 防伪检测方法和装置、电子设备、存储介质
CN114519635A (zh) * 2022-02-14 2022-05-20 中国工商银行股份有限公司 银行账户开户监控方法、服务器和系统
CN114897655A (zh) * 2022-07-12 2022-08-12 深圳市信润富联数字科技有限公司 基于视觉的防疫控制方法及装置、存储介质、电子设备
CN117373091A (zh) * 2023-10-27 2024-01-09 浙江大学 一种模型训练的方法、身份验证的方法及装置
CN118035970A (zh) * 2024-02-05 2024-05-14 支付宝(杭州)信息技术有限公司 身份认证方法及装置
CN118711231A (zh) * 2024-06-14 2024-09-27 蚂蚁区块链科技(上海)有限公司 一种身份认证模型训练方法、身份认证方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121706074A (zh) * 2026-02-06 2026-03-20 杭州蚂蚁酷爱科技有限公司 一种确定身份认证过程中的风险的方法及计算设备

Also Published As

Publication number Publication date
CN118711231B (zh) 2025-05-30
CN118711231A (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
Mahmud et al. Deep insights of deepfake technology: A review
Kumar et al. Object detection system based on convolution neural networks using single shot multi-box detector
CN111444873A (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
Wang et al. DSA-Face: Diverse and sparse attentions for face recognition robust to pose variation and occlusion
CN118711231B (zh) 一种身份认证模型训练方法、身份认证方法、装置及设备
Singh et al. Face recognition using open source computer vision library (OpenCV) with Python
WO2020220453A1 (zh) 一种校验证件与持证人的方法及装置
CN116152938B (zh) 身份识别模型训练和电子资源转移方法、装置及设备
JP7141518B2 (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
CN110059560A (zh) 人脸识别的方法、装置及设备
US20250217952A1 (en) Multiple Fraud Type Detection System and Methods
Do et al. Potential attacks of DeepFake on eKYC systems and remedy for eKYC with DeepFake detection using two-stream network of facial appearance and motion features
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
Maheswaran et al. A Perspective way of designing Intelligent systems with Face Detection and Recognition using Artificial Intelligence for Authentication
Kim et al. End-to-end lip synchronisation based on pattern classification
Sadiq et al. A robust occlusion-adaptive attention-based deep network for facial landmark detection
Raj et al. A review on the detection of deep fake and propaganda videos and images-based voice and facial manipulation using AI techniques
Abderraouf et al. An Embedded Intelligent System for Attendance Monitoring
Palani et al. Next‐Gen Deepfake Detection: ResNet‐Swish‐BiLSTM Model to Deliver Superior Accuracy in Visual Forensics
KR20250116517A (ko) 멀티 모달 학습을 적용한 얼굴 위조 판별 장치 및 방법
Nguyen et al. Towards recognizing facial expressions at deeper level: Discriminating genuine and fake smiles from a sequence of images
Nguyen et al. Automatic attendance system based on face recognition using HOG features and cosine distance
Kliangsuwan et al. Face recognition algorithms for online and on-site classes
Truong et al. A scalable real-time attendance tracking system based on face recognition
US20250104479A1 (en) Injection and Other Attacks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24943181

Country of ref document: EP

Kind code of ref document: A1