WO2022242032A1 - 数据分类方法及装置、电子设备、存储介质和计算机程序产品 - Google Patents

数据分类方法及装置、电子设备、存储介质和计算机程序产品 Download PDF

Info

Publication number
WO2022242032A1
WO2022242032A1 PCT/CN2021/126150 CN2021126150W WO2022242032A1 WO 2022242032 A1 WO2022242032 A1 WO 2022242032A1 CN 2021126150 W CN2021126150 W CN 2021126150W WO 2022242032 A1 WO2022242032 A1 WO 2022242032A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
image set
face images
data classification
Prior art date
Application number
PCT/CN2021/126150
Other languages
English (en)
French (fr)
Inventor
张丹丹
王长春
Original Assignee
深圳市商汤科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市商汤科技有限公司 filed Critical 深圳市商汤科技有限公司
Publication of WO2022242032A1 publication Critical patent/WO2022242032A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • the present disclosure relates to the technical field of computer vision, and in particular to a data classification method and device, electronic equipment, storage media and computer program products.
  • the commonly used method of classifying images and videos is to search for all images and videos containing the person from the Internet by using the portrait image containing a specific person, and classify them into one category. Less intelligent and less effective.
  • Embodiments of the present disclosure are expected to provide a data classification method and device, electronic equipment, a storage medium, and a computer program product.
  • An embodiment of the present disclosure provides a data classification method, the method comprising:
  • the clustering of the plurality of face images to obtain at least one image set includes:
  • each face image contained carries the multiple
  • the corresponding authenticity detection results among the authenticity detection results are used to obtain the at least one image set.
  • using the plurality of groups of facial features to divide the facial images corresponding to the same person in the plurality of facial images into the same set includes:
  • the human face images whose similarities between the corresponding human face feature groups reach a preset threshold are divided into the same set.
  • the method further includes: acquiring at least one cluster center information corresponding to the at least one image set;
  • each image set in the at least one image set use the corresponding class center information in the at least one class center information to perform credential stuffing with a preset portrait library to determine the corresponding label information.
  • the acquiring at least one class center information corresponding to the at least one image set one-to-one includes:
  • each image set in the at least one image set obtain the specific features of the included face image, determine it as the corresponding class center information, and obtain the at least one class center information;
  • the first type center information is the class center information corresponding to the first image set, and the first image set is all any one image set in the at least one image set;
  • the identity information corresponding to the first human face image in the preset portrait library is determined as the label information corresponding to the first image set.
  • the method after searching the first human face image matching the first type center information from the preset portrait database, the method further includes:
  • the tag information corresponding to the first image set is an anonymous identity.
  • the method further includes:
  • each image set of the at least one image set add the view to which each contained face image belongs in the plurality of views to be classified, to obtain at least one view set.
  • the method also includes a publisher archive library, the publisher archive library includes the identity information of different publishers and the views released, after the at least one view set is obtained, the method also includes:
  • each view is associated with the identity information of the corresponding publisher.
  • An embodiment of the present disclosure provides a data classification device, including:
  • the data processing module is configured to obtain a plurality of views to be classified, and extract the face images contained in each view of the plurality of views to be classified, and obtain a plurality of face images;
  • the data classification module is configured to cluster the plurality of face images to obtain at least one image set; wherein, the face images in each of the image sets correspond to the same person, and each of the image sets in each Personal face images carry authenticity detection results that characterize the authenticity of the image.
  • the data classification module is specifically configured to perform deep forgery detection on each of the plurality of facial images, and obtain a plurality of authenticity detection results corresponding to the plurality of facial images; Feature extraction is performed on each face image in the plurality of face images to obtain a plurality of sets of face features corresponding to the plurality of face images; using the plurality of sets of face features to extract the plurality of face images.
  • the face images corresponding to the same person are divided into the same set, and in each divided set, each face image contained carries the corresponding authenticity detection result among the plurality of authenticity detection results, and the at least one Image collection.
  • the data classification module is specifically configured to compare the similarity between different facial feature groups among the multiple groups of facial features; compare the corresponding facial feature groups among the multiple facial images The face images whose similarity reaches the preset threshold are divided into the same set.
  • the data classification module is further configured to obtain at least one class center information corresponding to the at least one image set; for each image set in the at least one image set, use the at least one The corresponding class center information in the class center information is collided with the preset portrait library to determine the corresponding label information.
  • the data classification module is specifically configured to, for each image set in the at least one image set, obtain specific features of the included face images, determine them as corresponding class center information, and obtain the at least one Class center information; or, for each image set in the at least one image set, according to specific rules, select a face image from the included face images, determine it as the corresponding class center information, and obtain the at least one Class center information.
  • the data classification module is specifically configured to search for a first human face image that matches the first type of center information from the preset portrait library; the first type of center information is a first image set Corresponding class center information, the first image set is any image set in the at least one image set; when the first face image is found, the first image set in the preset portrait library is The identity information corresponding to a face image is determined as the tag information corresponding to the first image set.
  • the data classification module is further configured to determine that the label information corresponding to the first image set is an anonymous identity when the first face image is not found.
  • the data classification module is further configured to add, in each image collection of the at least one image collection, the view to which each face image included in the plurality of views to be classified belongs, to obtain at least A collection of views.
  • the publisher archive library includes the identity information of different publishers and published views
  • the data classification module is further configured to search for all publishers from the publisher archive library.
  • An embodiment of the present disclosure provides an electronic device, including: a processor, a memory, and a communication bus; wherein,
  • the communication bus is configured to realize connection and communication between the processor and the memory
  • the processor is configured to execute one or more programs stored in the memory, so as to implement the above data classification method.
  • An embodiment of the present disclosure provides a computer-readable storage medium, where one or more programs are stored in the computer-readable storage medium, and the one or more programs can be executed by one or more processors to implement the above-mentioned data Classification.
  • An embodiment of the present disclosure provides a computer program product, where the computer program product includes a computer program or an instruction, and when the computer program or instruction is run on a computer, the computer is made to execute the above data classification method.
  • An embodiment of the present disclosure provides a data classification method and device, electronic equipment, a storage medium, and a computer program product.
  • the method includes: acquiring multiple views to be classified, and extracting a face image contained in each of the multiple views to be classified , to obtain multiple face images; cluster multiple face images to obtain at least one image set; wherein, the face images in each image set correspond to the same person, and each face image in each image set carries a representation Authenticity detection results for image authenticity.
  • all images and videos are classified in the dimension of different people, and each face image included in each divided set carries information that characterizes the authenticity of the image, thereby improving the The intelligence and effectiveness of data classification.
  • FIG. 1 is a first schematic flow diagram of a data classification method provided by an embodiment of the present disclosure
  • FIG. 2 is a second schematic flow diagram of a data classification method provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of an exemplary data classification process provided by an embodiment of the present disclosure.
  • FIG. 4 is a schematic structural diagram of a data classification device provided by an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • An embodiment of the present disclosure provides a data classification method, and its execution subject may be a data classification device.
  • the data classification method may be executed by a terminal device or a server or other electronic devices, wherein the terminal device may be a user equipment (User Equipment, UE), mobile device, user terminal, terminal, cellular phone, cordless phone, personal digital assistant (PDA), handheld device, computing device, vehicle-mounted device, wearable device, etc.
  • the data classification method may be implemented by a processor invoking computer-readable instructions stored in a memory.
  • FIG. 1 is a first schematic flowchart of a data classification method provided by an embodiment of the present disclosure. As shown in Figure 1, in the embodiment of the present disclosure, the data classification method mainly includes the following steps:
  • S101 Acquire multiple views to be classified, and extract face images contained in each of the multiple views to be classified, to obtain multiple face images.
  • the data classification device may acquire multiple views to be classified, thereby extracting a face image included in each view to be classified, and obtain multiple face images.
  • the multiple views to be classified may be images and videos published on various Internet platforms and social media. Specific sources of multiple views to be classified are not limited in this embodiment of the present disclosure.
  • the data classification device may perform face recognition and extraction on each view to be classified, so as to obtain a face image therein.
  • the data classification apparatus may also extract other information such as time stamps from each view to be classified, which is not limited in this embodiment of the present disclosure.
  • S102 Cluster a plurality of face images to obtain at least one image set; wherein, the face images in each image set correspond to the same person, and each face image in each image set carries Authenticity test results.
  • the data classification device may cluster the plurality of human face images, so as to divide the human face images corresponding to the same person into the same set, and obtain at least one image set, Moreover, each face image in each image set carries an authenticity detection result representing the authenticity of the image.
  • the data classification device clusters multiple face images to obtain at least one image set, including: performing deep forgery detection on each of the multiple face images to obtain A plurality of authenticity detection results of one-to-one correspondence of face images; feature extraction is performed on each face image in multiple face images, and multiple groups of face features corresponding to multiple face images are obtained; using multiple groups of face features, Divide the face images corresponding to the same person in the plurality of face images into the same set, and in each divided set, each face image contained carries the corresponding authenticity detection result among the plurality of authenticity detection results, Get at least one image set.
  • the data classification device may use a specific deep forgery detection algorithm to perform deep forgery detection on each face image, so as to obtain an authenticity detection result of each face image.
  • the authenticity detection result is forged, that is, the face image has been deeply forged, and correspondingly, the view to be classified to which the face image belongs is also forged, and if the authenticity result is true, that is, the The face image has not been deeply forged, and correspondingly, the view to be classified to which the face image belongs is real.
  • the data classification device can use multiple sets of facial features corresponding to multiple facial images to classify the facial images corresponding to the same person in the multiple facial images into the same image set.
  • the data classification device can use a specific feature extraction algorithm or model to realize the extraction of face features in each face image, so as to determine whether different face images correspond to the same person by comparing the similarity of face features, so as to realize the image collection. Division, thereby improving the intelligence of data classification.
  • the data classification device can compare the similarity between different face feature groups in multiple groups of face features; Images are grouped into the same collection.
  • each face image can carry the corresponding authenticity detection result in each divided set, that is, in the image set, there are not only Including the face image, it also carries the authenticity information of the face image, and the user can directly know the authenticity of the image when viewing the image later, which improves the effect of data classification.
  • the data classification device may also associate authenticity detection results of different face images with the views to be classified to which the corresponding face images belong.
  • the data classification device since the data classification device associates the authenticity detection results of the face images contained in each view to be classified, the user will be able to view any view to be classified later when viewing any view to be classified. It is directly possible to know whether the view is real or not.
  • FIG. 2 is a second schematic flow diagram of a data classification method provided by an embodiment of the present disclosure. As shown in FIG. 2 , in an embodiment of the present disclosure, after the data classification device clusters a plurality of face images to obtain at least one image set, that is, after performing step S102, the following steps may also be performed:
  • the data classifying device may acquire at least one piece of class center information corresponding to at least one image set one-to-one.
  • the data classification device obtains at least one class center information corresponding to at least one image set, specifically, it may be to obtain specific features of the face images included in each image set, or According to specific rules, a face image is selected from each image collection as the corresponding class center information. For example, the face image with the highest definition can be selected from each view set, or a frontal face image can be selected from each view set as the corresponding class center information.
  • the specific class center information can be set according to actual needs and application scenarios, and is not limited in this embodiment of the present disclosure.
  • At least one image set actually corresponds to at least one person
  • the data classification device can use the class center information corresponding to each image set to perform credentialing with the preset portrait database to determine the corresponding label Information, that is, identity information.
  • the data classification device uses the corresponding class center information from at least one class center information and the preset portrait library to perform credentialing for each image set in at least one image set, and determines the corresponding label information, including: from the preset portrait database, search for a second face image that matches the first type of center information; the first type of center information is the class center information corresponding to the first image set, and the first image set is at least Any image set in an image set; if the first face image is found, the identity information corresponding to the first face image in the preset portrait database is determined as the tag information corresponding to the first image set.
  • the following steps may be performed: if the first face image is not found In the case of a face image, it is determined that the label information corresponding to the first image set is an anonymous identity.
  • the data classification device may select a face image from it as the first type of central information
  • the data sorting device can compare the selected face images with the face images included in the preset portrait database one by one, so as to find the matching first face image.
  • the preset portrait library does not contain the human face image of the person corresponding to the first human face image, that is, the identity of the corresponding person of the human face image in the first image collection cannot be known, so , it is determined that the label information corresponding to the first image set is an anonymous identity, if the first face image is found, the identity information corresponding to the first face image can be obtained directly, and this identity information can be used as the label information of the first image set .
  • the data classification device determines the label information corresponding to each image collection, and when the user views any image collection, the user can directly know the information contained in the image collection according to the label information.
  • the following steps may also be performed: in each image set of the at least one image set , adding the views to which each contained face image belongs among the multiple views to be classified, to obtain at least one view set.
  • the data classification device can add to each image set the view to which each face image contained in the image set belongs, and obtain at least A collection of views to implement the classification of multiple views to be classified.
  • the data classification device can, for each image collection, The views to be classified to which the included face images belong are put into the set together, so as to obtain a view set, and, for at least one view set, the views in the same view set correspond to the same person, and the views in different view sets correspond to different figure.
  • a view set includes not only a person's face image, but also other videos and images containing the person.
  • At least one image collection includes image collection A, and image collection A includes face image a1, face image a2, face image a3, and face image a4, and data classification
  • the device can add the view A1 to which the face image a1 belongs, the view A2 to which the face image a2 belongs, the view A3 to which the face image a3 belongs, and the view A4 to which the face image a4 belongs among the multiple views to be classified.
  • the added image set A can be determined as the view set A.
  • some views may contain multiple characters, that is, multiple human faces, and the data classification device performs the processing in each image set of at least one image set
  • the views that actually contain multiple people are also added to the image collections where different face images in the view are located.
  • the data classification device obtains at least one view set, it can also perform the following steps: from the published In the personnel file library, look up the identity information of the publisher of each view in at least one view set; associate each view in the at least one view set with the identity information of the corresponding publisher.
  • the data classification device can find out the identity information of the publisher corresponding to each video and image from the publisher's archives, so as to correlate them accordingly. In this way, image and video analysis and traceability.
  • Fig. 3 is a schematic diagram of an exemplary data classification process provided by an embodiment of the present disclosure.
  • the data classification device can first obtain multiple views to be classified, first, perform face recognition for each view, thereby extracting a face image, and further perform deep forgery detection, and then, can Feature extraction is performed on each face image, thereby using face features to cluster the face images, and in each set obtained, each face image contained carries an authenticity detection result corresponding to the image, and at least one obtained Image collection, so that further in each image collection, add the view to which each face image included in a plurality of views to be classified, to obtain at least one view collection, and finally, select a face image from each view collection as
  • the class center information is credentialed with the preset portrait library to obtain the label information of the corresponding view set.
  • the data classification device can also select a face image from each combination of images as the class center information for credential stuffing when at least one image set is obtained, so as to determine the label information of the image set.
  • each An image set, and the label information of the view set based on the image set is actually the same.
  • the data classification device can search the publisher's identity information corresponding to each video and image contained in each view set from the publisher's archive and associate them. For the videos and images in the view set, the authenticity detection results corresponding to the face images can also be associated to indicate whether it is real or fake.
  • An embodiment of the present disclosure provides a data classification method, including: acquiring multiple views to be classified, and extracting face images contained in each of the multiple views to be classified to obtain multiple face images; Clustering to obtain at least one image set; wherein, the face images in each image set correspond to the same person, and each face image in each image set carries an authenticity detection result representing the authenticity of the image.
  • the data classification method provided by the embodiments of the present disclosure classifies all images and videos in the dimension of different people, and each face image included in each divided set carries information that characterizes the authenticity of the image, thereby improving It improves the intelligence and effect of data classification.
  • FIG. 4 is a schematic structural diagram of a data classification device provided by an embodiment of the present disclosure. As shown in Figure 4, in an embodiment of the present disclosure, the data classification device includes:
  • the data processing module 401 is configured to acquire a plurality of views to be classified, and extract a face image contained in each view of the plurality of views to be classified, and obtain a plurality of face images;
  • the data classification module 402 is configured to cluster the plurality of face images to obtain at least one image set; wherein, the face images in each of the image sets correspond to the same person, and the face images in each of the image sets Each face image carries an authenticity detection result that characterizes the authenticity of the image.
  • the data classification module 402 is specifically configured to perform deep forgery detection on each of the plurality of facial images, and obtain a plurality of genuine Pseudo-detection results; feature extraction is performed on each face image in the plurality of face images, and multiple groups of face features corresponding to the plurality of face images are obtained; using the multiple groups of face features, the The face images corresponding to the same person in the multiple face images are divided into the same set, and in each divided set, each face image contained carries the corresponding authenticity detection results among the multiple authenticity detection results, and the obtained The at least one set of images.
  • the data classification module 402 is specifically configured to compare the similarity between different facial feature groups among the multiple groups of facial features; The face images whose similarity between face feature groups reaches a preset threshold are divided into the same set.
  • the data classification module 402 is further configured to obtain at least one class center information corresponding to the at least one image set; for each image set in the at least one image set, use The corresponding class center information in the at least one class center information is credentialed with the preset portrait database to determine the corresponding tag information.
  • the data classification module 402 is specifically configured to, for each image set in the at least one image set, acquire specific features of the included face images, determine them as corresponding class center information, and obtain The at least one class center information; or, for each image set in the at least one image set, according to specific rules, select a face image from the included face images and determine it as the corresponding class center information, and obtain The at least one class center information.
  • the data classification module 402 is specifically configured to search for a second face image that matches the first type of central information from the preset portrait database; the first type of central information is The class center information corresponding to the first image set, the first image set is any one image set in the at least one image set; when the first face image is found, the preset portrait library The identity information corresponding to the first face image is determined as the tag information corresponding to the first image set.
  • the data classification module 402 is further configured to determine that the tag information corresponding to the first image set is an anonymous identity if the first face image is not found.
  • the data classification module 402 is further configured to add, in each image collection of the at least one image collection, the information of each face image included in the plurality of views to be classified. view, get at least one view set.
  • a publisher archive library is also included, and the publisher archive library includes identity information and published views of different publishers, and the data classification module 402 is also configured to obtain from the publisher archive library , searching for the identity information of the publisher of each view in the at least one view set; and associating each view in the at least one view set with the corresponding identity information of the publisher.
  • An embodiment of the present disclosure provides a data classification device, which acquires multiple views to be classified, and extracts the face images contained in each of the multiple views to be classified to obtain multiple face images; clusters the multiple face images , to obtain at least one image set; wherein, the face images in each image set correspond to the same person, and each face image in each image set carries an authenticity detection result representing the authenticity of the image.
  • the data classification device provided by the embodiments of the present disclosure classifies all images and videos in the dimension of different people, and each face image included in each divided set carries information that characterizes the authenticity of the image, thereby improving It improves the intelligence and effect of data classification.
  • FIG. 5 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure. As shown in FIG. 5, the electronic device includes: a processor 501, a memory 502, and a communication bus 503; wherein,
  • the communication bus 503 is configured to realize connection and communication between the processor 501 and the memory 502;
  • the processor 501 is configured to execute one or more programs stored in the memory 502, so as to implement the above data classification method.
  • An embodiment of the present disclosure provides a computer program product, where the computer program product includes a computer program or an instruction, and when the computer program or instruction is run on a computer, the computer is made to execute the above data classification method.
  • An embodiment of the present disclosure also provides a computer-readable storage medium, where one or more programs are stored in the computer-readable storage medium, and the one or more programs can be executed by one or more processors to implement the above-mentioned data classification method.
  • the computer-readable storage medium can be a volatile memory (volatile memory), such as a random access memory (Random-Access Memory, RAM); or a non-volatile memory (non-volatile memory), such as a read-only memory (Read-Only Memory).
  • ROM Read Only Memory
  • flash memory flash memory
  • HDD Hard Disk Drive
  • SSD Solid-State Drive
  • the embodiments of the present disclosure may be provided as methods, systems, or computer program products. Accordingly, the present disclosure may take the form of a hardware embodiment, a software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present disclosure may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, optical storage, etc.) having computer-usable program code embodied therein.
  • a computer-usable storage media including but not limited to disk storage, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable signal processing device to operate in a specific manner, such that the instructions stored in the computer-readable memory produce an article of manufacture comprising instruction means, the instructions
  • the device realizes the function specified in one or more procedures of the flowchart and/or one or more blocks of the block diagram.
  • An embodiment of the present disclosure provides a data classification method and device, electronic equipment, a storage medium, and a computer program product.
  • the method includes: acquiring multiple views to be classified, and extracting a face image contained in each of the multiple views to be classified , to obtain multiple face images; cluster multiple face images to obtain at least one image set; wherein, the face images in each image set correspond to the same person, and each face image in each image set carries a representation Authenticity detection results for image authenticity.
  • all images and videos are classified in the dimension of different people, and each face image included in each divided set carries information that characterizes the authenticity of the image, thereby improving the The intelligence and effectiveness of data classification.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种数据分类方法及装置、电子设备、存储介质和计算机程序产品，方法包括：获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像（S101）；对多个人脸图像进行聚类，从而得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果（S102）。

Description

数据分类方法及装置、电子设备、存储介质和计算机程序产品
相关申请的交叉引用
本申请基于申请号为202110556441.X、申请日为2021年05月21日，申请名称为“数据分类方法及装置、电子设备和存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式结合在本申请中。
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种数据分类方法及装置、电子设备、存储介质和计算机程序产品。
背景技术
互联网上存在海量的图像和视频，用户可以根据实际需求，从中查找出需要的图像和视频进行归类。
目前，通常采用的图像和视频的归类方式为，利用包含特定人物的人像图像，采用图搜的方式从互联网上将包含该人物的所有图像和视频搜索出来，归为一类，数据分类的智能性较低，效果较差。
发明内容
本公开实施例期望提供一种数据分类方法及装置、电子设备、存储介质和计算机程序产品。
本公开实施例的技术方案是这样实现的：
本公开实施例提供了一种数据分类方法，所述方法包括：
获取多个待分类视图，并提取所述多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；
对所述多个人脸图像进行聚类，得到至少一个图像集合；其中，每个所述图像集合中的人脸图像对应同一人物，且每个所述图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
在上述方法中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合，包括：
对所述多个人脸图像中每个人脸图像进行深度伪造检测，得到与所述多个人脸图像一一对应的多个真伪检测结果；
对所述多个人脸图像中每个人脸图像进行特征提取，得到与所述多个人脸图像一一对应的多组人脸特征；
利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带所述多个真伪检测结果中对应的真伪检测结果，得到所述至少一个图像集合。
在上述方法中，所述利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，包括：
将所述多组人脸特征中，不同人脸特征组之间进行相似度比较；
将所述多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。
在上述方法中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合之后，所述方法还包括：获取与所述至少一个图像集合一一对应的至少一个类中心信息；
对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
在上述方法中，所述获取与所述至少一个图像集合一一对应的至少一个类中心信息，包括：
针对所述至少一个图像集合中每个图像集合，获取包括的人脸图像的特定特征，确定为对应的类中心信息，得到所述至少一个类中心信息；
或者，针对所述至少一个图像集合中每个图像集合，按照特定的规则，从包括的人脸图像中选取一个人脸图像，确定为对应的类中心信息，得到所述至少一个类中心信息。
在上述方法中，所述对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息，包括：
从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像；所述第一类中心信息为第一图像集合对应的类中心信息，所述第一图像集合为所述至少一个图像集合中任意一个图像集合；
在查找到所述第一人脸图像的情况下，将所述预设人像库中所述第一人脸图像对应的身份信息，确定为所述第一图像集合对应的标签信息。
在上述方法中，所述从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像之后，所述方法还包括：
在未查找到所述第一人脸图像的情况下，确定所述第一图像集合对应的标签信息为匿名身份。
在上述方法中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合之后，所述方法还包括：
在所述至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在所述多个待分类视图中所属的视图，得到至少一个视图集合。
在上述方法中，还包括发布人员档案库，所述发布人员档案库包括不 同发布人员的身份信息和发布的视图，所述得到至少一个视图集合之后，所述方法还包括：
从所述发布人员档案库中，查找所述至少一个视图集合中每个视图的发布人员信息；
将所述至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
本公开实施例提供了一种数据分类装置，包括：
数据处理模块，配置为获取多个待分类视图，并提取所述多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；
数据分类模块，配置为对所述多个人脸图像进行聚类，得到至少一个图像集合；其中，每个所述图像集合中的人脸图像对应同一人物，且每个所述图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
在上述装置中，所述数据分类模块，具体配置为对所述多个人脸图像中每个人脸图像进行深度伪造检测，得到与所述多个人脸图像一一对应的多个真伪检测结果；对所述多个人脸图像中每个人脸图像进行特征提取，得到与所述多个人脸图像一一对应的多组人脸特征；利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带多个真伪检测结果中对应的真伪检测结果，得到所述至少一个图像集合。
在上述装置中，所述数据分类模块，具体配置为将所述多组人脸特征中，不同人脸特征组之间进行相似度比较；将所述多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。
在上述装置中，所述数据分类模块，还配置为获取与所述至少一个图像集合一一对应的至少一个类中心信息；对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
在上述装置中，所述数据分类模块，具体配置为针对所述至少一个图像集合中每个图像集合，获取包括的人脸图像的特定特征，确定为对应的类中心信息，得到所述至少一个类中心信息；或者，针对所述至少一个图像集合中每个图像集合，按照特定的规则，从包括的人脸图像中选取一个人脸图像，确定为对应的类中心信息，得到所述至少一个类中心信息。
在上述装置中，所述数据分类模块，具体配置为从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像；所述第一类中心信息为第一图像集合对应的类中心信息，所述第一图像集合为所述至少一个图像集合中任意一个图像集合；在查找到所述第一人脸图像的情况下，将所述预设人像库中所述第一人脸图像对应的身份信息，确定为所述第一图像集合对应的标签信息。
在上述装置中，所述数据分类模块，还配置为在未查找到所述第一人 脸图像的情况下，确定所述第一图像集合对应的标签信息为匿名身份。
在上述装置中，所述数据分类模块，还配置为在所述至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在所述多个待分类视图中所属的视图，得到至少一个视图集合。
在上述装置中，还包括发布人员档案库，所述发布人员档案库包括不同发布人员的身份信息和发布的视图，所述数据分类模块，还配置为从所述发布人员档案库中，查找所述至少一个视图集合中每个视图的发布人员的身份信息；将所述至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
本公开实施例提供了一种电子设备，包括：处理器、存储器和通信总线；其中，
所述通信总线，配置为实现所述处理器和所述存储器之间的连接通信；
所述处理器，配置为执行所述存储器中存储的一个或多个程序，以实现上述数据分类方法。
本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述数据分类方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使所述计算机执行上述数据分类方法。
本公开实施例提供了一种数据分类方法及装置、电子设备、存储介质和计算机程序产品，方法包括：获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；对多个人脸图像进行聚类，得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。本公开实施例提供的技术方案，将所有的图像和视频以不同的人物为维度进行分类，并且，在划分的每个集合包括的每个人脸图像携带了表征图像真伪的信息，从而提高了数据分类的智能性和效果。
附图说明
图1为本公开实施例提供的一种数据分类方法的流程示意图一；
图2为本公开实施例提供的一种数据分类方法的流程示意图二；
图3为本公开实施例提供的一种示例性的数据分类过程的示意图；
图4为本公开实施例提供的一种数据分类装置的结构示意图；
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开实施例提供了一种数据分类方法，其执行主体可以是数据分类装置，例如，数据分类方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，数据分类方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1为本公开实施例提供的一种数据分类方法的流程示意图一。如图1所示，在本公开的实施例中，数据分类方法主要包括以下步骤：
S101、获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像。
在本公开的实施例中，数据分类装置可以获取多个待分类视图，从而提取每个待分类视图中包含的人脸图像，得到多个人脸图像。
需要说明的是，在本公开的实施例中，多个待分类视图可以是发布于各个互联网平台、社交媒体的图像和视频。具体的多个待分类视图的来源本公开实施例不作限定。
可以理解的是，在本公开的实施例中，数据分类装置可以对每个待分类视图进行人脸识别和提取，从而得到其中的人脸图像。此外，数据分类装置还可以从每个待分类视图中提取出时间戳等其它信息，本公开实施例不作限定。
S102、对多个人脸图像进行聚类，从而得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
在本公开的实施例中，数据分类装置在得到多个人脸图像之后，可以对多个人脸图像进行聚类，从而将对应同一人物的人脸图像划分至同一集合中，得到至少一个图像集合，并且，每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
具体的，在本公开的实施例中，数据分类装置对多个人脸图像进行聚类，得到至少一个图像集合，包括：对多个人脸图像中每个人脸图像进行深度伪造检测，得到与多个人脸图像一一对应的多个真伪检测结果；对多个人脸图像中每个人脸图像进行特征提取，得到与多个人脸图像一一对应的多组人脸特征；利用多组人脸特征，将多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带多个真伪检测结果中对应的真伪检测结果，得到至少一个图像集 合。
可以理解的是，在本公开的实施例中，数据分类装置可以采用特定的深度伪造检测算法对每个人脸图像进行深度伪造检测，从而得到每个人脸图像的真伪检测结果。对于任意一个人脸图像，如果真伪检测结果为伪造，即该人脸图像经过深度伪造，相应的，该人脸图像所属的待分类视图也就是伪造的，如果真伪结果为真实，即该人脸图像未经过深度伪造，相应的，该人脸图像所属的待分类视图也就是真实的。
需要说明的是，在本公开的实施例中，数据分类装置可以利用与多个人脸图像一一对应的多组人脸特征，将多个人脸图像中对应同一人物的人脸图像划分至同一图像集合中。数据分类装置可以利用特定的特征提取算法或模型，实现每个人脸图像中人脸特征的提取，从而通过比较人脸特征的相似度，确定不同人脸图像是否对应同一人物，以实现图像集合的划分，从而提高了数据分类的智能性。具体的，数据分类装置可以将多组人脸特征中，不同人脸特征组之间进行相似度比较；将多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。此外，由于数据分类装置还获得了每个人脸图像的真伪检测结果，从而可以在划分的每个集合中，每个人脸图像上携带相应的真伪检测结果，即图像集合中实际上不仅仅包括人脸图像，还携带了人脸图像的真伪信息，用户在后续查看图像时可以直接获知图像的真伪情况，提高了数据分类的效果。
需要说明的是，在本公开的实施例中，数据分类装置还可以将不同人脸图像的真伪检测结果，与对应的人脸图像所属的待分类视图进行关联。
可以理解的是，在本公开的实施例中，由于数据分类装置对每个待分类视图关联了其包含的人脸图像的真伪检测结果，因此，用户在后续查看任意一个待分类视图，都可以直接获知该视图是否是真实的。
图2为本公开实施例提供的一种数据分类方法的流程示意图二。如图2所示，在本公开的实施例中，数据分类装置在对多个人脸图像进行聚类，得到至少一个图像集合，即执行步骤S102之后，还可以执行以下步骤：
S201、获取与至少一个图像集合一一对应的至少一个类中心信息。
在本公开的实施例中，数据分类装置可以获取与至少一个图像集合一一对应的至少一个类中心信息。
需要说明的是，在本公开的实施例中，数据分类装置获取与至少一个图像集合一一对应的至少一个类中心信息，具体可以是获取每个图像集合包括的人脸图像的特定特征，或者，按照特定的规则，从每个图像集合中选取一个人脸图像，从而作为对应的类中心信息。例如，可以从每个视图集合中选取清晰度最高的人脸图像，也可以从每个视图集合中选取一个正面的人脸图像，作为对应的类中心信息。具体的类中心信息可以根据实际需求和应用场景设定，本公开实施例不作限定。
S202、对至少一个图像集合中每个图像集合，利用至少一个类中心信 息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
在本公开的实施例中，至少一个图像集合实际上与至少一个人物一一对应，数据分类装置可以利用每个图像集合对应的类中心信息与预设人像库进行撞库，以确定对应的标签信息，即身份信息。
具体的，在本公开的实施例中，数据分类装置对至少一个图像集合中每个图像集合，利用从至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息，包括：从预设人像库中，查找与第一类中心信息匹配的第二人脸图像；第一类中心信息为第一图像集合对应的类中心信息，第一图像集合为至少一个图像集合中任意一个图像集合；在查找到第一人脸图像的情况下，将预设人像库中第一人脸图像对应的身份信息，确定为第一图像集合对应的标签信息。
具体的，在本公开的实施例中，数据分类装置从预设人脸库中，查找与第一类中心信息匹配的第一人脸图像之后，还可以执行以下步骤：在未查找到第一人脸图像的情况下，确定第一图像集合对应的标签信息为匿名身份。
需要说明的是，在本公开的实施例中，预设人像库中存储有大量的人脸图像，以及每个人脸图像对应的身份信息。
示例性的，在本公开的实施例中，对于至少一个图像集合中任意一个图像集合，即第一图像集合，数据分类装置可以从中选取出的一张人脸图像，作为第一类中心信息，数据分类装置可以将选取出的人脸图像与预设人像库中包括的人脸图像一一比对，从而查找匹配的第一人脸图像。如果未查找到第一人脸图像，则表示预设人像库中未包含与第一人脸图像对应的人物的人脸图像，即无法获知第一图像集合中人脸图像对应人物的身份，因此，确定第一图像集合对应的标签信息为匿名身份，如果查找到第一人脸图像，即可以直接获取第一人脸图像对应的身份信息，并将该身份信息作为第一图像集合的标签信息。
可以理解的是，在本公开的实施例中，数据分类装置确定出每个图像集合对应的标签信息，在用户查看任一图像集合时，实际上根据标签信息就可以直接获知该图像集合包括的全部人脸图像对应的人物的具体身份。
在本公开的实施例中，数据分类装置在对多个人脸图像进行聚类，得到至少一个图像集合，即执行步骤S102之后，还可以执行以下步骤：在至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在多个待分类视图中所属的视图，得到至少一个视图集合。
可以理解的是，在本公开的实施例中，数据分类装置在得到至少一个图像集合之后，即可将在每个图像集合中，添加该图像集合包含的每个人脸图像所属的视图，得到至少一个视图集合，实现多个待分类视图的分类。
可以理解的是，在本公开的实施例中，至少一个图像集合中包含的人脸图像，是从待分类视图中提取的，因此，数据分类装置针对于每个图像 集合，可以将该集合中包括的人脸图像所属的待分类视图，一并放入该集合，从而得到一个视图集合，并且，对于至少一个视图集合，同一视图集合中的视图对应同一人物，不同视图集合中的视图对应不同人物。一个视图集合中，不仅包括一个人物的人脸图像，还包括包含该人物的其它视频和图像。
示例性的，在本公开的实施例中，至少一个图像集合中包括图像集合A，在图像集合A中包括人脸图像a1、人脸图像a2、人脸图像a3和人脸图像a4，数据分类装置即可在多个待分类视图中，将人脸图像a1所属的视图A1、人脸图像a2所属的视图A2、人脸图像a3所属的视图A3，以及人脸图像a4所属的视图A4，添加至图像集合A中，添加后的图像集合A则可以确定为视图集合A。
可以理解的是，在本公开的实施例中，多个待分类视图中，有的视图中可能包含多个人物，也就包含多个人脸，数据分类装置在至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在多个待分类视图中所属的视图时，实际上包含多个人物的视图也就分别被添加到了视图中不同人脸图像所在的图像集合中。
在本公开的实施例中，还包括发布人员档案库，发布人员档案库包括不同发布人员的身份信息和发布的视图，数据分类装置在得到至少一个视图集合之后，还可以执行以下步骤：从发布人员档案库中，查找至少一个视图集合中每个视图的发布人员的身份信息；将至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
可以理解的是，在本公开的实施例中，数据分类装置可以从发布人员档案库中，查找出每个视频和图像对应的发布人员的身份信息，从而将其对应关联，这样，便于进行图像和视频的分析和溯源。
图3为本公开实施例提供的一种示例性的数据分类过程的示意图。如图3所示，数据分类装置可以先获取到多个待分类视图的情况下，首先，针对每个视图进行人脸识别，从而提取出人脸图像，并进一步进行深度伪造检测，之后，可以对每个人脸图像进行特征提取，从而利用人脸特征对人脸图像进行聚类，并在得到的每个集合中，包含的每个人脸图像携带图像对应的真伪检测结果，得到的至少一个图像集合，从而进一步在每个图像集合中，添加包含的每个人脸图像在多个待分类视图中所属的视图，得到至少一个视图集合，最后，从每个视图集合中选取一个人脸图像作为类中心信息，与预设人像库进行撞库，从而得到对应视图集合的标签信息。需要说明的是，数据分类装置也可以在得到至少一个图像集合的情况下，从每个图像结合中选取一个人脸图像作为类中心信息进行撞库，从而确定图像集合的标签信息，实际上每个图像集合，与基于该图像集合构建的视图集合的标签信息实际上相同。此外，数据分类装置可以从发布人员档案库中查找每个视图集合中包含的视频和图像各自对应的发布人员的身份信 息并进行关联。对于视图集合中的视频和图像也可以关联其中人脸图像对应的真伪检测结果，以表征其是真实的还是伪造的。
本公开实施例提供了一种数据分类方法，包括：获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；对多个人脸图像进行聚类，得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。本公开实施例提供的数据分类方法，将所有的图像和视频以不同的人物为维度进行分类，并且，在划分的每个集合包括的每个人脸图像携带了表征图像真伪的信息，从而提高了数据分类的智能性和效果。
本公开实施例提供了一种数据分类装置。图4为本公开实施例提供的一种数据分类装置的结构示意图。如图4所示，在本公开的实施例中，数据分类装置包括：
数据处理模块401，配置为获取多个待分类视图，并提取所述多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；
数据分类模块402，配置为对所述多个人脸图像进行聚类，得到至少一个图像集合；其中，每个所述图像集合中的人脸图像对应同一人物，且每个所述图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
在本公开一实施例中，所述数据分类模块402，具体配置为对所述多个人脸图像中每个人脸图像进行深度伪造检测，得到与所述多个人脸图像一一对应的多个真伪检测结果；对所述多个人脸图像中每个人脸图像进行特征提取，得到与所述多个人脸图像一一对应的多组人脸特征；利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带多个真伪检测结果中对应的真伪检测结果，得到所述至少一个图像集合。
在本公开一实施例中，所述数据分类模块402，具体配置为将所述多组人脸特征中，不同人脸特征组之间进行相似度比较；将所述多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。
在本公开一实施例中，所述数据分类模块402，还配置为获取与所述至少一个图像集合一一对应的至少一个类中心信息；对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
在本公开一实施例中，所述数据分类模块402，具体配置为针对所述至少一个图像集合中每个图像集合，获取包括的人脸图像的特定特征，确定为对应的类中心信息，得到所述至少一个类中心信息；或者，针对所述至少一个图像集合中每个图像集合，按照特定的规则，从包括的人脸图像中选取一个人脸图像，确定为对应的类中心信息，得到所述至少一个类中心 信息。
在本公开一实施例中，所述数据分类模块402，具体配置为从所述预设人像库中，查找与第一类中心信息匹配的第二人脸图像；所述第一类中心信息为第一图像集合对应的类中心信息，所述第一图像集合为所述至少一个图像集合中任意一个图像集合；在查找到所述第一人脸图像的情况下，将所述预设人像库中所述第一人脸图像对应的身份信息，确定为所述第一图像集合对应的标签信息。
在本公开一实施例中，所述数据分类模块402，还配置为在未查找到所述第一人脸图像的情况下，确定所述第一图像集合对应的标签信息为匿名身份。
在本公开一实施例中，所述数据分类模块402，还配置为在所述至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在所述多个待分类视图中所属的视图，得到至少一个视图集合。
在本公开一实施例中，还包括发布人员档案库，所述发布人员档案库包括不同发布人员的身份信息和发布的视图，所述数据分类模块402，还配置为从所述发布人员档案库中，查找所述至少一个视图集合中每个视图的发布人员的身份信息；将所述至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
本公开实施例提供了一种数据分类装置，获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；对多个人脸图像进行聚类，得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。本公开实施例提供的数据分类装置，将所有的图像和视频以不同的人物为维度进行分类，并且，在划分的每个集合包括的每个人脸图像携带了表征图像真伪的信息，从而提高了数据分类的智能性和效果。
本公开实施例提供了一种电子设备。图5为本公开实施例提供的一种电子设备的结构示意图。如图5所示，电子设备包括：处理器501、存储器502和通信总线503；其中，
所述通信总线503，配置为实现所述处理器501和所述存储器502之间的连接通信；
所述处理器501，配置为执行所述存储器502中存储的一个或多个程序，以实现上述数据分类方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使所述计算机执行上述数据分类方法。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者 多个处理器执行，以实现上述数据分类方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。
工业实用性
本公开实施例提供了一种数据分类方法及装置、电子设备、存储介质和计算机程序产品，方法包括：获取多个待分类视图，并提取多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；对多个人脸图像进行聚类，得到至少一个图像集合；其中，每个图像集合中的人脸图像对应同一人物，且每个图像集合中的每个人脸图像携带表征图像真伪的真伪检 测结果。本公开实施例提供的技术方案，将所有的图像和视频以不同的人物为维度进行分类，并且，在划分的每个集合包括的每个人脸图像携带了表征图像真伪的信息，从而提高了数据分类的智能性和效果。

Claims (20)

  1. 一种数据分类方法，所述方法包括：
    获取多个待分类视图，并提取所述多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；
    对所述多个人脸图像进行聚类，得到至少一个图像集合；其中，每个所述图像集合中的人脸图像对应同一人物，且每个所述图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
  2. 根据权利要求1所述的方法，其中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合，包括：
    对所述多个人脸图像中每个人脸图像进行深度伪造检测，得到与所述多个人脸图像一一对应的多个真伪检测结果；
    对所述多个人脸图像中每个人脸图像进行特征提取，得到与所述多个人脸图像一一对应的多组人脸特征；
    利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带所述多个真伪检测结果中对应的真伪检测结果，得到所述至少一个图像集合。
  3. 根据权利要求2所述的方法，其中，所述利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，包括：
    将所述多组人脸特征中，不同人脸特征组之间进行相似度比较；
    将所述多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。
  4. 根据权利要求1-3任一项所述的方法，其中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合之后，所述方法还包括：
    获取与所述至少一个图像集合一一对应的至少一个类中心信息；
    对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
  5. 根据权利要求4所述的方法，其中，所述获取与所述至少一个图像集合一一对应的至少一个类中心信息，包括：
    针对所述至少一个图像集合中每个图像集合，获取包括的人脸图像的特定特征，确定为对应的类中心信息，得到所述至少一个类中心信息；
    或者，针对所述至少一个图像集合中每个图像集合，按照特定的规则，从包括的人脸图像中选取一个人脸图像，确定为对应的类中心信息，得到所述至少一个类中心信息。
  6. 根据权利要求4所述的方法，其中，所述对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息，包括：
    从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像；所述第一类中心信息为第一图像集合对应的类中心信息，所述第一图像集合为所述至少一个图像集合中任意一个图像集合；
    在查找到所述第一人脸图像的情况下，将所述预设人像库中所述第一人脸图像对应的身份信息，确定为所述第一图像集合对应的标签信息。
  7. 根据权利要求6所述的方法，其中，所述从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像之后，所述方法还包括：
    在未查找到所述第一人脸图像的情况下，确定所述第一图像集合对应的标签信息为匿名身份。
  8. 根据权利要求1所述的方法，其中，所述对所述多个人脸图像进行聚类，得到至少一个图像集合之后，所述方法还包括：
    在所述至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在所述多个待分类视图中所属的视图，得到至少一个视图集合。
  9. 根据权利要求8所述的方法，其中，还包括发布人员档案库，所述发布人员档案库包括不同发布人员的身份信息和发布的视图，所述得到至少一个视图集合之后，所述方法还包括：
    从所述发布人员档案库中，查找所述至少一个视图集合中每个视图的发布人员的身份信息；
    将所述至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
  10. 一种数据分类装置，包括：
    数据处理模块，配置为获取多个待分类视图，并提取所述多个待分类视图中每个视图包含的人脸图像，得到多个人脸图像；
    数据分类模块，配置为对所述多个人脸图像进行聚类，得到至少一个图像集合；其中，每个所述图像集合中的人脸图像对应同一人物，且每个所述图像集合中的每个人脸图像携带表征图像真伪的真伪检测结果。
  11. 根据权利要求10所述的装置，其中，
    所述数据分类模块，具体配置为对所述多个人脸图像中每个人脸图像进行深度伪造检测，得到与所述多个人脸图像一一对应的多个真伪检测结果；对所述多个人脸图像中每个人脸图像进行特征提取，得到与所述多个人脸图像一一对应的多组人脸特征；利用所述多组人脸特征，将所述多个人脸图像中对应同一人物的人脸图像划分至同一集合中，并在划分的每个集合中，包含的每个人脸图像上携带多个真伪检测结果中对应的真伪检测结果，得到所述至少一个图像集合。
  12. 根据权利要求11所述的装置，其中，
    所述数据分类模块，具体配置为将所述多组人脸特征中，不同人脸特征组之间进行相似度比较；将所述多个人脸图像中，对应人脸特征组之间相似度达到预设阈值的人脸图像划分至同一集合中。
  13. 根据权利要求10-12任一项所述的装置，其中，
    所述数据分类模块，还配置为获取与所述至少一个图像集合一一对应的至少一个类中心信息；对所述至少一个图像集合中每个图像集合，利用所述至少一个类中心信息中对应的类中心信息与预设人像库进行撞库，确定出对应的标签信息。
  14. 根据权利要求13所述的装置，其中，
    所述数据分类模块，具体配置为从所述预设人像库中，查找与第一类中心信息匹配的第一人脸图像；所述第一类中心信息为第一图像集合对应的类中心信息，所述第一图像集合为所述至少一个图像集合中任意一个图像集合；在查找到所述第一人脸图像的情况下，将所述预设人像库中所述第一人脸图像对应的身份信息，确定为所述第一图像集合对应的标签信息。
  15. 根据权利要求14所述的装置，其中，
    所述数据分类模块，还配置为在未查找到所述第一人脸图像的情况下，确定所述第一图像集合对应的标签信息为匿名身份。
  16. 根据权利要求10所述的装置，其中，
    所述数据分类模块，还配置为在所述至少一个图像集合的每个图像集合中，添加包含的每个人脸图像在所述多个待分类视图中所属的视图，得到至少一个视图集合。
  17. 根据权利要求16所述的装置，其中，还包括发布人员档案库，所述发布人员档案库包括不同发布人员的身份信息和发布的视图，
    所述数据分类模块，还配置为从所述发布人员档案库中，查找所述至少一个视图集合中每个视图的发布人员的身份信息；将所述至少一个视图集合中，每个视图与对应的发布人员的身份信息关联。
  18. 一种电子设备，包括：处理器、存储器和通信总线；其中，
    所述通信总线，配置为实现所述处理器和所述存储器之间的连接通信；
    所述处理器，配置为执行所述存储器中存储的一个或多个程序，以实现权利要求1-9任一项所述的数据分类方法。
  19. 一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-9任一项所述的数据分类方法。
  20. 一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使所述计算机执行权利要求1-9任一项所述的数据分类方法。
PCT/CN2021/126150 2021-05-21 2021-10-25 数据分类方法及装置、电子设备、存储介质和计算机程序产品 WO2022242032A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110556441.XA CN113221786A (zh) 2021-05-21 2021-05-21 数据分类方法及装置、电子设备和存储介质
CN202110556441.X 2021-05-21

Publications (1)

Publication Number Publication Date
WO2022242032A1 true WO2022242032A1 (zh) 2022-11-24

Family

ID=77093687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/126150 WO2022242032A1 (zh) 2021-05-21 2021-10-25 数据分类方法及装置、电子设备、存储介质和计算机程序产品

Country Status (2)

Country Link
CN (1) CN113221786A (zh)
WO (1) WO2022242032A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN111078922A (zh) * 2019-10-15 2020-04-28 深圳市商汤科技有限公司 一种信息处理方法及装置、存储介质
CN111625671A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 数据处理方法及装置、电子设备及存储介质
CN112766189A (zh) * 2021-01-25 2021-05-07 北京有竹居网络技术有限公司 深度伪造检测方法、装置、存储介质及电子设备
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096800B (zh) * 2009-12-14 2014-11-19 北京中星微电子有限公司 一种图像信息获取方法及装置
CN108985134B (zh) * 2017-06-01 2021-04-16 重庆中科云从科技有限公司 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN110348272A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 动态人脸识别的方法、装置、系统和介质
CN109344709A (zh) * 2018-08-29 2019-02-15 中国科学院信息工程研究所 一种人脸生成伪造图像的检测方法
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN110175555A (zh) * 2019-05-23 2019-08-27 厦门市美亚柏科信息股份有限公司 人脸图像聚类方法和装置
CN111738120B (zh) * 2020-06-12 2023-12-05 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN112100427A (zh) * 2020-09-03 2020-12-18 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN111078922A (zh) * 2019-10-15 2020-04-28 深圳市商汤科技有限公司 一种信息处理方法及装置、存储介质
CN111625671A (zh) * 2020-05-25 2020-09-04 深圳市商汤科技有限公司 数据处理方法及装置、电子设备及存储介质
CN112766189A (zh) * 2021-01-25 2021-05-07 北京有竹居网络技术有限公司 深度伪造检测方法、装置、存储介质及电子设备
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113221786A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
Goel et al. Dual branch convolutional neural network for copy move forgery detection
Lee et al. Image retrieval in forensics: tattoo image database application
Biswas et al. Perceptual image hashing based on frequency dominant neighborhood structure applied to Tor domains recognition
CN113726784B (zh) 一种网络数据的安全监控方法、装置、设备及存储介质
CN111444387A (zh) 视频分类方法、装置、计算机设备和存储介质
US20230032728A1 (en) Method and apparatus for recognizing multimedia content
Peersman et al. icop: Automatically identifying new child abuse media in p2p networks
Patel et al. Trans-DF: a transfer learning-based end-to-end deepfake detector
Roy et al. Face sketch-photo recognition using local gradient checksum: LGCS
CN110765760A (zh) 一种法律案件分配方法、装置、存储介质和服务器
Hore et al. A real time dactylology based feature extractrion for selective image encryption and artificial neural network
Jiang et al. Research progress and challenges on application-driven adversarial examples: A survey
WO2022242032A1 (zh) 数据分类方法及装置、电子设备、存储介质和计算机程序产品
Kiruthika et al. Image quality assessment based fake face detection
Cheung et al. Evaluating the privacy risk of user-shared images
Nayerifard et al. Machine learning in digital forensics: a systematic literature review
Karappa et al. Detection of sign-language content in video through polar motion profiles
CN107688744B (zh) 基于图像特征匹配的恶意文件分类方法及装置
Muhammad et al. Ontology-based secure retrieval of semantically significant visual contents
Huang et al. A high security BioHashing encrypted speech retrieval algorithm based on feature fusion
Singhal et al. Secure deep multimodal biometric authentication using online signature and face features fusion
CN111444362A (zh) 恶意图片拦截方法、装置、设备和存储介质
Agduk et al. Classification of handwritten text signatures by person and gender: a comparative study of transfer learning methods
Lin et al. Micro-expression recognition based on spatiotemporal Gabor filters
WO2022142032A1 (zh) 手写签名校验方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940478

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27.02.2024)