WO2022148378A1 - 违规用户处理方法、装置及电子设备 - Google Patents

违规用户处理方法、装置及电子设备 Download PDF

Info

Publication number
WO2022148378A1
WO2022148378A1 PCT/CN2022/070332 CN2022070332W WO2022148378A1 WO 2022148378 A1 WO2022148378 A1 WO 2022148378A1 CN 2022070332 W CN2022070332 W CN 2022070332W WO 2022148378 A1 WO2022148378 A1 WO 2022148378A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
face feature
face
picture
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/070332
Other languages
English (en)
French (fr)
Inventor
程瑾
刘振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Publication of WO2022148378A1 publication Critical patent/WO2022148378A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present application relates to the technical field of face recognition, and in particular, to a method, device and electronic device for processing illegal users.
  • live broadcasting has gradually become a mainstream way for the public to share life and show creativity, which can enrich life.
  • live streaming like the Internet, is a double-edged sword.
  • some illegal users of live broadcast often use multiple accounts to start broadcasting, and become habitual illegal users, and the impact is relatively bad.
  • the platform needs to spend a lot of manpower to review.
  • the present application provides a method, device and electronic device for processing illegal users, so as to solve the problem of the prior art that a large amount of manpower is required to review and habitually violate users in live broadcast to a certain extent.
  • a method for processing illegal users includes:
  • a processing strategy for the first face feature is determined.
  • a device for processing illegal users includes:
  • a first obtaining module used to obtain the first picture of the live picture stream
  • a first processing module configured to perform preset processing on the first picture to obtain a first face feature of the first picture
  • the second processing module is used to calculate the similarity between the first facial feature and each facial feature in the first database of the offending user;
  • a first determining module configured to determine a processing strategy for the first face feature according to the similarity between the first face feature and each face feature in the first database.
  • an electronic device including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory communicate with each other through the communication bus;
  • the processor when executing the program stored in the memory, implements the steps in the above-mentioned method for processing a violating user.
  • a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, implements the above-mentioned method for processing a violating user.
  • a computer program product including instructions, which when run on a computer, enables the computer to execute the above-mentioned method for processing a violating user.
  • the first face feature of the first picture is obtained, and the first face feature is calculated.
  • the similarity with each facial feature in the first database of the offending user according to the similarity between the first facial feature and each facial feature in the first database, determine the processing strategy for the first facial feature, In this way, users who routinely violate the regulations of live broadcast can be processed more accurately, and the efficiency can be improved.
  • FIG. 1 is a flowchart of a method for processing illegal users according to an embodiment of the present application
  • FIG. 2 is a specific flowchart of a method for processing illegal users according to an embodiment of the present application
  • FIG. 3 is a structural block diagram of an apparatus for processing illegal users according to an embodiment of the present application.
  • FIG. 4 is a structural block diagram of an electronic device provided by an embodiment of the present application.
  • first, second and the like in the description and claims of the present application are used to distinguish similar objects, and are not used to describe a specific order or sequence. It is to be understood that the data so used are interchangeable under appropriate circumstances so that the embodiments of the present application can be practiced in sequences other than those illustrated or described herein, and distinguish between “first”, “second”, etc.
  • the objects are usually of one type, and the number of objects is not limited.
  • the first object may be one or more than one.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the associated objects are in an "or” relationship.
  • face recognition is one of the main research topics in the field of computer vision and biometrics. According to different feature extraction methods, existing methods can be divided into the following two categories: face recognition methods based on manual features and deep feature-based methods. face recognition method.
  • the former relies on the combination of artificially designed features (such as texture, etc.) and machine learning techniques (such as principal component analysis, linear discriminant analysis, or support vector machines, etc.).
  • machine learning techniques such as principal component analysis, linear discriminant analysis, or support vector machines, etc.
  • face images vary greatly, such as head pose, facial expression, age, occlusion, illumination, etc.
  • dedicated methods such as those that deal with different ages, different poses, or different lighting conditions, have greater limitations.
  • the face recognition method based on deep features is based on the deep convolutional neural network (Deep Convolution Neural Network, DCNN), combined with the back gradient propagation algorithm, using large-scale data sets to train DCNN, so as to learn the best representation of these data. feature.
  • DCNN Deep Convolution Neural Network
  • These large-scale datasets contain a variety of variations, so DCNNs trained using them can learn more robust features in face images.
  • DCNNs trained using them can learn more robust features in face images.
  • the embodiments of the present application provide a method, device, and electronic device for processing illegal users, extract and compare the second facial features of the illegal users, and automatically mine live broadcast habitual illegal users;
  • the second face feature is added to the first database, and for the live image stream, the first face feature is extracted and compared with the first database, so as to achieve the purpose of cracking down on users who routinely violate live broadcasts.
  • an embodiment of the present application provides a method for processing illegal users, and the method specifically includes:
  • Step 101 Obtain the first picture of the live picture stream.
  • the live broadcast picture stream of the user in the live broadcast process is obtained, and the first picture is one of the pictures in the live broadcast picture stream.
  • Step 102 Perform preset processing on the first picture to obtain a first face feature of the first picture.
  • the preset processing is performed on the first picture in the live picture stream, that is, the first face feature of the first picture after the preset processing can be extracted.
  • the preset processing is a combination of processing methods such as image processing, portrait processing, and face feature processing on the first picture.
  • the acquired first face feature can be a high-quality face feature, and the accuracy of face recognition can be improved.
  • Step 103 Calculate the similarity between the first face feature and each face feature in the first database of the offending user.
  • the first face feature is compared with each face feature in the first database, so as to calculate the similarity between the first face feature and each face feature in the first database, and thus it can be known that Whether the facial features in the first database are similar to the first facial features, and the degree of similarity.
  • the facial features in the first database are the facial features of habitually violating users (for example, the number of violations is multiple), and each facial feature in the first database is recorded with a corresponding user identification number (IDentity, ID).
  • Step 104 Determine a processing strategy for the first face feature according to the similarity between the first face feature and each face feature in the first database.
  • the processing strategy for the first face feature that is, determining whether to ban the live image stream corresponding to the first face feature, etc., to improve the banning accuracy.
  • the first face feature of the first picture is obtained, and the first face is calculated.
  • the method may further include:
  • step A1 a picture of the offending user is obtained.
  • the illegal user picture may be a picture of a user who has violated the rules on a live broadcast platform or the like.
  • Step A2 Perform preset processing on the violating user picture to obtain a second face feature of the violating user picture.
  • the pre-processing is performed on the violating user picture, that is, the second facial feature about the violating user's picture after the pre-processing can be extracted.
  • the preset processing is a combination of processing methods such as image processing, portrait processing, and facial feature processing on the illegal user pictures.
  • step A3 calculating the similarity between the second face feature and each face feature in the second database of the offending user, and saving the second face feature in the second database .
  • the second face feature is compared with each face feature in the second database, so as to calculate the similarity between the second face feature and each face feature in the second database, thus it can be known that Whether the face features in the second database are similar to the second face features, and the degree of similarity.
  • the facial features in the second database are the facial features of the offending users, and the facial features in the second database (that is, the habitual offending user mining database) can be updated according to the second facial features , so that the update of the second database can be maintained, and the accuracy of face recognition can be improved.
  • each face feature in the second database is recorded with a corresponding user ID.
  • step A4 according to the similarity between the second face feature and each face feature in the second database, determine whether the second face feature is the first target face feature, that is The similarity between the second face feature and each face feature in the second database is compared to determine whether the second face feature is the first target face feature.
  • the similarity between the second face feature and each face feature in the second database it can be known whether the face feature in the second database is similar to the second face feature, and the degree of similarity , so that it can be judged whether the second face feature is the first target face feature, that is, whether the second face feature is a habitual offending user can be determined, which can improve the accuracy of the habitual offending user.
  • the second face feature compare it with each face feature in the second database, and calculate the cosine similarity sim (sim ⁇ [0, 1]) of the two; when the second database is of the order of magnitude
  • LSH Locality Sensitive Hashing
  • IVFPQ Inverted File System Product Quantizer
  • HNSW Hierarchical Navigable Small World
  • Step A5 if the second face feature is the first target face feature (ie, the face feature of the habitually illegal user), the first target face feature is stored in the first database.
  • the first target face feature ie, the face feature of the habitually illegal user
  • the first target face feature needs to be regarded as the habitually violating user's face feature.
  • the facial features are stored in the first database to update the database of habitually violating users, thereby ensuring real-time updating of the first database.
  • the step A4 judges whether the second face feature is the first target face feature according to the similarity between the second face feature and each face feature in the second database, specifically including: :
  • the two face features are the first target face features.
  • the similarity between the second face feature and each face feature in the second database it can be known that the similarity between the second database and the second face feature is greater than the first similarity
  • the second target face feature of the threshold that is, the second target face feature with higher similarity with the second face feature in the second database can be obtained; in other words, if the input second face feature is similar to the first database If the similarity sim of the second target face feature is greater than the first similarity threshold sim thd (sim thd ⁇ [0, 1]), it is considered that the second face feature and the second target face feature belong to the same face.
  • the judgment on the second face feature is stopped, that is, the second face feature is ignored; If the first number is greater than the first value, it is determined that the two facial features are the first target facial features, that is, it is determined whether the second facial feature is a habitual offending user, which can improve the accuracy of a habitual offending user.
  • the first similarity threshold is the similarity limit value for judging whether the similarity between the face feature in the second database and the second face feature is high, which can be set as needed, and is not set here.
  • the first value can be used to determine whether the number of the second target facial features meets the conditions for judging that the second target facial features are habitual offending users, that is, the first number of the second target facial features is greater than the first value (eg: 2), that is, the inputted second face feature hits the first number of user IDs, it can be determined that the second face feature is a habitual offending user, otherwise, it can be determined that the second face feature is a common offending user, and the first value It can be set as required, which is not specifically limited here.
  • the preset processing may include:
  • step B1 the target picture is rotated to obtain a rotated target picture; the target picture is the first picture or the illegal user picture.
  • the target picture is obtained through step 101, (eg: obtaining a live picture stream), and the rotation processing is the face rotation detection processing, that is, the target picture is used as an input picture to find the face in the target picture. If no face is detected, the rotation processing is stopped; if a face is detected, the coordinates of the face frame (that is, the face bounding box) containing each face and the key points of the face (such as: eyes, nose, mouth, etc.) coordinates, rotate the target image according to the coordinates of the face frame and the coordinates of the key points of the face, so as to obtain the rotated target image; wherein, the coordinates of the face frame are:
  • x 0 and y 0 are the coordinates of the upper left corner of the face frame
  • x 1 and y 1 are the coordinates of the lower right corner of the face frame.
  • the target picture may be the first picture or a picture of the offending user, that is, the first picture may be rotated to obtain the rotated first picture; the picture of the offending user may also be rotated to obtain The rotated image of the offending user.
  • step B2 it is judged whether the face in the rotated target picture satisfies the first preset condition, that is, the integrity of the target picture is judged.
  • step B3 it is judged whether the face in the rotated target image satisfies the first preset condition; if so, proceed to step B3; if not, filter out the target image, that is, no subsequent processing is performed on the target image.
  • step B3 if the face in the rotated target picture satisfies the first preset condition, perform face alignment processing on the rotated target picture, and obtain a face with a positive orientation.
  • the target picture of the face image if the face in the rotated target picture satisfies the first preset condition, perform face alignment processing on the rotated target picture, and obtain a face with a positive orientation.
  • the face in the rotated target image satisfies the first preset condition, it is necessary to perform face alignment processing on the rotated target image to obtain a target image with a positive face image, that is, the face
  • the posture of the face is adjusted to the front, which can realize the frontalization of the face, and the features extracted from the aligned face are more robust.
  • Step B4 extracting the face feature of the forward face image, to obtain the third target face feature about the target image
  • the third target face feature is the first face feature
  • the target picture is the illegal user picture
  • the third target face feature is the first face feature
  • the third target face feature is the second face feature.
  • the face feature is extracted from the target picture with the positive face image obtained after face alignment processing, and the third target face feature about the target picture is obtained.
  • the obtained third target face feature is the first face feature about the first picture; if the target picture is the illegal user picture, then the obtained third target face feature is about The second facial feature of the offending user picture.
  • face feature extraction is usually based on convolutional neural networks, such as: Residual Network (ResNet), plus loss functions (such as: the first loss function tripletloss, the second loss function cosinface, the third loss function cosinface, and the third loss function. Loss function arcface, etc.), using large-scale data sets for training with classification as the goal, the trained neural network can extract stable face features, and the feature dimension can be 512 dimensions.
  • Residual Network Residual Network (ResNet)
  • Loss function arcface etc.
  • the target picture is rotated to obtain the rotated target picture, which specifically includes:
  • the target image is rotated to obtain a rotated target image, and the confidence of the face frame of the rotated target image is greater than the confidence. threshold.
  • the threshold conf thd ends the face detection, that is, the face in the target image is considered to be positive.
  • the face frame confidence conf is always less than or equal to the confidence threshold conf thd , it is considered that the target image does not contain a face, the face detection is ended, and subsequent processing of the target image is no longer performed.
  • the first preset condition may include:
  • the abscissa of the nose in the rotated target picture is greater than or equal to the abscissa of the left eye, and the abscissa of the nose is less than or equal to the abscissa of the right eye;
  • the minimum value of the abscissa of the face key point in the rotated target picture is greater than or equal to zero, and the maximum value of the abscissa of the key point is less than or equal to the width value of the rotated target picture, and the value of the key point.
  • the minimum value of the vertical coordinate is greater than or equal to zero, and the maximum value of the vertical coordinate of the key point is less than or equal to the height value of the rotated target picture.
  • the face integrity of the face is judged. Specifically, the face integrity is judged by the coordinates of the key points of the face output by the rotation processing, and the coordinates of the key points of the face are:
  • the subscripts 0-4 in the above-mentioned face key point coordinates represent the coordinates of the left eye, right eye, nose, left mouth corner, and right mouth corner, namely [x 0 , y 0 ] are the coordinates of the left eye, [x 1 , y 1 ] are the coordinates of the right eye, [x 2 , y 2 ] are the coordinates of the nose, [x 3 , y 3 ] are the coordinates of the left corner of the mouth, and [x 4 , y 4 ] are the coordinates of the right corner of the mouth.
  • [x 0-4 in the above-mentioned face key point coordinates represent the coordinates of the left eye, right eye, nose, left mouth corner, and right mouth corner, namely [x 0 , y 0 ] are the coordinates of the left eye, [x 1 , y 1 ] are the coordinates of the right eye, [x 2 , y 2 ] are the coordinates of the nose, [x 3
  • the nose of the target image is located between the left and right eyes, which is a non-profile face; if the above first formula is not satisfied, the face of the target image is considered to be a profile face, which needs to be filtered.
  • the following second formula can be used to filter:
  • w is the width value of the target image
  • h is the height value of the target image
  • the target image is considered to be a complete face, that is, the face key points of the complete face should be located in the target image; if the above-mentioned second formula is not satisfied, the face of the target image is considered to be an incomplete face , it needs to be filtered, and no subsequent processing is performed.
  • the step B3 performs face alignment processing on the rotated target picture, and obtains a target picture with a positive face image, including:
  • Affine transformation is performed between the coordinates of the face key points in the rotated target image and the preset key point coordinates to obtain a target image with a positive face image.
  • the face alignment process can use a set of reference points located at fixed positions in the target image to scale and crop the face image to achieve the purpose of face alignment.
  • This process can use a feature point detector to find a group of people Face feature points (ie, human body key point coordinates), by performing affine transformation between the face key point coordinates in the rotated target image and the preset key point coordinates, so as to obtain a positive face after face alignment.
  • the target picture of the image can use a set of reference points located at fixed positions in the target image to scale and crop the face image to achieve the purpose of face alignment.
  • This process can use a feature point detector to find a group of people Face feature points (ie, human body key point coordinates), by performing affine transformation between the face key point coordinates in the rotated target image and the preset key point coordinates, so as to obtain a positive face after face alignment.
  • the target picture of the image ie, human body key point coordinates
  • the step 104 determines the processing strategy of the first face feature according to the similarity between the first face feature and each face feature in the first database, including:
  • step C1 is to obtain a fourth target face feature whose similarity with the first face feature in the first database is greater than the second similarity threshold, that is, obtain the fourth target face feature through similarity comparison. target facial features.
  • the similarity between the first face feature and each face feature in the first database it can be known whether the face feature in the first database is similar to the first face feature, and the degree of similarity, so as to obtain the first face feature.
  • a fourth target face feature in a database where the fourth target face feature is a face feature whose similarity with the first face feature in the first database is greater than the second similarity threshold.
  • the second similarity threshold is the similarity limit value for judging whether the similarity between the face feature in the first database and the first face feature is high, which can be set as required, and is not set here. Specific restrictions.
  • the first similarity threshold and the second similarity threshold may be the same value or different values, which are not specifically limited herein.
  • Step C2 Determine the target similarity according to the second quantity of the fourth target face features.
  • Step C3 Determine a processing strategy for the first face feature according to the target similarity.
  • the target similarity can be determined according to the second quantity of the fourth target face features, so that different processing strategies are used to process the first face features, that is, different numbers of fourth target faces Features can have different processing strategies.
  • the step C2 determines the target similarity according to the second quantity of the fourth target facial features, including:
  • the second number is one, then determine that the product of the similarity between the fourth target face feature and the first face feature and the single-image hit suppression coefficient is the target similarity
  • the second number is more than one, determine the similarity between the fifth target face feature and the first face feature as the target similarity, and the fifth target face feature is a plurality of fourth target faces The face feature with the greatest similarity to the first face feature among the features
  • the correct rate of ban can be improved by the following single-image hit suppression strategy. Specifically, if the number of the fourth target face feature is 1, the weight of the fourth target face feature is reduced. Processing, that is, the target similarity sim i is the product of the similarity between the fourth target face feature and the first face feature and the single-image hit suppression coefficient; if the number of the fourth target face feature is greater than 1, the target is similar.
  • the degree sim i takes the maximum value, that is, the maximum similarity between the multiple fourth target face features and the first face feature. Specifically, it can be calculated by the following third formula:
  • sim i is the target similarity
  • ⁇ is the single-image hit suppression coefficient
  • n is the second number.
  • the step C3 determines the processing strategy of the first face feature according to the target similarity, including:
  • Step 202 If the target similarity is within a first preset range, banning processing is performed on the live image stream corresponding to the first face feature.
  • the live image stream corresponding to the first face feature is automatically banned.
  • step C3 determines the processing strategy of the first face feature according to the target similarity, further comprising:
  • the target similarity is within the second preset range, obtain a review result of whether the first face feature and the fourth target face feature are the same face, and the review result includes: the same face The correct hit result and the wrong hit result of the non-identical face;
  • banning processing is performed on the live image stream corresponding to the first face feature.
  • the audit result can be audited as the correct hit result of the same face, or it can be audited as the wrong hit result of the different face, so as to avoid the bad experience of the user caused by the wrong ban.
  • the live image stream can be ignored and no ban processing is performed.
  • the method further includes:
  • the first database is updated according to the live image stream corresponding to the first face feature.
  • step 202 if the target similarity is within a first preset range, the live image stream corresponding to the first face feature is banned, and the first face feature is added to In the first database, the real-time update of the first database can thus be maintained, and the accuracy of face recognition can be improved.
  • the target similarity is within the second preset range, obtain the verification result of whether the first face feature and the fourth target face feature are the same face, and if the verification result is a correct hit result
  • the live image stream corresponding to the first face feature is banned, and the first face feature is added to the first database, so that the real-time update of the first database can be maintained, and the accuracy of face recognition can be improved. Accuracy.
  • the method further includes:
  • the fourth target face feature is deleted from the first database.
  • the number of audits of the fourth target face feature is obtained, and according to the audit result and the historical audit result, the number of correct hits and the number of incorrect hits of the fourth target face feature can be known, thereby Know the hit rate of the fourth target face feature; if the number of audits is greater than or equal to the first threshold, and the hit rate is less than or equal to the second threshold, then the fourth target face feature is removed from the first database Therefore, the facial features in the first database can be filtered to ensure the banning accuracy.
  • the facial features in the first database can be automatically cleaned up.
  • the similarity sim i with the live image stream is between the high threshold and the low threshold, it means that these two face features (the fourth target face feature The confidence level of whether it belongs to the same person as the first face feature) is not high enough, so it is pushed to manual review, and the fourth target face feature can be automatically cleaned up by using the manual review result.
  • the fourth target facial feature review is greater than or equal to the first threshold, and the hit rate precision i is less than or equal to the second threshold, the fourth target facial feature is deleted from the first database to further ensure that Banning accuracy.
  • the embodiments of the present application can ensure the detection rate of faces through rotation processing in the mining stage, and use the first preset condition and face alignment processing to ensure that the detected faces are high-quality faces, and the extracted faces are of high quality.
  • the face features of the forward face image are automatically mined for habitual offending users in live broadcasts; and the mined face features of habitual offending users are added to the first database; during the banning stage, for livestreaming image streams, using a single
  • the map hit suppression strategy improves the banning accuracy; extracts face features and compares them with the face features in the first database, so as to achieve the purpose of cracking down on users who routinely violate live broadcasts; by counting the hit rate of face features in the first database and doing automatic cleaning, further Guaranteed ban accuracy.
  • an apparatus 300 for processing illegal users includes:
  • the first obtaining module 301 is used to obtain the first picture of the live picture stream
  • a first processing module 302 configured to perform preset processing on the first picture to obtain a first face feature of the first picture
  • the second processing module 303 is used to calculate the similarity between the first facial feature and each facial feature in the first database of the offending user;
  • the first determination module 304 is configured to determine a processing strategy for the first face feature according to the similarity between the first face feature and each face feature in the first database.
  • the first face feature of the first picture is obtained, and the first face is calculated.
  • the device before calculating the similarity between the first facial feature and each facial feature in the first database of the offending user, the device further includes:
  • the second obtaining module is used to obtain the pictures of the offending users
  • a third processing module configured to perform preset processing on the violating user picture to obtain a second face feature of the violating user picture
  • the fourth processing module is used to calculate the similarity between the second facial feature and each facial feature in the second database of the offending user, and save the second facial feature in the second database;
  • a first judgment module configured to judge whether the second face feature is the first target face feature according to the similarity between the second face feature and each face feature in the second database
  • a first saving module configured to save the second target face feature in the first database if the second face feature is the first target face feature.
  • the first judgment module includes:
  • the first obtaining unit is configured to obtain, according to the similarity between the second face feature and each face feature in the second database, the similarity between the second database and the second face feature is greater than the second target face feature of the first similarity threshold;
  • a determination unit configured to determine that the second face feature is the first target face feature if the first quantity of the second target face feature is greater than a first value.
  • the preset processing includes:
  • the target picture is the first picture or the illegal user picture; if the target picture is the first picture, the third target face feature is the first face feature ;
  • the third target face feature is the second face feature.
  • the target picture is rotated to obtain a rotated target picture, including:
  • the target image is rotated to obtain a rotated target image, and the confidence of the face frame of the rotated target image is greater than the confidence. threshold.
  • the first preset condition includes:
  • the abscissa of the nose in the rotated target picture is greater than or equal to the abscissa of the left eye, and the abscissa of the nose is less than or equal to the abscissa of the right eye;
  • the minimum value of the abscissa of the face key point in the rotated target picture is greater than or equal to zero, and the maximum value of the abscissa of the key point is less than or equal to the width value of the rotated target picture, and the value of the key point.
  • the minimum value of the vertical coordinate is greater than or equal to zero, and the maximum value of the vertical coordinate of the key point is less than or equal to the height value of the rotated target picture.
  • the described rotated target picture is carried out face alignment processing to obtain the target picture with a forward face image, including:
  • Affine transformation is performed between the coordinates of the face key points in the rotated target image and the preset key point coordinates to obtain a target image with a positive face image.
  • the first determining module 304 includes:
  • a second obtaining unit configured to obtain a fourth target face feature that is greater than a second similarity threshold in the similarity with the first face feature in the first database
  • a first determining unit configured to determine the target similarity according to the second quantity of the fourth target facial features
  • the second determination unit is configured to determine the processing strategy of the first face feature according to the target similarity.
  • the first determining unit includes:
  • the second number is one, then determine that the product of the similarity between the fourth target face feature and the first face feature and the single-image hit suppression coefficient is the target similarity
  • the second number is more than one, determine the similarity between the fifth target face feature and the first face feature as the target similarity, and the fifth target face feature is a plurality of fourth target faces The face feature with the greatest similarity with the first face feature among the features.
  • the second determining unit includes:
  • banning processing is performed on the live image stream corresponding to the first face feature.
  • the second determining unit further includes:
  • the target similarity is within the second preset range, obtain a review result of whether the first face feature and the fourth target face feature are the same face, and the review result includes: the same face The correct hit result and the wrong hit result of the non-identical face;
  • banning processing is performed on the live image stream corresponding to the first face feature.
  • the first determining module 304 further includes:
  • An update unit configured to update the first database according to the live image stream corresponding to the first face feature.
  • the device further includes:
  • a third obtaining module configured to obtain the number of times of review of the fourth target facial feature
  • a fourth obtaining module configured to obtain the hit rate of the fourth target face feature according to the number of correct hits and the number of wrong hits in the historical review result of the fourth target face feature
  • a deletion module configured to delete the fourth target face feature from the first database if the number of audits is greater than or equal to a first threshold and the hit rate is less than or equal to a second threshold.
  • this embodiment of the device for processing illegal users is a device corresponding to the above-mentioned method for processing illegal users, and all the implementations of the above-mentioned method embodiments are applicable to this device embodiment, and can also achieve the same technical effect. It is not repeated here.
  • the embodiments of the present application can ensure the detection rate of faces through rotation processing in the mining stage, and use the first preset condition and face alignment processing to ensure that the detected faces are high-quality faces, and the extracted faces are of high quality.
  • the face features of the forward face image are automatically mined for habitual offending users in live broadcasts; and the mined face features of habitual offending users are added to the first database; during the banning stage, for livestreaming image streams, using a single
  • the map hit suppression strategy improves the banning accuracy; extracts face features and compares them with the face features in the first database, so as to achieve the purpose of cracking down on users who routinely violate live broadcasts; by counting the hit rate of face features in the first database and doing automatic cleaning, further Guaranteed ban accuracy.
  • the embodiments of the present application also provide an electronic device. As shown in FIG. 4 , it includes a processor 401 , a communication interface 402 , a memory 403 and a communication bus 404 , wherein the processor 401 , the communication interface 402 , and the memory 403 communicate with each other through the communication bus 404 .
  • the memory 403 is used to store computer programs.
  • processor 401 When the processor 401 is configured to execute the program stored in the memory 403, some or all of the steps in the method for processing a violating user provided by the embodiment of the present application are implemented.
  • the communication bus mentioned in the above electronic device may be a Peripheral Component Interconnect (PCI for short) bus or an Extended Industry Standard Architecture (Extended Industry Standard Architecture, EISA for short) bus or the like.
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the communication bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of presentation, only one thick line is used in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used for communication between the above-mentioned terminal and other devices.
  • the memory may include random access memory (Random Access Memory, RAM for short), or may include non-volatile memory (non-volatile memory), such as at least one disk memory.
  • RAM Random Access Memory
  • non-volatile memory such as at least one disk memory.
  • the memory may also be at least one storage device located remotely from the aforementioned processor.
  • the above-mentioned processor may be a general-purpose processor, including a central processing unit (Central Processing Unit, referred to as CPU), a network processor (Network Processor, referred to as NP), etc.; may also be a digital signal processor (Digital Signal Processing, referred to as DSP) , Application Specific Integrated Circuit (ASIC), Field Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, and discrete hardware components.
  • CPU Central Processing Unit
  • NP Network Processor
  • DSP Digital Signal Processing
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a computer-readable storage medium is also provided, where instructions are stored in the computer-readable storage medium, and when the computer-readable storage medium is run on a computer, the computer is made to execute the above-mentioned embodiments. The method of dealing with violating users.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种违规用户处理方法、装置及电子设备，涉及人脸识别技术领域。该方法包括：获取直播图片流的第一图片；将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度，并将所述第一人脸特征保存至所述第一数据库中；根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。上述方案，不仅可以实时更新第一数据库，保证数据的准确性，还可以较精确的对直播惯常违规用户进行处理，提高效率。

Description

违规用户处理方法、装置及电子设备
相关申请的交叉引用
本申请要求在2021年01月05日提交中国专利局，申请号为202110009521.3、名称为“违规用户处理方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种违规用户处理方法、装置及电子设备。
背景技术
随着互联网信息时代的发展，直播逐渐成为大众分享生活、展示创意的一种主流方式，可以丰富生活。但与此同时，直播与互联网一样也是一把双刃剑。部分直播违规用户为了扩大直播传播范围往往利用多个账号开播，成为惯常违规用户，影响较恶劣。对于直播惯常违规用户，平台需要耗费大量人力进行审核。
发明内容
本申请提供一种违规用户处理方法、装置及电子设备，以便在一定程度上解决现有技术需要耗费大量人力审核直播惯常违规用户的问题。
在本申请实施的第一方面，提供了一种违规用户处理方法，所述方法包括：
获取直播图片流的第一图片；
将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；
计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；
根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
在本申请实施的第二方面，提供了一种违规用户处理装置，所述装置包括：
第一获取模块，用于获取直播图片流的第一图片；
第一处理模块，用于将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；
第二处理模块，用于计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；
第一确定模块，用于根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
在本申请实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的违规用户处理方法中的步骤。
在本申请实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的违规用户处理方法。
在本申请实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的违规用户处理方法。
针对在先技术，本申请具备如下优点：
本申请实施例中，通过获取直播图片流的第一图片，并将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征，计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度，根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定对第一人脸特征的处理策略，从而可以较精确的对直播惯常违规用户进行处理，提高效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它 目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图简述
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的违规用户处理方法流程图；
图2为本申请实施例提供的违规用户处理方法具体流程图；
图3为本申请实施例提供的违规用户处理装置的结构框图；并且
图4为本申请实施例提供的电子设备的结构框图。
详细描述
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
目前，人脸识别是计算机视觉及生物识别领域的主要研究课题之一，根据特征提取方式的不同，现有方法可以分为以下两大类：基于手工特征的人脸识别方法和基于深度特征的人脸识别方法。
其中，前者依赖于人工设计的特征(比如纹理等)与机器学习技术(比如主成分分析、线性判别分析或支持向量机等)的组合。但是，人脸图像变化较大，比如头部姿势、面部表情、年龄、遮挡、光照等不同，人工设计在无约束环境中对不同变化情况稳健的特征是很困难的，使得对每种变化类型 的专用方法，比如应对不同年龄、不同姿势或者不同光照条件的方法，具有较大的局限性。
基于深度特征的人脸识别方法是以深度卷积神经网络(Deep Convolution Neural Network，DCNN)为基础，结合反向梯度传播算法，利用大规模数据集训练DCNN，从而学习到表征这些数据的最佳特征。这些大规模数据集包含了各种变化情况，因此使用其训练出的DCNN能够学到人脸图像中更稳健的特征。但是，针对直播违规用户的行为，没有自动化区分惯常违规用户并进行封禁的方法。
因此，本申请实施例提供了一种违规用户处理方法、装置及电子设备，提取并比对违规用户的第二人脸特征，自动挖掘直播惯常违规用户；并且，将挖掘到的惯常违规用户的第二人脸特征添加至第一数据库中，对于直播图片流，提取第一人脸特征与第一数据库进行比对，从而达到打击直播惯常违规用户的目的。
具体地，如图1和图2所示，本申请实施例提供了一种违规用户处理方法，所述方法具体包括：
步骤101，获取直播图片流的第一图片。
具体地，在用户进行直播的过程中，获取用户在直播过程中的直播图片流，所述第一图片为直播图片流中的其中一张图片。
步骤102，将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征。
具体地，将直播图片流中的第一图片进行预设处理，即可以提取到预设处理之后的关于所述第一图片的第一人脸特征。其中，所述预设处理为对第一图片进行图片处理、人像处理、人脸特征处理等处理方式的组合。通过对所述第一图片进行预设处理，可以使得获取的第一人脸特征为高质量的人脸特征，提高人脸识别的精确度。
步骤103，计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度。
具体地，将所述第一人脸特征与第一数据库中每一人脸特征进行比对，从而计算出第一人脸特征与第一数据库中每一人脸特征的相似度，由此可以 得知第一数据库中的人脸特征与第一人脸特征是否相似，以及相似的程度。
其中，所述第一数据库中的人脸特征是关于惯常违规用户(如：违规次数为多次)的人脸特征，第一数据库中的每一个人脸特征均记载有对应的用户身份识别号(IDentity，ID)。
步骤104，根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
具体地，根据第一人脸特征与第一数据库中每一人脸特征的相似度，可以得知第一数据库中的人脸特征与第一人脸特征是否相似，以及相似的程度，从而可以确定对第一人脸特征的处理策略，即确定是否对第一人脸特征对应的直播图片流进行封禁处理等，提高封禁精度。
本申请上述实施例中，通过获取直播图片流的第一图片，并将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征，计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定对第一人脸特征的处理策略，从而可以较精确的对直播惯常违规用户进行处理，提高效率。
可选地，在所述步骤103计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度之前，所述方法还可以包括：
如图2所示，步骤A1，获取违规用户图片。
具体地，首先获取违规用户图片，获取的方式并不限定。其中，违规用户图片可以是在直播平台等出现违规行为的用户的图片。
步骤A2，将所述违规用户图片进行预设处理，得到关于所述违规用户图片的第二人脸特征。
具体地，将违规用户图片进行预设处理，即可以提取到预设处理之后的关于违规用户图片的第二人脸特征。其中，所述预设处理为对违规用户图片进行图片处理、人像处理、人脸特征处理等处理方式的组合。通过对违规用户图片进行预设处理，可以使得获取的第二人脸特征为高质量的人脸特征，提高人脸识别的精确度。
如图2所示，步骤A3，计算所述第二人脸特征与违规用户的第二数据库中每一人脸特征的相似度，并将所述第二人脸特征保存至所述第二数据库中。
具体地，将所述第二人脸特征与第二数据库中每一人脸特征进行比对，从而计算出第二人脸特征与第二数据库中每一人脸特征的相似度，由此可以得知第二数据库中的人脸特征与第二人脸特征是否相似，以及相似的程度。其中，所述第二数据库中的人脸特征是关于违规用户的人脸特征，并且，第二数据库(即惯常违规用户挖掘数据库)中的人脸特征是可以根据第二人脸特征进行更新的，由此可以保持第二数据库的更新，提高人脸识别的精确度。并且，第二数据库中的每一个人脸特征均记载有对应的用户ID。
如图2所示，步骤A4，根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，判断所述第二人脸特征是否为第一目标人脸特征，即将所述第二人脸特征与所述第二数据库中每一人脸特征进行相似度比对，判断所述第二人脸特征是否为第一目标人脸特征。
具体地，根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，可以得知第二数据库中的人脸特征与第二人脸特征是否相似，以及相似的程度，从而可以判断所述第二人脸特征是否为第一目标人脸特征，即判断所述第二人脸特征是否为惯常违规用户，可以提高惯常违规用户的精确度。
具体地，对于第二人脸特征，将其与第二数据库中的每一人脸特征进行比对，计算两者的余弦相似度sim(sim∈[0，1])；当第二数据库量级较大时，可以利用局部敏感哈希(Locality Sensitive Hashing，LSH)、倒排文件系统乘积量化(Inverted File System Product Quantizer，IVFPQ)、层级式可导航小世界图(Hierarchical Navigable Small World，HNSW)等方法进一步提高相似特征检索速度。
步骤A5，若所述第二人脸特征为第一目标人脸特征(即惯常违规用户的人脸特征)，则将所述第一目标人脸特征保存至所述第一数据库中。
具体地，若所述第二人脸特征为第一目标人脸特征，即第二人脸特征为惯常违规用户的人脸特征，则需要将所述第一目标人脸特征作为惯常违规用户的人脸特征保存至第一数据库中，以更新惯常违规用户的数据库，从而保证第一数据库的实时更新。
可选地，所述步骤A4根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，判断所述第二人脸特征是否为第一目标人脸特征，具体 包括：
根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，获取所述第二数据库中与所述第二人脸特征的相似度中大于第一相似度阈值的第二目标人脸特征；
若所述第二目标人脸特征的第一数量大于第一数值，则判定所述二人脸特征为第一目标人脸特征。
具体地，根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，可以得知第二数据库中与所述第二人脸特征的相似度中大于第一相似度阈值的第二目标人脸特征，即可以得到第二数据库中与第二人脸特征相似度较高的第二目标人脸特征；换句话说，若输入的第二人脸特征与第一数据库中第二目标人脸特征的相似度sim大于第一相似度阈值sim thd(sim thd∈[0，1])，则认为第二人脸特征与第二目标人脸特征属于同一人脸。
若所述第二目标人脸特征的第一数量小于或等于第一数值，则停止对第二人脸特征的判断，即忽略该第二人脸特征；若所述第二目标人脸特征的第一数量大于第一数值，则判定所述二人脸特征为第一目标人脸特征，即判断所述第二人脸特征是否为惯常违规用户，可以提高惯常违规用户的精确度。
需要说明的是，第一相似度阈值为判断第二数据库中人脸特征与所述第二人脸特征的相似度是否较高的相似度限值，可以根据需要进行设定，在此不做具体限定。其中，第一数值可以为判断第二目标人脸特征的个数是否符合判定第二人脸特征为惯常违规用户的条件，即第二目标人脸特征的第一数量大于第一数值(如：2个)，即输入的第二人脸特征命中了第一数量的用户ID，可以判定第二人脸特征为惯常违规用户，否则，可以判定第二人脸特征为普通违规用户，第一数值可以根据需要进行设定，在此不做具体限定。
可选地，如图2所示，所述预设处理可以包括：
步骤B1，将目标图片进行旋转处理，得到旋转后的目标图片；所述目标图片为所述第一图片或者所述违规用户图片。
具体地，如图2所示，通过步骤101获取目标图片，(如：获取直播图片流)，旋转处理即为人脸旋转检测处理，即将目标图片作为输入图片，用于寻 找目标图片中的人脸的位置，如果没有检测到人脸，即停止旋转处理；如果检测到人脸，可以检测到包含每张人脸的人脸框(即人脸边界框)的坐标和人脸关键点(如：眼睛、鼻子、嘴巴等)坐标，根据人脸框坐标和人脸关键点坐标对目标图片进行旋转处理，从而得到旋转后的目标图片；其中，人脸框的坐标为：
[x 0，y 0，x 1，y 1]
其中，x 0和y 0为人脸框的左上角坐标；
x 1和y 1为人脸框的右下角坐标。
其中，所述目标图片可以为所述第一图片，也可以为违规用户图片，即可以对第一图片进行旋转处理，得到旋转后的第一图片；也可以对违规用户图片进行旋转处理，得到旋转后的违规用户图片。
如图2所示，步骤B2，判断所述旋转后的目标图片中的人脸是否满足第一预设条件，即对目标图片进行完整度判断。
具体地，判断旋转后的目标图片中的人脸是否满足第一预设条件；如果满足，则进入步骤B3；如果不满足，则过滤掉目标图片，即不再对目标图片进行后续处理。
如图2所示，步骤B3，若所述旋转后的目标图片中的人脸满足所述第一预设条件，则对所述旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片。
具体地，如果旋转后的目标图片中的人脸满足所述第一预设条件，则需要对旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片，即将人脸的姿势调整到正面向前，可以实现人脸正面化，经过对齐后的人脸提取到的特征鲁棒性更强。
步骤B4，提取所述正向人脸图像的人脸特征，得到关于所述目标图片的第三目标人脸特征；
其中，在所述目标图片为所述第一图片的情况下，所述第三目标人脸特征为所述第一人脸特征；在所述目标图片为所述违规用户图片的情况下，所述第三目标人脸特征为所述第二人脸特征。
具体地，对经过人脸对齐处理后得到的具有正向人脸图像的目标图片提 取人脸特征，得到关于所述目标图片的第三目标人脸特征。其中，如果目标图片为第一图片，则得到的第三目标人脸特征为关于第一图片的第一人脸特征；如果目标图片为违规用户图片，则得到的第三目标人脸特征为关于违规用户图片的第二人脸特征。
其中，人脸特征提取通常以卷积神经网络为基础网络，如：残差网络(Residual Network，ResNet)，再加上损失函数(如：第一损失函数tripletloss、第二损失函数cosinface、第三损失函数arcface等)，以分类为目标利用大规模数据集进行训练，经过训练后的神经网络可以提取到稳定的人脸特征，特征维度可以是512维。
可选地，所述步骤B1将目标图片进行旋转处理，得到旋转后的目标图片，具体包括：
将所述目标图片进行人脸检测，获取所述目标图片的人脸框置信度；
若所述人脸框置信度小于或等于置信度阈值，则将所述目标图片进行旋转处理，得到旋转后的目标图片，所述旋转后的目标图片的人脸框置信度大于所述置信度阈值。
目前，现有技术中常用的人脸检测算法一般是以大规模训练数据为基础，能够应对光照、模糊、角度等变化情况。此外，在实际的直播场景中，当用户旋转手机或用户身体姿势变化时，会造成直播图像中人脸方向相应变化，进而影响检测精度；因此，本申请实施例采用旋转检测策略应对这类人脸方向变化，具体可以如下：
首先对原始输入图片(即目标图片)做人脸检测，得到所述目标图片的人脸框置信度；如果人脸框置信度conf大于置信度阈值conf thd，则认为目标图片中人脸为正向，即结束人脸检测；如果人脸框置信度conf小于或等于置信度阈值conf thd，将目标图片旋转第一角度(如：顺时针旋转90度)之后再进行人脸检测，如果人脸框置信度conf依旧小于或等于置信度阈值conf thd，将目标图片再旋转第一角度之后再进行人脸检测，以此类推，直到旋转后的目标图片的人脸框置信度conf大于所述置信度阈值conf thd结束人脸检测，即认为目标图片中人脸为正向。
如果人脸框置信度conf始终小于或等于置信度阈值conf thd，则认为该目 标图片不含人脸，结束人脸检测，不再对该目标图片进行后续处理。
可选地，所述第一预设条件可以包括：
所述旋转后的目标图片中的鼻子的横坐标大于或等于左眼的横坐标、且鼻子的横坐标小于或等于右眼的横坐标；以及
所述旋转后的目标图片中的人脸关键点的横坐标的最小值大于或等于零、且关键点的横坐标的最大值小于或者等于所述旋转后的目标图片的宽度值、且关键点的纵坐标的最小值大于或等于零、且关键点的纵坐标的最大值小于或者等于所述旋转后的目标图片的高度值。
具体地，由于在直播场景中人脸是动态变化的，当侧脸、非完整脸被检测出来并进一步提取人脸特征入库后，容易造成大量误判，因此我们在人脸检测之后需要对人脸的完整度进行判断。具体地，通过旋转处理输出的人脸关键点坐标做人脸完整度判断，人脸关键点坐标为：
[[x 0，y 0]，[x 1，y 1]，[x 2，y 2]，[x 3，y 3]，[x 4，y 4]]
其中，上述人脸关键点坐标中下标为0-4的分别代表左眼、右眼、鼻子、左嘴角、右嘴角的坐标，即[x 0，y 0]为左眼坐标，[x 1，y 1]为右眼坐标，[x 2，y 2]为鼻子坐标，[x 3，y 3]为左嘴角坐标，[x 4，y 4]为右嘴角坐标。首先对于侧脸，利用下述第一公式进行过滤：
x 0≤x 2≤x 1
即如果满足上述第一公式，则认为目标图片的鼻子位于左右眼之间，即为非侧脸；如果不满足上述第一公式，则认为目标图片的人脸为侧脸，需要进行过滤，不进行后续处理；对于非完整脸，可以利用如下第二公式进行过滤：
Figure PCTCN2022070332-appb-000001
其中，w为目标图片的宽度值；
h为目标图片的高度值；
即如果满足上述第二公式，则认为该目标图片为完整脸，即完整脸的人脸关键点应位于目标图片中；如果不满足上述第二公式，则认为目标图片的 人脸为非完整脸，需要进行过滤，不进行后续处理。
可选地，所述步骤B3对所述旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片，包括：
将所述旋转后的目标图片中的人脸关键点坐标与预设关键点坐标进行仿射变换，获取具有正向人脸图像的目标图片。
具体地，人脸对齐处理可以是使用一组位于目标图片中固定位置的参考点来缩放和裁剪人脸图像，达到人脸对齐的目的，这个过程可以使用一个特征点检测器来寻找一组人脸特征点(即人体关键点坐标)，通过将所述旋转后的目标图片中的人脸关键点坐标与预设关键点坐标进行仿射变换，从而获得人脸对齐之后的具有正向人脸图像的目标图片。
可选地，所述步骤104根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略，包括：
如图2所示，步骤C1，获取所述第一数据库中与所述第一人脸特征的相似度中大于第二相似度阈值的第四目标人脸特征，即通过相似度对比获取第四目标人脸特征。
具体地，根据第一人脸特征与第一数据库中每一人脸特征的相似度，可以得知第一数据库中的人脸特征与第一人脸特征是否相似，以及相似的程度，从而获取第一数据库中的第四目标人脸特征，所述第四目标人脸特征是第一数据库中与第一人脸特征的相似度大于第二相似度阈值的人脸特征。
需要说明的是，第二相似度阈值为判断第一数据库中人脸特征与所述第一人脸特征的相似度是否较高的相似度限值，可以根据需要进行设定，在此不做具体限定。其中，所述第一相似度阈值和第二相似度阈值可以为相同值，也可以为不同值，在此不做具体限定。
步骤C2，根据所述第四目标人脸特征的第二数量，确定目标相似度。
步骤C3，根据所述目标相似度，确定所述第一人脸特征的处理策略。
具体地，上述步骤C2和步骤C3中，可以根据第四目标人脸特征的第二数量确定目标相似度，从而采用不同的处理策略处理第一人脸特征，即不同数量的第四目标人脸特征可以有不同的处理策略。
可选地，所述步骤C2根据所述第四目标人脸特征的第二数量，确定目 标相似度，包括：
若所述第二数量为一个，则确定第四目标人脸特征与所述第一人脸特征的相似度与单图命中抑制系数的乘积为目标相似度；
若所述第二数量为多个，则确定第五目标人脸特征与所述第一人脸特征的相似度为目标相似度，所述第五目标人脸特征为多个第四目标人脸特征中与所述第一人脸特征具有最大相似度的人脸特征
如图2所示，步骤201，通过下述单图命中抑制策略可以提高封禁的正确率，具体地，如果第四目标人脸特征的数量为1，则对第四目标人脸特征进行降权处理，即目标相似度sim i为第四目标人脸特征与所述第一人脸特征的相似度与单图命中抑制系数的乘积；如果第四目标人脸特征的数量大于1，则目标相似度sim i取最大值，即多个第四目标人脸特征与所述第一人脸特征的最大相似度。具体可以通过以下第三公式进行计算：
Figure PCTCN2022070332-appb-000002
其中，sim i为目标相似度；
α为单图命中抑制系数；
n为第二数量。
可选地，如图2所示，所述步骤C3根据所述目标相似度，确定所述第一人脸特征的处理策略，包括：
步骤202，若所述目标相似度处于第一预设范围内，则对所述第一人脸特征对应的直播图片流进行封禁处理。
具体地，如果设定有高阈值
Figure PCTCN2022070332-appb-000003
和低阈值
Figure PCTCN2022070332-appb-000004
当满足下述公式时，则判定目标相似度sim i处于第一预设范围内：
Figure PCTCN2022070332-appb-000005
此时对第一人脸特征对应的直播图片流做自动封禁处理。
可选地，所述步骤C3根据所述目标相似度，确定所述第一人脸特征的处理策略，还包括：
若所述目标相似度处于第二预设范围内，则获取所述第一人脸特征与所 述第四目标人脸特征是否为同一人脸的审核结果，所述审核结果包括：同一人脸的正确命中结果以及非同一人脸的错误命中结果；
在所述审核结果为正确命中结果的情况下，对所述第一人脸特征对应的直播图片流进行封禁处理。
具体地，当满足下述公式时，则判定目标相似度sim i处于第二预设范围内：
Figure PCTCN2022070332-appb-000006
此时，需要将第一人脸特征对应的直播图片流推送至审核处(如：人工审核)，获取审核后的第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果，可以审核为同一人脸的正确命中结果，也可以审核为非同一人脸的错误命中结果，避免错误封禁会对用户造成非常不好的体验。
并且，如果目标相似度sim i满足下述公式：
Figure PCTCN2022070332-appb-000007
此时，可以忽略该直播图片流，不进行封禁处理。
可选地，在对所述第一人脸特征对应的直播图片流进行封禁处理之后，所述方法还包括：
根据所述第一人脸特征对应的直播图片流，更新所述第一数据库。
具体地，在步骤202中，若所述目标相似度处于第一预设范围内，则对所述第一人脸特征对应的直播图片流进行封禁处理，并将该第一人脸特征添加到第一数据库中，由此可以保持第一数据库的实时更新，提高人脸识别的精确度。如果所述目标相似度处于第二预设范围内，则获取所述第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果，如果审核结果为正确命中结果的情况下，对所述第一人脸特征对应的直播图片流进行封禁处理，并将该第一人脸特征添加到第一数据库中，由此可以保持第一数据库的实时更新，提高人脸识别的精确度。
可选地，所述获取所述第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果之后，所述方法还包括：
获取所述第四目标人脸特征的审核次数；
根据所述第四目标人脸特征的历史审核结果中的正确命中次数和错误命 中次数，获取所述第四目标人脸特征的命中率；
若所述审核次数大于或等于第一阈值、且所述命中率小于或等于第二阈值，则将所述第四目标人脸特征从所述第一数据库中删除。
具体地，在获取到审核结果之后，获取第四目标人脸特征的审核次数，根据该次审核结果以及历史审核结果，可以得知第四目标人脸特征的正确命中次数和错误命中次数，从而得知第四目标人脸特征的命中率；如果审核次数大于或等于第一阈值、且所述命中率小于或等于第二阈值，则将所述第四目标人脸特征从所述第一数据库中删除，从而可以对第一数据库中的人脸特征进行过滤，保证封禁精度。
具体地，由于直播图片流中人脸是实时变化的，存在模糊人脸等被添加至第一数据库(即惯常违规用户封禁数据库)中的情况，易造成误判。为了进一步规范第一数据库，保证封禁精度，可以对第一数据库中的人脸特征自动清理。其中，对于第一数据库中的第四目标人脸特征，若其与直播图片流的相似度sim i介于高阈值和低阈值之间，则说明这两个人脸特征(第四目标人脸特征和第一人脸特征)是否属于同一个人的置信度不够高，因而被推送至人工审核，可以利用人工审核结果对第四目标人脸特征做自动清理。设第四目标人脸特征的审核次数count i，经人工审核后，正确命中次数为
Figure PCTCN2022070332-appb-000008
错误命中次数是
Figure PCTCN2022070332-appb-000009
其中，
Figure PCTCN2022070332-appb-000010
则该第四目标人脸特征的命中率precision i为：
Figure PCTCN2022070332-appb-000011
当第四目标人脸特征审核次数count i大于或等于第一阈值、且所述命中率precision i小于或等于第二阈值，则将该第四目标人脸特征从第一数据库中删除，进一步确保封禁精度。
综上所述，本申请实施例在挖掘阶段可以通过旋转处理保证人脸的检出率，并利用第一预设条件以及人脸对齐处理保证检出的人脸为高质量人脸，并通过提取所述正向人脸图像的人脸特征，自动挖掘直播惯常违规用户；并且，将挖掘到的惯常违规用户的人脸特征添加至第一数据库中；在封禁阶段，对于直播图片流，利用单图命中抑制策略提高封禁精度；提取人脸特征与第 一数据库中人脸特征进行比对，从而达到打击直播惯常违规用户的目的；通过统计第一数据库人脸特征命中率并做自动清理，进一步保证封禁精度。
如图3所示，本申请实施例提供的一种违规用户处理装置300，所述装置包括：
第一获取模块301，用于获取直播图片流的第一图片；
第一处理模块302，用于将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；
第二处理模块303，用于计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；
第一确定模块304，用于根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
本申请上述实施例中，通过获取直播图片流的第一图片，并将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征，计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定对第一人脸特征的处理策略，从而可以较精确的对直播惯常违规用户进行处理，提高效率。
可选地，在所述计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度之前，所述装置还包括：
第二获取模块，用于获取违规用户图片；
第三处理模块，用于将所述违规用户图片进行预设处理，得到关于所述违规用户图片的第二人脸特征；
第四处理模块，用于计算所述第二人脸特征与违规用户的第二数据库中每一人脸特征的相似度，并将所述第二人脸特征保存至所述第二数据库中；
第一判断模块，用于根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，判断所述第二人脸特征是否为第一目标人脸特征；
第一保存模块，用于若所述第二人脸特征为第一目标人脸特征，则将所述第二目标人脸特征保存至所述第一数据库中。
可选地，所述第一判断模块，包括：
第一获取单元，用于根据所述第二人脸特征与所述第二数据库中每一人 脸特征的相似度，获取所述第二数据库中与所述第二人脸特征的相似度中大于第一相似度阈值的第二目标人脸特征；
判定单元，用于若所述第二目标人脸特征的第一数量大于第一数值，则判定所述第二人脸特征为第一目标人脸特征。
可选地，所述预设处理包括：
将目标图片进行旋转处理，得到旋转后的目标图片；
判断所述旋转后的目标图片中的人脸是否满足第一预设条件；
若所述旋转后的目标图片中的人脸满足所述第一预设条件，则对所述旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片；
提取所述正向人脸图像的人脸特征，得到关于所述目标图片的第三目标人脸特征；
其中，所述目标图片为所述第一图片或者所述违规用户图片；在所述目标图片为所述第一图片的情况下，所述第三目标人脸特征为所述第一人脸特征；
在所述目标图片为所述违规用户图片的情况下，所述第三目标人脸特征为所述第二人脸特征。
可选地，所述将目标图片进行旋转处理，得到旋转后的目标图片，包括：
将所述目标图片进行人脸检测，获取所述目标图片的人脸框置信度；
若所述人脸框置信度小于或等于置信度阈值，则将所述目标图片进行旋转处理，得到旋转后的目标图片，所述旋转后的目标图片的人脸框置信度大于所述置信度阈值。
可选地，所述第一预设条件包括：
所述旋转后的目标图片中的鼻子的横坐标大于或等于左眼的横坐标、且鼻子的横坐标小于或等于右眼的横坐标；以及
所述旋转后的目标图片中的人脸关键点的横坐标的最小值大于或等于零、且关键点的横坐标的最大值小于或者等于所述旋转后的目标图片的宽度值、且关键点的纵坐标的最小值大于或等于零、且关键点的纵坐标的最大值小于或者等于所述旋转后的目标图片的高度值。
可选地，所述对所述旋转后的目标图片进行人脸对齐处理，获取具有正 向人脸图像的目标图片，包括：
将所述旋转后的目标图片中的人脸关键点坐标与预设关键点坐标进行仿射变换，获取具有正向人脸图像的目标图片。
可选地，所述第一确定模块304，包括：
第二获取单元，用于获取所述第一数据库中与所述第一人脸特征的相似度中大于第二相似度阈值的第四目标人脸特征；
第一确定单元，用于根据所述第四目标人脸特征的第二数量，确定目标相似度；
第二确定单元，用于根据所述目标相似度，确定所述第一人脸特征的处理策略。
可选地，所述第一确定单元，包括：
若所述第二数量为一个，则确定第四目标人脸特征与所述第一人脸特征的相似度与单图命中抑制系数的乘积为目标相似度；
若所述第二数量为多个，则确定第五目标人脸特征与所述第一人脸特征的相似度为目标相似度，所述第五目标人脸特征为多个第四目标人脸特征中与所述第一人脸特征具有最大相似度的人脸特征。
可选地，所述第二确定单元，包括：
若所述目标相似度处于第一预设范围内，则对所述第一人脸特征对应的直播图片流进行封禁处理。
可选地，所述第二确定单元，还包括：
若所述目标相似度处于第二预设范围内，则获取所述第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果，所述审核结果包括：同一人脸的正确命中结果以及非同一人脸的错误命中结果；
在所述审核结果为正确命中结果的情况下，对所述第一人脸特征对应的直播图片流进行封禁处理。
可选地，在所述第二确定单元对所述第一人脸特征对应的直播图片流进行封禁处理之后，所述第一确定模块304还包括：
更新单元，用于根据所述第一人脸特征对应的直播图片流，更新所述第一数据库。
可选地，所述装置还包括：
第三获取模块，用于获取所述第四目标人脸特征的审核次数；
第四获取模块，用于根据所述第四目标人脸特征的历史审核结果中的正确命中次数和错误命中次数，获取所述第四目标人脸特征的命中率；
删除模块，用于若所述审核次数大于或等于第一阈值、且所述命中率小于或等于第二阈值，则将所述第四目标人脸特征从所述第一数据库中删除。
需要说明的是，该违规用户处理装置实施例是与上述违规用户处理方法相对应的装置，上述方法实施例的所有实现方式均适用于该装置实施例中，也能达到与其相同的技术效果，在此不再赘述。
综上所述，本申请实施例在挖掘阶段可以通过旋转处理保证人脸的检出率，并利用第一预设条件以及人脸对齐处理保证检出的人脸为高质量人脸，并通过提取所述正向人脸图像的人脸特征，自动挖掘直播惯常违规用户；并且，将挖掘到的惯常违规用户的人脸特征添加至第一数据库中；在封禁阶段，对于直播图片流，利用单图命中抑制策略提高封禁精度；提取人脸特征与第一数据库中人脸特征进行比对，从而达到打击直播惯常违规用户的目的；通过统计第一数据库人脸特征命中率并做自动清理，进一步保证封禁精度。
本申请实施例还提供了一种电子设备。如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。
存储器403，用于存放计算机程序。
处理器401用于执行存储器403上所存放的程序时，实现本申请实施例提供的一种违规用户处理方法中的部分或者全部步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)， 也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的违规用户处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中所述的违规用户处理方法。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，包含在本申请的保护范围内。

Claims (16)

  1. 一种违规用户处理方法，其特征在于，所述方法包括：
    获取直播图片流的第一图片；
    将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；
    计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；以及
    根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
  2. 根据权利要求1所述的方法，其特征在于，在所述计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度之前，所述方法还包括：
    获取违规用户图片；
    将所述违规用户图片进行预设处理，得到关于所述违规用户图片的第二人脸特征；
    计算所述第二人脸特征与违规用户的第二数据库中每一人脸特征的相似度，并将所述第二人脸特征保存至所述第二数据库中；
    根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，判断所述第二人脸特征是否为第一目标人脸特征；以及
    若所述第二人脸特征为第一目标人脸特征，则将所述第二目标人脸特征保存至所述第一数据库中。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，判断所述第二人脸特征是否为第一目标人脸特征，包括：
    根据所述第二人脸特征与所述第二数据库中每一人脸特征的相似度，获取所述第二数据库中与所述第二人脸特征的相似度中大于第一相似度阈值的第二目标人脸特征；以及
    若所述第二目标人脸特征的第一数量大于第一数值，则判定所述第二人脸特征为第一目标人脸特征。
  4. 根据权利要求2所述的方法，其特征在于，所述预设处理包括：
    将目标图片进行旋转处理，得到旋转后的目标图片；
    判断所述旋转后的目标图片中的人脸是否满足第一预设条件；
    若所述旋转后的目标图片中的人脸满足所述第一预设条件，则对所述旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片；
    提取所述正向人脸图像的人脸特征，得到关于所述目标图片的第三目标人脸特征；
    其中，所述目标图片为所述第一图片或者所述违规用户图片；在所述目标图片为所述第一图片的情况下，所述第三目标人脸特征为所述第一人脸特征；以及
    在所述目标图片为所述违规用户图片的情况下，所述第三目标人脸特征为所述第二人脸特征。
  5. 根据权利要求4所述的方法，其特征在于，所述将目标图片进行旋转处理，得到旋转后的目标图片，包括：
    将所述目标图片进行人脸检测，获取所述目标图片的人脸框置信度；以及
    若所述人脸框置信度小于或等于置信度阈值，则将所述目标图片进行旋转处理，得到旋转后的目标图片，所述旋转后的目标图片的人脸框置信度大于所述置信度阈值。
  6. 根据权利要求4所述的方法，其特征在于，所述第一预设条件包括：
    所述旋转后的目标图片中的鼻子的横坐标大于或等于左眼的横坐标、且鼻子的横坐标小于或等于右眼的横坐标；以及
    所述旋转后的目标图片中的人脸关键点的横坐标的最小值大于或等于零、且关键点的横坐标的最大值小于或者等于所述旋转后的目标图片的宽度值、且关键点的纵坐标的最小值大于或等于零、且关键点的纵坐标的最大值小于或者等于所述旋转后的目标图片的高度值。
  7. 根据权利要求4所述的方法，其特征在于，所述对所述旋转后的目标图片进行人脸对齐处理，获取具有正向人脸图像的目标图片，包括：
    将所述旋转后的目标图片中的人脸关键点坐标与预设关键点坐标进行仿 射变换，获取具有正向人脸图像的目标图片。
  8. 根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略，包括：
    获取所述第一数据库中与所述第一人脸特征的相似度中大于第二相似度阈值的第四目标人脸特征；
    根据所述第四目标人脸特征的第二数量，确定目标相似度；以及
    根据所述目标相似度，确定所述第一人脸特征的处理策略。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述第四目标人脸特征的第二数量，确定目标相似度，包括：
    若所述第二数量为一个，则确定第四目标人脸特征与所述第一人脸特征的相似度与单图命中抑制系数的乘积为目标相似度；以及
    若所述第二数量为多个，则确定第五目标人脸特征与所述第一人脸特征的相似度为目标相似度，所述第五目标人脸特征为多个第四目标人脸特征中与所述第一人脸特征具有最大相似度的人脸特征。
  10. 根据权利要求8所述的方法，其特征在于，所述根据所述目标相似度，确定所述第一人脸特征的处理策略，包括：
    若所述目标相似度处于第一预设范围内，则对所述第一人脸特征对应的直播图片流进行封禁处理。
  11. 根据权利要求8所述的方法，其特征在于，所述根据所述目标相似度，确定所述第一人脸特征的处理策略，还包括：
    若所述目标相似度处于第二预设范围内，则获取所述第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果，所述审核结果包括：同一人脸的正确命中结果以及非同一人脸的错误命中结果；以及
    在所述审核结果为正确命中结果的情况下，对所述第一人脸特征对应的直播图片流进行封禁处理。
  12. 根据权利要求10或11所述的方法，其特征在于，在对所述第一人脸特征对应的直播图片流进行封禁处理之后，所述方法还包括：
    根据所述第一人脸特征对应的直播图片流，更新所述第一数据库。
  13. 根据权利要求11所述的方法，其特征在于，所述获取所述第一人脸特征与所述第四目标人脸特征是否为同一人脸的审核结果之后，所述方法还包括：
    获取所述第四目标人脸特征的审核次数；
    根据所述第四目标人脸特征的历史审核结果中的正确命中次数和错误命中次数，获取所述第四目标人脸特征的命中率；以及
    若所述审核次数大于或等于第一阈值、且所述命中率小于或等于第二阈值，则将所述第四目标人脸特征从所述第一数据库中删除。
  14. 一种违规用户处理装置，其特征在于，所述装置包括：
    第一获取模块，用于获取直播图片流的第一图片；
    第一处理模块，用于将所述第一图片进行预设处理，得到关于所述第一图片的第一人脸特征；
    第二处理模块，用于计算所述第一人脸特征与违规用户的第一数据库中每一人脸特征的相似度；以及
    第一确定模块，用于根据所述第一人脸特征与所述第一数据库中每一人脸特征的相似度，确定所述第一人脸特征的处理策略。
  15. 一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；以及
    处理器，用于执行存储器上所存放的程序时，实现如权利要求1至13任一项所述的违规用户处理方法中的步骤。
  16. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至13任一项所述的违规用户处理方法。
PCT/CN2022/070332 2021-01-05 2022-01-05 违规用户处理方法、装置及电子设备 Ceased WO2022148378A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110009521.3A CN112686189B (zh) 2021-01-05 2021-01-05 违规用户处理方法、装置及电子设备
CN202110009521.3 2021-01-05

Publications (1)

Publication Number Publication Date
WO2022148378A1 true WO2022148378A1 (zh) 2022-07-14

Family

ID=75457394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/070332 Ceased WO2022148378A1 (zh) 2021-01-05 2022-01-05 违规用户处理方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN112686189B (zh)
WO (1) WO2022148378A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315747A (zh) * 2023-09-20 2023-12-29 武汉中软通科技有限公司 一种人脸预警效率提升方法及装置
CN117478838A (zh) * 2023-11-01 2024-01-30 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法
CN120429448A (zh) * 2025-07-08 2025-08-05 中国航空工业集团公司西安飞机设计研究所 一种基于知识图谱的直播情报分析方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686189B (zh) * 2021-01-05 2025-01-17 百果园技术(新加坡)有限公司 违规用户处理方法、装置及电子设备
CN113901369A (zh) * 2021-10-09 2022-01-07 北京小川在线网络技术有限公司 违规图片的数据拦截方法及装置
CN116012911A (zh) * 2022-12-27 2023-04-25 广州方硅信息技术有限公司 重复开播事件检测方法及其装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831695A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 直播控制方法、装置、电子设备及存储介质
CN111160110A (zh) * 2019-12-06 2020-05-15 北京工业大学 基于人脸特征和声纹特征识别主播的方法及装置
CN111178146A (zh) * 2019-12-06 2020-05-19 北京工业大学 基于人脸特征识别主播的方法及装置
CN112686189A (zh) * 2021-01-05 2021-04-20 百果园技术(新加坡)有限公司 违规用户处理方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN111083141A (zh) * 2019-12-13 2020-04-28 广州市百果园信息技术有限公司 一种仿冒账号的识别方法、装置、服务器和存储介质
CN111597894B (zh) * 2020-04-15 2023-09-15 新讯数字科技(杭州)有限公司 一种基于人脸检测技术的人脸库更新方法
CN111860377A (zh) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 基于人工智能的直播方法、装置、电子设备及存储介质
US11947626B2 (en) * 2020-11-10 2024-04-02 Nec Corporation Face recognition from unseen domains via learning of semantic features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109831695A (zh) * 2018-12-15 2019-05-31 深圳壹账通智能科技有限公司 直播控制方法、装置、电子设备及存储介质
CN111160110A (zh) * 2019-12-06 2020-05-15 北京工业大学 基于人脸特征和声纹特征识别主播的方法及装置
CN111178146A (zh) * 2019-12-06 2020-05-19 北京工业大学 基于人脸特征识别主播的方法及装置
CN112686189A (zh) * 2021-01-05 2021-04-20 百果园技术(新加坡)有限公司 违规用户处理方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315747A (zh) * 2023-09-20 2023-12-29 武汉中软通科技有限公司 一种人脸预警效率提升方法及装置
CN117478838A (zh) * 2023-11-01 2024-01-30 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法
CN117478838B (zh) * 2023-11-01 2024-05-28 珠海经济特区伟思有限公司 一种基于信息安全的分布式视频处理监管系统及方法
CN120429448A (zh) * 2025-07-08 2025-08-05 中国航空工业集团公司西安飞机设计研究所 一种基于知识图谱的直播情报分析方法

Also Published As

Publication number Publication date
CN112686189B (zh) 2025-01-17
CN112686189A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
WO2022148378A1 (zh) 违规用户处理方法、装置及电子设备
US10896349B2 (en) Text detection method and apparatus, and storage medium
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN105975959B (zh) 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN111488756A (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN111445459A (zh) 一种基于深度孪生网络的图像缺陷检测方法及系统
CN111986183B (zh) 一种染色体散型图像自动分割识别系统及装置
CN107423306B (zh) 一种图像检索方法及装置
WO2020125057A1 (zh) 牲畜个数的识别方法及装置
CN105447492B (zh) 一种基于二维局部二值模式的图像描述方法
CN111144369A (zh) 一种人脸属性识别方法和装置
CN107944427A (zh) 动态人脸识别方法及计算机可读存储介质
CN110472082A (zh) 数据处理方法、装置、存储介质及电子设备
CN102867179A (zh) 一种数字证件照片采集质量检测的方法
CN109993021A (zh) 人脸正脸检测方法、装置及电子设备
CN111814862A (zh) 果蔬识别方法及装置
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN108288061A (zh) 一种基于mser快速在自然场景中定位倾斜文本的方法
CN113688785A (zh) 基于多监督的人脸识别方法、装置、计算机设备及存储介质
CN111783775A (zh) 一种图像采集方法、装置、设备和计算机可读存储介质
CN116052231A (zh) 掌静脉识别方法、装置、设备及存储介质
CN112434547B (zh) 一种用户身份稽核方法和设备
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN103353939B (zh) 动态背景下图像特征对象模版提取及识别方法
CN115311729B (zh) 人脸最优帧选取方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22736540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22736540

Country of ref document: EP

Kind code of ref document: A1