WO2021004112A1 - 异常人脸检测方法、异常识别方法、装置、设备及介质 - Google Patents

异常人脸检测方法、异常识别方法、装置、设备及介质 Download PDF

Info

Publication number
WO2021004112A1
WO2021004112A1 PCT/CN2020/085571 CN2020085571W WO2021004112A1 WO 2021004112 A1 WO2021004112 A1 WO 2021004112A1 CN 2020085571 W CN2020085571 W CN 2020085571W WO 2021004112 A1 WO2021004112 A1 WO 2021004112A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
image
images
detected
abnormal
Prior art date
Application number
PCT/CN2020/085571
Other languages
English (en)
French (fr)
Inventor
向纯玉
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021004112A1 publication Critical patent/WO2021004112A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • This application relates to the field of artificial intelligence image detection, and in particular to an abnormal face detection method, abnormal recognition method, device, equipment and medium.
  • the embodiments of the present application provide an abnormal face detection method, device, computer equipment, and storage medium to solve the problem of low abnormal face detection efficiency.
  • the embodiments of the present application provide an abnormality recognition method, device, computer equipment, and storage medium to solve the problem of low abnormality recognition accuracy.
  • An abnormal face detection method including:
  • the video information is set with N segmentation nodes, and N is a positive integer;
  • a risk warning operation is performed on the video information of the user.
  • An abnormal face detection device including:
  • the video information acquisition module is used to acquire the user's video information, the video information is provided with N segmentation nodes, and N is a positive integer;
  • a video segmentation module configured to segment the video information into N sub-video information based on the N segmentation nodes
  • the image sequence decomposition module is used to decompose the N said sub-video information into images to be detected respectively to obtain N image sequences to be detected;
  • a face image acquisition module configured to perform face detection using feature sub-face technology on the N image sequences to be detected, and extract a face image
  • the face feature acquisition module is configured to extract feature values of the face images corresponding to each of the segmentation nodes to obtain the face features of each of the face images;
  • a face image determination module configured to perform similarity matching on each of the face features corresponding to each of the segmentation nodes, and determine whether there are different face images in the sequence of images to be detected;
  • the risk warning module is configured to perform a risk warning operation on the video information of the user if there are different face images in the image sequence to be detected.
  • An anomaly identification method including:
  • An abnormality recognition device including:
  • the video information acquisition module is used to acquire the user's video information.
  • the video information is provided with N segmentation nodes, where N is a positive integer, and the video information for performing the risk warning operation is detected by the above-mentioned abnormal face detection method owned;
  • a video segmentation module configured to segment the video information into N sub-video information based on the N segmentation nodes
  • the image sequence decomposition module is used to decompose the N said sub-video information into images to be detected respectively to obtain N image sequences to be detected;
  • a face image acquisition module configured to perform face detection using feature sub-face technology on the N image sequences to be detected, and extract a face image
  • the face feature acquisition module is configured to extract feature values of the face images corresponding to each of the segmentation nodes to obtain the face features of each of the face images;
  • a face image determination module configured to perform similarity matching on each of the face features corresponding to each of the segmentation nodes, and determine whether there are different face images in the sequence of images to be detected;
  • the risk warning module is configured to perform a risk warning operation on the video information of the user if there are different face images in the image sequence to be detected.
  • a computer device comprising a memory, a processor, and a computer program stored in the memory and capable of running on the processor, and the processor implements the above abnormal face detection method when the computer program is executed, or, When the processor executes the computer program, the above abnormal identification method is implemented.
  • a computer-readable storage medium that stores a computer program that implements the above-mentioned abnormal face detection method when the computer program is executed by a processor, or when the processor executes the computer program The above abnormal identification method.
  • FIG. 1 is a schematic diagram of an application environment of an abnormal face detection method and an abnormal recognition method provided by an embodiment of the present application;
  • FIG. 2 is an example diagram of an abnormal face detection method provided by an embodiment of the present application.
  • FIG. 3 is another example diagram of an abnormal face detection method provided by an embodiment of the present application.
  • FIG. 4 is another example diagram of an abnormal face detection method provided by an embodiment of the present application.
  • Fig. 5 is a functional block diagram of an abnormal face detection device provided by an embodiment of the present application.
  • FIG. 6 is another functional block diagram of the abnormal face detection device provided by the embodiment of the present application.
  • FIG. 7 is an example diagram of an abnormality recognition method provided by an embodiment of the present application.
  • FIG. 8 is a functional block diagram of an abnormality recognition device provided by an embodiment of the present application.
  • Fig. 9 is a schematic diagram of a computer device provided by an embodiment of the present application.
  • the abnormal face detection method provided by this application can be applied to the application environment as shown in Figure 1, where the client communicates with the server through the network, the server receives the video information sent by the client, and then divides the video information into N sub-video information, then, the N sub-video information is decomposed into images to be detected, and N image sequences to be detected are obtained.
  • the feature sub-face technology is used for face detection on the N image sequences to be detected, and the face image is extracted. Then extract the feature value of the face image corresponding to each segmentation node to obtain the face feature of each face image.
  • the client can be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented with an independent server or a server cluster composed of multiple servers.
  • the method is applied to the server in FIG. 1 as an example for description, including the following steps:
  • S10 Obtain the user's video information, where N split nodes are set in the video information, and N is a positive integer.
  • the video information refers to the video information that the user performs task processing.
  • the channels for obtaining the video information include, but are not limited to, APP, web pages of websites, or back-end databases.
  • the split node refers to the time node set according to the user's processing of different types of tasks. Taking the video information of the user applying for credit products as an example, the split node can be the split node that fills in the work unit, the split node that fills in the annual income or the contact person Information segmentation node or segmentation node filling in information such as guarantor. N is the number of split nodes.
  • the credit product application system will fill in the split node of annual income, the split node of contact information, and the guarantor and other information
  • the size of N is specifically set according to different products, and is not limited here. It is understandable that the amount of image information contained in the entire video of the video information is very complex, so by setting a segmentation node for the video information, in order to subsequently obtain more effective video information according to the segmentation node.
  • the sub-video information refers to a piece of video information from the start time of each segmentation node to the end of the segmentation node, that is, N segmentation nodes correspond to N sub-video information, which is used to subsequently process the sub-video information to improve the image Processing efficiency.
  • the MP4 file segmentation algorithm can be used to segment the video information. The specific implementation process is: first, the video information is parsed to obtain the key frame list; then, the time period to be segmented is selected according to the segmentation node (such as from The key frame starts); then, the key frame is regenerated into the metadata moov box; finally, the corresponding metadata moov box is copied to generate a new file, that is, the sub-video information.
  • the sub-video information only contains the sub-video information of one segmentation node, the effective information contained in the sub-video information is simplified, which is beneficial to speed up the subsequent further processing of the sub-video information and improve the efficiency of the video information processing. .
  • S30 Decompose the N sub-video information into images to be detected respectively to obtain N image sequences to be detected.
  • the image sequence to be detected refers to a combination of multiple frame images in the sub-video information, which is used for face recognition and face comparison of the images. Accordingly, each sub-video information corresponds to a sequence of images to be detected.
  • the sub-video information can be decomposed into images to be detected through the AviFileInfo() function that comes with Opencv, and the sub-video information video stream can be read out and saved frame by frame to obtain multiple frame images, that is, The sequence of images to be detected.
  • S40 Use feature sub-face technology to perform face detection on N image sequences to be detected, and extract face images.
  • the feature sub-face technology is a face detection method that searches for the basic element of the face image distribution from a statistical point of view, that is, the feature vector of the covariance matrix of the face image sample set, so as to approximate the face image.
  • the eigenvectors are also called eigenfaces, which reflect the structural relationship between the information hidden in the face sample set and the human face.
  • the eigenvectors of the covariance matrix of the sample set of eyes, cheeks, and jaws are called characteristic eyes, characteristic jaws, and characteristic lips, collectively called characteristic sub-faces.
  • the feature sub-face generates a sub-space in the corresponding image space, which is called the sub-face space.
  • the projection distance of each of the N to-be-detected image sequences in the sub-face space is calculated, and if the projection distance meets the threshold comparison condition, it is determined that the to-be-detected image is a human face.
  • the face image refers to an image containing a human face, and in this embodiment, it refers to a face image whose face definition reaches a preset threshold.
  • the clarity of the image to be detected is also judged, and the image to be detected with lower clarity is eliminated.
  • the sharpness judgment method is to perform a convolution operation on a certain channel (such as a gray value) in the image to be detected through a Laplacian mask, and then calculate the value of the standard deviation of the convolution result as the image sharpness size. Understandably, the Laplacian operator is used to measure the second derivative of the image to be detected, highlighting areas with rapid changes in intensity in the image to be detected, such as the edge of the image to be detected.
  • the The detection image has a narrower frequency response range, that is, the number of edges in the image to be detected is small, that is, the image is blurred.
  • S50 Perform feature value extraction on the face image corresponding to each segmentation node to obtain the face feature of each face image.
  • facial features refer to key information that reflects facial information, such as geometric features of facial images (such as facial features and contour feature points) and facial image gray-scale features (such as facial skin color). Used to recognize facial images.
  • geometric features that is, feature points including the location of key points of the facial features of the face and the location of key points of the face contour are extracted as the face feature value.
  • the feature value extraction method can be the facial feature point location algorithm of the Coarse-to-fine CNN network, or the face feature point location algorithm of ASM (Active Shape Model), which establishes a general purpose for the global face appearance The model is stable against local image damage, but it is computationally expensive and requires a lot of iterative steps.
  • AAM Active Appreance Model
  • This method directly regards the feature point positioning as a regression task, and uses a global regression to calculate the coordinates of the feature points. Since the location of facial feature points is easily affected by factors such as facial expression, posture, and illumination, the accuracy of the positioning is reduced. At the same time, the difficulty of locating feature points at different positions of the human face is different, and it is difficult to ensure the accuracy of the positioning only through a single model.
  • multiple models are used to locate feature points at different positions, that is, the face is divided into an internal point group (51 points) and a boundary point group (17 points) to locate them separately. That is, the facial feature point location algorithm of the Coarse-to-fine CNN network is used to obtain 51 inner points of the facial features on each face image and 17 contour points to predict the contour of the face to obtain the facial features.
  • the DCNN model is divided into two parallel CNN cascaded networks, one of which is a 4-level cascaded CNN network used to calculate the position of internal feature points (51 points), and the first level is used to estimate the internal The bounding box of feature points, the second level is used to estimate the location of the feature points, the third group is used to further accurately estimate the location of the feature points of each component (left and right eyes, left and right eyebrows, nose, and mouth 6 parts), the fourth The level is to accurately locate the feature points of the 6 parts after the rotation correction.
  • the other group of models is a 2-level cascaded CNN network, the first group is used to estimate the bounding box of the boundary points (17 points), and the second level is used to estimate the accurate positions of the 17 boundary feature points.
  • the first level of the two parallel CNNs are all on the positioning bounding box (bounding box), which can improve the efficiency of face detection, thereby improving the efficiency of obtaining face features.
  • S60 Perform similarity matching on each face feature corresponding to each segmentation node, and determine whether there are different face images in the image sequence to be detected.
  • similarity matching refers to calculating the similarity of any two facial features as a matching index, which is used to compare facial images.
  • the similarity can be Euclidean distance, cosine distance, or Hamming distance.
  • each face feature is converted into a feature vector, and then the similarity of any pair of feature vectors is calculated.
  • the similarity is greater than the similarity threshold, the two face images are confirmed to be the same person; otherwise, the two face images are confirmed to be the same person.
  • the face images are not the same person.
  • the similarity threshold is used to measure the minimum similarity between two face images of the same person. For example, the similarity threshold may be 87.5%.
  • the user’s video information is acquired.
  • the video information is provided with N segmentation nodes, so that more effective video information can be obtained subsequently based on the segmentation nodes; then, based on the N segmentation nodes, the video information is divided into N sub-nodes.
  • Video information is helpful to speed up the subsequent further processing of sub-video information and improve the efficiency of video information processing; then, the N sub-video information is decomposed into images to be detected, and N image sequences to be detected are obtained;
  • a sequence of images to be detected uses feature sub-face technology for face detection, extracting face images, so that the quality of the extracted face images is further improved, thereby improving the efficiency of abnormal face detection;
  • For each segmentation node Perform feature value extraction on the corresponding face image to obtain the facial features of each face image, which improves the efficiency of obtaining facial features; then, perform similarity matching on each facial feature corresponding to each segmentation node, and determine to be detected Whether there are different face images in the image sequence; finally, if there are different face images in the image sequence to be detected, a risk warning operation is performed on the video information, which can easily and quickly detect abnormal face images and detect abnormal people conveniently and quickly Face image. At the same time, a risk warning operation is performed on the video information corresponding to different face images, so that the subsequent risk of fraudulent
  • step S40 the feature sub-face technology is used for face detection on the N image sequences to be detected, and the face image is extracted, including:
  • S41 Obtain the face area of each image to be detected in the sequence of images to be detected based on a preset matrix of face space vectors.
  • the face space vector refers to a space vector composed of the distribution elements of a preset face template, which is used as a basis for positioning the face area in the image to be detected. Specifically, template matching is performed between the matrix corresponding to the face image to be detected and the matrix of the preset face space vector to determine the face area of each image to be detected.
  • the projection distance refers to the minimum value of the vector distance corresponding to the face space in the vector set corresponding to the face area, that is, the area closest to the face template. Specifically, the distance between the vector corresponding to each face area and the face space vector is calculated, and the minimum distance is used as the projection distance. Understandably, by calculating the projection distance of the face area in the preset face space, the influence of factors such as illumination, occlusion, and small viewing angle changes on the face area detection can be effectively overcome, so the difference can be improved.
  • the projection distance is within the preset projection distance threshold range, it is determined that the image to be detected in the sequence of images to be detected is a face image, and the face image is extracted. Understandably, when the projection distance meets the condition for judging the face image, the face area corresponding to the projection distance is extracted to obtain the face image, which ensures the accuracy of the face image, so that the face image can be subsequently processed Detection.
  • the face area of each image to be detected in the sequence of images to be detected is obtained; then, the projection of the face area in the preset face space is calculated Distance, which can effectively overcome the influence of factors such as illumination, occlusion, and small viewing angle changes on face area detection, so it can improve the accuracy and speed of abnormal face detection; finally, if the projection distance is within the preset projection distance threshold range ,
  • the image to be detected in the image sequence to be detected is determined to be a face image, and the face image is extracted to ensure the accuracy of the face image, so that the face image can be subsequently detected.
  • step S60 similarity matching is performed on each face feature corresponding to each segmentation node to determine whether there are different face images in the image sequence to be detected, which specifically includes the following steps:
  • S61 Convert each face feature into a human face feature vector to obtain a face feature vector set consisting of L personal face feature vectors, where L is a positive integer.
  • the facial features in this embodiment are geometric features, including 51 facial features and 17 facial contour feature points, that is, a total of 68 feature points.
  • the position coordinates of each feature can be determined.
  • the 68 coordinates are sequentially connected to obtain a face feature vector with a length of 68.
  • L refers to the number of face feature vectors. Since a face feature corresponds to a face vector, L is also the number of face images in a sequence to be detected.
  • the specific size of L can be determined in step S40
  • the feature sub-face technology is determined after face detection. For example, if there are 8 face images detected, that is, there are 8 face features, then L is 8.
  • all face feature vectors are calculated in pairs, that is, for each face feature vector, the distance between the face feature vector and the remaining L-1 face feature vectors in the set of face feature vectors is calculated separately to obtain L -1 target distance. Therefore, when calculating L face feature vectors in turn, that is, for L face feature vectors, a total of L*(L-1)/2 distance calculations are required to obtain L*(L-1) /2 target distance.
  • S63 Count the number of target distances greater than the preset vector distance threshold, and if the number is greater than or equal to 2, determine that there are different face images in the image sequence to be detected.
  • the preset vector distance threshold refers to the critical value of the vector distance used to measure whether any two images to be detected are the same person.
  • the target distance is greater than the preset distance threshold, it indicates that the two target distances correspond to the target distance.
  • the detected face image is not the same person.
  • determine the size of the target distance and the preset distance threshold and count the number of distances greater than the target distance that is greater than the preset distance threshold.
  • the number of statistics is greater than or equal to 2
  • each face feature is converted into an adult face feature vector to obtain a face feature vector set composed of L face feature vectors; secondly, for each face feature vector, the face feature vector and The distance between the remaining L-1 face feature vectors in the face feature vector set is L*(L-1)/2 target distances; finally, count the number of target distances greater than the preset vector distance threshold, if If the number is greater than or equal to 2, it is determined that there are different face images in the image sequence to be detected, so that the judgment of whether there are different face images in the image sequence to be detected is more accurate and faster.
  • an abnormal face detection device is provided, and the abnormal face detection device corresponds to the abnormal face detection method in the above-mentioned embodiment one by one.
  • the abnormal face detection device includes a video information acquisition module 10, a video segmentation module 20, an image sequence decomposition module 30, a face image acquisition module 40, a face feature acquisition module 50, and a face image determination module 60 And risk warning module 70.
  • the detailed description of each functional module is as follows:
  • the video information acquisition module 10 is used to acquire the user's video information.
  • the video information is provided with N segmentation nodes, and N is a positive integer;
  • the video segmentation module 20 is configured to segment the video information into N sub-video information based on N segmentation nodes;
  • the image sequence decomposition module 30 is used for decomposing the N sub-video information into images to be detected respectively to obtain N image sequences to be detected;
  • the face image acquisition module 40 is configured to perform face detection using feature sub-face technology on N to-be-detected image sequences, and extract a face image;
  • the face feature acquisition module 50 is configured to extract feature values of the face image corresponding to each segmentation node to obtain the face feature of each face image;
  • the face image determining module 60 is configured to perform similarity matching on each face feature corresponding to each segmentation node, and determine whether there are different face images in the image sequence to be detected;
  • the risk warning module 70 is configured to perform a risk warning operation on the user's video information if there are different face images in the image sequence to be detected.
  • the face image acquisition module 40 includes a face area acquisition unit 41, a projection distance calculation unit 42 and a face image extraction unit 43.
  • the face area obtaining unit 41 is configured to obtain the face area of each image to be detected in the sequence of images to be detected based on a preset matrix of face space vectors;
  • the projection distance calculation unit 42 is used to calculate the projection distance of the face area in the preset face space
  • the face image extraction unit 43 is configured to determine that the image to be detected in the image sequence to be detected is a face image if the projection distance is within a preset projection distance threshold range, and extract the face image.
  • the face image determination module includes a feature vector conversion unit, a target distance calculation unit, and a face image detection unit.
  • the feature vector conversion unit is used to convert each face feature into a human face feature vector to obtain a face feature vector set consisting of L personal face feature vectors, where L is a positive integer;
  • the target distance calculation unit is used to calculate the distance between the face feature vector and the remaining L-1 face feature vectors in the face feature vector set for each face feature vector in turn, to obtain L*(L-1)/2 Target distance
  • the face image detection unit is used to count the number of target distances greater than the preset vector distance threshold. If the number is greater than or equal to 2, it is determined that there are different face images in the image sequence to be detected.
  • an anomaly identification method is provided, and the anomaly identification method can also be applied in an application environment as shown in FIG. 1, in which the client communicates with the server through the network.
  • the server receives M video information for risk warning operations sent by the client, and the video information for risk warning operations is detected by using an abnormal face detection method; then extracts M video information for risk warning operations Suspected anomalous face images; Then, the Coarse-to-fine CNN network's facial feature point location algorithm is used to locate the key feature points of each suspected anomaly face image; and then the key feature points of each suspected anomaly face image are processed Connect sequentially to obtain the feature vector of each suspected abnormal face image; finally, calculate the distance of the feature vector two by one, and if the distance is less than or equal to the distance threshold, the suspected abnormal face image is determined to be an abnormal face image.
  • the client can be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented with an independent server or a server cluster composed
  • the method is applied to the server in FIG. 1 as an example for description, including the following steps:
  • S80 Acquire M pieces of video information for performing risk warning operations, where M is a positive integer, where the video information for performing risk warning operations is detected by using an abnormal face detection method.
  • the video information for risk warning operations refers to video information with abnormal face images, and the number of video information for risk warning operations can be set according to actual conditions. And the M video information for risk warning operations are all detected by using an abnormal face detection method. Understandably, since the abnormal face detection method in step S10-step S70 has strong detection efficiency, this The video information for risk warning operations in the embodiment is also more efficient and accurate.
  • S90 Extracting suspected abnormal face images from M video information for risk warning operations.
  • the suspected abnormal face image refers to the face image to be recognized. Since the suspected face image is extracted from multiple user video information for risk warning operations, that is, obtained from the user video information detected by the abnormal face detection method, the extracted suspected abnormal person Face images are more accurate.
  • S100 Use the facial feature point location algorithm of the Coarse-to-fine CNN network to locate the key feature points of each suspected abnormal face image.
  • the face feature point location algorithm of the Coarse-to-fine CNN network is an algorithm used to locate multiple face feature points to achieve high-precision positioning of 68 face feature points.
  • the implementation process of the key feature point location algorithm of the suspected abnormal face image is consistent with step S60, and will not be repeated here. Because the Coarse-to-fine cascaded network disperses the complexity and training burden of the network, it improves the accuracy of the key feature points of abnormal face images.
  • the key feature points of each suspected abnormal face image are in the form of coordinates. Therefore, after the coordinates are sequentially connected, it becomes a multi-dimensional vector, that is, the feature vector of the suspected abnormal face image.
  • S120 Calculate the distance of the feature vector of the suspected abnormal face image pairwise, and if the distance is less than or equal to the distance threshold, it is determined that the suspected abnormal face image is an abnormal face image.
  • the distance threshold is a critical value used to measure the distance of the feature vector between two abnormal face images of the same person. Specifically, the distance between the feature vector of the suspected abnormal face image in each video information of the risk warning operation and the feature vector of the suspected abnormal face image in the remaining M-1 video information of the risk warning operation is calculated respectively, If the distance is less than or equal to the distance threshold, it can be determined that the suspected abnormal face image in the video information for the risk warning operation is an abnormal face image. Understandably, if there is no abnormal face image, there are exactly M face images in the M video information for risk warning operations. However, in the video information for risk warning operations detected by the abnormal face detection method, There are abnormal abnormal images.
  • the distance of the feature vectors in pairs it is possible to determine which suspected abnormal face images are abnormal face images.
  • the distance of the feature vector is calculated in pairs. When the distance is less than or equal to the distance threshold, the suspected abnormal face image is determined to be an abnormal face image, which greatly improves the efficiency of abnormal recognition.
  • M pieces of video information for risk warning operations are acquired, and the video information for performing risk warning operations is detected by using an abnormal face detection method; then, M pieces of video information for risk warning operations are extracted.
  • the abnormality recognition method further includes:
  • Each abnormal face image is formed into an abnormal face database, and each abnormal face image is set with a segmentation node identifier.
  • the abnormal face database refers to a database composed of all abnormal face images, which is used as a criterion for judging abnormal face images. Specifically, by composing each abnormal face image into an abnormal face database, the recognition efficiency of the abnormal face is improved. At the same time, the segmentation node where the abnormal face is located can be easily and quickly determined according to the set segmentation node identifier. Provide early warning and reminder to the person corresponding to the abnormal face image in the fraudulent application case. Specifically, the number of abnormal face images in each segmentation node can be analyzed and compared, and an early warning can be given for the operation of segmentation nodes whose number of identified abnormal face images is greater than a preset threshold, so as to reduce the probability of fraud.
  • each abnormal face image into an abnormal face database
  • the recognition efficiency of the abnormal face is improved.
  • the segmentation node where the abnormal face is located can be easily and quickly determined according to the set segmentation node identifier. , To provide early warning and reminder to the person corresponding to the abnormal face image with fraudulent behavior.
  • an abnormality recognition device is provided, and the abnormality recognition device corresponds one-to-one with the abnormality recognition method in the foregoing embodiment.
  • the abnormal recognition device includes a risk video acquisition module 80, a suspected abnormal facial image extraction module 90, a feature point positioning module 100, a vector acquisition module 110 and an abnormal facial image determination module 120.
  • the detailed description of each functional module is as follows:
  • the risk video acquisition module 80 is configured to acquire M video information for risk warning operations, where M is a positive integer, where the video information for risk warning operations is detected by using the abnormal face detection method in the foregoing embodiment;
  • the suspected abnormal face image extraction module 90 is used for extracting suspected abnormal face images from M video information for risk warning operations;
  • the feature point positioning module 100 is used for locating the key feature points of each suspected abnormal face image using the facial feature point positioning algorithm of the Coarse-to-fine CNN network;
  • the vector acquisition module 110 sequentially connects the key feature points of each suspected abnormal face image to obtain the feature vector of each suspected abnormal face image;
  • the abnormal face image determining module 120 is configured to calculate the distance of the feature vector of the abnormal face image pair by pair, and if the distance is less than or equal to a preset distance threshold, determine that the suspected abnormal face image is an abnormal face image.
  • the abnormal recognition device further includes a face database composing module for composing each abnormal face image into an abnormal face database, and each abnormal face image is provided with a segmentation node identifier.
  • each module in the above-mentioned abnormal identification device can be implemented in whole or in part by software, hardware and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 9.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, a computer program, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer programs in the non-volatile storage medium.
  • the database of the computer equipment is used to store the data used in the abnormal face detection method.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer program is executed by the processor to realize an abnormal face detection method.
  • a computer device including a memory, a processor, and a computer program stored in the memory and capable of running on the processor.
  • the processor executes the computer program, the abnormal face detection in the above embodiment is implemented.
  • the method or the processor executes the computer program to implement the abnormality identification method in any of the foregoing embodiments.
  • a computer-readable storage medium is provided.
  • the computer-readable storage medium is a volatile storage medium or a non-volatile storage medium, and a computer program is stored thereon, and the computer program is executed by a processor.
  • the abnormal face detection method in the foregoing embodiment is implemented, or when the processor executes the computer program, the abnormal face detection method in any of the foregoing embodiments is implemented.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Abstract

一种异常人脸检测方法、异常识别方法、装置、设备及介质，所述方法包括：获取用户的视频信息（S10），将视频信息切分为N个子视频信息（S20）；将N个子视频信息分别分解为待检测图像，得到N个待检测图像序列（S30）；对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像（S40）；对每一分割节点对应的人脸图像进行特征值提取，得到每一人脸图像的人脸特征（S50）；对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像（S60）；若待检测图像序列中存在不同人脸图像，则对用户的视频信息进行风险提示操作（S70）。应用该方法，可以提高异常人脸检测的准确率，同时，提高异常人脸检测的效率。

Description

异常人脸检测方法、异常识别方法、装置、设备及介质
本申请要求于2019年7月5日提交中国专利局、申请号为201910603391.9，发明名称为“异常人脸检测方法、异常识别方法、装置、设备及介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能的图像检测领域，尤其涉及一种异常人脸检测方法、异常识别方法、装置、设备及介质。
背景技术
随着计算机技术的快速发展，越来越多的场景或者任务实现了从线下到线上的转化，为很多场景或者任务的进行提供了较大的便利，不需要用户到固定的场所中完成繁琐信息的录入。然而，为了保证信息录入的真实性，需要对该线上的操作过程进行检测，特别是对异常人脸(非用户本人)的检测，从而保证操作过程的安全性。异常人脸检测，是计算机视觉领域中最活跃的研究课题之一，目前在超市、银行、运输中心以及医院的安保和预警的智能化方面有着广泛的应用前景。然而，发明人意识到，目前的异常人脸检测方法存在着效率和准确率低下的问题。
发明内容
本申请实施例提供一种异常人脸检测方法、装置、计算机设备及存储介质以解决异常人脸检测效率较低的问题。
此外，本申请实施例提供异常识别方法、装置、计算机设备及存储介质以解决异常识别精度较低的问题。
一种异常人脸检测方法，包括：
获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
一种异常人脸检测装置，包括：
视频信息获取模块，用于获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
视频分割模块，用于基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
图像序列分解模块，用于将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
人脸图像获取模块，用于对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
人脸特征获取模块，用于对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
人脸图像确定模块，用于对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
风险提示模块，用于若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
一种异常识别方法，包括：
获取M个进行风险提示操作的视频信息，M为正整数，其中，所述进行风险提示操作的视频信息是采用上述异常人脸检测方法进行检测得到的；
提取M个所述进行风险提示操作的视频信息中的疑似异常人脸图像；
采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一所述疑似异常人脸图像的关键特征点；
将每一所述疑似异常人脸图像的关键特征点进行顺序连接，得到每一所述疑似异常人脸图像的特征向量；
两两计算所述异常人脸图像的特征向量的距离，若所述距离小于或者等于预设的距离阈值，则确定所述疑似异常人脸图像为异常人脸图像。
一种异常识别装置，包括：
视频信息获取模块，用于获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数，其中，所述进行风险提示操作的视频信息是采用上述异常人脸检测方法进行检测得到的；
视频分割模块，用于基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
图像序列分解模块，用于将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
人脸图像获取模块，用于对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
人脸特征获取模块，用于对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
人脸图像确定模块，用于对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
风险提示模块，用于若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述异常人脸检测方法，或者，所述处理器执行所述计算机程序时实现上述异常识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述异常人脸检测方法，或者，所述处理器执 行所述计算机程序时实现上述异常识别方法。
附图说明
图1是本申请实施例提供的异常人脸检测方法和异常识别方法的应用环境示意图；
图2是本申请实施例提供的异常人脸检测方法一示例图；
图3是本申请实施例提供的异常人脸检测方法的另一示例图；
图4是本申请实施例提供的异常人脸检测方法的另一示例图；
图5是本申请实施例提供的异常人脸检测装置的一原理框图；
图6是本申请实施例提供的异常人脸检测装置的另一原理框图；
图7是本申请实施例提供的异常识别方法一示例图；
图8是本申请实施例提供的异常识别装置的一原理框图；
图9是本申请实施例提供的计算机设备的一示意图。
具体实施方式
本申请提供的异常人脸检测方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端接收客户端发送的视频信息，然后将视频信息切分为N个子视频信息，接着，将N个子视频信息分别分解为待检测图像，得到N个待检测图像序列，对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，进而对每一分割节点对应的人脸图像进行特征值提取，得到每一人脸图像的人脸特征，最后，对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像，当待检测图像序列中存在不同人脸图像，则对视频信息进行风险提示操作。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明， 包括如下步骤：
S10：获取用户的视频信息，视频信息设置有N个分割节点，N为正整数。
其中，视频信息是指用户进行任务处理的视频信息。该视频信息的获取渠道包括但不限于APP、网站的网页或者后台数据库等。分割节点是指根据用户在处理不同类型任务而设置的时间节点，以用户申请信贷产品的视频信息为例，该分割节点可以是填写工作单位的分割节点、填写年收入的分割节点或者填写联系人信息的分割节点或者填写担保人等信息的分割节点。N为分割节点的个数，例如，当用户在填写某一信贷产品的信息资料时，该信贷产品的申请系统将填写年收入的分割节点、填写联系人信息的分割节点和填写担保人等信息的时间节点作为分割节点，即N＝3。具体地，N的大小具体依据不同的产品进行设置，此处不作限定。可以理解地，视频信息的整个视频包含的图像信息量非常庞杂，因此通过对视频信息设置分割节点，以便后续根据分割节点获取更加有效的视频信息。
S20：基于N个分割节点，将视频信息切分为N个子视频信息。
其中，子视频信息是指从每个分割节点开始时间到该分割节点结束时间内的一段视频信息，也即N个分割节点对应N个子视频信息，用于后续对子视频信息进行处理，提高图像处理效率。具体地，可以采用MP4文件分割算法将视频信息进行切分，其具体实现过程为：首先，对视频信息进行解析，获取到关键帧列表；然后，根据分割节点选择要分割的时间段(比如从关键帧开始)；接着，将关键帧重新生成元数据moov box；最后，拷贝对应的元数据moov box生成新文件，也即子视频信息。可以理解地，由于子视频信息仅仅包含一个分割节点的子视频信息，因此使得子视频信息包含的有效信息更为精简，有利于加快后续对子视频信息进行进一步处理，提高对视频信息处理的效率。
S30：将N个子视频信息分别分解为待检测图像，得到N个待检测图像序列。
其中，待检测图像序列是指组成子视频信息中的多个帧图像组合，用于对图像进行人脸识别和人脸比对，相应地，每一子视频信息对应一个待检测图像序列。具体地，可以通过Opencv中自带的AviFileInfo()函数将子视频信息分解为待检测图像，将子视频信息视频流读取出来，并逐帧保存出来，即可得到多个帧 图像，也即待检测图像序列。
S40：对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像。
其中，特征子脸技术是一种从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像的人脸检测方法。其中的特征向量也称为特征脸，该特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。具体地，计算出N个待检测图像序列中每个待检测图像在子脸空间的投影距离，若投影距离满足阈值比较条件，则判断待检测图像为人脸。其中，人脸图像是指包含有人脸图像，本实施例中是指人脸清晰度达到预设阈值的人脸图像。
需要说明的是，本实施例中还对待检测图像的清晰度进行判断，并剔除掉清晰度较低的待检测图像。其中的清晰度判断方法为将待检测图像中某一通道(如灰度值)通过拉普拉斯掩模进行卷积运算，然后计算卷积结果的标准差的数值作为图片清晰度大小。可以理解地，拉普拉斯算子用于测量待检测图像的二阶导数，突出待检测图像中强度快速变化的区域，如待检测图像的边缘，若待检测图像方差较小，则该待检测图像具有较窄的频响范围，即待检测图像中的边缘数量很少，也即，图片越模糊。通过对N个待检测图像序列采用特征子脸技术进行人脸检测，并对待检测图像的清晰度进行判断，使得提取的人脸图像的质量得到进一步提升，从而能够提高异常人脸检测的效率。
S50：对每一分割节点对应的人脸图像进行特征值提取，得到每一人脸图像的人脸特征。
其中，人脸特征是指反映人脸信息的关键信息，如人脸图像的几何特征(如人脸五官特征点和人脸轮廓特征点)和人脸图像灰度特征(如人脸肤色)，用于对人脸图像进行识别。优选地，本实施例中通过提取几何特征也即包括人脸五官的关键点定位和人脸轮廓的关键点定位的特征点作为人脸特征值。具体地，特征值提取方法可以是Coarse-to-fine CNN网络的人脸特征点定位算法，也可以 是ASM(Active Shape Model)的人脸特征点定位算法，该算法为全局人脸外观建立通用模型，对局部图像损坏是稳键的，但是它的计算代价很高，需要大量迭代步骤。还可以是AAM(Active Appreance Model)的人脸特征点定位算法获取人脸特征，该方法将特征点定位直接看作一个回归任务，用一个全局的回归器来计算特征点的坐标。由于人脸特征点定位容易受人脸表情、姿势、光照等因素的影响，从而导致定位准确率降低。同时，人脸不同位置特征点的定位难度是不同的，仅仅通过单一的模型进行定位难以保证定位的准确率。
作为本实施例的优选，采用多模型来定位不同位置的特征点，即将人脸分为内部点组(51点)与边界点组(17点)来分别定位。也即采用Coarse-to-fine CNN网络的人脸特征点定位算法获取每一人脸图像上的人脸五官的51个Inner points及预测人脸外轮廓的17个Contour points，获取人脸特征。具体地，将DCNN模型分成两个并行的CNN级联网络，其中的一组模为4级级联的CNN网络，用于计算内部特征点(51点)的位置，第1级用于估计内部特征点的bounding box，第2级用于初步估计特征点的位置，第3组用于进一步精确估计各组成部分特征点的位置(左右眼睛、左右眉毛，鼻子，嘴巴6个部分)，第4级是对进行了旋转校正后的6个部分进行特征点精确定位。另一组模型是2级级联的CNN网络，第1组用于估计边界点(17点)的bounding box，第2级用于估计17个边界特征点的准确位置。可以理解地，由于传统的DCNN模型在先验知识不足时，会使得卷积网络大部分的力量都浪费在寻找人脸上，降低了人脸特征点定位的效率，因此，在本实施例中，将并联的两组CNN的第1级都在定位bounding box(包围盒)上，能够提高人脸检测效率，进而提高人脸特征的获取效率。
S60：对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像。
其中，相似度匹配是指计算任意两个人脸特征的相似程度作为匹配指标，用于对人脸图像进行比对。其中的相似度可以是欧式距离，也可以余弦距离，还可以是汉明距离。具体地，将每一人脸特征转换成特征向量，然后计算任意两两特征向量的相似度，当相似度大于相似度阈值时，则确认该两幅人脸图像为同一人，否则，确认该两幅人脸图像不为同一人。其中的相似度阈值是用于衡量 两幅人脸图像为同一人的最小相似度，例如，该相似度阈值可以为87.5％。
S70：若待检测图像序列中存在不同人脸图像，则对用户的视频信息进行风险提示操作。
具体地，当待检测图像序列中存在多个人，也即待检测图像序列中最少存在2个人，则可以确定该分割节点对应的用户的子视频信息中存在异常人脸。容易理解地，在信贷申请过程中，全程应由同一用户(用户本人)进行申请资料填写，若存在多人，则可以确定在对应的任务中存在中介进行任务处理的场景，也即欺诈行为，存在异常人脸图像，因此，对用户填写申请资料的视频信息进行风险提示操作。本实施例中，通过检测待检测图像序列中是否存在不同人脸图像，能够方便快速的检测异常人脸图像，与此同时，还对存在不同人脸图像对应的视频信息进行风险提示操作，以便后续能够规避异常人脸图像对应的异常用户的欺诈行为带来的风险，提高了异常人脸检测的效率。
本实施例中，首先，获取用户的视频信息，视频信息设置有N个分割节点，以便后续根据分割节点获取更加有效的视频信息；然后，基于N个分割节点，将视频信息切分为N个子视频信息，有利于加快后续对子视频信息进行进一步处理，提高对视频信息处理的效率；接着，将N个子视频信息分别分解为待检测图像，得到N个待检测图像序列；接下来，对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，使得提取的人脸图像的质量得到进一步提升，从而能够提高异常人脸检测的效率；进而，对每一分割节点对应的人脸图像进行特征值提取，得到每一人脸图像的人脸特征，提高人脸特征的获取效率；再接着，对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像；最后，若待检测图像序列中存在不同人脸图像，则对视频信息进行风险提示操作，能够方便快速的检测异常人脸图像，能够方便快速的检测异常人脸图像。与此同时，还对存在不同人脸图像对应的视频信息进行风险提示操作，以便后续能够规避异常人脸图像对应的异常用户的欺诈行为带来的风险，提高了异常人脸检测的效率。
在一实施例中，如图3所示，步骤S40中，对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，包括：
S41：基于预设的人脸空间向量的矩阵，获取待检测图像序列中的每一待检测图像的人脸区域。
其中，人脸空间向量是指预先设置人脸模板的分布元素组成的空间向量，用于作为待检测图像中人脸区域的定位依据。具体地，将待测人脸图像对应的矩阵与预设的人脸空间向量的矩阵进行模板匹配，确定每一待检测图像的人脸区域。
S42：计算人脸区域在预设的人脸空间的投影距离。
其中，投影距离是指人脸区域对应的向量集合中，与人脸空间对应的向量距离的最小值，也即距离人脸模板最近的区域。具体地，计算每一人脸区域对应的向量与人脸空间向量的距离，并将距离最小值作为投影距离。可以理解地，通过计算人脸区域在预设的人脸空间的投影距离，可以有效克服光照、遮挡、较小的视角变化等因素对于人脸区域检测的影响，故可以提高异
常人脸检测的准确性和速度。
S43：若投影距离在预设的投影距离阈值范围内，则确定待检测图像序列中的待检测图像为人脸图像，并提取人脸图像。
具体地，当投影距离在预设的投影距离阈值范围内，则确定待检测图像序列中的待检测图像为人脸图像，并提取人脸图像。可以理解地，当投影距离满足判断人脸图像的条件时，从而将该投影距离对应的人脸区域进行提取，得到人脸图像，保证了人脸图像的准确性，以便后续对人脸图像进行检测。
本实施例中，首先，基于预设的人脸空间向量的矩阵，获取待检测图像序列中的每一待检测图像的人脸区域；然后，计算人脸区域在预设的人脸空间的投影距离，有效克服光照、遮挡、较小的视角变化等因素对于人脸区域检测的影响，故可以提高异常人脸检测的准确性和速度；最后，若投影距离在预设的投影距离阈值范围内，则确定待检测图像序列中的待检测图像为人脸图像，并提取人脸图像，保证了人脸图像的准确性，以便后续对人脸图像进行检测。
在一实施例中，如图4所示，步骤S60中，对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像，具体包括如下步骤：
S61：将每一人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数。
本实施例中的人脸特征为几何特征，包括51个人脸五官特征点和17个人脸轮廓特征点，即一共有68个特征点，在标准坐标系下，可以确定每个特征的位置坐标，然后按照横坐标或者纵坐标的大小，将68个坐标进行顺序连接，得到长度为68的人脸特征向量。其中的L是指人脸特征向量的个数，由于一个人脸特征对应一个人脸向量，因此，L也即一个待检测序列中的人脸图像个数，该L具体大小可通过步骤S40中的特征子脸技术进行人脸检测后进行确定，例如检测到有8个人脸图像，即对应有8个人脸特征，则L为8。
S62：依次针对每一人脸特征向量，分别计算人脸特征向量与人脸特征向量集合中的其余L-1个人脸特征向量的距离，得到L*(L-1)/2个目标距离。
具体地，将所有人脸特征向量分别进行两两计算，即针对每一人脸特征向量，分别计算人脸特征向量与人脸特征向量集合中的其余L-1个人脸特征向量的距离，得到L-1个目标距离，因此，依次计算L个人脸特征向量时，也即对于L人脸特征向量，一共需要进行L*(L-1)/2次距离计算，得到L*(L-1)/2个目标距离。
S63：统计目标距离中大于预设的向量距离阈值的个数，若个数大于等于2，则确定待检测图像序列中存在不同人脸图像。
其中，预设的向量距离阈值是指用于衡量任意两个待检测图像是否为同一个人的向量距离的临界值，当目标距离大于预设的距离阈值时，说明该目标距离对应的两个待检测人脸图像不为同一人。具体地，判断目标距离与预设的距离阈值大小，并对大于目标距离中大于预设的距离阈值的个数进行统计，当统计的个数大于等于2时，则能够确定待检测图像序列中至少存在2个不同的人，也即待检测图像序列中存在不同人脸图像。可以理解地，本实施例中，只需要简单判断目标距离中目标距离中大于预设的距离阈值的个数，根据统计的个数，即能够确定待检测图像序列中是否存在不同人脸图像。进一步地，当统计到目标距离中目标距离中大于预设的向量距离阈值的个数为2时，就能够方便准确地确定检测图像序列中存在不同人脸图像，并且省去了继续统计的冗余工作，使得对待检测图像序列中是否存在不同人脸图像的判断更为准确和快速。
本实施例中，首先，将每一人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合；其次，依次针对每一人脸特征向量，分别计算人脸特征向量与人脸特征向量集合中的其余L-1个人脸特征向量的距离，得到L*(L-1)/2个目标距离；最后，统计目标距离中大于预设的向量距离阈值的个数，若个数大于等于2，则确定待检测图像序列中存在不同人脸图像，使得对待检测图像序列中是否存在不同人脸图像的判断更为准确和快速。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种异常人脸检测装置，该异常人脸检测装置与上述实施例中异常人脸检测方法一一对应。如图5所示，该异常人脸检测装置包括视频信息获取模块10、视频分割模块20、图像序列分解模块30、人脸图像获取模块40、人脸特征获取模块50、人脸图像确定模块60和风险提示模块70。各功能模块详细说明如下：
视频信息获取模块10，用于获取用户的视频信息，视频信息设置有N个分割节点，N为正整数；
视频分割模块20，用于基于N个分割节点，将视频信息切分为N个子视频信息；
图像序列分解模块30，用于将N个子视频信息分别分解为待检测图像，得到N个待检测图像序列；
人脸图像获取模块40，用于对N个待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
人脸特征获取模块50，用于对每一分割节点对应的人脸图像进行特征值提取，得到每一人脸图像的人脸特征；
人脸图像确定模块60，用于对每一分割节点对应的每一人脸特征进行相似度匹配，判断待检测图像序列中是否存在不同人脸图像；
风险提示模块70，用于若待检测图像序列中存在不同人脸图像，则对用户的视频信息进行风险提示操作。
优选地，如图6所示，人脸图像获取模块40包括人脸区域获取单元41、投影距离计算单元42和人脸图像提取单元43。
人脸区域获取单元41，用于基于预设的人脸空间向量的矩阵，获取待检测图像序列中的每一待检测图像的人脸区域；
投影距离计算单元42，用于计算人脸区域在预设的人脸空间的投影距离；
人脸图像提取单元43，用于若投影距离在预设的投影距离阈值范围内，则确定待检测图像序列中的待检测图像为人脸图像，并提取人脸图像。
优选地，人脸图像确定模块包括特征向量转换单元、目标距离计算单元和人脸图像检测单元。
特征向量转换单元，用于将每一人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数；
目标距离计算单元，用于依次针对每一人脸特征向量，分别计算人脸特征向量与人脸特征向量集合中的其余L-1个人脸特征向量的距离，得到L*(L-1)/2个目标距离；
人脸图像检测单元，用于统计目标距离中大于预设的向量距离阈值的个数，若个数大于等于2，则确定待检测图像序列中存在不同人脸图像。
在一实施例中，提供一异常识别方法，该异常识别方法也可以应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端接收客户端发送的M个进行风险提示操作的视频信息，并且进行风险提示操作的视频信息是采用异常人脸检测方法进行检测得到的；然后提取M个进行风险提示操作的视频信息中的疑似异常人脸图像；接着，采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一疑似异常人脸图像的关键特征点；进而将每一疑似异常人脸图像的关键特征点进行顺序连接，得到每一疑似异常人脸图像的特征向量；最后，两两计算特征向量的距离，若距离小于或者等于距离阈值，则确定疑似异常人脸图像为异常人脸图像。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图7所示，以该方法应用于图1中的服务端为例进行说明， 包括如下步骤：
S80：获取M个进行风险提示操作的视频信息，M为正整数，其中，进行风险提示操作的视频信息是采用异常人脸检测方法进行检测得到的。
其中，进行风险提示操作的视频信息是指存在异常人脸图像的视频信息，M进行风险提示操作的视频信息的数量，可根据实际具体设置。且该M个进行风险提示操作的视频信息均是采用异常人脸检测方法进行检测得到的，可以理解地，由于步骤S10-步骤S70的异常人脸检测方法具有较强的检测效率，因此，本实施例中的进行风险提示操作的视频信息也更为高效准确。
S90：提取M个进行风险提示操作的视频信息中的疑似异常人脸图像。
其中，疑似异常人脸图像是指待识别的人脸图像。由于该疑似人脸图像是从多个进行风险提示操作的用户视频信息中进行提取的，即是采用异常人脸检测方法进行检测后的用户视频信息中得到的，因此，使得提取的疑似异常人脸图像更为准确。
S100：采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一疑似异常人脸图像的关键特征点。
其中，Coarse-to-fine CNN网络的人脸特征点定位算法是一种用于定位多个人脸特征点实现68个人脸特征点的高精度定位的算法。具体地，疑似异常人脸图像的关键特征点定位算法的实现过程与步骤S60一致，此处不再赘述。由于Coarse-to-fine的级联网络分散了网络的复杂性与训练负担，提升了异常人脸图像的关键特征点的准确性。
S110：将每一疑似异常人脸图像的关键特征点进行顺序连接，得到每一疑似异常人脸图像的特征向量。
具体地，每一疑似异常人脸图像的关键特征点均为坐标形式，因此，将各个坐标进行顺序连接后，即为一个多维向量，也即疑似异常人脸图像的特征向量。
S120：两两计算疑似异常人脸图像的特征向量的距离，若距离小于或者等于距离阈值，则确定疑似异常人脸图像为异常人脸图像。
其中，距离阈值是用于衡量两个异常人脸图像是否为同一个人的的特征向量距离的临界值。具体地，分别计算每一进行风险提示操作的视频信息中的疑似异 常人脸图像的特征向量与其余M-1个进行风险提示操作的视频信息中的疑似异常人脸图像的特征向量的距离，若距离小于或者等于距离阈值，则可以确定该进行风险提示操作的视频信息中的疑似异常人脸图像为异常人脸图像。可以理解地，若不存在异常人脸图像，则M个进行风险提示操作的视频信息中刚好有M个人脸图像，然而，通过异常人脸检测方法进行检测得到的进行风险提示操作的视频信息中存在异常异常图像，因此，通过计算两两计算特征向量的距离即可以确定哪些疑似异常人脸图像为异常人脸图像。通过两两计算特征向量的距离，当距离小于或者等于距离阈值时，则确定疑似异常人脸图像为异常人脸图像，大大提高了异常识别的效率。
本实施例中，首先，获取M个进行风险提示操作的视频信息，该进行风险提示操作的视频信息是采用异常人脸检测方法进行检测得到的；然后，提取M个进行风险提示操作的视频信息中的疑似异常人脸图像；接着，采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一疑似异常人脸图像的关键特征点，提升了异常人脸图像的关键特征点的准确性；接下来，将每一疑似异常人脸图像的关键特征点进行顺序连接，得到每一疑似异常人脸图像的特征向量；最后，两两计算特征向量的距离，若距离小于或者等于距离阈值，则确定疑似异常人脸图像为异常人脸图像，大大提高了异常识别的效率。
在一实施例中，如图6所示，在步骤S120之后，在确定所述疑似异常人脸图像为异常人脸图像之后，所述异常识别方法还包括：
将每一异常人脸图像组成异常人脸库，且每一异常人脸图像设置有分割节点标识。
其中，异常人脸库是指所有异常人脸图像组成的数据库，用于作为异常人脸图像判断的标准。具体地，通过将每一将异常人脸图像组成异常人脸库，提高了对异常人脸的识别效率，同时，根据设置的分割节点标识可以方便快捷地确定异常人脸所在的分割节点，以针对存在欺诈行为的申请案件中的异常人脸图像对应的人员进行预警提醒。具体地，可以通过分析比较每一分割节点中异常人脸图像数量，针对识别出的异常人脸图像数量大于预设阈值的分割节点的操作进行预警，减少欺诈行为发生的概率。
本实施例中，通过将每一将异常人脸图像组成异常人脸库，提高了对异常人脸的识别效率，同时，根据设置的分割节点标识可以方便快捷地确定异常人脸所在的分割节点，以针对存在欺诈行为的异常人脸图像对应的人员进行预警提醒。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种异常识别装置，该异常识别装置与上述实施例中异常识别方法一一对应。如图8所示，该异常识别装置包括风险视频获取模块80、疑似异常人脸图像提取模块90、特征点定位模块100、向量获取模块110和异常人脸图像确定模块120。各功能模块详细说明如下：
风险视频获取模块80，用于获取M个进行风险提示操作的视频信息，M为正整数，其中，进行风险提示操作的视频信息是采用上述实施例中的异常人脸检测方法进行检测得到的；
疑似异常人脸图像提取模块90，用于提取M个进行风险提示操作的视频信息中的疑似异常人脸图像；
特征点定位模块100，用于采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一疑似异常人脸图像的关键特征点；
向量获取模块110，将每一疑似异常人脸图像的关键特征点进行顺序连接，得到每一疑似异常人脸图像的特征向量；
异常人脸图像确定模块120，用于两两计算异常人脸图像的特征向量的距离，若距离小于或者等于预设的距离阈值，则确定疑似异常人脸图像为异常人脸图像。
优选地，该异常识别装置还包括人脸库组成模块，用于将每一异常人脸图像组成异常人脸库，且每一异常人脸图像设置有分割节点标识。
关于异常识别装置的具体限定可以参见上文中对于异常识别方法的限定，在此不再赘述。上述异常识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器 中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储异常人脸检测方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常人脸检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的异常人脸检测方法，或者处理器执行计算机程序时实现上述任一实施例中的异常识别方法。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质为易失性存储介质或非易失性存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的异常人脸检测方法，或者处理器执行所述计算机程序时实现上述任一实施例中的异常识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同 步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
发明概述
技术问题
问题的解决方案
发明的有益效果

Claims (20)

  1. 一种异常人脸检测方法，其中，所述异常人脸检测方法包括：
    获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
    基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
    将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
    对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
    对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
    对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
    若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
  2. 如权利要求1所述的异常人脸检测方法，其中，所述对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，包括：
    基于预设的人脸空间向量的矩阵，获取所述待检测图像序列中的每一待检测图像的人脸区域；
    计算所述人脸区域在预设的人脸空间的投影距离；
    若所述投影距离在预设的投影距离阈值范围内，则确定所述待检测图像序列中的待检测图像为人脸图像，并提取所述人脸图像。
  3. 如权利要求1所述的异常人脸检测方法，其中，所述对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像，包括：
    将每一所述人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数；
    依次针对每一所述人脸特征向量，分别计算所述人脸特征向量与所述人脸特征向量集合中的其余L-1个所述人脸特征向量的距离，得到L*(L-1)/2个目标距离；
    统计所述目标距离中大于预设的向量距离阈值的个数，若所述个数大于等于2，则确定所述待检测图像序列中存在不同人脸图像。
  4. 一种异常识别方法，其中，所述异常识别方法包括：
    获取M个进行风险提示操作的视频信息，M为正整数，其中，所述进行风险提示操作的视频信息是采用如权利要求1至3任一项所述的异常人脸检测方法进行检测得到的；
    提取M个所述进行风险提示操作的视频信息中的疑似异常人脸图像；
    采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一所述疑似异常人脸图像的关键特征点；
    将每一所述疑似异常人脸图像的关键特征点进行顺序连接，得到每一所述疑似异常人脸图像的特征向量；
    两两计算所述异常人脸图像的特征向量的距离，若所述距离小于或者等于预设的距离阈值，则确定所述疑似异常人脸图像为异常人脸图像。
  5. 如权利要求4所述的异常识别方法，其中，在所述确定所述疑似异常人脸图像为异常人脸图像之后，所述异常识别方法还包括：
    将每一所述异常人脸图像组成异常人脸库，且每一所述异常人脸图像设置有分割节点标识。
  6. 一种异常人脸检测装置，其中，所述异常人脸检测装置包括：视频信息获取模块，用于获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
    视频分割模块，用于基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
    图像序列分解模块，用于将N个所述子视频信息分别分解为待检测 图像，得到N个待检测图像序列；
    人脸图像获取模块，用于对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
    人脸特征获取模块，用于对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
    人脸图像确定模块，用于对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
    风险提示模块，用于若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
  7. 如权利要求6所述的异常人脸检测装置，其中，所述人脸图像获取模块，包括：
    人脸区域获取单元，用于基于预设的人脸空间向量的矩阵，获取所述待检测图像序列中的每一待检测图像的人脸区域；
    投影距离计算单元，用于计算所述人脸区域在预设的人脸空间的投影距离；
    人脸图像提取单元，用于若所述投影距离在预设的投影距离阈值范围内，则确定所述待检测图像序列中的待检测图像为人脸图像，并提取所述人脸图像。
  8. 如权利要求6所述的异常人脸检测装置，其中，所述对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像，包括：
    将每一所述人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数；
    依次针对每一所述人脸特征向量，分别计算所述人脸特征向量与所述人脸特征向量集合中的其余L-1个所述人脸特征向量的距离，得到L*(L-1)/2个目标距离；
    统计所述目标距离中大于预设的向量距离阈值的个数，若所述个 数大于等于2，则确定所述待检测图像序列中存在不同人脸图像。
  9. 一种异常识别装置，其中，所述异常识别装置包括：
    风险视频获取模块，用于获取M个进行风险提示操作的视频信息，M为正整数，其中，所述进行风险提示操作的视频信息是采用
    如权利要求1至3任一项所述的异常人脸检测方法进行检测得到的；
    疑似异常人脸图像提取模块，用于提取M个所述进行风险提示操作的视频信息中的疑似异常人脸图像；
    特征点定位模块，用于采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一所述疑似异常人脸图像的关键特征点；
    向量获取模块，将每一所述疑似异常人脸图像的关键特征点进行顺序连接，得到每一所述疑似异常人脸图像的特征向量；
    异常人脸图像确定模块，用于两两计算所述异常人脸图像的特征向量的距离，若所述距离小于或者等于预设的距离阈值，则确定所述疑似异常人脸图像为异常人脸图像。
  10. 如权利要求9所述的异常识别装置，其中，在所述确定所述疑似异常人脸图像为异常人脸图像之后，所述异常识别方法还包括：
    将每一所述异常人脸图像组成异常人脸库，且每一所述异常人脸图像设置有分割节点标识。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现一种异常人脸检测方法，其中，所述异常人脸检测方法包括：
    获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
    基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
    将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
    对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
    对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
    对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
    若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
  12. 如权利要求11所述的计算机设备，其中，所述对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，包括：
    基于预设的人脸空间向量的矩阵，获取所述待检测图像序列中的每一待检测图像的人脸区域；
    计算所述人脸区域在预设的人脸空间的投影距离；
    若所述投影距离在预设的投影距离阈值范围内，则确定所述待检测图像序列中的待检测图像为人脸图像，并提取所述人脸图像。
  13. 如权利要求11所述的计算机设备，其中，所述对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像，包括：
    将每一所述人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数；
    依次针对每一所述人脸特征向量，分别计算所述人脸特征向量与所述人脸特征向量集合中的其余L-1个所述人脸特征向量的距离，得到L*(L-1)/2个目标距离；
    统计所述目标距离中大于预设的向量距离阈值的个数，若所述个数大于等于2，则确定所述待检测图像序列中存在不同人脸图像。
  14. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行 所述计算机程序时实现一种异常识别方法，其中，所述异常识别方法包括：
    获取M个进行风险提示操作的视频信息，M为正整数，其中，所述进行风险提示操作的视频信息是采用如权利要求1至3任一项所述的异常人脸检测方法进行检测得到的；
    提取M个所述进行风险提示操作的视频信息中的疑似异常人脸图像；
    采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一所述疑似异常人脸图像的关键特征点；
    将每一所述疑似异常人脸图像的关键特征点进行顺序连接，得到每一所述疑似异常人脸图像的特征向量；
    两两计算所述异常人脸图像的特征向量的距离，若所述距离小于或者等于预设的距离阈值，则确定所述疑似异常人脸图像为异常人脸图像。
  15. 如权利要求14所述的计算机设备，其中，在所述确定所述疑似异常人脸图像为异常人脸图像之后，所述异常识别方法还包括：
    将每一所述异常人脸图像组成异常人脸库，且每一所述异常人脸图像设置有分割节点标识。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现一种异常人脸检测方法，其中，所述异常人脸检测方法包括：
    获取用户的视频信息，所述视频信息设置有N个分割节点，N为正整数；
    基于N个所述分割节点，将所述视频信息切分为N个子视频信息；
    将N个所述子视频信息分别分解为待检测图像，得到N个待检测图像序列；
    对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像；
    对每一所述分割节点对应的所述人脸图像进行特征值提取，得到每一所述人脸图像的人脸特征；
    对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像；
    若所述待检测图像序列中存在不同人脸图像，则对所述用户的视频信息进行风险提示操作。
  17. 如权利要求16所述的计算机可读存储介质，其中其中，所述对N个所述待检测图像序列采用特征子脸技术进行人脸检测，提取出人脸图像，包括：
    基于预设的人脸空间向量的矩阵，获取所述待检测图像序列中的每一待检测图像的人脸区域；
    计算所述人脸区域在预设的人脸空间的投影距离；
    若所述投影距离在预设的投影距离阈值范围内，则确定所述待检测图像序列中的待检测图像为人脸图像，并提取所述人脸图像。
  18. 如权利要求16所述计算机可读存储介质，其中，所述对每一所述分割节点对应的每一所述人脸特征进行相似度匹配，判断所述待检测图像序列中是否存在不同人脸图像，包括：
    将每一所述人脸特征转换成人脸特征向量，得到由L个人脸特征向量组成的人脸特征向量集合，其中，L为正整数；
    依次针对每一所述人脸特征向量，分别计算所述人脸特征向量与所述人脸特征向量集合中的其余L-1个所述人脸特征向量的距离，得到L*(L-1)/2个目标距离；
    统计所述目标距离中大于预设的向量距离阈值的个数，若所述个数大于等于2，则确定所述待检测图像序列中存在不同人脸图像。
  19. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现一种异常识别方法，其中，所述异常识别方法包括：
    获取M个进行风险提示操作的视频信息，M为正整数，其中，所述 进行风险提示操作的视频信息是采用如权利要求1至3任一项所述的异常人脸检测方法进行检测得到的；
    提取M个所述进行风险提示操作的视频信息中的疑似异常人脸图像；
    采用Coarse-to-fine CNN网络的人脸特征点定位算法定位每一所述疑似异常人脸图像的关键特征点；
    将每一所述疑似异常人脸图像的关键特征点进行顺序连接，得到每一所述疑似异常人脸图像的特征向量；
    两两计算所述异常人脸图像的特征向量的距离，若所述距离小于或者等于预设的距离阈值，则确定所述疑似异常人脸图像为异常人脸图像。
  20. 如权利要求19所述的计算机可读存储介质，其中，在所述确定所述疑似异常人脸图像为异常人脸图像之后，所述异常识别方法还包括：
    将每一所述异常人脸图像组成异常人脸库，且每一所述异常人脸图像设置有分割节点标识。
PCT/CN2020/085571 2019-07-05 2020-04-20 异常人脸检测方法、异常识别方法、装置、设备及介质 WO2021004112A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910603391.9 2019-07-05
CN201910603391.9A CN110472491A (zh) 2019-07-05 2019-07-05 异常人脸检测方法、异常识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
WO2021004112A1 true WO2021004112A1 (zh) 2021-01-14

Family

ID=68507379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/085571 WO2021004112A1 (zh) 2019-07-05 2020-04-20 异常人脸检测方法、异常识别方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN110472491A (zh)
WO (1) WO2021004112A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969047A (zh) * 2021-02-22 2021-06-15 深圳市沃特沃德信息有限公司 智能手表的控制方法、装置、智能手表及存储介质
CN113182273A (zh) * 2021-04-13 2021-07-30 深圳市美日净化科技有限公司 全方位风淋室及风淋控制方法
CN113221725A (zh) * 2021-05-08 2021-08-06 上海智蕙林医疗科技有限公司 一种风险处理方法和系统
CN113239742A (zh) * 2021-04-23 2021-08-10 郑州大学 一种社区中人员异常聚集行为监测系统及方法
CN113469012A (zh) * 2021-06-28 2021-10-01 广州云从鼎望科技有限公司 用户刷脸验证的方法、系统、介质及装置
CN114944004A (zh) * 2022-07-25 2022-08-26 海易科技(北京)有限公司 人脸图像存储方法、装置、设备、计算机介质和程序产品
CN115396485A (zh) * 2022-08-29 2022-11-25 浙江华盟电气有限公司 一种基于蓝牙盒子的塔机数据交互方法及系统
CN115620210A (zh) * 2022-11-29 2023-01-17 广东祥利科技有限公司 基于图像处理的电子线料的性能确定方法及系统
CN115810218A (zh) * 2022-12-20 2023-03-17 山东交通学院 基于机器视觉和目标检测的人员异常行为检测方法及系统
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、系统及介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472491A (zh) * 2019-07-05 2019-11-19 深圳壹账通智能科技有限公司 异常人脸检测方法、异常识别方法、装置、设备及介质
CN111401197B (zh) * 2020-03-10 2023-08-15 支付宝(杭州)信息技术有限公司 一种图片风险识别方法、装置及设备
CN111339990B (zh) * 2020-03-13 2023-03-24 乐鑫信息科技（上海）股份有限公司 一种基于人脸特征动态更新的人脸识别系统和方法
CN113449543B (zh) * 2020-03-24 2022-09-27 百度在线网络技术（北京）有限公司 视频检测方法、装置、设备、以及存储介质
CN111429638B (zh) * 2020-04-13 2021-10-26 重庆匠技智能科技有限公司 一种基于语音识别和人脸识别的门禁控制方法
CN111639689B (zh) * 2020-05-20 2023-07-25 杭州海康威视系统技术有限公司 人脸数据处理方法、装置及计算机可读存储介质
CN112200009B (zh) * 2020-09-15 2023-10-17 青岛邃智信息科技有限公司 社区监控场景下基于关键点特征对齐的行人重识别方法
CN112784712B (zh) * 2021-01-08 2023-08-18 重庆创通联智物联网有限公司 一种基于实时监控的失踪儿童预警实现方法、装置
CN114724074B (zh) * 2022-06-01 2022-09-09 共道网络科技有限公司 风险视频的检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN109871834A (zh) * 2019-03-20 2019-06-11 北京字节跳动网络技术有限公司 信息处理方法和装置
CN109961587A (zh) * 2017-12-26 2019-07-02 天地融科技股份有限公司 一种自助银行监控系统
CN109961588A (zh) * 2017-12-26 2019-07-02 天地融科技股份有限公司 一种监控系统
CN110472491A (zh) * 2019-07-05 2019-11-19 深圳壹账通智能科技有限公司 异常人脸检测方法、异常识别方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599855A (zh) * 2016-12-19 2017-04-26 四川长虹电器股份有限公司 基于softmax的人脸识别方法
CN109543629A (zh) * 2018-11-26 2019-03-29 平安科技（深圳）有限公司 一种眨眼识别方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN109961587A (zh) * 2017-12-26 2019-07-02 天地融科技股份有限公司 一种自助银行监控系统
CN109961588A (zh) * 2017-12-26 2019-07-02 天地融科技股份有限公司 一种监控系统
CN109871834A (zh) * 2019-03-20 2019-06-11 北京字节跳动网络技术有限公司 信息处理方法和装置
CN110472491A (zh) * 2019-07-05 2019-11-19 深圳壹账通智能科技有限公司 异常人脸检测方法、异常识别方法、装置、设备及介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969047A (zh) * 2021-02-22 2021-06-15 深圳市沃特沃德信息有限公司 智能手表的控制方法、装置、智能手表及存储介质
CN113182273A (zh) * 2021-04-13 2021-07-30 深圳市美日净化科技有限公司 全方位风淋室及风淋控制方法
CN113239742A (zh) * 2021-04-23 2021-08-10 郑州大学 一种社区中人员异常聚集行为监测系统及方法
CN113221725A (zh) * 2021-05-08 2021-08-06 上海智蕙林医疗科技有限公司 一种风险处理方法和系统
CN113469012A (zh) * 2021-06-28 2021-10-01 广州云从鼎望科技有限公司 用户刷脸验证的方法、系统、介质及装置
CN113469012B (zh) * 2021-06-28 2024-05-03 广州云从鼎望科技有限公司 用户刷脸验证的方法、系统、介质及装置
CN114944004A (zh) * 2022-07-25 2022-08-26 海易科技(北京)有限公司 人脸图像存储方法、装置、设备、计算机介质和程序产品
CN115396485A (zh) * 2022-08-29 2022-11-25 浙江华盟电气有限公司 一种基于蓝牙盒子的塔机数据交互方法及系统
CN115620210A (zh) * 2022-11-29 2023-01-17 广东祥利科技有限公司 基于图像处理的电子线料的性能确定方法及系统
CN115620210B (zh) * 2022-11-29 2023-03-21 广东祥利科技有限公司 基于图像处理的电子线料的性能确定方法及系统
CN115810218A (zh) * 2022-12-20 2023-03-17 山东交通学院 基于机器视觉和目标检测的人员异常行为检测方法及系统
CN117541957A (zh) * 2023-11-08 2024-02-09 继善(广东)科技有限公司 基于人工智能的事件解决策略的生成方法、系统及介质

Also Published As

Publication number Publication date
CN110472491A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
WO2021004112A1 (zh) 异常人脸检测方法、异常识别方法、装置、设备及介质
US10713532B2 (en) Image recognition method and apparatus
CN110135246B (zh) 一种人体动作的识别方法及设备
CN110147717B (zh) 一种人体动作的识别方法及设备
WO2020024400A1 (zh) 课堂监控方法、装置、计算机设备及存储介质
WO2020015076A1 (zh) 人脸图像比对方法、装置、计算机设备及存储介质
US10776470B2 (en) Verifying identity based on facial dynamics
WO2019232866A1 (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
WO2020015075A1 (zh) 人脸图像比对方法、装置、计算机设备及存储介质
WO2019232862A1 (zh) 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
Deng et al. M3 csr: Multi-view, multi-scale and multi-component cascade shape regression
Lucey et al. A GMM parts based face representation for improved verification through relevance adaptation
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
WO2016110030A1 (zh) 一种人脸图像的检索系统及方法
WO2015070764A1 (zh) 一种人脸定位的方法与装置
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
WO2021082087A1 (zh) 一种人脸识别方法、装置、存储介质和服务器
Huang et al. A component-based framework for generalized face alignment
Kroon et al. Eye localization in low and standard definition content with application to face matching
Karmakar et al. Face recognition using face-autocropping and facial feature points extraction
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
John et al. Real time blink recognition from various head pose using single eye
CN106980818B (zh) 一种用于人脸图像的个性化预处理方法、系统及其终端
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20836106

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17.05.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20836106

Country of ref document: EP

Kind code of ref document: A1