WO2019119449A1 - 人脸图像特征融合处理方法、装置及设备、存储介质 - Google Patents
人脸图像特征融合处理方法、装置及设备、存储介质 Download PDFInfo
- Publication number
- WO2019119449A1 WO2019119449A1 PCT/CN2017/118101 CN2017118101W WO2019119449A1 WO 2019119449 A1 WO2019119449 A1 WO 2019119449A1 CN 2017118101 W CN2017118101 W CN 2017118101W WO 2019119449 A1 WO2019119449 A1 WO 2019119449A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- image
- identification number
- feature
- feature fusion
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Definitions
- the present invention relates to the field of face recognition technologies, and in particular, to a method, device and device for processing facial image feature fusion, and a computer readable storage medium.
- Face recognition technology is one of the fastest growing areas of applying deep learning technology. Face recognition technology has experienced a long period of technological development, from the earliest geometric feature models, template matching to deep learning techniques. In deep learning, face recognition feature alignment is an important part. However, in the prior art, only face information in a single frame image is considered, and feature extraction is performed on the face image data, and there is no timing for the video frame in the video image. There are always a continuous time range in the face image appearing in the video. At the same time, the face has the problems of face angle change, face distance, motion blur, etc., which are extracted from different video frame images. There are certain differences in facial features, which may cause the accuracy to decrease due to excessive data volume and relatively large differences in face matching, and also increase the processing consumption of the system.
- the main purpose of the present invention is to provide a face image feature fusion processing method, apparatus and device, and computer readable storage medium, aiming at solving the face information in a single frame image and the face image in the prior art.
- the data is extracted by features, resulting in a problem of low similarity between the same faces.
- a first aspect of the embodiments of the present invention provides a method for processing facial image feature fusion, the method comprising the steps of:
- the person with the face identification number is used to obtain the face feature vector after feature fusion.
- a second aspect of the embodiments of the present invention provides a face image feature fusion processing device, where the device includes: an acquisition module and a feature fusion module;
- the acquiring module is configured to obtain a face feature vector of the cached face identifier number or a consecutive disappearing frame number of the face identifier number;
- the feature fusion module is configured to: if the number of face feature vectors of the face identification number exceeds a preset number threshold or the number of consecutive disappearance frames of the face identification number exceeds a preset frame number threshold, The facial feature vector of the face identification number is subjected to feature fusion, and the feature fusion vector feature vector is obtained.
- a third aspect of the embodiments of the present invention provides a face image feature fusion processing device, where the device includes: a memory, a processor, and is stored on the memory and operable on the processor
- the face image feature fusion processing program when the face image feature fusion processing program is executed by the processor, implements the steps of the face image feature fusion processing method described above.
- a fourth aspect of the embodiments of the present invention provides a computer readable storage medium, where the face image feature fusion processing program is stored, and the face image feature fusion processing program is provided.
- the steps of the above-described face image feature fusion processing method are implemented when executed by the processor.
- the method, device and device for processing face image feature fusion provided by the embodiments of the present invention, and computer readable storage medium, feature feature fusion of face features in a multi-frame image of a video stream, reducing repetitiveness of feature data and same face The difference between the two improves the accuracy of the feature comparison.
- FIG. 1 is a schematic flow chart of a face image feature fusion processing method according to a first embodiment of the present invention
- FIG. 2 is a schematic structural diagram of a face image feature fusion processing apparatus according to a second embodiment of the present invention.
- FIG. 3 is another schematic diagram of a structure of a face image feature fusion processing apparatus according to a second embodiment of the present invention.
- FIG. 4 is a schematic structural diagram of an analysis processing module in a face image feature fusion processing apparatus according to a second embodiment of the present invention.
- FIG. 5 is a schematic structural diagram of a feature fusion module in a face image feature fusion processing apparatus according to a second embodiment of the present invention.
- FIG. 6 is a schematic structural diagram of a face image feature fusion processing device according to a third embodiment of the present invention.
- FIG. 7 is a schematic structural diagram of an N-dimensional face feature vector according to an embodiment of the present invention.
- FIG. 8 is a schematic structural diagram of a feature fusion process of an N-dimensional face feature vector according to an embodiment of the present invention.
- FIG. 9 to FIG. 11 are schematic diagrams showing a similarity distribution structure of facial feature vectors after feature fusion according to an embodiment of the present invention.
- FIG. 12 is a schematic structural diagram of a face recognition system according to an embodiment of the present invention.
- a first embodiment of the present invention provides a method for processing facial image feature fusion, the method comprising the steps of:
- the face identification number and its corresponding face feature vector are cached in the following manner:
- face detection is performed on each frame image in the video stream to obtain a face in the image; face tracking in the image is performed; if the image is in the image If the face is a tracking face, the identification number of the face in the image is the identification number of the face in the tracking; if the face in the image is a newly appearing face, the person in the image is The face is assigned with a face identification number.
- a face feature vector in the image is extracted, and the face feature vector is cached in a list of the face identification numbers.
- the obtained face feature vector is generally a multi-dimensional feature vector.
- an N-dimensional face feature vector is obtained after face feature extraction, the feature value in the first dimension direction is -0.016, and the feature value in the Nth dimension direction is -0.193.
- the face identification number is the previous identification number of the face, which is assumed to be Id0996. If the other person is the newly detected face that is detected for the first time, then the face number of the newly appearing face needs to be confirmed.
- the confirmation basis can be added to the last added face identification number, suppose The newly added face ID number is Id1001, and the current new face ID number is Id1002. If the identification number has a certain range, in the process of adding a face identification number, you need to determine whether the identification number exceeds a certain range, such as Id9999. If it is exceeded, you can recalculate the identification number from zero. Finally, the feature vector of the first person is cached in the list with the face identification number Id0996, and the second person feature vector is cached in the list with the face identification number Id1002.
- a quality analysis may be performed on the face in the image to obtain a face quality score; the face quality score is cached in a list of the identification numbers of the faces in the image.
- the consideration of the face quality score may be image sharpness, face angle, image illumination intensity, and the like.
- the value of the number of consecutive disappearing frames of the face identification number is updated in the following manner:
- the step size of the increment is not limited, and the step size can generally be set to 1.
- the number of face identification numbers of the obtained current frame image is not limited, and may be one or more.
- the face identification number is The face feature vector is used for feature fusion, and the face feature vector after feature fusion is obtained.
- the preset number threshold of the face feature vector is 25, and the preset number of frames of the number of consecutive disappearing frames of the face identification number is 75 frames.
- the number of the face feature vectors of the face ID number Id0996 meets the preset number threshold requirement, and the value of the number of consecutive disappearing frames of the face identifier number Id0992 satisfies the threshold requirement of the preset frame number threshold. Therefore, the face identification number Id0996 is required.
- the feature fusion is performed with the face feature vector of the face identification number Id0992.
- the feature fusion of the face feature vector is to perform the fusion calculation of the feature values of each dimension direction as the feature value of the corresponding dimension direction after the fusion.
- each row is an N-dimensional face feature vector, and the number of face feature vectors of the same face identification number exceeds a preset number threshold, and the face of the face identification number is
- the eigenvalues in the first dimension are fused as the eigenvalues in the first dimension after fusion (shown in the first column)...
- the eigenvalues in the Nth dimension are fused as a fusion.
- the feature values in the Nth dimension direction (shown in the Nth column), and the face feature vectors after the feature fusion are -0.017, -0.165, 0.016, 0.145, -0.069, ..., 0.149, -0.152.
- the feature fusion of the face feature vector of the face identification number to obtain the face feature vector after the feature fusion includes the following steps:
- the face feature vector of the face identification number is feature-fused by a weighted averaging method to obtain a face feature vector after feature fusion.
- the corresponding feature value fusion calculation may be omitted to reduce the interference of the abnormal situation.
- process of the fusion calculation can also select various methods such as the maximum value, the average value, and the median, and is not limited herein.
- the average value method is selected to perform fusion calculation, and the specific experimental data forms a schematic diagram of the similarity distribution structure of the face feature vectors after the feature fusion shown in FIG. 9 to FIG. 11 .
- the feature similarity calculation is performed on the faces collected by the same person in different video frames, and a total of 60 face images are selected.
- the fe[15] polyline is the similarity distribution map of the original facial feature vector
- the mean polyline is the similarity distribution map of the facial feature vector after feature fusion. It can be clearly seen from Fig. 9 that the face feature vector after feature fusion can effectively improve the similarity of the same face.
- FIG. 10 is a similarity distribution diagram of facial feature vectors after feature fusion
- FIG. 11 is a similarity distribution diagram of original facial feature vectors.
- the statistical information of the two graphs is compared with the following table. It can be clearly seen from the comparison information that the face feature vector after feature fusion has better cohesion.
- Performing feature fusion on the face feature vector of the face identification number, and obtaining the feature face vector after the feature fusion includes steps:
- feature fusion is still performed by the face feature vector of the face identification number Id0996 and the face identification number Id0992.
- the face feature vector of the cached face identification number needs to be cleared, and the face feature vector after the feature fusion is cached.
- the face identification number Id0992 all information of the cached face identification number Id0992 is cleared, including the face identification number Id0992.
- the face recognition system architecture includes a front-end monitoring point, a fiber network, a large switch, a face analysis server, and a big data platform server.
- the front-end monitoring point (for example, the front-end camera) transmits the video stream to the face analysis server through the fiber-optic network.
- the face analysis server After receiving the video stream of the front-end monitoring point, the face analysis server analyzes and processes each frame of the video, mainly including the face. Processes such as detection, face tracking, and face feature extraction. After the analysis is processed, the face identification number and its corresponding face feature vector are cached.
- the face feature vector of the face identification number is performed. Feature fusion.
- the information about the cached face identification number is cleared, and the face feature vector after the feature fusion is sent to the big data platform for storage.
- the face image feature fusion processing method provided by the embodiment of the invention improves the feature ratio by reducing the feature data repetitiveness and the difference between the same face by performing feature fusion on the face features in the video stream multi-frame image. The accuracy of the pair.
- FIG. 2 is a diagram of a face image feature fusion processing device according to a second embodiment of the present invention, the device comprising: an acquisition module 21 and a feature fusion module 22;
- the acquiring module 21 is configured to acquire a face feature vector of the cached face identifier number or a consecutive disappearing frame number of the face identifier number.
- the device further includes an analysis processing module 23 and a cache module 24;
- the analysis processing module 23 is configured to perform analysis processing on each frame image in the video stream to obtain the face identification number.
- the analysis processing module 23 includes a face detection unit 231 and a face tracking unit 232;
- the face detecting unit 231 is configured to perform face detection on each frame image in the video stream to obtain a face in the image;
- the face tracking unit 232 is configured to perform face tracking on a face in the image; if the face in the image is a tracking face, the identification number of the face in the image is tracking The identification number of the middle face; if the face in the image is a newly appearing face, the face identification number is assigned to the face in the image.
- the cache module 24 is configured to extract a face feature vector in the image, and cache the face feature vector in a list of the face identifier numbers.
- the obtained face feature vector is generally a multi-dimensional feature vector.
- an N-dimensional face feature vector is obtained after face feature extraction, the feature value in the first dimension direction is -0.016, and the feature value in the Nth dimension direction is -0.193.
- the face identification number is the previous identification number of the face, which is assumed to be Id0996. If the other person is the newly detected face that is detected for the first time, then the face number of the newly appearing face needs to be confirmed.
- the confirmation basis can be added to the last added face identification number, suppose The newly added face ID number is Id1001, and the current new face ID number is Id1002. If the identification number has a certain range, in the process of adding a face identification number, you need to determine whether the identification number exceeds a certain range, such as Id9999. If it is exceeded, you can recalculate the identification number from zero. Finally, the feature vector of the first person is cached in the list with the face identification number Id0996, and the second person feature vector is cached in the list with the face identification number Id1002.
- the analysis processing module 23 further includes a face quality scoring unit 233;
- the face quality scoring unit 233 is configured to perform quality analysis on a face in the image to obtain a face quality score; and cache a face quality score in a list of face numbers of the face in the image. in.
- the consideration of the face quality score may be image sharpness, face angle, image illumination intensity, and the like.
- the apparatus further includes an update module 25:
- the updating module 25 is configured to obtain a face identification number of the current frame image, scan the cached face identification number, and replace the number of consecutive disappearing frames corresponding to the face identification number of the current frame image. The value is cleared, and/or the value of the number of consecutive disappearing frames corresponding to the face identification number different from the face identification number of the current frame image is incremented.
- the step size of the increment is not limited, and the step size can generally be set to 1.
- the number of face identification numbers of the obtained current frame image is not limited, and may be one or more.
- the feature fusion module 22 is configured to: if the number of face feature vectors of the face identification number exceeds a preset number threshold or the number of consecutive disappearance frames of the face identification number exceeds a preset frame number threshold, Feature fusion of the face feature vector of the face identification number is performed to obtain a face feature vector after feature fusion.
- the preset number threshold of the face feature vector is 25, and the preset number of frames of the number of consecutive disappearing frames of the face identification number is 75 frames.
- the number of the face feature vectors of the face ID number Id0996 meets the preset number threshold requirement, and the value of the number of consecutive disappearing frames of the face identifier number Id0992 satisfies the threshold requirement of the preset frame number threshold. Therefore, the face identification number Id0996 is required.
- the feature fusion is performed with the face feature vector of the face identification number Id0992.
- the feature fusion of the face feature vector is to perform the fusion calculation of the feature values of each dimension direction as the feature value of the corresponding dimension direction after the fusion.
- each row is an N-dimensional face feature vector, and the number of face feature vectors of the same face identification number exceeds a preset number threshold, and the face of the face identification number is
- the eigenvalues in the first dimension are fused as the eigenvalues in the first dimension after fusion (shown in the first column)...
- the eigenvalues in the Nth dimension are fused as a fusion.
- the feature values in the Nth dimension direction (shown in the Nth column), and the face feature vectors after the feature fusion are -0.017, -0.165, 0.016, 0.145, -0.069, ..., 0.149, -0.152.
- the feature fusion module 22 includes a normalization processing unit 221 and a weighted average calculation unit 222;
- the normalization processing unit 221 is configured to normalize the face quality score of the face identification number, and use the normalized face quality score as the face identifier number.
- the weighted average calculation unit 222 is configured to perform feature fusion on the face feature vector of the face identification number by using a weighted average method to obtain a face feature vector after feature fusion.
- the corresponding feature value fusion calculation may be omitted to reduce the interference of the abnormal situation.
- process of the fusion calculation can also select various methods such as the maximum value, the average value, and the median, and is not limited herein.
- the average value method is selected to perform fusion calculation, and the specific experimental data forms a schematic diagram of the similarity distribution structure of the face feature vectors after the feature fusion shown in FIG. 9 to FIG. 11 .
- the feature similarity calculation is performed on the faces collected by the same person in different video frames, and a total of 60 face images are selected.
- the fe[15] polyline is the similarity distribution map of the original facial feature vector
- the mean polyline is the similarity distribution map of the facial feature vector after feature fusion. It can be clearly seen from Fig. 9 that the face feature vector after feature fusion can effectively improve the similarity of the same face.
- FIG. 10 is a similarity distribution diagram of facial feature vectors after feature fusion
- FIG. 11 is a similarity distribution diagram of original facial feature vectors.
- the statistical information of the two graphs is compared with the following table. It can be clearly seen from the comparison information that the face feature vector after feature fusion has better cohesion.
- the device further includes a clearing module 26;
- the clearing module 26 is configured to clear the cached face feature vector of the face identifier number, and cache the face feature vector after the feature is merged; or clear all information of the cached face identifier number.
- feature fusion is still performed by the face feature vector of the face identification number Id0996 and the face identification number Id0992.
- the face feature vector of the cached face identification number needs to be cleared, and the face feature vector after the feature fusion is cached.
- the face identification number Id0992 all information of the cached face identification number Id0992 is cleared, including the face identification number Id0992.
- the face image feature fusion processing device improves the feature ratio by performing feature fusion on the face features in the multi-frame image of the video stream, reducing the repeatability of the feature data and the difference between the same faces. The accuracy of the pair.
- the device includes a memory 31, a processor 32, and is stored in the memory 31 and can be processed in the process.
- the face image feature fusion processing program running on the device 32 when the face image feature fusion processing program is executed by the processor 32, is used to implement the steps of the face image feature fusion processing method described below:
- the person with the face identification number is used to obtain the face feature vector after feature fusion.
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- a face feature vector in the image is extracted, and the face feature vector is cached in a list of the face identification numbers.
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- the face in the image is a tracking face
- the identification number of the face in the image is the identification number of the face in the tracking
- the face identification number is assigned to the face in the image.
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- the face quality score is cached in a list of identification numbers of faces in the image.
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- the face feature vector of the face identification number is feature-fused by a weighted averaging method to obtain a face feature vector after feature fusion.
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- the face image feature fusion processing program When executed by the processor 32, it is also used to implement the steps of the face image feature fusion processing method described below:
- the face image feature fusion processing device provided by the embodiment of the present invention improves the feature ratio by reducing the feature data repetitiveness and the difference between the same face by performing feature fusion on the face features in the video stream multi-frame image. The accuracy of the pair.
- a fourth embodiment of the present invention provides a computer readable storage medium, where the face readable image feature fusion processing program is stored, and the face image feature fusion processing program is implemented by a processor to implement the first implementation.
- the computer readable storage medium provided by the embodiment of the invention improves the repeatability of the feature data and the difference between the same faces by improving the feature fusion of the face features in the multi-frame image of the video stream, thereby improving the feature comparison. Accuracy.
- the method, device and device for processing face image feature fusion provided by the embodiments of the present invention, and computer readable storage medium, feature feature fusion of face features in a multi-frame image of a video stream, reducing repetitiveness of feature data and same face
- the difference between the two improves the accuracy of the feature comparison. Therefore, it has industrial applicability.
Abstract
一种人脸图像特征融合处理方法、装置及设备、计算机可读存储介质，该方法包括步骤：获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数（S11）；若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量（S12）。通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
Description
本发明涉及人脸识别技术领域，尤其涉及一种人脸图像特征融合处理方法、装置及设备、计算机可读存储介质。
随着国家智慧城市、平安城市等各类平台项目的不断发展，视频监控已经成为城市生活中不可缺少的一部分。视频监控数据的不断增长，如何有效挖掘视频数据的价值变得十分重要。深度学习技术的不断发展，适用于视频图像处理的各种卷积神经网络（Convolutional
Neural Networks，CNN）的提出，例如AlexNet、GoogleNet、ResNet、Inception、DenseNet等等，图像分类以及识别的准确率得到了大大提升，加快推动了视频图像数据的后处理技术进入到实际应用中。
人脸识别技术是应用深度学习技术发展最快的领域之一。人脸识别技术经历了很长时间的技术发展，从最早的几何特征模型、模板匹配到深度学习技术。在深度学习中，人脸识别特征比对是很重要的一环。但是现有技术中，只考虑了单帧图像中的人脸信息，对人脸图像数据进行特征提取，没有针对视频图像中的视频帧的时序性。人脸图像在视频中出现总是存在着一段连续的时间范围，同时人脸在这段时间内存在着人脸角度变化、人脸远近、运动模糊等问题，导致不同视频帧图像中提取到的人脸特征存在一定的差异性，使得后续在进行人脸比对时会因为过大的数据量和比较大的差异性导致准确率下降，同时还会增加系统的处理消耗。
本发明的主要目的在于提出一种人脸图像特征融合处理方法、装置及设备、计算机可读存储介质，旨在解决现有技术中只考虑了单帧图像中的人脸信息，对人脸图像数据进行特征提取，造成相同人脸之间的相似性偏低的问题。
为实现上述目的，本发明实施例第一方面提供一种人脸图像特征融合处理方法，所述方法包括步骤：
获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数；
若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
此外，为实现上述目的，本发明实施例第二方面提供一种人脸图像特征融合处理装置，所述装置包括：获取模块和特征融合模块；
所述获取模块，用于获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数；
所述特征融合模块，用于若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
此外，为实现上述目的，本发明实施例第三方面提供一种人脸图像特征融合处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被所述处理器执行时实现上述的人脸图像特征融合处理方法的步骤。
再者，为实现上述目的，本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被处理器执行时实现上述的人脸图像特征融合处理方法的步骤。
本发明实施例提供的人脸图像特征融合处理方法、装置及设备、计算机可读存储介质，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
图1为本发明第一实施例的人脸图像特征融合处理方法流程示意图；
图2为本发明第二实施例的人脸图像特征融合处理装置结构示意图；
图3为本发明第二实施例的人脸图像特征融合处理装置结构另一示意图；
图4为本发明第二实施例的人脸图像特征融合处理装置中分析处理模块结构示意图；
图5为本发明第二实施例的人脸图像特征融合处理装置中特征融合模块结构示意图；
图6为本发明第三实施例的人脸图像特征融合处理设备结构示意图；
图7为本发明实施例的N维人脸特征向量结构示意图；
图8为本发明实施例的N维人脸特征向量的特征融合过程结构示意图；
图9-图11为本发明实施例的特征融合后的人脸特征向量相似性分布结构示意图；
图12为本发明实施例的人脸识别系统架构结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一实施例
如图1所示，本发明第一实施例提供一种人脸图像特征融合处理方法，该方法包括步骤：
S11、获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数。
在一种实施方式中，通过以下方式缓存所述人脸标识号及其对应的人脸特征向量：
对视频流中的每帧图像进行分析处理，获得所述人脸标识号；
具体地，在该实施方式中，对视频流中的每帧图像进行人脸检测，获得所述图像中的人脸；对所述图像中的人脸进行人脸跟踪；若所述图像中的人脸为跟踪中人脸，则所述图像中的人脸的标识号为跟踪中人脸的标识号；若所述图像中的人脸为新出现人脸，则对所述图像中的人脸进行人脸标识号分配。
提取所述图像中的人脸特征向量，并将所述人脸特征向量缓存在所述人脸标识号的列表中。
在该实施方式中，获得的人脸特征向量一般为多维特征向量。如图7所示，在经过人脸特征提取之后获得N维人脸特征向量，第一维度方向的特征值为-0.016，第N维度方向的特征值为-0.193。
作为示例地，假设当前帧图像中存在两个人，对两个人是否为新出现人脸标识号（identification，ID）进行判断，处理依据是人脸在分析处理过程中和缓存中的所有人脸标识号进行特征比对，如果超过一定相似度，就认为他们是同一个人脸标识号。若其中一人是跟踪中的人脸，那么人脸标识号为人脸先前的标识号，假设为Id0996。若另外一人是第一次被检测到的新出现人脸，那么需要给新出现的人脸确认人脸标识号，确认依据可以为上一次新增的人脸标识号再加上一，假设上次新增人脸标识号为Id1001，则当前新出现人脸标识号为Id1002。如果标识号具有一定范围，在新增人脸标识号的过程中，需要判断标识号是否超过一定范围，比如Id9999。如果超过，可以将标识号从零开始重新计算即可。最后将第一人的特征向量缓存在人脸标识号为Id0996的列表中，第二人特征向量缓存在人脸标识号为Id1002的列表中。
进一步地，还可对所述图像中的人脸进行质量分析，获得人脸质量评分；将所述人脸质量评分缓存在所述图像中的人脸的标识号的列表中。
在该实施方式中，人脸质量评分的考虑因素可以为图像清晰度、人脸角度和图像光照强度等。
在一种实施方式中，通过以下方式更新所述人脸标识号的连续消失帧数的值：
获得当前帧图像的人脸标识号；
对缓存的人脸标识号进行扫描；将与当前帧图像的人脸标识号相同的人脸标识号对应的连续消失帧数的数值进行清零，和/或将与当前帧图像的人脸标识号不相同的人脸标识号对应的连续消失帧数的数值进行递增。
在该实施方式中，人脸标识号对应的连续消失帧数的数值进行递增时，递增的步长不作限制，一般地可将步长设置为1。
需要说明的是，获得的当前帧图像的人脸标识号的数量并不作限制，可能为一个或多个。
接上述示例，假设缓存中存在5个人脸标识号，分别为Id0992、Id0996、Id0998、Id1001以及新增的Id1002，将当前帧图像中获得的人脸标识号Id0996和Id1002的连续消失帧数的数值进行清零，其余三个人脸标识号Id0992、Id0998以及Id1001的连续消失帧数的数值都加一。
S12、若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
作为示例地，假设人脸特征向量的预设数量阈值为25，人脸标识号的连续消失帧数的预设帧数阈值为75帧。而人脸标识号Id0996的人脸特征向量的数量满足预设数量阈值要求，人脸标识号Id0992的连续消失帧数的数值满足预设帧数阈值的阈值要求，因此需要对人脸标识号Id0996和人脸标识号Id0992的人脸特征向量进行特征融合。
在本实施例中，人脸特征向量的特征融合，是将每个维度方向的特征值进行融合计算作为融合后对应维度方向的特征值。
作为示例地，如图8所示，每一排为一个N维人脸特征向量，该同一人脸标识号的人脸特征向量的数量超过预设数量阈值，对该人脸标识号的人脸特征向量进行特征融合时，将第1维度方向的特征值进行融合计算作为融合后第1维度方向的特征值（第1列所示）……将第N维度方向的特征值进行融合计算作为融合后第N维度方向的特征值（第N列所示），特征融合后的人脸特征向量为-0.017、-0.165、0.016、0.145、-0.069、……、0.149、-0.152。
在一种实施方式中，所述对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量包括步骤：
将所述人脸标识号的人脸质量评分进行归一化处理，并将归一化处理后的人脸质量评分作为所述人脸标识号的人脸特征向量的权重值；
通过加权平均方法对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
在该实施方式中，对于人脸质量分过低的情况，比如人脸倾斜角过大、图像模糊等，可以省略对应的特征值融合计算，降低异常情况的干扰。
需要说明的是，融合计算的过程还可以选择最大值、平均值、中位数等各种方法，在此不作限制。
请参考图9-图11所示，本实施例选择平均值方法进行融合计算，具体实验数据形成图9-图11所示的特征融合后的人脸特征向量相似性分布结构示意图。
图9中对相同人在不同视频帧中采集的人脸进行特征相似性计算，总共选取了60张人脸图像。其中fe[15]折线为原始人脸特征向量的相似性分布图，mean折线为特征融合后的人脸特征向量相似性分布图。从图9上可以明显看出特征融合后的人脸特征向量能够有效提升相同人脸的相似性。
图10为特征融合后的人脸特征向量相似性分布图，图11为原始人脸特征向量的相似性分布图。两张图的统计信息对比如下表格所示，从对比信息中可以明显看出特征融合后的人脸特征向量具有更好的内聚性。
在一种实施方式中，所述若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量之后还包括步骤：
清除缓存的所述人脸标识号的人脸特征向量，并缓存所述特征融合后的人脸特征向量；或者清除缓存的所述人脸标识号的所有信息。
通过该实施方式，可减小后台的数据存储和数据查询时的计算量。
作为示例地，仍以人脸标识号Id0996和人脸标识号Id0992的人脸特征向量进行特征融合为例。对于人脸标识号Id0996，需要清除缓存的人脸标识号的人脸特征向量，并缓存特征融合后的人脸特征向量。对于人脸标识号Id0992，清除缓存的人脸标识号Id0992的所有信息，包括人脸标识号Id0992。
为了更好地阐述本实施例，以下结合图12的人脸识别系统架构，对人脸图像特征融合处理过程进行说明：
如图12所示，人脸识别系统架构包括前端监控点、光纤网络、大型交换机、人脸分析服务器以及大数据平台服务器。
前端监控点（例如：前端摄像头）将视频流通过光纤网络传输到人脸分析服务器，人脸分析服务器接收到前端监控点的视频流后对视频中的每帧图像进行分析处理，主要包括人脸检测、人脸跟踪和人脸特征提取等过程。分析处理完之后，将人脸标识号及其对应的人脸特征向量进行缓存。
如果缓存的同一人脸标识号的人脸特征向量的数量超过预设数量阈值或者人脸标识号的连续消失帧数的数值超过预设帧数阈值，将人脸标识号的人脸特征向量进行特征融合。
清除缓存的人脸标识号的相关信息，将特征融合后的人脸特征向量发送到大数据平台进行存储。
本发明实施例提供的人脸图像特征融合处理方法，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
第二实施例
参照图2，图2为本发明第二实施例提供的一种人脸图像特征融合处理装置，所述装置包括：获取模块21和特征融合模块22；
所述获取模块21，用于获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数。
请参考图3所示，在一种实施方式中，所述装置还包括分析处理模块23和缓存模块24；
所述分析处理模块23，用于对视频流中的每帧图像进行分析处理，获得所述人脸标识号。
具体地，请参考图4所示，在该实施方式中，所述分析处理模块23包括人脸检测单元231和人脸跟踪单元232；
所述人脸检测单元231，用于对视频流中的每帧图像进行人脸检测，获得所述图像中的人脸；
所述人脸跟踪单元232，用于对所述图像中的人脸进行人脸跟踪；若所述图像中的人脸为跟踪中人脸，则所述图像中的人脸的标识号为跟踪中人脸的标识号；若所述图像中的人脸为新出现人脸，则对所述图像中的人脸进行人脸标识号分配。
所述缓存模块24，用于提取所述图像中的人脸特征向量，并将所述人脸特征向量缓存在所述人脸标识号的列表中。
在该实施方式中，获得的人脸特征向量一般为多维特征向量。如图7所示，在经过人脸特征提取之后获得N维人脸特征向量，第一维度方向的特征值为-0.016，第N维度方向的特征值为-0.193。
作为示例地，假设当前帧图像中存在两个人，对两个人是否为新出现人脸标识号（identification，ID）进行判断，处理依据是人脸在分析处理过程中和缓存中的所有人脸标识号进行特征比对，如果超过一定相似度，就认为他们是同一个人脸标识号。若其中一人是跟踪中的人脸，那么人脸标识号为人脸先前的标识号，假设为Id0996。若另外一人是第一次被检测到的新出现人脸，那么需要给新出现的人脸确认人脸标识号，确认依据可以为上一次新增的人脸标识号再加上一，假设上次新增人脸标识号为Id1001，则当前新出现人脸标识号为Id1002。如果标识号具有一定范围，在新增人脸标识号的过程中，需要判断标识号是否超过一定范围，比如Id9999。如果超过，可以将标识号从零开始重新计算即可。最后将第一人的特征向量缓存在人脸标识号为Id0996的列表中，第二人特征向量缓存在人脸标识号为Id1002的列表中。
进一步地，请参考图4所示，所述分析处理模块23还包括人脸质量评分单元233；
所述人脸质量评分单元233，用于对所述图像中的人脸进行质量分析，获得人脸质量评分；将所述人脸质量评分缓存在所述图像中的人脸的标识号的列表中。
在该实施方式中，人脸质量评分的考虑因素可以为图像清晰度、人脸角度和图像光照强度等。
请再参考图3所示，在一种实施方式中，所述装置还包括更新模块25：
所述更新模块25，用于获得当前帧图像的人脸标识号；对缓存的人脸标识号进行扫描；将与当前帧图像的人脸标识号相同的人脸标识号对应的连续消失帧数的数值进行清零，和/或将与当前帧图像的人脸标识号不相同的人脸标识号对应的连续消失帧数的数值进行递增。
在该实施方式中，人脸标识号对应的连续消失帧数的数值进行递增时，递增的步长不作限制，一般地可将步长设置为1。
需要说明的是，获得的当前帧图像的人脸标识号的数量并不作限制，可能为一个或多个。
接上述示例，假设缓存中存在5个人脸标识号，分别为Id0992、Id0996、Id0998、Id1001以及新增的Id1002，将当前帧图像中获得的人脸标识号Id0996和Id1002的连续消失帧数的数值进行清零，其余三个人脸标识号Id0992、Id0998以及Id1001的连续消失帧数的数值都加一。
所述特征融合模块22，用于若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
作为示例地，假设人脸特征向量的预设数量阈值为25，人脸标识号的连续消失帧数的预设帧数阈值为75帧。而人脸标识号Id0996的人脸特征向量的数量满足预设数量阈值要求，人脸标识号Id0992的连续消失帧数的数值满足预设帧数阈值的阈值要求，因此需要对人脸标识号Id0996和人脸标识号Id0992的人脸特征向量进行特征融合。
在本实施例中，人脸特征向量的特征融合，是将每个维度方向的特征值进行融合计算作为融合后对应维度方向的特征值。
作为示例地，如图8所示，每一排为一个N维人脸特征向量，该同一人脸标识号的人脸特征向量的数量超过预设数量阈值，对该人脸标识号的人脸特征向量进行特征融合时，将第1维度方向的特征值进行融合计算作为融合后第1维度方向的特征值（第1列所示）……将第N维度方向的特征值进行融合计算作为融合后第N维度方向的特征值（第N列所示），特征融合后的人脸特征向量为-0.017、-0.165、0.016、0.145、-0.069、……、0.149、-0.152。
请参考图5所示，在一种实施方式中，所述特征融合模块22包括归一化处理单元221和加权平均计算单元222；
所述归一化处理单元221，用于将所述人脸标识号的人脸质量评分进行归一化处理，并将归一化处理后的人脸质量评分作为所述人脸标识号的人脸特征向量的权重值；
所述加权平均计算单元222，用于通过加权平均方法对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
在该实施方式中，对于人脸质量分过低的情况，比如人脸倾斜角过大、图像模糊等，可以省略对应的特征值融合计算，降低异常情况的干扰。
需要说明的是，融合计算的过程还可以选择最大值、平均值、中位数等各种方法，在此不作限制。
请参考图9-图11所示，本实施例选择平均值方法进行融合计算，具体实验数据形成图9-图11所示的特征融合后的人脸特征向量相似性分布结构示意图。
图9中对相同人在不同视频帧中采集的人脸进行特征相似性计算，总共选取了60张人脸图像。其中fe[15]折线为原始人脸特征向量的相似性分布图，mean折线为特征融合后的人脸特征向量相似性分布图。从图9上可以明显看出特征融合后的人脸特征向量能够有效提升相同人脸的相似性。
图10为特征融合后的人脸特征向量相似性分布图，图11为原始人脸特征向量的相似性分布图。两张图的统计信息对比如下表格所示，从对比信息中可以明显看出特征融合后的人脸特征向量具有更好的内聚性。
请再参考图3所示，在一种实施方式中，所述装置还包括清除模块26；
所述清除模块26，用于清除缓存的所述人脸标识号的人脸特征向量，并缓存所述特征融合后的人脸特征向量；或者清除缓存的所述人脸标识号的所有信息。
通过该实施方式，可减小后台的数据存储和数据查询时的计算量。
作为示例地，仍以人脸标识号Id0996和人脸标识号Id0992的人脸特征向量进行特征融合为例。对于人脸标识号Id0996，需要清除缓存的人脸标识号的人脸特征向量，并缓存特征融合后的人脸特征向量。对于人脸标识号Id0992，清除缓存的人脸标识号Id0992的所有信息，包括人脸标识号Id0992。
本发明实施例提供的人脸图像特征融合处理装置，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
第三实施例
参照图6，图6为本发明第三实施例提供的一种人脸图像特征融合处理设备，所述设备包括：存储器31、处理器32及存储在所述存储器31上并可在所述处理器32上运行的人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被所述处理器32执行时，用于实现以下所述的人脸图像特征融合处理方法的步骤：
获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数；
若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
对视频流中的每帧图像进行分析处理，获得所述人脸标识号；
提取所述图像中的人脸特征向量，并将所述人脸特征向量缓存在所述人脸标识号的列表中。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
对视频流中的每帧图像进行人脸检测，获得所述图像中的人脸；
对所述图像中的人脸进行人脸跟踪；若所述图像中的人脸为跟踪中人脸，则所述图像中的人脸的标识号为跟踪中人脸的标识号；若所述图像中的人脸为新出现人脸，则对所述图像中的人脸进行人脸标识号分配。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
对所述图像中的人脸进行质量分析，获得人脸质量评分；
将所述人脸质量评分缓存在所述图像中的人脸的标识号的列表中。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
将所述人脸标识号的人脸质量评分进行归一化处理，并将归一化处理后的人脸质量评分作为所述人脸标识号的人脸特征向量的权重值；
通过加权平均方法对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
获得当前帧图像的人脸标识号；
对缓存的人脸标识号进行扫描；将与当前帧图像的人脸标识号相同的人脸标识号对应的连续消失帧数的数值进行清零，和/或将与当前帧图像的人脸标识号不相同的人脸标识号对应的连续消失帧数的数值进行递增。
所述人脸图像特征融合处理程序被所述处理器32执行时，还用于实现以下所述的人脸图像特征融合处理方法的步骤：
清除缓存的所述人脸标识号的人脸特征向量，并缓存所述特征融合后的人脸特征向量；或者清除缓存的所述人脸标识号的所有信息。
本发明实施例提供的人脸图像特征融合处理设备，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
第四实施例
本发明第四实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被处理器执行时实现第一实施例所述的人脸图像特征融合处理方法的步骤。
本发明实施例提供的计算机可读存储介质，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
本发明实施例提供的人脸图像特征融合处理方法、装置及设备、计算机可读存储介质，通过对视频流多帧图像中的人脸特征进行特征融合，降低特征数据的重复性以及相同人脸之间的差异性，提升了特征比对的准确率。因此，具有工业实用性。
Claims (16)
- 一种人脸图像特征融合处理方法，所述方法包括步骤：获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数；若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
- 根据权利要求1所述的一种人脸图像特征融合处理方法，其中，通过以下方式缓存所述人脸标识号及其对应的人脸特征向量：对视频流中的每帧图像进行分析处理，获得所述人脸标识号；提取所述图像中的人脸特征向量，并将所述人脸特征向量缓存在所述人脸标识号的列表中。
- 根据权利要求2所述的一种人脸图像特征融合处理方法，其中，所述对视频流中的每帧图像进行分析处理，获得所述人脸标识号包括步骤：对视频流中的每帧图像进行人脸检测，获得所述图像中的人脸；对所述图像中的人脸进行人脸跟踪；若所述图像中的人脸为跟踪中人脸，则所述图像中的人脸的标识号为跟踪中人脸的标识号；若所述图像中的人脸为新出现人脸，则对所述图像中的人脸进行人脸标识号分配。
- 根据权利要求3所述的一种人脸图像特征融合处理方法，其中，所述方法还包括步骤：对所述图像中的人脸进行质量分析，获得人脸质量评分；将所述人脸质量评分缓存在所述图像中的人脸的标识号的列表中。
- 根据权利要求4所述的一种人脸图像特征融合处理方法，其中，所述对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量包括步骤：将所述人脸标识号的人脸质量评分进行归一化处理，并将归一化处理后的人脸质量评分作为所述人脸标识号的人脸特征向量的权重值；通过加权平均方法对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
- 根据权利要求1所述的一种人脸图像特征融合处理方法，其中，通过以下方式更新所述人脸标识号的连续消失帧数的值：获得当前帧图像的人脸标识号；对缓存的人脸标识号进行扫描；将与当前帧图像的人脸标识号相同的人脸标识号对应的连续消失帧数的数值进行清零，和/或将与当前帧图像的人脸标识号不相同的人脸标识号对应的连续消失帧数的数值进行递增。
- 根据权利要求1-6任一项所述的一种人脸图像特征融合处理方法，其中，所述若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量之后还包括步骤：清除缓存的所述人脸标识号的人脸特征向量，并缓存所述特征融合后的人脸特征向量；或者清除缓存的所述人脸标识号的所有信息。
- 一种人脸图像特征融合处理装置，所述装置包括：获取模块和特征融合模块；所述获取模块，用于获取缓存的人脸标识号的人脸特征向量或者所述人脸标识号的连续消失帧数；所述特征融合模块，用于若所述人脸标识号的人脸特征向量的数量超过预设数量阈值或者所述人脸标识号的连续消失帧数的数值超过预设帧数阈值，则对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
- 根据权利要求8所述的一种人脸图像特征融合处理装置，其中，所述装置还包括分析处理模块和缓存模块；所述分析处理模块，用于对视频流中的每帧图像进行分析处理，获得所述人脸标识号；所述缓存模块，用于提取所述图像中的人脸特征向量，并将所述人脸特征向量缓存在所述人脸标识号的列表中。
- 根据权利要求9所述的一种人脸图像特征融合处理装置，其中，所述分析处理模块包括人脸检测单元和人脸跟踪单元；所述人脸检测单元，用于对视频流中的每帧图像进行人脸检测，获得所述图像中的人脸；所述人脸跟踪单元，用于对所述图像中的人脸进行人脸跟踪；若所述图像中的人脸为跟踪中人脸，则所述图像中的人脸的标识号为跟踪中人脸的标识号；若所述图像中的人脸为新出现人脸，则对所述图像中的人脸进行人脸标识号分配。
- 根据权利要求10所述的一种人脸图像特征融合处理装置，其中，所述分析处理模块还包括人脸质量评分单元；所述人脸质量评分单元，用于对所述图像中的人脸进行质量分析，获得人脸质量评分；将所述人脸质量评分缓存在所述图像中的人脸的标识号的列表中。
- 根据权利要求11所述的一种人脸图像特征融合处理装置，其中，所述特征融合模块包括归一化处理单元和加权平均计算单元；所述归一化处理单元，用于将所述人脸标识号的人脸质量评分进行归一化处理，并将归一化处理后的人脸质量评分作为所述人脸标识号的人脸特征向量的权重值；所述加权平均计算单元，用于通过加权平均方法对所述人脸标识号的人脸特征向量进行特征融合，获得特征融合后的人脸特征向量。
- 根据权利要求8所述的一种人脸图像特征融合处理装置，其中，所述装置还包括更新模块：所述更新模块，用于获得当前帧图像的人脸标识号；对缓存的人脸标识号进行扫描；将与当前帧图像的人脸标识号相同的人脸标识号对应的连续消失帧数的数值进行清零，和/或将与当前帧图像的人脸标识号不相同的人脸标识号对应的连续消失帧数的数值进行递增。
- 根据权利要求8-13任一项所述的一种人脸图像特征融合处理装置，其中，所述装置还包括清除模块；所述清除模块，用于清除缓存的所述人脸标识号的人脸特征向量，并缓存所述特征融合后的人脸特征向量；或者清除缓存的所述人脸标识号的所有信息。
- 一种人脸图像特征融合处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的人脸图像特征融合处理方法的步骤。
- 一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像特征融合处理程序，所述人脸图像特征融合处理程序被处理器执行时实现如权利要求1至7中任一项所述的人脸图像特征融合处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/118101 WO2019119449A1 (zh) | 2017-12-22 | 2017-12-22 | 人脸图像特征融合处理方法、装置及设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/118101 WO2019119449A1 (zh) | 2017-12-22 | 2017-12-22 | 人脸图像特征融合处理方法、装置及设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019119449A1 true WO2019119449A1 (zh) | 2019-06-27 |
Family
ID=66992895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2017/118101 WO2019119449A1 (zh) | 2017-12-22 | 2017-12-22 | 人脸图像特征融合处理方法、装置及设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019119449A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN112016444A (zh) * | 2020-08-26 | 2020-12-01 | 北京掌中飞天科技股份有限公司 | 基于Web前端处理人脸识别技术的方法及装置 |
| CN113436302A (zh) * | 2021-06-08 | 2021-09-24 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种人脸动画合成方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004905A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 人脸认证方法及装置 |
| CN103679118A (zh) * | 2012-09-07 | 2014-03-26 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
-
2017
- 2017-12-22 WO PCT/CN2017/118101 patent/WO2019119449A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004905A (zh) * | 2010-11-18 | 2011-04-06 | 无锡中星微电子有限公司 | 人脸认证方法及装置 |
| CN103679118A (zh) * | 2012-09-07 | 2014-03-26 | 汉王科技股份有限公司 | 一种人脸活体检测方法及系统 |
| CN105678250A (zh) * | 2015-12-31 | 2016-06-15 | 北京小孔科技有限公司 | 视频中的人脸识别方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553231A (zh) * | 2020-04-21 | 2020-08-18 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN111553231B (zh) * | 2020-04-21 | 2023-04-28 | 上海锘科智能科技有限公司 | 基于信息融合的人脸抓拍与去重系统、方法、终端及介质 |
| CN112016444A (zh) * | 2020-08-26 | 2020-12-01 | 北京掌中飞天科技股份有限公司 | 基于Web前端处理人脸识别技术的方法及装置 |
| CN113436302A (zh) * | 2021-06-08 | 2021-09-24 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种人脸动画合成方法及系统 |
| CN113436302B (zh) * | 2021-06-08 | 2024-02-13 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种人脸动画合成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635686B (zh) | 结合人脸与外观的两阶段行人搜索方法 | |
| US9436892B2 (en) | Method and apparatus for facial detection using regional similarity distribution analysis | |
| KR20210090139A (ko) | 정보처리장치, 정보처리방법 및 기억매체 | |
| US20170032182A1 (en) | System for adaptive real-time facial recognition using fixed video and still cameras | |
| JP5675229B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2019033574A1 (zh) | 电子装置、动态视频人脸识别的方法、系统及存储介质 | |
| CN106503691B (zh) | 一种人脸图片的身份标注方法和装置 | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| CN108171138B (zh) | 一种生物特征信息获取方法和装置 | |
| US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
| WO2019119449A1 (zh) | 人脸图像特征融合处理方法、装置及设备、存储介质 | |
| CN107305693B (zh) | 信息处理装置、信息处理方法及存储介质 | |
| CN111626371A (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
| EP3905104B1 (en) | Living body detection method and device | |
| JP2013065119A (ja) | 顔認証装置及び顔認証方法 | |
| WO2022198817A1 (zh) | 车辆图像聚类及轨迹还原方法 | |
| WO2022103684A1 (en) | Face-aware person re-identification system | |
| WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
| CN104346602A (zh) | 一种基于特征向量的人脸识别方法及装置 | |
| Ardiansyah et al. | Systematic literature review: American sign language translator | |
| CN111241928B (zh) | 人脸识别底库优化方法、系统、设备、可读存储介质 | |
| JP2013065118A (ja) | 顔認識装置、及び顔認識方法 | |
| Chen et al. | Face deduplication in video surveillance | |
| CN112633204A (zh) | 一种精准客流统计方法、装置、设备和介质 | |
| CN110766093A (zh) | 一种基于多帧特征融合的视频目标重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17935389 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17935389 Country of ref document: EP Kind code of ref document: A1 |