WO2018170864A1 - 一种人脸识别跟踪方法 - Google Patents

一种人脸识别跟踪方法 Download PDF

Info

Publication number
WO2018170864A1
WO2018170864A1 PCT/CN2017/077976 CN2017077976W WO2018170864A1 WO 2018170864 A1 WO2018170864 A1 WO 2018170864A1 CN 2017077976 W CN2017077976 W CN 2017077976W WO 2018170864 A1 WO2018170864 A1 WO 2018170864A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature data
feature
error
threshold
Prior art date
Application number
PCT/CN2017/077976
Other languages
English (en)
French (fr)
Inventor
周剑
陈志超
李轩
Original Assignee
成都通甲优博科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 成都通甲优博科技有限责任公司 filed Critical 成都通甲优博科技有限责任公司
Publication of WO2018170864A1 publication Critical patent/WO2018170864A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • Step S42 determining whether the reference threshold is greater than the accumulation threshold, and determining that the face has been lost when the reference threshold is greater than the accumulation threshold.
  • model forming the JDA detector is pre-trained before the face recognition tracking is performed;
  • Step B2 screening the training sample image by the JDA detector to obtain a first sampling feature data
  • the model for forming the JDA detector is pre-trained; the step of training the model forming the JDA detector specifically includes: step B1, acquiring a plurality of training sample images, each of the training samples Include corresponding first ideal feature data in the image; step B2, filter the training sample image by the JDA detector to obtain first sampling feature data; and step B3, the first sampling feature data and the first The ideal feature data is compared to correct the model of the JDA detector based on the alignment results.
  • Training a step of forming a model of the JDA detector, the step of collecting a known sample by the image acquisition device to form a sample image, the known sample corresponding to the first ideal feature data, screening and sampling by the JDA face recognition tracking method detector And obtaining the first sampled feature data, and correcting the model of the JDA face recognition tracking method detector by comparing the first ideal data with the first sampling feature.
  • Wlp is the proportion of positive samples assigned to the left
  • wrp is the proportion of positive samples assigned to the right
  • wln and wrn are the proportions of negative samples assigned to the left and right, respectively
  • a weak classifier feature + threshold
  • a regression node is constructed, and a positive sample with a true shape is used to calculate a threshold that minimizes the variance of the offset as a weak classifier threshold.
  • Calculate the offset select a marker point for regression, the marker point index is the decision tree number and the number of feature points; calculate the difference between the artificial marker coordinates and the estimated coordinates ( ⁇ x, ⁇ y); select the threshold, Calculate the positive sample ⁇ x variance l_vx and ⁇ y variance l_vy smaller than the threshold, and the positive sample ⁇ x variance r_vx greater than the threshold, ⁇ y variance r_vy, then the variance of the offset:
  • Lcount and rcount are the corresponding two-sample numbers; choose the optimal threshold to minimize var.
  • the positive and negative samples can be divided into two parts and passed to the left and right subtrees to continue to divide. Construct a leaf node.
  • the content of the leaf node includes the feature point offset and the confidence increment. .
  • Each sample entering the leaf node uses the estimated shape plus the offset.
  • the leaf node offset is determined at the time of global regression.
  • the confidence calculation formula is as follows:
  • it is necessary to expand the negative sample use the trained decision tree to detect the negative sample library, and detect the negative sample to be negative.
  • the sample set until the specified ratio is reached; finally, the weight of the sample is updated, and the weight is calculated according to the confidence level, so that the sum of the weights of the positive and negative samples is 1.
  • Global regression is used to calculate the offset of each leaf node of all decision trees of the current level, and then the training is performed according to the previous steps until the JDA model is trained.
  • the steps of image acquisition and judgment described above can also be implemented by a processor.
  • the processor presets the data of the trained JDA model, so that the data corresponding to the centroid position and the face image can be judged by the model, and the data is stored.
  • the processor can be a microprocessor or other similar processor in the electronic device capable of performing the steps.
  • the step of acquiring the face information includes: step A1, acquiring the feature point coordinates of all feature points in the current frame image; and step A2, determining the face in the current frame image by using the feature point coordinates a central location; step A3, obtaining the face orientation by using a relationship between a center position of the face and a corresponding coordinate of the feature point to obtain the face information.
  • the steps include the following steps: 1. Calculating the minimum circumscribed rectangle of the sample mark point; 2. Calculating the ratio of the maximum side length of the circumscribed rectangle to the side length of the specified face; 3. Scaling the face shape according to the scale, and centering the face; Calculate the mean shape of all face samples after scaling and centering; 5.
  • centroid Coordinates (cx, cy); 7.
  • Statistical interval of centroid coordinates taking the x coordinate range as an example, divide the centroid coordinate interval into 3 blocks with 2 numbers (xl ⁇ xr), and determine the orientation to the left when x ⁇ xl.
  • Xl ⁇ x ⁇ xr is determined to be centered at the time, and when xr ⁇ x, the direction is determined to be right.
  • Step S4 calculating an error of the second feature data of the frame image and the image of the previous frame, and determining whether the face is lost by the error, obtaining a judgment result of loss or loss, and proceeding to step S1.
  • Manner 1 In the step S4, an error threshold is configured. If the error between the frame image and the second feature data of the previous frame image is greater than the error threshold, the determination result is not lost.
  • step S4 is configured with an accumulation threshold and a reference threshold. If the error between the frame image and the second feature data of the previous frame image is less than the error threshold, the reference threshold is increased, and when the reference threshold is greater than the accumulation threshold, The judgment result is lost; when the reference threshold is less than the accumulation threshold, the judgment result is not lost.
  • the reference threshold if the error of the second image data of the frame image and the previous frame image is greater than the error threshold, the reference threshold is cleared. To determine whether the face is lost or not, first extract the NPD feature vector of the image, and use a logistic regression algorithm to obtain a judgment value. If the judgment value is greater than 0.5 (error threshold), the face is judged not to be lost, and the accumulated threshold is set to 0.
  • the foregoing steps may be implemented by a processor, and the processor is configured with the second feature data acquired in step S3, and is determined by a preset algorithm built in the processor, and the determined result is stored or output through the memory, and the The data is stored or output.
  • the processor can be a microprocessor or other similar processor in the electronic device capable of performing the steps.
  • the data processing step includes: S21 comparing each feature value in the first feature data to obtain a minimum value, and obtaining a difference between the minimum value and each of the other feature values to obtain the processed first feature data, A feature data includes a minimum value and a difference between the minimum value and each of the feature values.
  • a data processing step is further included for processing the second feature data.
  • S3 compares each feature value in the second feature data to obtain a minimum value, and S32 obtains a difference between the minimum value and each of the other feature values to be processed.
  • the second feature data includes a difference between the minimum value and each of the other feature values.
  • the present invention performs the following data compression process on the trained model.
  • the above method can be directly implemented by hardware, for example, by processing a chip to perform operations, saving the result to a memory or outputting to a display page for subsequent device and component calling, or configuring the smart terminal to perform face recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：步骤S1，获取一帧图像作为当前帧图像，并判断是否存在所述当前帧图像的上一帧图像：若是，则转向步骤S2；若否，则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，并得到第一特征数据作为输入数据，随后转向步骤S3；步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，并得到所述第二特征数据；步骤S4，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的误差，并通过所述误差判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1。

Description

一种人脸识别跟踪方法 技术领域
本发明涉及图像处理人脸识别技术领域，具体是涉及一种人脸识别跟踪方法。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。
随着移动式电子设备以及其他电子设备的广泛使用，各界对在移动电子设备实现人脸识别、疲劳监控等机器视觉应用有着越来越迫切的需求。但是已有的面部识别及跟踪技术非常复杂，导致内存开销较大，降低处理速度，只能在非移动式电子设备上，在移动设备上则无法得到充分的硬件支持，受设计体积等限制。而需要一种复杂度较低且精度较高的一种人脸识别跟踪方法确定图像中人脸信息的关键点。
发明内容
针对现有技术中存在的上述问题，现旨在提供一种人脸识别跟踪方法，通过JDA检测器检测人脸，减小定位和初步过滤的运算成本，将JDA检测器检测的结果通过SDM算法处理，保证人脸检测的精确。
具体技术方案如下：
一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：
步骤S1，获取一帧图像作为当前帧图像，并判断是否存在所述当前帧图像的上一帧图像：
若是，则转向步骤S2；
若否，则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；
步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，并得到第一特征数据作为输入数据，随后转向步骤S3；
步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，并得到所述第二特征数据；
步骤S4，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的误差，并通过所述误差判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1。
进一步地，所述的人脸信息包括特征点坐标和人脸朝向。
进一步地，获取所述人脸信息的步骤包括：
步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；
步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的中心位置；
步骤A3，利用所述人脸的中心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。
进一步地，预设一误差阈值；
则所述步骤S4中，将所述误差与所述误差阈值进行比较，并在所述误差大于所述误差阈值时判断所述人脸已经丢失。
进一步地，预设一误差阈值、一累加阈值以及一基准阈值；
则所述步骤S4中，根据所述误差判断所述人脸是否丢失的步骤具体包括：
步骤S41，判断所述误差是否小于所述误差阈值，并在所述误差小于所述误差阈值时将所述基准阈值加1；
步骤S42，判断所述基准阈值是否大于所述累加阈值，并在所述基准阈值大于所述累加阈值时判断所述人脸已经丢失。
进一步地，所述步骤S41中，若所述误差大于所述误差阈值时，则将所述基准阈值清零。
进一步地，所述步骤S2中，在得到所述第一特征数据后，还包括对所述第一特征数据进行处理的步骤：
步骤S21，比较所述第一特征数据中的每一特征值以得到最小值；
步骤S22，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第一特征数据。
进一步地，所述步骤S3中，在得到所述第二特征数据后，还包括对所述第二特征数据进行处理的步骤：
步骤S31，比较所述第二特征数据中的每一特征值以得到最小值；
步骤S32，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第二特征数据。
进一步地，在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；
训练形成所述JDA检测器的模型的步骤具体包括：
步骤B1，采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；
步骤B2，通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征 数据；
步骤B3，将所述第一采样特征数据与所述第一理想特征数据进行比对，以根据比对结果修正所述JDA检测器的模型。
进一步地，任一的左侧脸对应的所述JDA检测器的模型由右侧脸对应的所述JDA检测器的模型对称获得；或者
任一的右侧脸对应的所述JDA检测器的模型由左侧脸对应的所述JDA检测器的模型对称获得。
上述技术方案的积极效果是：
上述的人脸识别跟踪方法，通过步骤S2JDA检测器定位人脸的位置以及对应的关键点，将得到的第一人脸特征数据直接作为结果输入端SDM算法中，节约了SDM算法中的定位等步骤，通过SDM算法检测得到该图像最终的人脸信息(关键点信息)，保证了精确性的同时提高了处理效率。
附图说明
图1为本发明的一种人脸识别跟踪方法总流程图；
图2为本发明的获取所述人脸信息的步骤流程图；
图3为本发明的训练形成所述JDA检测器的模型的步骤流程图；
图4为本发明的误差判断人脸是否丢失的步骤流程图；
图5为本发明的对第一特征数据进行处理的步骤流程图；
图6为本发明的对第二特征数据进行处理的步骤流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解， 以下实施例结合附图1至附图6对本发明提供的技术方案作具体阐述，但以下内容不作为本发明的限定。
一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，包括：
在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；训练形成所述JDA检测器的模型的步骤具体包括：步骤B1，采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；步骤B2，通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征数据；步骤B3，将所述第一采样特征数据与所述第一理想特征数据进行比对，以根据比对结果修正所述JDA检测器的模型。训练形成所述JDA检测器的模型的步骤，该步骤通过所述图像采集装置采集已知样本形成采样图像，已知样本对应有第一理想特征数据，通过JDA人脸识别跟踪方法检测器筛选采样图像并得到第一采样特征数据，通过比对第一理想数据与第一采样特征修正所述JDA人脸识别跟踪方法检测器的模型。包括如下三个子步骤，
训练JDA模型，使得本方法能够更快的检测出视频中的人脸位置，并且初始化被检测出来的人脸的特征点位置。准备训练数据并提取特征来训练JDA模型。
训练分类回归树，JDA模型训练分为T个阶段，每一阶段包含K棵分类回归树。对每棵树的非叶节点用一个概率p来决定使用分类节点还是回归节点，不同阶段的p乘线性关系即：p(t)＝1-0.1t,t＝1,…,T。构建分类节点,首先计算样本特征，形成两个一维特征向量，并计算特征范围，在特征范围内取N个阈值，计算每个阈值对应的误差：
error＝-fabs(wlp-wln)-fabs(wrp-wrn)
wlp为分到左边的正样本比例，wrp为分到右边的正样本比例，wln和wrn分别为分到左边、右边的负样本比例，可以获得一个弱分类器(特征+阈值)，这样进入当前节点的样本被分成两部分，特征值小于阈值部分和特征值大于阈值部分，把这两部分分别传递到当前节点的左子树根节点和右子树根节点，递归的分下去，直到不可分或者到达叶节点。
构建回归节点，利用具备真实形状的正样本来计算使偏移量方差最小的阈值作为弱分类器阈值。计算偏移量，选择一个标记点进行回归，标记点下标是决策树序号和特征点数量取余；计算该点人工标记坐标与估计坐标的差值(△x，△y)；选择阈值，计算小于阈值的正样本△x方差l_vx和△y方差l_vy，以及大于阈值的正样本△x方差r_vx，△y方差r_vy，则偏移量方差：
var＝lcount*(l_vx+l_vy)+rcount*(r_vx+r_vy)
lcount和rcount为对应二分样本数量；选择使var最小的最佳阈值。有了特征和分类阈值，可以把正负样本分为两部分，传递到左右子树继续分下去。构建叶子节点，当树的深度到达指定值时或者进入结点的样本数量小于指定值时就需要将结点构造为叶结点，叶结点的内容包含特征点偏移量和置信度增量。每个进入该叶节点的样本都要用估计形状加上偏移量。叶结点偏移量在全局回归时决定。置信度计算公式如下：
Figure PCTCN2017077976-appb-000001
yi＝1对应的正样本，yi＝-1对应的负样本，wi＝exp(-yifi)表示各个样本对应的权重，fi是该样本对应的置信度。
置信度排序，并根据召回率计算阈值下标；过滤正、负样本，小于阈值的 全部从样本中去除；通过之前的处理，负样本一般去除了很多，为了维持正负样本比例，需要扩充负样本，用已训练的决策树去检测负样本库，检测为正的负样本加入负样本集，直到达到指定比率；最后更新样本的权值，根据置信度计算权值后还要进行均衡，使得正负样本的权值和都为1。利用全局回归来计算当前级别的所有决策树的每一个叶节点的偏移量，然后分级按照之前的步骤进行训练，直到训练完JDA模型。
上述训练模型的步骤可以通过一处理器实现，通过在处理器中不断输入训练样本从而训练上述的JDA模型，训练完成后，将反映该JDA模型的数据保存或者输出，该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。
步骤S1，获取一帧图像，若被选取的该帧图像为初始的图像或上一帧图像的判断结果为丢失，则进入步骤S2；若否，则将上一帧图像中得到的第二特征数据作为输入数据带入步骤S3；判断图像是否为初始帧或者是否人脸跟踪丢失需要重检测，如果是则利用训练好的JDA模型来检测人脸并初始化关键点，并利用质心位置来判断人脸的朝向，在下文中提到。否则直接在上一帧图片的SDM算法筛选基础上利用质心位置来进行人脸朝向的判断。
上述图像获取和判断的步骤同样可以通过处理器实现，首先处理器预置有训练完成的JDA模型的数据，这样就可以通过该模型判断质心位置和人脸图像对应的数据，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。
步骤S2，通过JDA人脸识别跟踪方法检测器筛选所述图像中的人脸信息，并得到第一特征数据作为输入数据带入步骤S3；利用训练好的JDA模型来检测 人脸并初始化关键点，将图像缩放到指定的几个尺度，对每一个尺度，用训练时的样本尺寸大小作为滑动窗口大小，去检测当前尺度图像上的每一个图块是否为人脸，并将人脸框的坐标映射会原始图像坐标，极大值抑制，一张人脸通常会通过很多框检测出来，需要筛选置信度最大的框。获取所述人脸信息的步骤包括：步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的中心位置；步骤A3，利用所述人脸的中心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。包括如下步骤，1.计算样本标记点的最小外接矩形；2.计算外接矩形的最大边长与指定人脸边长的比例；3.根据比例来缩放人脸形状，并中心化人脸；4.统计所有通过缩放和中心化后的人脸样本的均值形状；5.计算输入人脸形状与均值形状之间的尺度变换，将输入人脸形状缩放到与均值形状同一尺度；6.计算质心坐标(cx,cy)；7.统计质心坐标的区间，以x坐标范围为例，用2个数(xl<xr)将质心坐标区间分为3块，当x<xl时判定朝向为左，xl<x<xr当时判定朝向为居中，当xr<x时判定朝向为右。
上述的步骤可以通过一处理器实现，而处理器配置有步骤S2中获取的质心位置和人脸图像对应的数据，并通过处理器内置的筛选算法进行筛选，将筛选得到的第一特征数据通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。
步骤S3，根据输入数据通过SDM算法筛选所述图像中的人脸信息，并得到第二特征数据，并进入步骤S4；在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；根据上一步骤中得到的人脸朝向选择要使用的人脸特征点检测模型，所述训练步骤中，任一的左侧脸对应的所述JDA人脸识别跟踪方法的模 型由右侧脸对应的所述JDA人脸识别跟踪方法的模型对称获得；或任一的右侧脸对应的所述JDA人脸识别跟踪方法的模型由左侧脸对应的所述JDA人脸识别跟踪方法的模型对称获得。这里根据上一帧得到的标注结果利用改进的SDM算法进行关键点的跟踪调整。显然，左右两侧人脸具有高度的对称性，因此我们只需要训练出左侧的模型，在使用时，朝向右前方的图像可利用左侧模型镜像翻转后的结果进行求解。SDM算法中采用NPD特征表示以关键点为中心的图像块。
上述的步骤可以通过一处理器实现，而处理器配置有输入数据，并通过处理器内置的SDM算法进行筛选，将筛选得到的第一特征数据通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。
步骤S4，计算该帧图像与上一帧图像的第二特征数据的误差，并通过该误差判断人脸是否丢失，得到丢失或未丢失的判断结果并进入步骤S1。
所述步骤S4可以通过以下两种方式实施，
方式一：所述步骤S4中配置有一误差阈值，若该帧图像与上一帧图像的第二特征数据的误差大于误差阈值时，则判断结果为未丢失。
方式二，步骤S4配置有一累加阈值及基准阈值，S41若该帧图像与上一帧图像的第二特征数据的误差小于误差阈值时，则基准阈值增加，S42当基准阈值大于累加阈值时，则判断结果为丢失；当基准阈值小于累加阈值时，则判断结果为未丢失。所述步骤S4中，若该帧图像与上一帧图像的第二特征数据的误差大于误差阈值时，所述基准阈值清零。判断人脸是否跟踪丢失，首先提取图像的NPD特征向量，采用逻辑回归算法，得到一个判断值，若判断值大于0.5(误差阈值)，判断人脸没有跟丢，累加阈值置为0，若值小于0.5(误差阈值)， 则判断人脸可能跟踪丢失，累加阈值的值加1，接着进行下一帧图像的处理。当累加阈值的值大于基准阈值时，确定人脸跟踪丢失，触发重检测，回到步骤S4，累加阈值的值重新置为0。
上述的步骤可以通过一处理器实现，而处理器配置有步骤S3中获取的第二特征数据，并通过处理器内置的预设算法进行判断，将判断得到的结果通过存储器进行存储或输出，将该数据进行存储或输出该处理器可以为电子设备中能够执行该步骤的微处理器或者其他类似的处理器。
步骤S2中，所述数据处理步骤包括S21比较第一特征数据中的每一特征值得到最小值，S22并得到最小值与每一其他特征值的差值得到处理后的第一特征数据，第一特征数据包括最小值以及最小值与每一特征值的差值。还包括数据处理步骤用于处理第二特征数据，步骤S3中，S31比较第二特征数据中的每一特征值得到最小值，S32并得到最小值与每一其他特征值的差值得到处理后的第二特征数据,第二特征数据包括了最小值与每一其他特征值的差值。为进一步减小人脸特征点检测模型的体积，本发明将训练好的模型做以下数据压缩处理。计算参数矩阵中数据的最大值、最小值以及它们之间的差值，将差值等分为256份，用相应的8bit二进制代码表示，根据每个数据与最小值的差，将数据映射为这256个二进制代码。在模型存储时，只用存储数据的最大值、最小值以及用8bit二进制代码表示的偏差矩阵即可，大大简化数据量。
上述方法可以直接通过硬件实现，例如通过处理芯片进行运算，将结果保存到存储器或输出到显示页面，以便后续设备和元件调用，也可以配置于智能终端从而起到人脸识别的效果。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范 围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

  1. 一种人脸识别跟踪方法，提供图像采集装置获取连续的若干帧图像，其特征在于，包括：
    步骤S1，获取一帧图像作为当前帧图像，并判断是否存在所述当前帧图像的上一帧图像：
    若是，则转向步骤S2；
    若否，则将所述上一帧图像中获取的第二特征数据作为输入数据，随后转向步骤S3；
    步骤S2，通过JDA检测器筛选所述当前帧图像中的人脸信息，并得到第一特征数据作为输入数据，随后转向步骤S3；
    步骤S3，根据所述输入数据，通过SDM算法筛选所述当前帧图像中的所述人脸信息，并得到所述第二特征数据；
    步骤S4，计算得到所述当前帧图像的所述第二特征数据与所述上一帧图像的所述第二特征数据之间的误差，并通过所述误差判断得到用于表示人脸是否丢失的判断结果，随后返回所述步骤S1。
  2. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，所述的人脸信息包括特征点坐标和人脸朝向。
  3. 根据权利要求2所述的一种人脸识别跟踪方法，其特征在于，获取所述人脸信息的步骤包括：
    步骤A1，获取所述当前帧图像中的所有特征点的所述特征点坐标；
    步骤A2，利用所述特征点坐标确定所述当前帧图像中的人脸的中心位置；
    步骤A3，利用所述人脸的中心位置与对应的所述特征点坐标的关系获得所述人脸朝向，以获取所述人脸信息。
  4. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，预设一误差阈值；
    则所述步骤S4中，将所述误差与所述误差阈值进行比较，并在所述误差大于所述误差阈值时判断所述人脸已经丢失。
  5. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，预设一误差阈值、一累加阈值以及一基准阈值；
    则所述步骤S4中，根据所述误差判断所述人脸是否丢失的步骤具体包括：
    步骤S41，判断所述误差是否小于所述误差阈值，并在所述误差小于所述误差阈值时将所述基准阈值加1；
    步骤S42，判断所述基准阈值是否大于所述累加阈值，并在所述基准阈值大于所述累加阈值时判断所述人脸已经丢失。
  6. 根据权利要求5所述的一种人脸识别跟踪方法，其特征在于，所述步骤S41中，若所述误差大于所述误差阈值时，则将所述基准阈值清零。
  7. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，所述步骤S2中，在得到所述第一特征数据后，还包括对所述第一特征数据进行处理的步骤：
    步骤S21，比较所述第一特征数据中的每一特征值以得到最小值；
    步骤S22，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第一特征数据。
  8. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，所述步骤S3中，在得到所述第二特征数据后，还包括对所述第二特征数据进行处理的步骤：
    步骤S31，比较所述第二特征数据中的每一特征值以得到最小值；
    步骤S32，将所述最小值分别与每一所述特征值进行比较后得到相应的差值，以得到经过处理的所述第二特征数据。
  9. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，在进行人脸识别跟踪前，预先训练形成所述JDA检测器的模型；
    训练形成所述JDA检测器的模型的步骤具体包括：
    步骤B1，采集得到多个训练样本图像，每个所述训练样本图像中包括对应的第一理想特征数据；
    步骤B2，通过所述JDA检测器筛选所述训练样本图像以得到第一采样特征数据；
    步骤B3，将所述第一采样特征数据与所述第一理想特征数据进行比对，以根据比对结果修正所述JDA检测器的模型。
  10. 根据权利要求1所述的一种人脸识别跟踪方法，其特征在于，任一的左侧脸对应的所述JDA检测器的模型由右侧脸对应的所述JDA检测器的模型对称获得；或者
    任一的右侧脸对应的所述JDA检测器的模型由左侧脸对应的所述JDA检测器的模型对称获得。
PCT/CN2017/077976 2017-03-20 2017-03-24 一种人脸识别跟踪方法 WO2018170864A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710165985.7A CN106934381B (zh) 2017-03-20 2017-03-20 一种人脸识别跟踪方法
CN201710165985.7 2017-03-20

Publications (1)

Publication Number Publication Date
WO2018170864A1 true WO2018170864A1 (zh) 2018-09-27

Family

ID=59432579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/077976 WO2018170864A1 (zh) 2017-03-20 2017-03-24 一种人脸识别跟踪方法

Country Status (2)

Country Link
CN (1) CN106934381B (zh)
WO (1) WO2018170864A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
CN110276257A (zh) * 2019-05-20 2019-09-24 阿里巴巴集团控股有限公司 人脸识别方法、装置、系统、服务器及可读存储介质
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN111079686A (zh) * 2019-12-25 2020-04-28 开放智能机器（上海）有限公司 一种单阶段的人脸检测和关键点定位方法及系统
CN111104822A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 人脸朝向识别方法、装置及电子设备
CN111738120A (zh) * 2020-06-12 2020-10-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN111753793A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 模型训练方法、装置、人脸筛选方法及电子设备
CN111860440A (zh) * 2020-07-31 2020-10-30 广州繁星互娱信息科技有限公司 人脸特征点的位置调整方法、装置、终端及存储介质
CN112016508A (zh) * 2020-09-07 2020-12-01 杭州海康威视数字技术股份有限公司 人脸识别方法、装置、系统、计算设备及存储介质
CN113269006A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种目标追踪方法及装置
CN114332984A (zh) * 2021-12-06 2022-04-12 腾讯科技（深圳）有限公司 训练数据处理方法、装置和存储介质
CN115394048A (zh) * 2022-08-29 2022-11-25 歌尔科技有限公司 一种防丢失方法、装置及头戴显示设备
CN116309350A (zh) * 2023-02-15 2023-06-23 深圳市巨龙创视科技有限公司 人脸检测方法及系统
WO2023142419A1 (zh) * 2022-01-29 2023-08-03 上海商汤智能科技有限公司 人脸跟踪识别方法、装置、电子设备、介质及程序产品

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN108717522A (zh) * 2018-04-18 2018-10-30 上海交通大学 一种基于深度学习和相关滤波的人体目标跟踪方法
CN108960097B (zh) * 2018-06-22 2021-01-08 维沃移动通信有限公司 一种获取人脸深度信息的方法及装置
CN112562159B (zh) * 2020-11-24 2022-10-14 恒安嘉新（北京）科技股份公司 一种门禁控制方法、装置、计算机设备和存储介质
CN114596687A (zh) * 2020-12-01 2022-06-07 咸瑞科技股份有限公司 车内驾驶监测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469056A (zh) * 2015-11-26 2016-04-06 小米科技有限责任公司 人脸图像处理方法及装置
CN106295511A (zh) * 2016-07-26 2017-01-04 北京小米移动软件有限公司 人脸跟踪方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992452B (zh) * 2015-06-25 2019-02-22 中国计量学院 基于热成像视频的飞行目标自动跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469056A (zh) * 2015-11-26 2016-04-06 小米科技有限责任公司 人脸图像处理方法及装置
CN106295511A (zh) * 2016-07-26 2017-01-04 北京小米移动软件有限公司 人脸跟踪方法及装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104822A (zh) * 2018-10-25 2020-05-05 北京嘀嘀无限科技发展有限公司 人脸朝向识别方法、装置及电子设备
CN111104822B (zh) * 2018-10-25 2023-09-19 北京嘀嘀无限科技发展有限公司 人脸朝向识别方法、装置及电子设备
CN110276257A (zh) * 2019-05-20 2019-09-24 阿里巴巴集团控股有限公司 人脸识别方法、装置、系统、服务器及可读存储介质
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
CN110136229B (zh) * 2019-05-27 2023-07-14 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
CN110969110A (zh) * 2019-11-28 2020-04-07 杭州趣维科技有限公司 一种基于深度学习的人脸跟踪方法及系统
CN110969110B (zh) * 2019-11-28 2023-05-02 杭州小影创新科技股份有限公司 一种基于深度学习的人脸跟踪方法及系统
CN111079686A (zh) * 2019-12-25 2020-04-28 开放智能机器（上海）有限公司 一种单阶段的人脸检测和关键点定位方法及系统
CN111079686B (zh) * 2019-12-25 2023-05-23 开放智能机器（上海）有限公司 一种单阶段的人脸检测和关键点定位方法及系统
CN113269006A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种目标追踪方法及装置
CN111738120B (zh) * 2020-06-12 2023-12-05 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN111738120A (zh) * 2020-06-12 2020-10-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN111753793B (zh) * 2020-06-30 2022-11-22 重庆紫光华山智安科技有限公司 模型训练方法、装置、人脸筛选方法及电子设备
CN111753793A (zh) * 2020-06-30 2020-10-09 重庆紫光华山智安科技有限公司 模型训练方法、装置、人脸筛选方法及电子设备
CN111860440A (zh) * 2020-07-31 2020-10-30 广州繁星互娱信息科技有限公司 人脸特征点的位置调整方法、装置、终端及存储介质
CN112016508B (zh) * 2020-09-07 2023-08-29 杭州海康威视数字技术股份有限公司 人脸识别方法、装置、系统、计算设备及存储介质
CN112016508A (zh) * 2020-09-07 2020-12-01 杭州海康威视数字技术股份有限公司 人脸识别方法、装置、系统、计算设备及存储介质
CN114332984A (zh) * 2021-12-06 2022-04-12 腾讯科技（深圳）有限公司 训练数据处理方法、装置和存储介质
CN114332984B (zh) * 2021-12-06 2024-04-12 腾讯科技（深圳）有限公司 训练数据处理方法、装置和存储介质
WO2023142419A1 (zh) * 2022-01-29 2023-08-03 上海商汤智能科技有限公司 人脸跟踪识别方法、装置、电子设备、介质及程序产品
CN115394048A (zh) * 2022-08-29 2022-11-25 歌尔科技有限公司 一种防丢失方法、装置及头戴显示设备
CN116309350A (zh) * 2023-02-15 2023-06-23 深圳市巨龙创视科技有限公司 人脸检测方法及系统
CN116309350B (zh) * 2023-02-15 2023-09-22 深圳市巨龙创视科技有限公司 人脸检测方法及系统

Also Published As

Publication number Publication date
CN106934381A (zh) 2017-07-07
CN106934381B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
WO2018170864A1 (zh) 一种人脸识别跟踪方法
CN109255352B (zh) 目标检测方法、装置及系统
WO2020125216A1 (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN106815859B (zh) 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN110826519A (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
CN107633226B (zh) 一种人体动作跟踪特征处理方法
US20070189584A1 (en) Specific expression face detection method, and imaging control method, apparatus and program
WO2015070764A1 (zh) 一种人脸定位的方法与装置
TW200910223A (en) Image processing apparatus and image processing method
CN110008844B (zh) 一种融合slic算法的kcf长期手势跟踪方法
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN107798308B (zh) 一种基于短视频训练法的人脸识别方法
CN108108760A (zh) 一种快速人脸识别方法
CN107679469A (zh) 一种基于深度学习的非极大值抑制方法
CN110826558A (zh) 图像分类方法、计算机设备和存储介质
CN112149601A (zh) 兼容遮挡的面部属性识别方法、装置和电子设备
CN113269010A (zh) 一种人脸活体检测模型的训练方法和相关装置
CN111476070A (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN116704490A (zh) 车牌识别方法、装置和计算机设备
CN113706580B (zh) 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质
CN110866500A (zh) 人脸检测对齐系统、方法、装置、平台、移动终端和存储介质
CN105184275B (zh) 基于二值决策树的红外局部人脸关键点获取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901704

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901704

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17901704

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/05/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17901704

Country of ref document: EP

Kind code of ref document: A1