WO2017190574A1 - 一种基于聚合通道特征的快速行人检测方法 - Google Patents

一种基于聚合通道特征的快速行人检测方法 Download PDF

Info

Publication number
WO2017190574A1
WO2017190574A1 PCT/CN2017/079519 CN2017079519W WO2017190574A1 WO 2017190574 A1 WO2017190574 A1 WO 2017190574A1 CN 2017079519 W CN2017079519 W CN 2017079519W WO 2017190574 A1 WO2017190574 A1 WO 2017190574A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
pedestrian
channel
decision tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/079519
Other languages
English (en)
French (fr)
Inventor
王文敏
黄颖
王荣刚
李革
董胜富
王振宇
李英
赵辉
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Publication of WO2017190574A1 publication Critical patent/WO2017190574A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Definitions

  • the invention belongs to the field of computer vision technology and relates to a pedestrian detection method, in particular to a fast pedestrian detection method based on an aggregate channel feature, which calibrates an accurate position of a pedestrian existing therein for an input image or video.
  • pedestrian detection problem exists as its sub-problem, which refers to the process of calibration of pedestrian position in input image or video through a series of automated processing procedures.
  • the position calibration is represented by a rectangular box, and the coordinate information of the upper left corner and the lower right corner of the rectangular frame (or the length and width of the rectangular frame) needs to be given.
  • the final detection effect is affected by the attitude of the pedestrian in the input image, the intensity of the illumination, whether there is occlusion, the change of the scene, and the shooting angle. Therefore, it is important to use a robust method to detect pedestrians present in an image (or video) input.
  • the robot can sense the surrounding conditions; the drone can track the specific pedestrians or complete the automatic delivery; the driverless can be based on the distance of the pedestrians entering the middle distance Pre-judgment and effective avoidance in advance to improve the safety of driverless driving; in the field of mobile payment, biometrics can also be used for identity verification; for multimedia websites, automatic information filtering can be realized, saving a lot of manpower and material resources, and simultaneously evolving the network environment.
  • the present invention provides a fast pedestrian detection method based on the characteristics of an aggregate channel. Pre-calibration by aggregating multiple channel feature information in the input video and/or image, selecting features with better recognition ability as the discriminating basis for the presence of pedestrians, increasing the robustness of the method, and then using convolutional neuron network classification
  • the device further filters each position of the previous calibration to improve the accuracy of detecting pedestrians in the input video and images, and provides basic technical support for intelligent monitoring and other fields.
  • the principle of the present invention is that for an input image or video, pedestrian detection requires calibration of the exact location of the pedestrians present therein.
  • the present invention first aggregates multiple channel feature information in the input video and/or image to obtain an aggregate channel feature.
  • C ⁇ (I).
  • the color image contains three color channels of RGB, and can also calculate its corresponding gray channel or CIELUV (luminance in color space (L) And chroma (U, V) channels, also known as LUV channels).
  • the first-order channel feature can be defined as the sum of pixels of a certain input channel in a certain area, represented by f(C).
  • the high-order channel feature is defined as the result calculated by superimposing any number of first-order channel features on each other.
  • the resulting result vector is called the aggregate channel feature and can be used as a feature representation of a certain region of the input image.
  • the image pyramid in the scale space is constructed, and the image of each corresponding channel feature is calculated for each scale.
  • a fast algorithm is used to construct the image feature pyramid in the calculation process.
  • the feature image of the original scale is obtained by scale scaling. Each channel feature image of the image on the scale.
  • the present invention detects the presence of pedestrians in a picture or video by using a convolutional neuron network as a classifier model to screen each of the marked pedestrian locations.
  • a fast pedestrian detection method based on the characteristics of the aggregate channel including a pre-position calibration process and a post-position screening process; aggregating multiple channel feature information in the input video or image to construct an image pyramid of the input image or video in the scale space, Each scale calculates the image of each channel feature, identifies the feature as the basis for pedestrian discrimination, and initially extracts the pedestrian position.
  • the post-position screening process uses the convolutional neuron network classifier to further filter each position of the previous calibration to improve the input.
  • step 2) according to the feature image pyramid obtained in step 2), using the feature image of all the channels in the image or the image to be recognized in the image or video, and expressing the region as a feature vector of the uniform dimension as Aggregation channel feature;
  • step 4 Using the decision tree model for training, automatically selecting the pedestrian identification feature from the feature vector in step 3 as the criterion, training the decision tree classifier, and scanning the sliding window to position the pedestrians of different scales, and calibrating the position. Expressed as adding a label to the area where the window is located;
  • step 4) Each position obtained in step 4) is screened using a convolutional neuron network model to obtain the final test result.
  • the multi-channel includes an LUV channel, a gradient direction channel, and a gradient amplitude channel.
  • step 2) specifically constructs a feature image pyramid of the input image in the scale space by means of up-sampling the input image.
  • the feature image pyramid includes five scales; the channel is eight; and the aggregate channel feature is specifically obtained by the following operation: :
  • the training decision tree classifier is specifically: in the training process using the decision tree model, calculating the feature of each dimension in the feature vector The information gain is obtained, the information gain is sorted, the feature with the largest information gain is selected in turn, and the pedestrian identification feature with the strongest discriminating ability is represented, and the pedestrian identification feature is used as the node of the decision tree to obtain the decision tree classification.
  • Device for the fast pedestrian detection method based on the aggregate channel feature, the step 4) the training decision tree classifier is specifically: in the training process using the decision tree model, calculating the feature of each dimension in the feature vector The information gain is obtained, the information gain is sorted, the feature with the largest information gain is selected in turn, and the pedestrian identification feature with the strongest discriminating ability is represented, and the pedestrian identification feature is used as the node of the decision tree to obtain the decision tree classification.
  • the training decision tree classifier is specifically: in the training process using the decision tree model, calculating the feature of each dimension in the feature vector The information gain is obtained, the information gain is sorted, the feature with the largest information
  • the decision tree model is specifically an iterative transform algorithm, and the input is a training set D, a feature set X, and a threshold ⁇ , and the output is a decision tree T; the iterative transform algorithm performs the following operations to obtain a decision tree classifier. :
  • step 42 Sorting the information gains obtained by the different feature vectors obtained in step 41), selecting the feature vector with the largest information gain as the pedestrian identification feature, and using the pedestrian identification feature as the node of the decision tree to obtain the decision tree classifier .
  • step 4 the labeling form (x, y, w, h), where (x, y) is the coordinate of the upper left corner of the region, (w, h) is the width and height of the area.
  • each of the positions obtained in step 4) is filtered using the convolutional neuron network model in step 5), and the convolutional neuron network classification model adopts AlexNet.
  • the network structure includes five volume base layers and two fully connected layers; all the marked areas in the image obtained in step 4) are re-classified using the AlexNet network, and pedestrians are marked to complete pedestrian detection.
  • the reclassifying includes the following steps:
  • step 52 inputting a 4096-dimensional feature vector of step 51) through a classification layer Softmax layer, and outputting a 2-dimensional vector;
  • the first dimension in the output vector indicates a probability that the region r is recognized as a pedestrian, the output
  • the second dimension in the vector indicates that the region r identifies a probability that it is not a pedestrian;
  • the setting value of step 53) is 0.9.
  • a fast pedestrian detection method based on the characteristics of an aggregate channel including a pre-position calibration process and a post-position screening process; aggregating multiple channel feature information in an input video or image to construct an image of an input image or video in a scale space Pyramid, calculate the image of each channel feature for each scale, identify the feature as the basis for pedestrian discrimination, and initially extract the pedestrian position; the post-position screening process uses the convolutional neuron network classifier to further screen each position of the previous calibration. Improve the accuracy of detecting pedestrians in input video and images.
  • the technical solution of the present invention has the following characteristics:
  • the present invention utilizes information of a plurality of channel features in an input, so that when there is a lot of training data, the classifier can automatically select a feature with better recognition ability as a discriminant whether a pedestrian may exist at a certain location.
  • the discriminant basis increases the robustness of the method.
  • the present invention uses a convolutional neuron network classifier to further screen each position of the previous calibration, thereby improving the detection accuracy.
  • FIG. 1 is a flow chart of a fast pedestrian detection method based on an aggregate channel feature provided by the present invention.
  • FIG. 2 is a schematic diagram of position calibration of pedestrians of different sizes by sliding window scanning according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of an aggregation channel used in an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of constructing a feature image pyramid in a scale space according to a multi-channel feature image according to an embodiment of the present invention
  • (a) is the image of the original scale gradient amplitude channel;
  • (b) is (a) the image of the gradient magnitude channel corresponding to the scale after 75% scaling;
  • (c) is (a) scaling 50% or corresponding scale The image of the gradient magnitude channel;
  • (d) is the image of the gradient magnitude channel on the corresponding scale after (a) scaling by 25%.
  • FIG. 5 is a schematic diagram of generating an image region block feature vector using a multi-channel feature image according to an embodiment of the present invention
  • (a) is an input image
  • (b)-(i) corresponds to each channel illustrated in FIG. 3, including an LUV channel, a gradient direction channel, and a gradient amplitude channel, and a rectangular frame is used to mark the area to be identified
  • (i) is the aggregate channel feature of the area to be identified in the image.
  • FIG. 6 is a schematic diagram of a process of classifying a pedestrian position extracted in the early stage using a convolutional neuron network according to an embodiment of the present invention.
  • FIG. 7 is a comparison diagram of performance indicators of the method of the present invention and other existing methods on an INRIA pedestrian data set according to an embodiment of the present invention
  • the abscissa is the average number of false detections, the unit is one/frame; the ordinate is the missed detection rate, the unit is %; OURs is the hair
  • FIG. 1 is a flow chart of a fast pedestrian detection method based on the aggregation channel feature in the embodiment of the present invention.
  • Pre-calibration by aggregating multiple channel feature information in the input video and/or image; by constructing an image pyramid of the input image or video in the scale space, calculating the image of each corresponding channel feature for each scale;
  • the characteristics of good recognition ability are used as the basis for discriminating pedestrians, which increases the robustness of the method and preliminarily extracts the pedestrian position.
  • the post-position screening process uses the convolutional neuron network classifier to further screen each position of the previous calibration, and improve the pair.
  • Input video and image Pedestrian detection accuracy providing basic technical support for areas such as intelligent monitoring.
  • the image scale space pyramid is a set of images obtained by scaling an image, and they are mappings of input images under different distances and different sharpness conditions.
  • the convolutional neuron network is a classifier model used in computer vision to distinguish different types of pictures.
  • FIG. 2 is a schematic diagram of position calibration of pedestrians of different sizes by sliding window scanning according to an embodiment of the present invention. .
  • the invention provides a fast pedestrian detection method based on the characteristics of the aggregation channel. In the specific implementation, the method mainly comprises the following steps (see FIG. 1):
  • FIG. 3 shows the aggregation channel feature used in the present embodiment, wherein (a) is the input image (b) an image of the L color channel; (c) an image of the U color channel; (d) an image of the V color channel; (e) an image of the gradient magnitude channel; (f) the first gradient An image of the directional channel; (g) an image of the channel in the second gradient direction; (h) an image of the channel in the third gradient direction; (i) an image of the channel in the fourth gradient direction.
  • FIG. 4 is an embodiment of the present invention according to the multi-channel feature image in the scale space.
  • Constructing a schematic diagram of the feature image pyramid wherein (a) is an image of the original scale gradient magnitude channel; (b) is (a) an image of the gradient magnitude channel corresponding to the scale after scaling by 75%; (c) is (a) Scaling the image of the gradient amplitude channel by 50% or corresponding scale; (d) is the image of the gradient magnitude channel on the corresponding scale after (a) scaling by 25%.
  • FIG. 5 illustrates that the present embodiment uses each channel feature image to generate an image region block feature vector; wherein (a) is an input image; (b)-(i) corresponds to each channel illustrated in FIG. 3, including an LUV channel and a gradient direction channel. ((f)-(i) in the figure shows 4 of the 6 gradient direction channels as an example) and the gradient amplitude channel, while the area to be identified is marked with a rectangular frame; (j) is the area to be identified in the image Aggregate channel characteristics. In this embodiment, for image areas of different sizes, they are normalized to a vector of 128x64 dimensions for representation.
  • the embodiment of the present invention adopts the Iterative Dichotomiser 3 (ID3) algorithm) to automatically select the feature with the discriminative ability (pedestrian identification feature) as the criterion, and obtain the decision tree classifier by sliding.
  • the window scan performs position calibration on pedestrians of different sizes to obtain a position where pedestrians may appear in the image to be tested;
  • the ID3 algorithm first calculates the information gain g(D,X i ) (also known as mutual information) brought by the training feature D for each dimension feature X i in the feature vector, by the following formula (Formula 1) ) Calculated:
  • the decision tree classifier is obtained.
  • the input of ID3 algorithm is training set D, feature set X and threshold ⁇ , and the output is decision tree T.
  • the specific calculation process is as follows:
  • T is a single-node tree, and C k is used as the class mark of the node, and T is returned;
  • T is a single-node tree, and the class C k with the largest number of instances in D is used as the class mark of the node, and returns T;
  • the current pending area is obtained by sliding the window, and the trained decision tree model is used to determine whether the area is a pedestrian. If the result is positive, the label is added to the area where the window is located, and the labeling form is (x, y, w, h), where (x, y) is the coordinate of the upper left corner of the region, and (w, h) is the width and height of the region;
  • the region is reclassified using the convolutional neuron network classification model for all labeled regions in the image obtained in the previous step.
  • the invention adopts the AlexNet network structure in the experiment (the actual implementation process is not limited to the network structure), and there are five convolution layers in the network: convolution layer 1, (conv1, containing 96 11x11x3 convolution kernels), volume Stack 2 (conv2, containing 256 5x5 convolution kernels), convolution layer 3 (conv3, containing 384 3x3 convolution kernels), convolution layer 4 (conv4, containing 384 3x3 convolution kernels), Convolution layer 5 (conv5, containing 256 3x3 convolution kernels); two fully connected layers: fully connected layer 1 (fc1, input is a 6 ⁇ 6 ⁇ 256-dimensional convolution feature vector, output is 4096 dimensions) and Fully connected layer 2 (fc2, both input and output are 4096 dimensions).
  • a feature vector of 4096 dimensions (fc2 output dimension) will be obtained as the feature expression of this region, and the expression is used to pass through a classification layer ( Softmax layer, which is added according to the task of the present invention, whose input is 4096 dimensions output by the fc2 layer Vector, the output is a 2-dimensional vector.
  • Softmax layer which is added according to the task of the present invention, whose input is 4096 dimensions output by the fc2 layer Vector, the output is a 2-dimensional vector.
  • the range of each dimension in the output vector is in the range [0,1], where the first dimension represents the probability of the pedestrian as the region, and the second dimension represents that the region is not a pedestrian. Probability) to get a view of whether the area is a pedestrian.
  • FIG. 6 is a schematic diagram of a process of classifying a pedestrian position extracted in the early stage using a convolutional neuron network according to an embodiment of the present invention.
  • the region with the obtained probability value greater than 0.9 is marked as a pedestrian, and the labeling form is (x, y, w, h, s), where (x, y, w, h) is marked in step 4.
  • the meaning is the same, s is the obtained probability value, and the final test result is obtained.
  • the color feature channel of the input image specifically using the CIELUV color space of the image instead of the original RGB space, because the change of illumination in the CIELUV color space has less interference to the extracted features.
  • the gradient direction calculated by each point it is quantized into six angular ranges, and weighted by the direction gradient magnitude to obtain feature channels of six gradient directions.
  • the six angle ranges are:
  • the gradient magnitude itself is also used as a feature channel alone. Therefore, data having a total of ten feature channels is input as its characteristic representation.
  • the False Positive Per Image (FPPI) and Missing Rate (Miss rate) indicators are used as the final evaluation indicators.
  • the missed detection rate of each image is How much, the lower the indicator value, the better the detection performance of the algorithm.
  • Figure 7 shows the comparison of the results of the detection performance index of the present invention with other mature algorithms under the general INRIA pedestrian data set, wherein the abscissa is the average number of false detections (unit: frame/frame), and the ordinate is the missed detection rate (%). ).
  • OURs is the detection performance of the method of the present invention.
  • the detection performance of the OURs method of the present invention is superior to that of VJ (the method used in OpenCV), the Histogram of Gradient (HOG) algorithm, and the aggregation channel feature ( Aggregate Channel Features (ACF) algorithm detection performance.
  • VJ the method used in OpenCV
  • HOG Histogram of Gradient
  • ACF Aggregate Channel Features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种基于聚合通道特征的快速行人检测方法，包括前期位置标定过程和后期位置筛选过程；前期位置标定过程聚合输入视频或图像中的多个通道特征信息，构建输入图像或视频在尺度空间中的图像金字塔，对每个尺度计算各个通道特征的图像，识别作为存在行人判别依据的特征，初步提取行人位置；后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，进一步检测图片或视频中出现的行人，得到检测结果。采用本发明技术方案，在训练数据量大时，分类器可自动选择出具有较好识别能力的特征，作为行人判别依据，方法的鲁棒性高；也提高了行人检测的精度。

Description

一种基于聚合通道特征的快速行人检测方法 技术领域
本发明属于计算机视觉技术领域，涉及行人检测方法，尤其涉及一种基于聚合通道特征的快速行人检测方法，针对输入图像或视频，标定其中存在的行人的准确位置。
背景技术
在计算机视觉的研究中，对象检测技术有着比较长的研究历史，其中行人检测问题作为其子问题而存在，是指通过一系列自动化的处理流程完成输入图像或者视频中所存在行人位置标定的过程，其中位置标定由一个矩形框来表示，需要给出该矩形框的左上角和右下角(或矩形框的长、宽)的坐标信息。由于输入图像中行人的姿态、光照的强弱、是否有遮挡、场景的变换以及拍摄角度的不同，都会影响最终的检测效果。因此，使用一种鲁棒的方法检测图像(或视频)输入中存在的行人显得非常重要。
通过获得图像或视频中所包含行人的准确定位，机器人将可以感知周围的状况；无人机可以对特定行人进行跟踪拍摄，或者完成自动送货；无人驾驶则可以根据输入中距离行人的远近提前预判并进行有效避让，提高无人驾驶的安全性；在移动支付领域也可以通过生物特征来完成身份验证；对于多媒体网站则可以实现信息自动过滤，节省大量的人力物力，同时进化网络环境；特别是在公共安全领域，近年来随着恐怖事件的频繁发生而加大了人们对于智能安全系统建设的需求，而行人对象识别与检测技术就可以为其提供基础性的支持，使得对监控视频中的语义信息做进一步筛选成为可能，并在公共安全遭受损害前提前预警，在危机事件发生后对于危险分子快速定位，防止事件蔓延，因此该技术应用范围将非常广阔。
在行人检测的研究历程中出现了很多优秀算法。使用梯度直方图(Histogram of Gradient,HOG)特征加支持向量机(Support Vector Machine,SVM)的滑动窗口算法能够较好的克服光照的影响，因此应用较为广泛，但其在处理遮挡问题时表现不佳。Felzenszwalb和Girshick等人通过研究发现，可以使用局部可形变模型(Deformable Part Model,DPM)来描述待检测行人各个部位以及整体之间的关系，从而可以有效克服遮挡问题，但是该方法计算过程较为复杂，运行速度较慢。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于聚合通道特征的快速行人检测方法， 前期标定通过聚合输入视频和/或图像中的多个通道特征信息，选择出具有较好识别能力的特征作为存在行人的判别依据，增加了方法的鲁棒性，再使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高对输入视频和图像中行人进行检测的精度，为智能监控等领域提供基础性技术支持。
本发明的原理是：针对输入图像或视频，行人检测即需要标定其中存在的行人的准确位置，本发明首先聚合输入视频和/或图像中的多个通道特征信息，获取聚合通道特征。通道特征是指对于原始输入图像的某种输出响应，用公式C＝Ω(I)来表示。对于灰度图像而言，可以认为其本身即为最朴素的通道，而彩色图像包含了RGB三个颜色通道，同时也可以计算其对应的灰度通道或者CIELUV(色彩空间中的亮度(L)和色度(U,V)通道，也称LUV通道)。在此基础上，一阶通道特征可以定义为对某个输入通道在一定区域的像素之和，用f(C)表示。而高阶通道特征则定义为使用任意多幅一阶通道特征相互叠加后计算出的结果。利用不同通道的特征进行组合，所得到的结果向量称为聚合通道特征，可作为输入图像某一个区域的特征表示。然后，对于输入图像或者视频，构建其在尺度空间中的图像金字塔，对每个尺度计算其对应的各个通道特征的图像。但是，如果每个尺度的特征图像都要重复计算的话，将会非常耗时，因此，在计算过程中使用快速算法来构建图像特征金字塔，本发明中采用原始尺度的特征图像通过尺度缩放得到该尺度上图像的各个通道特征图像。之后，通过训练决策树模型(使用迭代变换(Iterative Dichotomiser 3,ID3)算法)，从所有特征通道中自动选择出具有较好鉴别能力的特征，作为行人的分类依据，并通过该分类器提取各个尺度中行人可能出现的位置，在原始输入的尺度空间中进行标注，完成行人位置的初步提取。最后，本发明通过采用卷积神经元网络作为分类器模型，筛选所标注的每个行人位置，检测图片或视频中出现的行人。
本发明提供的技术方案是：
一种基于聚合通道特征的快速行人检测方法，包括前期位置标定过程和后期位置筛选过程；聚合输入视频或图像中的多个通道特征信息，构建输入图像或视频在尺度空间中的图像金字塔，对每个尺度计算各个通道特征的图像，识别作为存在行人判别依据的特征，初步提取行人位置；后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高对输入视频和图像中行人进行检测的精度；具体包括如下步骤：
1)对每幅输入图像或视频，计算得到所述图像或视频的多通道的特征图像；
2)构建特征图像金字塔：利用步骤1)计算出的特征图像，得到所述图像或视频在尺度 空间内的特征图像金字塔；
3)根据步骤2)得到的特征图像金字塔，对所述图像或视频中待识别的图像目标区域，使用所述区域内所有通道的特征图像，将所述区域表示为统一维度的特征向量，作为聚合通道特征；
4)使用决策树模型进行训练，从步骤3所述特征向量中自动选择出行人鉴别特征作为判别标准，训练得到决策树分类器，通过滑动窗口扫描对不同尺度大小的行人进行位置标定，标定位置表示为在窗口所在区域添加标注；
5)使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选，得到最后的检测结果。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，所述多通道包括LUV通道、梯度方向通道和梯度幅值通道。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，步骤2)具体通过对所述输入图像进行上下采样的方法，构建得到所述输入图像在尺度空间内的特征图像金字塔。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，步骤3)中，所述特征图像金字塔中包含的尺度为五个；所述通道为八个；所述聚合通道特征具体通过如下操作得到：
设定输入图像为I；待识别图像区域为R，在I的特征图像金字塔中包含五个尺度，记为L1,L2,...,L5；各个尺度上八个特征通道的图像记为Pxy(x＝1,...,5；y＝1,...,8)，每个尺度上待识别图像区域R对应的区域记为r1,r2,...,r5；设i＝1..5，对尺度Li下的区域ri，将所述各通道图像Piy(y＝1,...,8)上的相应区域列在一起，形成区域ri的聚合通道特征。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，步骤4)所述训练得到决策树分类器具体为：在使用决策树模型进行训练过程中，计算特征向量中每个维度的特征所带来的信息增益，对信息增益进行排序，依次选取出当前信息增益最大的特征，代表鉴别能力最强的行人鉴别特征，将所述行人鉴别特征作为所述决策树的结点，得到决策树分类器。
在本发明实施例中，所述决策树模型具体为迭代变换算法，输入为训练集D、特征集X和阈值ε，输出为决策树T；所述迭代变换算法执行如下操作得到决策树分类器：
41)通过式1计算得到特征向量中每个维度的特征Xi为训练集D所带来的信息增益 g(D,Xi)：
g(D,Xi)＝H(D)-H(D|Xi)          (式1)
式1中，
Figure PCTCN2017079519-appb-000001
为训练数据集D本身的熵，其中pk为训练数据集D中第k个类别出现的概率，k只有两个取值，k＝1代表行人和k＝2代表非行人；
Figure PCTCN2017079519-appb-000002
为特征Xi给定条件下训练集D的条件熵；
42)对步骤41)得到的不同特征向量所得信息增益进行排序，选取出信息增益最大的特征向量作为行人鉴别特征，将所述行人鉴别特征作为所述决策树的结点，得到决策树分类器。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，步骤4)所述标注形式(x,y,w,h),其中(x，y)为所述区域左上角的坐标，(w,h)为所述区域的宽度和高度。
针对上述基于聚合通道特征的快速行人检测方法，进一步地，步骤5)所述使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选，所述卷积神经元网络分类模型采用AlexNet网络结构，包括五个卷基层和两个全连接层；通过对步骤4)得到的图像中所有添加标注的区域，使用所述AlexNet网络进行再次分类，标注出行人，完成行人检测。
更进一步地，所述再次分类包括如下步骤：
51)通过所述AlexNet网络的五个卷基层将要分类的每个区域r表示成一个4096维的向量，作为区域r的特征向量；
52)通过一个分类层Softmax层，输入步骤51)所述4096维的特征向量，输出一个2维向量；所述输出向量中的第一维表示所述区域r识别为行人的概率，所述输出向量中的第二维表示所述区域r识别不为行人的概率；
53)通过设定概率阈值，确定所述区域r是否为行人，完成行人检测。
在本发明实施例中，步骤53)所述设定值为0.9。
与现有技术相比，本发明的有益效果是：
一种基于聚合通道特征的快速行人检测方法，包括前期位置标定过程和后期位置筛选过程；聚合输入视频或图像中的多个通道特征信息，构建输入图像或视频在尺度空间中的图像 金字塔，对每个尺度计算各个通道特征的图像，识别作为存在行人判别依据的特征，初步提取行人位置；后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高对输入视频和图像中行人进行检测的精度。与现有技术相比，本发明技术方案具有如下特点：
(一)本发明利用了输入中的多个通道特征的信息，因此在拥有很多训练数据时，分类器可以自动选择出具有较好识别能力的特征，将其作为判别某个位置是否可能存在行人的判别依据，增加了方法的鲁棒性。
(二)本发明在得到最终结果前，使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高了检测精度。
附图说明
图1是本发明提供的基于聚合通道特征的快速行人检测方法的流程框图。
图2是本发明实施例通过滑动窗口扫描对不同尺度大小的行人进行位置标定示意图。
图3是本发明实施例使用到的聚合通道特征；
其中，(a)为输入的图像；(b)为L颜色通道的图像；(c)为U颜色通道的图像；(d)为V颜色通道的图像；(e)为梯度幅值通道的图像；(f)为第一个梯度方向通道的图像；(g)为第二个梯度方向通道的图像；(h)为第三个梯度方向通道的图像；(i)为第四个梯度方向通道的图像。
图4是本发明实施例根据多通道特征图像在尺度空间构建得到特征图像金字塔的示意图；
其中，(a)是原始尺度梯度幅值通道的图像；(b)是(a)缩放75％后对应尺度上梯度幅值通道的图像；(c)是(a)缩放50％或对应尺度上梯度幅值通道的图像；(d)是(a)缩放25％后对应尺度上梯度幅值通道的图像。
图5是本发明实施例使用多通道特征图像生成图像区域块特征向量的示意图；
其中，(a)是输入图像；(b)-(i)对应图3说明的各个通道，包括LUV通道、梯度方向通道和梯度幅值通道，同时用矩形框标注出其中待识别区域；(j)是图像中待识别区域的聚合通道特征。
图6是本发明实施例使用卷积神经元网络对前期提取的行人位置进行分类过程的示意图。
图7是本发明实施例在INRIA行人数据集上采用本发明方法与其它现有方法的性能指标对比图；
其中，横坐标为平均误检数，单位为个/帧；纵坐标为漏检率，单位为％；OURs为本发 明提供方法；VJ为OpenCV中使用的方法；HOG为梯度直方图(Histogram of Gradient)；ACF为聚合通道特征(Aggregate Channel Features)。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于聚合通道特征的快速行人检测方法，包括前期位置标定过程和后期位置筛选过程；图1是本发明实施例中的基于聚合通道特征的快速行人检测方法的流程框图。前期标定通过聚合输入视频和/或图像中的多个通道特征信息；通过构建输入图像或者视频在尺度空间中的图像金字塔，对每个尺度计算其对应的各个通道特征的图像；选择出具有较好识别能力的特征作为存在行人的判别依据，增加了方法的鲁棒性，初步提取行人位置；后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高对输入视频和图像中行人进行检测的精度，为智能监控等领域提供基础性技术支持。其中，图像尺度空间金字塔是对于一幅图像进行缩放后得到的一组图像，他们是对不同距离和不同清晰度条件下输入图像的映射。卷积神经元网路是计算机视觉中所使用的一种分类器模型，它的作用是将不同类别的图片区分开来。
基于多通道聚合特征完成行人检测过程，需要对不同尺度大小的行人完成位置标定，整个过程称为滑动窗口扫描，图2是本发明实施例通过滑动窗口扫描对不同尺度大小的行人进行位置标定示意图。滑动窗口扫描过程中，需要对图像中不同大小的区域块进行判定，通过不断调整区域块大小并穷尽搜索整幅图像，得到其中行人。本发明提供一种基于聚合通道特征的快速行人检测方法，在具体实施中，主要包括如下步骤(见图1)：
1)对每幅输入图像，计算其各个通道的特征图像；
本实施例中，对每幅输入图像计算了图像的LUV通道、梯度方向通道和梯度幅值通道的特征；图3表示了本实施使用到的聚合通道特征，其中，(a)为输入的图像；(b)为L颜色通道的图像；(c)为U颜色通道的图像；(d)为V颜色通道的图像；(e)为梯度幅值通道的图像；(f)为第一个梯度方向通道的图像；(g)为第二个梯度方向通道的图像；(h)为第三个梯度方向通道的图像；(i)为第四个梯度方向通道的图像。
2)构建特征图像金字塔：利用上一步计算出的特征图像，得到其在尺度空间内的特征图像金字塔；
此过程直接通过将原始特征图像上下采样的形式，构建尺度空间内特征图像金字塔，该特征图像金字塔作为下一步骤的输入；图4是本发明实施例根据多通道特征图像在尺度空间 构建得到特征图像金字塔的示意图；其中，(a)是原始尺度梯度幅值通道的图像；(b)是(a)缩放75％后对应尺度上梯度幅值通道的图像；(c)是(a)缩放50％或对应尺度上梯度幅值通道的图像；(d)是(a)缩放25％后对应尺度上梯度幅值通道的图像。
3)对待识别的图像目标区域，使用该区域内所有通道的特征图像将该区域表示为统一维度的特征向量，作为聚合通道特征；
设定输入图像为I，待识别图像区域为R，在I的特征图像金字塔中包含五个尺度(L1,L2,...,L5)上十个特征通道的图像Pxy(x＝1,...,5；y＝1,...,10)，每个尺度上待识别图像区域R对应的区域为r1,r2,...,r5。对尺度Li下的区域ri，取各通道图像Piy(y＝1,...,10)上的对应区域列在一起，形成ri的聚合通道特征。图5示意了本实施例使用各通道特征图像生成图像区域块特征向量；其中，(a)是输入图像；(b)-(i)对应图3说明的各个通道，包括LUV通道、梯度方向通道(图中(f)-(i)显示了6个梯度方向通道中的4个作为示例)和梯度幅值通道，同时用矩形框标注出其中待识别区域；(j)是图像中待识别区域的聚合通道特征。本实施例中，对于不同大小的图像区域，将其归一化到128x64维度的向量上进行表示。
4)使用决策树模型(本发明实施例采用迭代变换(Iterative Dichotomiser 3,ID3)算法)自动选择出其中具有鉴别能力的特征(行人鉴别特征)作为判别标准，训练得到决策树分类器，通过滑动窗口扫描对不同尺度大小的行人进行位置标定，获得待测试图像中行人可能出现的位置；
在训练过程中，ID3算法首先计算特征向量中每个维度的特征Xi为训练集D所带来的信息增益g(D,Xi)(亦称为互信息)，通过如下公式(式1)计算得到：
g(D,Xi)＝H(D)-H(D|Xi)            (式1)
其中，
Figure PCTCN2017079519-appb-000003
为训练数据集D本身的熵，pk为训练数据集D中第k个类别出现的概率，此处k只有两个取值，k＝1(行人)和k＝2(非行人)；
Figure PCTCN2017079519-appb-000004
为特征Xi给定条件下训练集D的条件熵；
之后对不同特征所得信息增益进行排序，选取出当前鉴别能力最强的特征(信息增益最 大)作为决策树的结点，得到决策树分类器。ID3算法的输入为训练集D、特征集X和阈值ε，输出为决策树T，具体计算过程如下：
(a)若D中所有实例属于同一个类Ck，则T为单结点树，并将Ck作为该结点的类标记，返回T；
(b)若X＝Φ，则T为单结点树，将D中实例数最多的类Ck作为该结点的类标记，返回T；
(c)否则，当X≠Φ时，计算X中各个特征对D的信息增益，选择信息增益最大的特征Xi，若Xi的信息增益小于ε，则T为单结点树，并将D中实例数最多的类Ck作为该结点的类标记，返回T；
(d)若Xi的信息增益大于等于ε，对Xi的每一个可能值xj,按照Xi＝xj，将D划分为若干非空子集Dj，将Dj中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T，返回T；
(e)对第j个子结点，以Dj为训练集，以X-{Xi}为特征集，递归地调用(a)-(d)，得到子树Tj，返回Tj。
对测试图像，通过滑动窗口的方法获得当前待判别区域，使用训练好的决策树模型判别该区域是否是行人，若判别结果为正，则为该窗口所在区域添加标注,标注形式为(x,y,w,h),其中(x，y)为该区域左上角的坐标，(w,h)为该区域的宽度和高度；
5)使用卷积神经元网络模型对上述得到的每个位置进行筛选，得到最后的检测结果。
对上一步得到的图像中所有标注过的区域，使用卷积神经元网络分类模型对此区域进行再次分类。本发明在实验中采用了AlexNet网络结构(实际实施过程可不限于该网络结构)，此网络中有五个卷积层:卷积层1,(conv1，包含96个11x11x3的卷积核),卷积层2(conv2，包含256个5x5的卷积核),卷积层3(conv3,包含384个3x3的卷积核),卷积层4(conv4,包含384个3x3的卷积核),卷积层5(conv5，包含256个3x3的卷积核)；两个全连接层:全连接层1(fc1，输入为6×6×256维的卷积特征向量，输出为4096维)和全连接层2(fc2，输入和输出均为4096维)。这个过程中对于要分类的每个区域r，经过此网络的计算后，将会得到一个4096维(fc2的输出维度)的特征向量作为此区域的特征表达，使用该表达，通过一个分类层(Softmax层,该层依据本发明任务添加，它的输入为fc2层所输出的4096维 的向量，输出为2维的向量，输出向量中每个维度的取值范围在[0,1]区间内，其中第一维表示此区域为行人的概率，第二维表示此区域不为行人的概率)，从而得到该区域是否为行人。图6是本发明实施例使用卷积神经元网络对前期提取的行人位置进行分类过程的示意图。如图6所示，对所得概率值大于0.9的区域，标注其为行人，标注形式为(x,y,w,h,s)，其中(x,y,w,h)与步骤4中标注意义相同，s为所得概率值，从而得到最后的检测结果。
在本发明实施例中，我们采用了输入图像的颜色特征通道，具体使用图像的CIELUV色彩空间而非原始的RGB空间，因为CIELUV色彩空间中光照的变化对所提取的特征干扰较小。对于每个点所计算得到的梯度方向，将其量化到六个角度范围内，并用该方向梯度幅值对其进行加权，得到六个梯度方向的特征通道。六个角度范围为：
[0,π/3],(π/3,2π/3],(2π/3,π],(π,4π/3],(4π/3,5π/3],(5π/3,2π]。
最后，还将梯度幅值本身单独作为一个特征通道。因此，对于输入有总共十个特征通道的数据作为其特征表示。
对于检测性能的评测，采用平均误检数(False Positive Per Image，FPPI)与漏检率(Miss rate)指标作为最终评测指标，该值表示固定误检数时，每幅图像的漏检率是多少，该指标数值越低说明算法的检测性能越好。图7显示了本发明与其他一些成熟算法在通用的INRIA行人数据集下检测性能指标的结果对比，其中横坐标为平均误检数(单位：个/帧)，纵坐标为漏检率(％)。OURs为本发明方法的检测性能，从图中可看出，本发明方法OURs的检测性能优于VJ(OpenCV中使用的方法)、梯度直方图(Histogram of Gradient，HOG)算法和聚合通道特征(Aggregate Channel Features，ACF)算法的检测性能。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

  1. 一种基于聚合通道特征的快速行人检测方法，包括前期位置标定过程和后期位置筛选过程；前期位置标定过程聚合输入视频或图像中的多个通道特征信息，构建输入图像或视频在尺度空间中的图像金字塔，对每个尺度计算各个通道特征的图像，识别作为存在行人判别依据的特征，初步提取行人位置；后期位置筛选过程使用卷积神经元网络分类器对前期标定的每个位置做进一步筛选，提高对输入视频和图像中行人进行检测的精度；具体包括如下步骤：
    1)对每幅输入图像或视频，计算得到所述图像或视频的多通道的特征图像；
    2)构建特征图像金字塔：利用步骤1)计算出的特征图像，得到所述图像或视频在尺度空间内的特征图像金字塔；
    3)根据步骤2)得到的特征图像金字塔，对所述图像或视频中待识别的图像目标区域，使用所述区域内所有通道的特征图像，将所述区域表示为统一维度的特征向量，作为聚合通道特征；
    4)使用决策树模型进行训练，从步骤3所述特征向量中自动选择出行人鉴别特征作为判别标准，训练得到决策树分类器，通过滑动窗口扫描对不同尺度大小的行人进行位置标定，标定位置表示为在窗口所在区域添加标注；
    5)使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选，得到最后的检测结果。
  2. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，所述多通道包括LUV通道、梯度方向通道和梯度幅值通道。
  3. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，步骤2)具体通过对所述输入图像进行上下采样的方法，构建得到所述输入图像在尺度空间内的特征图像金字塔。
  4. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，步骤3)中，所述特征图像金字塔中包含的尺度为五个；所述通道为十个；所述聚合通道特征具体通过如下操作得到：
    设定输入图像为I；待识别图像区域为R，在I的特征图像金字塔中包含五个尺度，记为L1,L2,...,L5；各个尺度上十个特征通道的图像记为Pxy(x＝1,...,5；y＝1,...,10)，每个尺 度上待识别图像区域R对应的区域记为r1,r2,...,r5；设i＝1..5，对尺度Li下的区域ri，将所述各通道图像Piy(y＝1,...,10)上的相应区域列在一起，形成区域ri的聚合通道特征。
  5. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，步骤4)所述训练得到决策树分类器具体为：在使用决策树模型进行训练过程中，计算特征向量中每个维度的特征所带来的信息增益，对信息增益进行排序，依次选取出当前信息增益最大的特征，代表鉴别能力最强的行人鉴别特征，将所述行人鉴别特征作为所述决策树的结点，得到决策树分类器。
  6. 如权利要求5所述基于聚合通道特征的快速行人检测方法，其特征是，所述决策树模型具体为迭代变换算法，输入为训练集D、特征集X和阈值ε，输出为决策树T；所述迭代变换算法执行如下操作得到决策树分类器：
    41)通过式1计算得到特征向量中每个维度的特征Xi为训练集D所带来的信息增益g(D,Xi)：
    g(D,Xi)＝H(D)-H(D|Xi)    (式1)
    式1中，
    Figure PCTCN2017079519-appb-100001
    为训练数据集D本身的熵，其中pk为训练数据集D中第k个类别出现的概率，k只有两个取值，k＝1代表行人和k＝2代表非行人；
    Figure PCTCN2017079519-appb-100002
    为特征Xi给定条件下训练集D的条件熵；
    42)对步骤41)得到的不同特征向量所得信息增益进行排序，选取出信息增益最大的特征向量作为行人鉴别特征，将所述行人鉴别特征作为所述决策树的结点，得到决策树分类器。
  7. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，步骤4)所述标注的形式为(x,y,w,h)；其中，(x，y)为所述区域左上角的坐标，(w,h)为所述区域的宽度和高度。
  8. 如权利要求1所述基于聚合通道特征的快速行人检测方法，其特征是，步骤5)所述使用卷积神经元网络模型对步骤4)得到的每个位置进行筛选，所述卷积神经元网络分类模型采用AlexNet网络结构，包括五个卷积层和两个全连接层；通过对步骤4)得到的图像中所有添加标注的区域，使用所述AlexNet网络进行再次分类，标注出行人，完成行人检测。
  9. 如权利要求8所述基于聚合通道特征的快速行人检测方法，其特征是，所述再次分类包括如下步骤：
    51)通过所述AlexNet网络的五个卷基层将要分类的每个区域r表示成一个4096维的向量，作为区域r的特征向量；
    52)通过一个分类层Softmax层，输入步骤51)所述4096维的特征向量，输出一个2维向量；所述输出向量中的第一维表示所述区域r识别为行人的概率，所述输出向量中的第二维表示所述区域r识别不为行人的概率；
    53)通过设定概率阈值，确定所述区域r是否为行人，完成行人检测。
  10. 如权利要求9所述基于聚合通道特征的快速行人检测方法，其特征是，步骤53)所述概率阈值设定为0.9。
PCT/CN2017/079519 2016-05-04 2017-04-06 一种基于聚合通道特征的快速行人检测方法 Ceased WO2017190574A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610287163.1 2016-05-04
CN201610287163.1A CN105975929A (zh) 2016-05-04 2016-05-04 一种基于聚合通道特征的快速行人检测方法

Publications (1)

Publication Number Publication Date
WO2017190574A1 true WO2017190574A1 (zh) 2017-11-09

Family

ID=56994941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/079519 Ceased WO2017190574A1 (zh) 2016-05-04 2017-04-06 一种基于聚合通道特征的快速行人检测方法

Country Status (2)

Country Link
CN (1) CN105975929A (zh)
WO (1) WO2017190574A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108846843A (zh) * 2018-04-03 2018-11-20 南昌奇眸科技有限公司 一种图像特征提取方法
CN110188766A (zh) * 2019-04-17 2019-08-30 平安科技（深圳）有限公司 基于卷积神经网络的图像主目标检测方法及装置
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN110309747A (zh) * 2019-06-21 2019-10-08 大连理工大学 一种支持多尺度快速深度行人检测模型
CN110390283A (zh) * 2019-07-12 2019-10-29 易诚高科（大连）科技有限公司 一种商业场景下跨摄像头行人重检索方法
CN110516512A (zh) * 2018-05-21 2019-11-29 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110909591A (zh) * 2019-09-29 2020-03-24 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111062335A (zh) * 2019-12-19 2020-04-24 航天物联网技术有限公司 一种基于机器学习的公交客流统计方法
CN111353385A (zh) * 2020-01-23 2020-06-30 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111488839A (zh) * 2020-04-14 2020-08-04 上海富瀚微电子股份有限公司 一种目标检测方法和目标检测系统
CN111832450A (zh) * 2020-06-30 2020-10-27 成都睿沿科技有限公司 基于图像识别的持刀检测方法
CN111899233A (zh) * 2020-07-20 2020-11-06 中纺标(深圳)检测有限公司 混纺纤维形态特征鉴定模型、其训练方法以及鉴别方法
CN112418248A (zh) * 2020-11-19 2021-02-26 江苏禹空间科技有限公司 基于fpga加速器的目标检测方法及系统
CN112926457A (zh) * 2021-02-26 2021-06-08 中国电子科技集团公司第二十八研究所 一种基于融合频域和空间域网络模型的sar图像识别方法
CN112949484A (zh) * 2021-03-01 2021-06-11 浙江大学 一种基于聚合通道特征和纹理特征的高速铁路落石实时检测方法
CN113763300A (zh) * 2021-09-08 2021-12-07 湖北工业大学 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN113807587A (zh) * 2021-09-18 2021-12-17 西安未来国际信息股份有限公司 一种基于多梯核深度神经网络模型积分预警方法以及系统
CN115457520A (zh) * 2022-09-06 2022-12-09 东南大学 一种基于多层次特征聚合网络的动车油迹检测方法
CN116363597A (zh) * 2023-05-04 2023-06-30 长沙海信智能系统研究院有限公司 一种人员聚集行为识别方法及电子设备

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN107972026B (zh) * 2016-10-25 2021-05-04 河北亿超机械制造股份有限公司 机器人、机械臂及其控制方法和装置
CN106529448A (zh) * 2016-10-27 2017-03-22 四川长虹电器股份有限公司 利用聚合通道特征进行多视角人脸检测的方法
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN106845527A (zh) * 2016-12-29 2017-06-13 南京江南博睿高新技术研究院有限公司 一种菜品识别方法
CN106779055B (zh) * 2017-01-10 2019-06-21 北京邮电大学 图像特征提取方法和装置
CN106778913B (zh) * 2017-01-13 2020-11-10 山东大学 一种基于像素级联特征的模糊车牌检测方法
CN107092884B (zh) * 2017-04-20 2020-09-25 宋佳颖 一种快速粗精级联行人检测方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技（深圳）有限公司 行人检测方法及终端设备
CN107316031B (zh) * 2017-07-04 2020-07-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN107273936B (zh) * 2017-07-07 2020-09-11 广东工业大学 一种gan图像处理方法及系统
CN107463629A (zh) * 2017-07-14 2017-12-12 青岛海尔智能技术研发有限公司 基于3d技术的图像数据库建立方法和系统
CN107491762B (zh) * 2017-08-23 2018-05-15 珠海安联锐视科技股份有限公司 一种行人检测方法
CN109636430A (zh) * 2017-10-09 2019-04-16 北京京东尚科信息技术有限公司 对象识别方法及其系统
CN109903308B (zh) * 2017-12-08 2021-02-26 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN108334099B (zh) * 2018-01-26 2021-11-19 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108460336A (zh) * 2018-01-29 2018-08-28 南京邮电大学 一种基于深度学习的行人检测方法
CN108460407A (zh) * 2018-02-02 2018-08-28 东华大学 一种基于深度学习的行人属性精细化识别方法
CN108875537B (zh) * 2018-02-28 2022-11-08 北京旷视科技有限公司 对象检测方法、装置和系统及存储介质
CN108764110B (zh) * 2018-05-23 2021-03-23 大连民族大学 基于hog特征行人检测器的递归错检校验方法、系统及设备
CN109934296B (zh) * 2019-03-18 2023-04-07 江苏科技大学 一种基于红外和可见光图像多环境下水面人员识别方法
CN111814662B (zh) * 2020-07-07 2022-06-24 北京航空航天大学 基于微型卷积神经网络的可见光图像飞机快速检测方法
CN113723232A (zh) * 2021-08-16 2021-11-30 绍兴市北大信息技术科创中心 一种根据通道协同注意力的车辆重识别方法
CN114128490B (zh) * 2021-11-29 2024-07-30 西南大学 一种手持式花椒剪切脱粒机器
CN120071412B (zh) * 2024-12-26 2025-11-18 昆明仁量科技有限公司 基于多任务级联卷积网络的人脸识别处理方法及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679187A (zh) * 2012-09-12 2014-03-26 深圳先进技术研究院 图像识别方法和系统
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN106339686A (zh) * 2016-08-29 2017-01-18 江苏大学 一种基于稀疏判别模板特征的行人检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366160A (zh) * 2013-06-28 2013-10-23 西安交通大学 融合肤色、人脸和敏感部位检测的不良图像判别方法
CN104063719B (zh) * 2014-06-27 2018-01-26 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104537647B (zh) * 2014-12-12 2017-10-20 中安消技术有限公司 一种目标检测方法及装置
CN104850844B (zh) * 2015-05-27 2019-02-26 成都新舟锐视科技有限公司 一种基于快速构建图像特征金字塔的行人检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679187A (zh) * 2012-09-12 2014-03-26 深圳先进技术研究院 图像识别方法和系统
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN106339686A (zh) * 2016-08-29 2017-01-18 江苏大学 一种基于稀疏判别模板特征的行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, QINGWU ET AL.: "Real Time Pedestrian Detection based on Multi-scale Aggregation Channel Features", JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENTATION, vol. 29, no. 11, 30 November 2015 (2015-11-30) *
WAN, WEI: "The Object Detection Algorithm Research And Application Based on Deep Learning", THE MASTER DISSERTATION OF UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA, 1 September 2016 (2016-09-01) *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN108846843A (zh) * 2018-04-03 2018-11-20 南昌奇眸科技有限公司 一种图像特征提取方法
CN110516512B (zh) * 2018-05-21 2023-08-25 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110516512A (zh) * 2018-05-21 2019-11-29 北京中科奥森数据科技有限公司 行人属性分析模型的训练方法、行人属性识别方法及装置
CN110188766A (zh) * 2019-04-17 2019-08-30 平安科技（深圳）有限公司 基于卷积神经网络的图像主目标检测方法及装置
CN110188766B (zh) * 2019-04-17 2023-06-30 平安科技（深圳）有限公司 基于卷积神经网络的图像主目标检测方法及装置
CN110309747A (zh) * 2019-06-21 2019-10-08 大连理工大学 一种支持多尺度快速深度行人检测模型
CN110309747B (zh) * 2019-06-21 2022-09-16 大连理工大学 一种支持多尺度快速深度行人检测模型
CN110390283A (zh) * 2019-07-12 2019-10-29 易诚高科（大连）科技有限公司 一种商业场景下跨摄像头行人重检索方法
CN110390283B (zh) * 2019-07-12 2023-01-03 易诚高科（大连）科技有限公司 一种商业场景下跨摄像头行人重检索方法
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110555420B (zh) * 2019-09-09 2022-04-12 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110909591A (zh) * 2019-09-29 2020-03-24 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN110909591B (zh) * 2019-09-29 2022-06-10 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111062335A (zh) * 2019-12-19 2020-04-24 航天物联网技术有限公司 一种基于机器学习的公交客流统计方法
CN111062335B (zh) * 2019-12-19 2022-06-14 航天物联网技术有限公司 一种基于机器学习的公交客流统计方法
CN111353385B (zh) * 2020-01-23 2023-03-17 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111353385A (zh) * 2020-01-23 2020-06-30 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111488839A (zh) * 2020-04-14 2020-08-04 上海富瀚微电子股份有限公司 一种目标检测方法和目标检测系统
CN111488839B (zh) * 2020-04-14 2023-05-12 上海富瀚微电子股份有限公司 一种目标检测方法和目标检测系统
CN111832450B (zh) * 2020-06-30 2023-11-28 成都睿沿科技有限公司 基于图像识别的持刀检测方法
CN111832450A (zh) * 2020-06-30 2020-10-27 成都睿沿科技有限公司 基于图像识别的持刀检测方法
CN111899233A (zh) * 2020-07-20 2020-11-06 中纺标(深圳)检测有限公司 混纺纤维形态特征鉴定模型、其训练方法以及鉴别方法
CN112418248B (zh) * 2020-11-19 2024-02-09 无锡禹空间智能科技有限公司 基于fpga加速器的目标检测方法及系统
CN112418248A (zh) * 2020-11-19 2021-02-26 江苏禹空间科技有限公司 基于fpga加速器的目标检测方法及系统
CN112926457A (zh) * 2021-02-26 2021-06-08 中国电子科技集团公司第二十八研究所 一种基于融合频域和空间域网络模型的sar图像识别方法
CN112926457B (zh) * 2021-02-26 2022-09-06 中国电子科技集团公司第二十八研究所 一种基于融合频域和空间域网络模型的sar图像识别方法
CN112949484A (zh) * 2021-03-01 2021-06-11 浙江大学 一种基于聚合通道特征和纹理特征的高速铁路落石实时检测方法
CN112949484B (zh) * 2021-03-01 2022-04-26 浙江大学 一种高速铁路落石实时检测方法
CN113763300B (zh) * 2021-09-08 2023-06-06 湖北工业大学 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN113763300A (zh) * 2021-09-08 2021-12-07 湖北工业大学 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN113807587A (zh) * 2021-09-18 2021-12-17 西安未来国际信息股份有限公司 一种基于多梯核深度神经网络模型积分预警方法以及系统
CN115457520A (zh) * 2022-09-06 2022-12-09 东南大学 一种基于多层次特征聚合网络的动车油迹检测方法
CN115457520B (zh) * 2022-09-06 2025-09-26 东南大学 一种基于多层次特征聚合网络的动车油迹检测方法
CN116363597A (zh) * 2023-05-04 2023-06-30 长沙海信智能系统研究院有限公司 一种人员聚集行为识别方法及电子设备

Also Published As

Publication number Publication date
CN105975929A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN106910186B (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN102915433B (zh) 基于字符组合的车牌定位和识别方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN108830199A (zh) 识别交通灯信号的方法、装置、可读介质及电子设备
Wang et al. License plate detection using gradient information and cascade detectors
CN103093274B (zh) 基于视频的行人计数的方法
CN108537286B (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN110619336B (zh) 基于图像处理的货品识别算法
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
Prates et al. Brazilian license plate detection using histogram of oriented gradients and sliding windows
Wang et al. Hole-based traffic sign detection method for traffic signs with red rim
CN109858310A (zh) 车辆和交通标志检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN109934216A (zh) 图像处理的方法、装置、计算机可读存储介质
Bulla Traffic sign detection and recognition based on convolutional neural network
CN105893970A (zh) 基于亮度方差特征的夜间道路车辆检测方法
CN108073940A (zh) 一种非结构化环境中的3d目标实例物体检测的方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17792401

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17792401

Country of ref document: EP

Kind code of ref document: A1