WO2020206861A1 - 基于YOLO v3的针对交通枢纽关键物体的检测方法 - Google Patents

基于YOLO v3的针对交通枢纽关键物体的检测方法 Download PDF

Info

Publication number
WO2020206861A1
WO2020206861A1 PCT/CN2019/096014 CN2019096014W WO2020206861A1 WO 2020206861 A1 WO2020206861 A1 WO 2020206861A1 CN 2019096014 W CN2019096014 W CN 2019096014W WO 2020206861 A1 WO2020206861 A1 WO 2020206861A1
Authority
WO
WIPO (PCT)
Prior art keywords
yolo
box
frame
image
bounding box
Prior art date
Application number
PCT/CN2019/096014
Other languages
English (en)
French (fr)
Inventor
杨杰
康庄
贾利民
郭濠奇
何文玉
张天露
李家俊
Original Assignee
江西理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江西理工大学 filed Critical 江西理工大学
Publication of WO2020206861A1 publication Critical patent/WO2020206861A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to the field of image processing, in particular to a method for detecting key objects in a traffic hub based on YOLO v3.
  • the mainstream target detection algorithms mainly include Faster R-CNN, YOLO, SSD, etc.
  • RCNN adopts the idea of proposal+classifier, but the step of extracting proposal is implemented in CNN, and its computational efficiency is not high.
  • YOLO has good results in recognition accuracy and speed.
  • the YOLO series of algorithms from v1 to v3 have their own advantages and disadvantages.
  • YOLO's detection method adopts an end-to-end idea and uses the Darknet network for training.
  • YOLOv1 uses the entire image as the input of the network, and it uses the regression method to directly perform regression calculation on the position of the bounding box (bounding box) and its category in the output layer.
  • YOLO adopts the idea of direct regression, each frame of image is only used as an independent data source for identification and isolated processing, and the results of its processing for each frame of image are often poor in continuity and consistency.
  • the present invention provides a detection method for key objects in traffic hubs based on YOLO v3.
  • the present invention uses artificial intelligence technology to detect the main targets in the traffic hub video so as to optimize the environment of people and vehicles, Applications such as management and control, congestion prevention and diversion provide reliable data foundation and technical support.
  • the present invention specifically adopts the following technical solutions.
  • the steps include: the first step is to acquire each frame of the surveillance video in the traffic hub in chronological order; Frame images are processed for defogging, clearing, and enhancement; the data set is updated according to the previous detection results, and each object in the data set is labeled as object.
  • the data set contains the existing image data set for traffic Data of the main objects in the hub; among them, the existing image data sets include but are not limited to Microsoft's coco data set and PASCAL VOC data set; the second step is to adjust the size of each frame of image processed in the first step.
  • each image obtained in the second step is divided into s ⁇ s grids, and each grid is assigned B prediction frames that need to be predicted bounding box, through the YOLO v3 convolutional network to perform constraint training to obtain the own position, object category information c, and confidence value of each prediction box bounding box; wherein, the confidence value confidence is calculated by the following formula: The position of the bounding box of the prediction box is marked as (x, y, w, h);
  • x and y represent the coordinates of the center point of the bounding box of the prediction box
  • w and h represent the length and width of the bounding box of the prediction box
  • the fourth step is to calculate the prediction obtained in the third step
  • the bounding box's own position coordinates (x, y, w, h) are normalized to obtain the normalized position coordinates (X, Y, W, H);
  • the fifth step the confidence value in each frame image Confidence that the bounding box of the prediction box that meets the threshold is processed by NMS (non maximum suppression);
  • the sixth step according to the NMS processing result, mark the object corresponding to the bounding box of the corresponding prediction box in each frame of image
  • the GAN network Geneative Adversarial Network
  • Networks for image enhancement processing.
  • the YOLO v3 convolutional network also corresponds to an a priori frame anchor, and the a priori frame anchor is based on the first step
  • the obtained data set is obtained by k-means (K-means clustering algorithm) or IOU (intersection ratio) calculation.
  • the constraint training performed by the YOLO v3 convolutional network is performed on a GPU (graphics processing unit).
  • the Darknet-53 network improved based on the residual neural network is used as Feature extractor.
  • the above-mentioned method for detecting key objects in a traffic hub based on YOLO v3 further includes the following steps: after each frame of image is processed from the first to the fifth steps, the respective frames are further processed. Each object marked in the image is tracked and counted.
  • step 401 the size of each frame of image is obtained as XX ⁇ YY;
  • the position coordinates of the prediction box bounding box are (x, y, w, h);
  • Y y/YY;
  • W w/XX;
  • H h/YY;
  • step 403 The normalized position coordinates corresponding to the position coordinates (x, y, w, h) of the bounding box of the prediction box are obtained as (X, Y, W, H).
  • the present invention also provides a computer-readable storage medium with a computer program stored on the computer-readable storage medium.
  • the computer program is executed by a processor, the computer-readable storage medium according to any one of claims 1-9 is implemented.
  • the present invention also provides an electronic device, including a processor, a memory, and a computer program stored on the memory and capable of running on the processor.
  • the computer program is executed by the processor to achieve the following Steps of the method for detecting key objects in traffic hubs based on YOLO v3 described in any one of 1-9.
  • the present invention performs algorithm design based on the idea of direct regression, which can realize multi-scale detection and multi-label classification.
  • the present invention refers to the SSD and Resnet network structure and designs the Darknet53 network improved based on the residual neural network as a feature extractor, which improves the defect that the YOLO technical architecture is not good at detecting small objects.
  • the Darknet-53 network takes into account the network complexity and detection accuracy, and reduces the amount of model calculations compared with the commonly used target detection feature extraction network VGG-16.
  • This patented method introduces the latest advances in the field of artificial intelligence into the main target detection in the transportation hub, which has good results in detection accuracy and detection speed, and has the potential to be extended to other fields.
  • Fig. 1 is a schematic diagram of the detection process of key objects in a traffic hub based on YOLO v3 of the present invention
  • Figure 2 is the calculation between the bounding box and ground truth of the prediction box in the present invention Schematic diagram of the ratio of intersection and set;
  • Figure 3 is a frame diagram of the YOLO v3 convolutional network used in the present invention.
  • FIG. 4 is a schematic diagram of calculating the position coordinates of the a priori frame corresponding to the a priori frame anchor in the present invention
  • Fig. 5 is an overall flow chart of the detection method for key objects in a traffic hub based on YOLO v3 provided by the present invention
  • FIG. 6 is a schematic diagram of the detection effect of pedestrians in a traffic hub of the present invention.
  • Figure 7 is a schematic diagram of pedestrians and other objects in a traffic hub detected by the present invention.
  • Fig. 8 is a schematic structural diagram of an electronic device provided by an embodiment of the present invention.
  • Figure 1 is a method for detecting key objects in a traffic hub based on YOLO v3 according to the present invention. It treats the video frame as an independent image, divides the image into a grid, and then calculates the prediction frame, confidence and category probability, and finally displays the detection result through a rectangular mark. Specifically, referring to Figure 5, the specific steps are as follows:
  • the image enhancement network can use the GAN network, but it is not limited to this method.
  • YOLO uses existing data sets (such as coco, voc, etc.) to merge the main objects in the transportation hub detected by this patent into our own data set, relabel the added data set, and expand the original data set , Which makes the training results more accurate.
  • YOLO first divides an image into S ⁇ S grid cells. If the center of an object falls in this grid, the grid is responsible for predicting the object. For S ⁇ S grids, each grid needs to predict B bounding boxes, and each bounding box is responsible for predicting its own position and confidence value. The size of the picture needs to be adjusted here, which can be adjusted to 320*320, 416*416, 608*608, and this size must be an integer multiple of 32.
  • the confidence value of the B bounding box prediction in step 2 measures the information of the two parameters of the predicted box containing the confidence of the object and the accuracy of the box prediction.
  • the calculation formula of the value is as follows:
  • the IOU value is the ratio of the intersection between the predicted bounding box and the actual ground truth. Refer to Figure 2, It is the ratio of the intersection and union between the bounding box of the prediction box and the ground truth, where ground truth represents the union of the grid where the bounding box of the prediction box is located.
  • Each bounding box is responsible for predicting its own position and confidence value two parameters, its own position needs 4 parameters (x, y, w, h) to support, x and y represent the center point coordinates of the prediction box, w and h represent the prediction box Therefore, each bounding box has to predict a total of 5 values (x, y, w, h) and confidence.
  • each grid also predicts a category information, which is recorded as category C.
  • the image is divided into S ⁇ S grids, and the output data size is S ⁇ S ⁇ (5*B+C). Note that the class information is for each grid, and the confidence information is for each bounding box.
  • the (5*BB) dimension is the coordinate of the regression box
  • the B dimension is the confidence of the box
  • the C dimension is the category.
  • the coordinates x, y and w, h are normalized, and the coordinates of the grid and the length and width of the image are used to normalize the two respectively, so that the value is limited to 0-1
  • the most important thing is how to design the loss function so that these three aspects are well balanced.
  • the sum-squared error loss design loss function is adopted, and the final loss function is as follows:
  • This loss function is mainly divided into four parts, coordinate prediction, feature prediction with object (confidence), feature prediction without object (confidence) and category prediction, use loss function for constraint training The internet.
  • the YOLO v3 algorithm can use a new network structure. You can refer to the SSD and Resnet network structure to design the Darknet-53 network based on the residual neural network improvement as a feature extractor, so that the YOLO series methods are not good at detecting the defects of small objects. Darknet-53 takes into account both network complexity and detection accuracy. Compared with the commonly used target detection feature extraction network VGG-16, it reduces the amount of model calculations. Darknet-53 compares with Darknet-19, Resnet-101, and Resnet-152. Table 1 shows:
  • the Anchor mechanism refers to setting some reference frame shapes and sizes for each grid, and only needs to refine the reference frame during detection, instead of returning the position of the entire image.
  • the convolutional neural network predicts 4 values for each bounding box on each cell, namely the coordinates (x, y) and the width w and height h of the target, denoted as t x , t y , p w , p h .
  • the revised bounding box is shown in Figure 4.
  • b x ⁇ (t x )+c x
  • b y ⁇ (t y )+c y
  • ⁇ (*) represents the logistic function, and the coordinates are normalized to between 0-1.
  • the first term on the left side of the equation is the category information predicted by each grid, and the second and third terms are the confidence predicted by each bounding box.
  • a threshold is set to filter out boxes with low scores, and NMS processing is performed on the reserved boxes to obtain the final detection result.
  • the present invention can also add an intelligent video monitoring function.
  • YOLO v3 is used to detect pedestrians and vehicles, while tracking technology is used to track the number of people.
  • Other comprehensive service functions such as vehicle count statistics. Refer to Figure 6 and Figure 7 for the recognition results.
  • the present invention cleverly uses the principle of multi-scale detection of the YOLO v3 algorithm, and the detection accuracy of small targets is very high.
  • the method of using the anchor box increases the recall without changing the mAP, while the use of a new network structure reduces 33% of the calculation.
  • the speed is faster than other detection systems (FasterR-CNN, ResNet, SSD), which improves recall and accuracy, improves positioning accuracy, and maintains classification accuracy.
  • the training accuracy is improved.
  • the image is enhanced to make the extracted features more prominent and the image quality is higher.
  • the tracking technology is used to track the identified pedestrians and other targets. , For people counting and other functions.
  • the present invention also provides an electronic device, including a processor, a memory, and a computer program stored on the memory and running on the processor.
  • the computer program realizes the above-mentioned automatic identification when executed by the processor.
  • the various processes of the embodiment of the shaking video method can achieve the same technical effect. In order to avoid repetition, details are not repeated here.
  • the present invention also provides a computer-readable storage medium with instructions stored on the computer-readable storage medium, and the instructions are used to make a machine execute the automatic identification of shaking video described in any one of claims 1-6 of this application. method.
  • the memory may include non-permanent memory in computer-readable media, random access memory (RAM) and/or non-volatile memory, such as read-only memory (ROM) or flash memory (flash RAM), and the memory includes at least one Memory chip.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash random access memory
  • Computer-readable media include permanent and non-permanent, removable and non-removable media, and information storage can be realized by any method or technology.
  • the information can be computer-readable instructions, data structures, program modules, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, CD-ROM, digital versatile disc (DVD) or other optical storage, Magnetic cassettes, magnetic tape magnetic disk storage or other magnetic storage devices or any other non-transmission media can be used to store information that can be accessed by computing devices. According to the definition in this article, computer-readable media does not include transitory media, such as modulated data signals and carrier waves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于YOLO v3的针对交通枢纽关键物体的检测方法。本发明基于直接回归的思想进行算法设计，可以实现多尺度检测和多标签分类。本发明基于目前目标检测技术的缺陷设计了基于ResNet的Darknet-53网络作为特征提取器，使YOLO技术架构检测精度与速度提升，同时使其不擅长检测小物体的缺陷得到了改善。Darknet-53网络兼顾了网络复杂度与检测准确率，与常用的目标检测特征提取网络VGG-16相比降低了模型运算量。本专利方法将人工智能领域的最新进展引入交通枢纽中的主要目标检测，在检测精度和检测速度上都有很好的效果，同时具有拓展应用到其他领域的潜力。

Description

基于YOLO v3的针对交通枢纽关键物体的检测方法 技术领域
本发明涉及图像处理领域，具体而言涉及一种基于YOLO v3的针对交通枢纽关键物体的检测方法。
背景技术
随着社会的飞速发展，各种高新技术不断涌现，推动着人工智能的发展。其中，在图像处理领域中，关于物体识别的技术更是发展迅速。基于图像的物体检测技术在各行各业中应用十分广泛，例如，在无人驾驶、无人超市、遥感图像识别、生物医学检测、军事和公安刑侦等领域，均需要图像识别技术的参与。尤其在交通领域中，物体识别技术正在逐渐代替原有的技术进行行人、机动车辆、非机动车辆的检测与识别。
目前，主流的目标检测算法主要有Faster R-CNN、YOLO、SSD等。其中，RCNN采用proposal+classifier的思想，但是将提取proposal的步骤放在CNN中实现，其计算效率不高。YOLO在识别精度和速度上都有很好的效果。但是，YOLO系列算法从v1到v3，各有其优缺点。YOLO的检测方式采用了端到端的思想，利用Darknet网络进行训练。其中，YOLOv1将整张图作为网络的输入，它利用回归的方法直接在输出层对bounding box(边界框)的位置及其所属的类别进行回归计算。但是，由于YOLO采用直接回归的思路，其对每一帧图像仅作为独立的数据源进行识别和孤立的处理，其针对每一帧图像所处理的结果往往连续性和一致性欠佳。
发明内容
本发明针对现有技术的不足，提供一种基于YOLO v3的针对交通枢纽关键物体的检测方法，本发明利用人工智能技术对交通枢纽视频中的主要目标进行检测，以便优化人车环境，为交通管控、拥堵预防和疏导等应用提供可靠的数据基础和技术支撑。本发明具体采用如下技术方案。
首先，为实现上述目的，提出一种基于YOLO v3的针对交通枢纽关键物体的检测方法，其步骤包括：第一步，按照时间顺序获取交通枢纽中监控视频中的各帧图像；分别对每一帧图像进行去雾、清晰、增强处理；根据之前的检测结果更新数据集，并对数据集中每一种物体进行标签标记为object，其中，所述数据集中包含有现有的图像数据 集中针对交通枢纽内主要物体的数据；其中，现有的图像数据集包括但并不限于微软的coco数据集、PASCAL VOC数据集；第二步，分别调整第一步中处理后的每一帧图像的大小为p×p，其中，p为32的整数倍；第三步，将第二步所得到的每一个图像划分为s×s个网格，为每个网格分配B个需要预测的预测框bounding box，通过YOLO v3卷积网络进行约束训练，以获得每一个预测框bounding box所对应的自身位置、物体类别信息c和置信值confidence值；其中，所述置信值confidence由以下公式计算获得：
Figure PCTCN2019096014-appb-000001
所述预测框bounding box的自身位置坐标记为(x,y,w,h)；
其中，x和y表示预测框bounding box的中心点坐标，w和h表示预测框bounding box的长和宽；物体落入标记：
Figure PCTCN2019096014-appb-000002
Figure PCTCN2019096014-appb-000003
为预测框bounding box与ground truth之间的交并集之比，其中，ground truth表示预测框bounding box所在网格的并集；第四步，对所述第三步中计算获得的所述预测框bounding box的自身位置坐标(x,y,w,h)进行归一化，获得归一化位置坐标(X,Y,W,H)；第五步，对所述各帧图像中置信值confidence满足阈值的预测框bounding box进行NMS(非极大值抑制，non maximum suppression)处理；第六步，根据NMS处理结果，在所述各帧图像中标记相应的预测框bounding box所对应的物体类别信息c及其所对应的归一化位置坐标(X,Y,W,H)范围。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述第一步中，对所述各帧图像进行增强处理时，具体采用GAN网络(生成式对抗网络,Generative Adversarial Networks)进行图像增强处理。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述第三步中，YOLO v3卷积网络还对应有先验框anchor，所述先验框anchor根据第一步所获得的数据集进行k-means(K均值聚类算法)或IOU(交并比)计算而获得。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述先验框anchor由以下步骤而确定：步骤A1，在每一个网格上为每一个先验框anchor预测其初始位置坐标(t x,t y,p w,p h)；步骤A2，计算所述预测框bounding box相对于图像左上角顶点的偏移量为(c x,c y)；步骤A3，计算所述先验框anchor所对应的先验框位置坐标为(b x,b y,b w,b h)，其中，b x＝σ(t x)+c x，b y＝σ(t y)+c y，
Figure PCTCN2019096014-appb-000004
其中，σ(*)表示logistic函数，将坐标归一化到0-1之间。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述第三步中，YOLO v3卷积网络中的训练参数设置如下：decay＝0.005，learning_rate＝0.001，steps＝400000。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述YOLO v3卷积网络所进行的约束训练在GPU(图形处理器)上进行。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述第三步中，YOLO v3卷积网络的训练过程中，以基于残差神经网络改进的Darknet-53网络作为特征提取器。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，还包括以下步骤：分别对每一帧图像进行第一步至第五步的处理后，还分别对所述各帧图像中标记的各物体进行跟踪和统计。
可选的，上述的基于YOLO v3的针对交通枢纽关键物体的检测方法中，所述第四步中归一化的具体步骤为：步骤401，获取各帧图像的大小为XX×YY；获取所述预测框bounding box的自身位置坐标为(x,y,w,h)；步骤402，计算X＝x/XX；Y＝y/YY；W＝w/XX；H＝h/YY；步骤403，获得所述预测框bounding box的自身位置坐标(x,y,w,h)所对应的归一化位置坐标为(X,Y,W,H)。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法的步骤。
本发明还提供了一种电子设备，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-9中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法的步骤。
有益效果
本发明，基于直接回归的思想进行算法设计，可以实现多尺度检测和多标签分类。本发明在检测过程中参考了SSD和Resnet网络结构设计了基于残差神经网络改进的Darknet53网络作为特征提取器，使YOLO技术架构不擅长检测小物体的缺陷得到了改善。Darknet-53网络兼顾了网络复杂度与检测准确率，与常用的目标检测特征提取网络VGG-16相比降低了模型运算量。本专利方法将人工智能领域的最新进展引入交通枢纽中的主要目标检测，在检测精度和检测速度上都有很好的效果，同时具有拓展应用到其 他领域的潜力。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的基于YOLO v3的针对交通枢纽关键物体的检测流程示意图；
图2是本发明中计算预测框bounding box与ground truth之间
Figure PCTCN2019096014-appb-000005
的交并集之比的示意图；
图3是本发明所使用的YOLO v3卷积网络的框架图；
图4是本发明中计算先验框anchor所对应的先验框位置坐标的示意图；
图5是本发明所提供的基于YOLO v3的针对交通枢纽关键物体的检测方法的整体流程图；
图6是本发明检测交通枢纽中行人的识别效果的示意图；
图7是本发明所检测出的交通枢纽中行人及其他物体的示意图；
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
图1为根据本发明的一种基于YOLO v3的针对交通枢纽关键物体的检测方法。其将视频帧视为独立的图像，对图像先进行网格划分，而后进行预测边框、置信度和类别 概率的计算，最终通过矩形标记显示检测结果。具体而言，参考图5，其具体步骤如下：
1、读取视频的每一帧，将每帧看做独立的图像，并对每一帧图片进行去雾清晰增强处理，以便获得质量更好的图片，使得后期的训练网络获得更好的图像特征，增加结果的准确度。此处的图像增强网络可以使用GAN网络，但不局限于这一种方法。
2、利用已有的数据集(例如coco、voc等)，在针对本专利检测的交通枢纽主要物体并入我们自己的数据集，对加入的数据集进行重新打标签标记，扩展原有数据集，使得训练结果更加准确。YOLO首先将一幅图像分成S×S个网格(grid cell)，如果某个object的中心落在这个网格中，则这个网格就负责预测这个object。对于S×S个网格，每个网格要预测B个bounding box，每个bounding box负责预测自身位置和confidence值两个参数。此处需要调整图片的大小，可调整为320*320，416*416，608*608，这个大小必须是32的整数倍数。
3、准备好数据集后，利用循环卷积神经网络进行训练，其中一些训练参数设置如下，decay＝0.005，learning_rate＝0.001，steps＝400000，训练在GPU(图形处理器)上进行。在第2步中，图片尺寸需要处理为32的倍数，是因为YOLO v3有5次下采样，每次采样步长为2，所以网络的最大步幅(步幅指层的输入大小除以输出)为2^5＝32。第2步中的B个bounding box预测的confidence这个值衡量了预测的box中含有object的置信度和这个box预测的准确率这两个参数的信息，其值的计算公式如下所示：
Figure PCTCN2019096014-appb-000006
式中
Figure PCTCN2019096014-appb-000007
object指数据集中的物体标记，grid cell指网格范围。
IOU值的是预测的bounding box和实际的ground truth之间交并集之比。参考图2所示，
Figure PCTCN2019096014-appb-000008
为预测框bounding box与ground truth之间的交并集之比，其中，ground truth表示预测框bounding box所在网格的并集。
每个bounding box负责预测自身位置和confidence值两个参数，自身位置需要4个参数(x,y,w,h)来支持，x和y表示预测框的中心点坐标，w和h表示预测框的长和宽，所以每个bounding box要预测(x,y,w,h)和confidence共5个值，同时每个网格还要预测一个类别信息，记为C类。图像被分为S×S个网格，输出的数据大小就是S×S×(5*B+C)，这里注意class信息是针对每个网格的，confidence信息是针对每个bounding box的，这(5*B+C)维中，(5*B-B)维是回归box的坐标，B维是box的confidence， 还有C维是类别。为了方便数据的计算，对坐标x，y和w，h进行归一化，利用网格的坐标和图像的长宽，分别对两者进行归一化，让其值限制在0-1之间，方便我们计算。在实现中，最主要的就是怎么设计损失函数，让这个三个方面得到很好的平衡。采用了sum-squared error loss设计损失函数，其最终的损失函数如下：
Figure PCTCN2019096014-appb-000009
这个损失函数中，主要分为四部分，坐标预测、含有物体(object)的特征值(confidence)预测、不含物体(object)的特征值(confidence)预测和类别预测，利用损失函数进行约束训练网络。
4、YOLO v3算法可利用新的网络结构，可以参考SSD和Resnet网络结构设计基于残差神经网络改进的Darknet-53网络作为特征提取器，使YOLO系列方法不擅长检测小物体的缺陷得到改善。Darknet-53兼顾网络复杂度与检测准确率，与常用的目标检测特征提取网络VGG-16相比降低了模型运算量，Darknet-53与Darknet-19、Resnet-101、Resnet-152的性能对比如表1所示：
表1 Darknet-53与Darknet-19、Resnet的性能对比表
Figure PCTCN2019096014-appb-000010
由表1可以看出，Darknet-53在Top-1和Top-5中的准确率分别为77.2％和93.8％，高于Darknet-19；浮点运算速度为1457次/s，高于Darknet-19、Resnet-101和Resnet-152；每秒可检测78帧图像，高于Resnet-101和Resnet-152，可以达到实时检测。YOLO v3也因此成为目前为止最优秀的目标检测算法之一，它对小物体和大物体都具有比较好的效果，这源于它的多尺度卷积网络结构，一般为三个尺度的预测，分别为8×8、16×16、32×32，最终预测输出量维度为S×S×[3×(B×5+C)]，其结构图如图参考图3所示。
5、利用YOLO v3算法检测，需要获得anchor(先验框)，具体可在扩展后的数据集上利用k-means、IOU等方法重新得到新的anchor，但不限于这两种方法。Anchor机制指的是对每个栅格设置一些参考的边框形状及尺寸，检测时只要对参考边框进行精修即可，代替了整张图像的位置回归。
使用Anchor机制首先要确定参考边框的宽高维度。虽然网络训练的过程也会调整边框的宽高维度，最终得到准确的边框，但如果一开始就选择更有代表性的参考边框，那么网络能更容易检测到准确的位置。卷积神经网络在每一个单元格上会为每一个边界框预测4个值，即坐标(x,y)与目标的宽w和高h，分别记为t x,t y，p w，p h。若目标中心在单元格中相对于图像左上角有偏移(c x,c y)，并且锚点框具有高度和宽度p w，p h，则修正后的边界框如图4所示。其中，b x＝σ(t x)+c x，b y＝σ(t y)+c y，
Figure PCTCN2019096014-appb-000011
Figure PCTCN2019096014-appb-000012
其中，σ(*)表示logistic函数，将坐标归一化到0-1之间。
6、利用YOLO v3算法对提取的单帧图片进行识别，并且标注出物体的类别与位置。其具体做法如下：
利用NMS(非极大值抑制法)进行过滤处理，经过卷积网络训练后，在测试的时候，每个网格预测的类别(class)信息和bounding box预测的confidence信息相乘，就得到每个bounding box的类别信息和准确率信息(class-specific confidence score)：
Figure PCTCN2019096014-appb-000013
等式左边第一项就是每个网格预测的类别信息，第二、三项就是每个bounding box预测的confidence。得到每个box的类别信息和准确率信息(class-specific confidence score)以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS处理，就得到最终的检测结果。
进一步，本发明还可加入智能视频监控功能，在交通枢纽(如火车站、十字路口等站口)的监控视频中，利用YOLO v3进行行人、车辆检测，同时利用跟踪技术进行跟踪，进行人数和车辆数统计等其他综合服务功能。其识别结果参考图6以及图7所示。
由此，本发明巧妙使用了YOLO v3算法多尺度检测的原理，对小目标的检测精度很高，运用anchor box的方法在不改变mAP的情况下增加了recall，而使用新的网络结构则减少了33％的计算。速度要快过其他检测系统(FasterR-CNN，ResNet，SSD)，改善了召回率和准确率，提升定位的准确度，同时保持分类的准确度。随着网络的加深和多个模型的结合，使得训练准确度得到提高，同时对图片进行数据增强，使得提取特征更加显著，图片质量更高，同时利用跟踪技术，对识别的行人等目标进行跟踪，进行人数统计等功能。
如图8所示，本发明还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述自动识别晃动视频方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有指令，该指令用于使得机器执行本申请上述任一项权利要求1-6所述的自动识别晃动视频的方法。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛 盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (11)

  1. 一种基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，包括：
    第一步，按照时间顺序获取交通枢纽中监控视频中的各帧图像；分别对每一帧图像进行去雾、清晰、增强处理；
    根据之前的检测结果更新数据集，并对数据集中每一种物体利用标签object进行标记，其中，所述数据集中包含有现有的图像数据集中针对交通枢纽内主要物体的数据；其中，现有的图像数据集包括但并不限于公共的coco数据集、PASCAL VOC数据集；
    第二步，分别调整第一步中处理后的每一帧图像的大小为p×p，其中，p为32的整数倍；
    第三步，将第二步所得到的每一个图像划分为s×s个网格，为每个网格分配B个需要预测的预测框bounding box，通过YOLO v3卷积网络进行约束训练，以获得每一个预测框bounding box所对应的自身位置、物体类别信息c和置信值confidence值；其中，所述置信值confidence由以下公式计算获得：
    Figure PCTCN2019096014-appb-100001
    所述预测框bounding box的自身位置坐标记为(x,y,w,h)；其中，x和y表示预测框bounding box的中心点坐标，w和h表示预测框bounding box的长和宽；物体落入标记
    Figure PCTCN2019096014-appb-100002
    Figure PCTCN2019096014-appb-100003
    为预测框bounding box与ground truth之间的交并集之比，其中，ground truth表示预测框bounding box所在网格的并集；
    第四步，对所述第三步中计算获得的所述预测框bounding box的自身位置坐标(x,y,w,h)进行归一化，获得归一化位置坐标(X,Y,W,H)；
    第五步，对所述各帧图像中置信值confidence满足阈值的预测框bounding box进行NMS处理；
    第六步，根据NMS处理结果，在所述各帧图像中标记相应的预测框bounding box所对应的物体类别信息c及其所对应的归一化位置坐标(X,Y,W,H)范围。
  2. 如权利要求1所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述第一步中，对所述各帧图像进行增强处理时，具体采用GAN网络进行图像增强处理。
  3. 如权利要求1或2所述的基于YOLO v3的针对交通枢纽关键物体的检测方法， 其特征在于，所述第三步中，YOLO v3卷积网络还对应有先验框anchor，所述先验框anchor根据第一步所获得的数据集进行k-means或IOU计算而获得。
  4. 如权利要求3所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述先验框anchor由以下步骤而确定：
    步骤A1，在每一个网格上为每一个先验框anchor预测其初始位置坐标(t x,t y,p w,p h)；
    步骤A2，计算所述预测框bounding box相对于图像左上角顶点的偏移量为(c x,c y)；
    步骤A3，计算所述先验框anchor所对应的先验框位置坐标为(b x,b y,b w,b h)，其中，b x＝σ(t x)+c x，b y＝σ(t y)+c y，
    Figure PCTCN2019096014-appb-100004
    其中，σ(*)表示logistic函数，将坐标归一化到0-1之间。
  5. 如权利要求1-4中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述第三步中，YOLO v3卷积网络中的训练参数设置如下：decay＝0.005，learning_rate＝0.001，steps＝400000。
  6. 如权利要求1-4中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述YOLO v3卷积网络所进行的约束训练在GPU上进行。
  7. 如权利要求1-4中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述第三步中，YOLO v3卷积网络的训练过程中，以基于残差神经网络改进的Darknet-53网络作为特征提取器。
  8. 如权利要求1-7中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，还包括以下步骤：
    分别对每一帧图像进行第一步至第五步的处理后，还分别对所述各帧图像中标记的各物体进行跟踪和统计。
  9. 如权利要求1-3中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法，其特征在于，所述第四步中归一化的具体步骤为：
    步骤401，获取各帧图像的大小为XX×YY；获取所述预测框bounding box的自身 位置坐标为(x,y,w,h)；
    步骤402，计算X＝x/XX；Y＝y/YY；W＝w/XX；H＝h/YY；
    步骤403，获得所述预测框bounding box的自身位置坐标(x,y,w,h)所对应的归一化位置坐标为(X,Y,W,H)。
  10. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法的步骤。
  11. 一种电子设备，其特征在于，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-9中任意一项所述的基于YOLO v3的针对交通枢纽关键物体的检测方法的步骤。
PCT/CN2019/096014 2019-04-08 2019-07-15 基于YOLO v3的针对交通枢纽关键物体的检测方法 WO2020206861A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910276350.3A CN110472467A (zh) 2019-04-08 2019-04-08 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN201910276350.3 2019-04-08

Publications (1)

Publication Number Publication Date
WO2020206861A1 true WO2020206861A1 (zh) 2020-10-15

Family

ID=68507356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/096014 WO2020206861A1 (zh) 2019-04-08 2019-07-15 基于YOLO v3的针对交通枢纽关键物体的检测方法

Country Status (2)

Country Link
CN (1) CN110472467A (zh)
WO (1) WO2020206861A1 (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215824A (zh) * 2020-10-16 2021-01-12 南通大学 基于YOLO-v3的布面疵点检测及辅助装置与方法
CN112257809A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112288043A (zh) * 2020-12-23 2021-01-29 飞础科智慧科技(上海)有限公司 窑炉表面缺陷检测方法、系统和介质
CN112287884A (zh) * 2020-11-19 2021-01-29 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112507929A (zh) * 2020-12-16 2021-03-16 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112529836A (zh) * 2020-10-30 2021-03-19 广州优飞信息科技有限公司 高压线路缺陷检测方法、装置、存储介质及电子设备
CN112561912A (zh) * 2021-02-20 2021-03-26 四川大学 一种基于先验知识的医学图像淋巴结检测方法
CN112561982A (zh) * 2020-12-22 2021-03-26 电子科技大学中山学院 一种基于vgg-16的高精度光斑中心检测方法
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112633327A (zh) * 2020-12-02 2021-04-09 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112734794A (zh) * 2021-01-14 2021-04-30 北京航空航天大学 一种基于深度学习的运动目标跟踪与定位方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN112800934A (zh) * 2021-01-25 2021-05-14 西北大学 一种多类别工程车的行为识别方法及装置
CN112819780A (zh) * 2021-01-29 2021-05-18 菲特（天津）检测技术有限公司 一种丝锭表面缺陷检测方法、检测系统以及丝锭分级系统
CN112926681A (zh) * 2021-03-29 2021-06-08 复旦大学 一种基于深度卷积神经网络的目标检测方法及装置
CN113033604A (zh) * 2021-02-03 2021-06-25 淮阴工学院 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN113076804A (zh) * 2021-03-09 2021-07-06 武汉理工大学 基于YOLOv4改进算法的目标检测方法、装置及系统
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN113222982A (zh) * 2021-06-02 2021-08-06 上海应用技术大学 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN113392852A (zh) * 2021-04-30 2021-09-14 浙江万里学院 一种基于深度学习的车辆检测方法及系统
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113469057A (zh) * 2021-07-02 2021-10-01 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113469254A (zh) * 2021-07-02 2021-10-01 上海应用技术大学 基于目标检测模型的目标检测方法及系统
CN113537226A (zh) * 2021-05-18 2021-10-22 哈尔滨理工大学 一种基于深度学习的烟雾检测方法
CN113569737A (zh) * 2021-07-28 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113688706A (zh) * 2021-08-16 2021-11-23 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN113781458A (zh) * 2021-09-16 2021-12-10 厦门理工学院 一种基于人工智能的识别方法
CN113792746A (zh) * 2021-09-18 2021-12-14 石家庄铁道大学 基于Yolo V3的探地雷达图像目标检测方法
CN113947108A (zh) * 2021-10-15 2022-01-18 福州大学 一种基于yolo v5的球员追踪检测方法
CN113989708A (zh) * 2021-10-27 2022-01-28 福州大学 一种基于YOLO v4的校园图书馆疫情防控方法
CN114022412A (zh) * 2021-10-12 2022-02-08 上海伯耶信息科技有限公司 一种基于深度学习视觉检测的卷烟辅料纸张缺陷检测方法
CN114022705A (zh) * 2021-10-29 2022-02-08 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法
CN114022446A (zh) * 2021-11-04 2022-02-08 广东工业大学 一种基于改进YOLOv3的皮革瑕疵检测方法及系统
CN114155428A (zh) * 2021-11-26 2022-03-08 中国科学院沈阳自动化研究所 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法
CN114187242A (zh) * 2021-11-25 2022-03-15 北京航空航天大学 一种基于深度学习的制导光纤表面缺陷检测与定位方法
CN114648685A (zh) * 2022-03-23 2022-06-21 成都臻识科技发展有限公司 一种anchor-free算法转换为anchor-based算法的方法及系统
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN114818880A (zh) * 2022-04-07 2022-07-29 齐鲁工业大学 一种YOLOv3铁路关键作业流程自动鉴别方法与系统
CN114898320A (zh) * 2022-05-30 2022-08-12 西南交通大学 一种基于YOLO v5的列车定位方法及系统
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法
CN117115856A (zh) * 2023-08-02 2023-11-24 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质
CN112395957B (zh) * 2020-10-28 2024-06-04 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929670A (zh) * 2019-12-02 2020-03-27 合肥城市云数据中心股份有限公司 基于yolo3技术的渣土车洁净度视频识别分析方法
CN111024072B (zh) * 2019-12-27 2021-06-11 浙江大学 一种基于深度学习的卫星地图辅助导航定位方法
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法
CN111738212B (zh) * 2020-07-20 2020-11-20 平安国际智慧城市科技股份有限公司 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN112257527B (zh) * 2020-10-10 2022-09-02 西南交通大学 基于多目标融合与时空视频序列的手机检测方法
CN112329768A (zh) * 2020-10-23 2021-02-05 上善智城(苏州)信息科技有限公司 一种基于改进的yolo的加油站卸油停车牌标志的识别方法
CN112507896B (zh) * 2020-12-14 2023-11-07 大连大学 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法
CN112784694A (zh) * 2020-12-31 2021-05-11 杭州电子科技大学 一种基于evp_yolo的室内物品检测方法
CN113077496A (zh) * 2021-04-16 2021-07-06 中国科学技术大学 基于轻量级YOLOv3的实时车辆检测、跟踪方法和系统及介质
CN113191227A (zh) * 2021-04-20 2021-07-30 上海东普信息科技有限公司 柜门状态的检测方法、装置、设备及存储介质
CN113326755A (zh) * 2021-05-21 2021-08-31 华南理工大学 一种照明系统监测手部位置实现照明区域控制的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
US20190012551A1 (en) * 2017-03-06 2019-01-10 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN109272509A (zh) * 2018-09-06 2019-01-25 郑州云海信息技术有限公司 一种连续图像的目标检测方法、装置、设备及存储介质
CN109325438A (zh) * 2018-09-18 2019-02-12 桂林电子科技大学 实况全景交通标志的实时识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230278B (zh) * 2018-02-24 2021-08-06 中山大学 一种基于生成对抗网络的图像去雨滴方法
CN109697420A (zh) * 2018-12-17 2019-04-30 长安大学 一种面向城市交通的移动目标检测及跟踪方法
CN109829400B (zh) * 2019-01-18 2023-06-30 青岛大学 一种快速车辆检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190012551A1 (en) * 2017-03-06 2019-01-10 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109272509A (zh) * 2018-09-06 2019-01-25 郑州云海信息技术有限公司 一种连续图像的目标检测方法、装置、设备及存储介质
CN109325438A (zh) * 2018-09-18 2019-02-12 桂林电子科技大学 实况全景交通标志的实时识别方法

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215824A (zh) * 2020-10-16 2021-01-12 南通大学 基于YOLO-v3的布面疵点检测及辅助装置与方法
CN112395957A (zh) * 2020-10-28 2021-02-23 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112395957B (zh) * 2020-10-28 2024-06-04 连云港杰瑞电子有限公司 一种针对视频目标检测的在线学习方法
CN112529836A (zh) * 2020-10-30 2021-03-19 广州优飞信息科技有限公司 高压线路缺陷检测方法、装置、存储介质及电子设备
CN112257809A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112257809B (zh) * 2020-11-02 2023-07-14 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112287884B (zh) * 2020-11-19 2024-02-20 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112287884A (zh) * 2020-11-19 2021-01-29 长江大学 一种考试异常行为检测方法、装置及计算机可读存储介质
CN112633327A (zh) * 2020-12-02 2021-04-09 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
CN112633327B (zh) * 2020-12-02 2023-06-30 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
CN112507929A (zh) * 2020-12-16 2021-03-16 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112507929B (zh) * 2020-12-16 2022-05-13 武汉理工大学 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN112561982A (zh) * 2020-12-22 2021-03-26 电子科技大学中山学院 一种基于vgg-16的高精度光斑中心检测方法
CN112288043A (zh) * 2020-12-23 2021-01-29 飞础科智慧科技(上海)有限公司 窑炉表面缺陷检测方法、系统和介质
CN112633176A (zh) * 2020-12-24 2021-04-09 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112633176B (zh) * 2020-12-24 2023-03-14 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN112734794A (zh) * 2021-01-14 2021-04-30 北京航空航天大学 一种基于深度学习的运动目标跟踪与定位方法
CN112734794B (zh) * 2021-01-14 2022-12-23 北京航空航天大学 一种基于深度学习的运动目标跟踪与定位方法
CN112750117B (zh) * 2021-01-15 2024-01-26 河南中抗医学检验有限公司 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112699967B (zh) * 2021-01-18 2024-03-12 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112699967A (zh) * 2021-01-18 2021-04-23 武汉大学 一种基于改进深度神经网络的远距离机场目标检测方法
CN112766188B (zh) * 2021-01-25 2024-05-10 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN112800934A (zh) * 2021-01-25 2021-05-14 西北大学 一种多类别工程车的行为识别方法及装置
CN112800934B (zh) * 2021-01-25 2023-08-08 西北大学 一种多类别工程车的行为识别方法及装置
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法
CN112819780A (zh) * 2021-01-29 2021-05-18 菲特（天津）检测技术有限公司 一种丝锭表面缺陷检测方法、检测系统以及丝锭分级系统
CN113033604A (zh) * 2021-02-03 2021-06-25 淮阴工学院 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN113033604B (zh) * 2021-02-03 2022-11-15 淮阴工学院 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN112561912B (zh) * 2021-02-20 2021-06-01 四川大学 一种基于先验知识的医学图像淋巴结检测方法
CN112561912A (zh) * 2021-02-20 2021-03-26 四川大学 一种基于先验知识的医学图像淋巴结检测方法
CN113076804A (zh) * 2021-03-09 2021-07-06 武汉理工大学 基于YOLOv4改进算法的目标检测方法、装置及系统
CN113076804B (zh) * 2021-03-09 2022-06-17 武汉理工大学 基于YOLOv4改进算法的目标检测方法、装置及系统
CN113095159A (zh) * 2021-03-23 2021-07-09 陕西师范大学 一种基于cnn的城市道路交通状况分析方法
CN112926681A (zh) * 2021-03-29 2021-06-08 复旦大学 一种基于深度卷积神经网络的目标检测方法及装置
CN113392852B (zh) * 2021-04-30 2024-02-13 浙江万里学院 一种基于深度学习的车辆检测方法及系统
CN113392852A (zh) * 2021-04-30 2021-09-14 浙江万里学院 一种基于深度学习的车辆检测方法及系统
CN113537226A (zh) * 2021-05-18 2021-10-22 哈尔滨理工大学 一种基于深度学习的烟雾检测方法
CN113222982A (zh) * 2021-06-02 2021-08-06 上海应用技术大学 基于改进的yolo网络的晶圆表面缺陷检测方法及系统
CN113393438B (zh) * 2021-06-15 2022-09-16 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113469254A (zh) * 2021-07-02 2021-10-01 上海应用技术大学 基于目标检测模型的目标检测方法及系统
CN113469057B (zh) * 2021-07-02 2023-04-28 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113469254B (zh) * 2021-07-02 2024-04-16 上海应用技术大学 基于目标检测模型的目标检测方法及系统
CN113469057A (zh) * 2021-07-02 2021-10-01 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113569737A (zh) * 2021-07-28 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113688706B (zh) * 2021-08-16 2023-12-05 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN113688706A (zh) * 2021-08-16 2021-11-23 南京信息工程大学 一种车辆检测方法、装置、设备及存储介质
CN113781458A (zh) * 2021-09-16 2021-12-10 厦门理工学院 一种基于人工智能的识别方法
CN113792746B (zh) * 2021-09-18 2024-03-12 石家庄铁道大学 基于Yolo V3的探地雷达图像目标检测方法
CN113792746A (zh) * 2021-09-18 2021-12-14 石家庄铁道大学 基于Yolo V3的探地雷达图像目标检测方法
CN114022412A (zh) * 2021-10-12 2022-02-08 上海伯耶信息科技有限公司 一种基于深度学习视觉检测的卷烟辅料纸张缺陷检测方法
CN113947108A (zh) * 2021-10-15 2022-01-18 福州大学 一种基于yolo v5的球员追踪检测方法
CN113989708B (zh) * 2021-10-27 2024-06-04 福州大学 一种基于YOLO v4的校园图书馆疫情防控方法
CN113989708A (zh) * 2021-10-27 2022-01-28 福州大学 一种基于YOLO v4的校园图书馆疫情防控方法
CN114022705B (zh) * 2021-10-29 2023-08-04 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法
CN114022705A (zh) * 2021-10-29 2022-02-08 电子科技大学 一种基于场景复杂度预分类的自适应目标检测方法
CN114022446A (zh) * 2021-11-04 2022-02-08 广东工业大学 一种基于改进YOLOv3的皮革瑕疵检测方法及系统
CN114187242A (zh) * 2021-11-25 2022-03-15 北京航空航天大学 一种基于深度学习的制导光纤表面缺陷检测与定位方法
CN114155428A (zh) * 2021-11-26 2022-03-08 中国科学院沈阳自动化研究所 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法
CN114648685A (zh) * 2022-03-23 2022-06-21 成都臻识科技发展有限公司 一种anchor-free算法转换为anchor-based算法的方法及系统
CN114818880B (zh) * 2022-04-07 2024-04-09 齐鲁工业大学 一种YOLOv3铁路关键作业流程自动鉴别方法与系统
CN114818880A (zh) * 2022-04-07 2022-07-29 齐鲁工业大学 一种YOLOv3铁路关键作业流程自动鉴别方法与系统
CN114898320A (zh) * 2022-05-30 2022-08-12 西南交通大学 一种基于YOLO v5的列车定位方法及系统
CN114723750A (zh) * 2022-06-07 2022-07-08 南昌大学 基于改进yolox算法的输电线路耐张线夹缺陷检测方法
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法
CN117115856B (zh) * 2023-08-02 2024-04-05 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质
CN117115856A (zh) * 2023-08-02 2023-11-24 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质

Also Published As

Publication number Publication date
CN110472467A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
WO2020206861A1 (zh) 基于YOLO v3的针对交通枢纽关键物体的检测方法
Dong et al. A lightweight vehicles detection network model based on YOLOv5
CN111062413B (zh) 一种道路目标检测方法、装置、电子设备及存储介质
WO2019228211A1 (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
US11302104B2 (en) Method, apparatus, device, and storage medium for predicting the number of people of dense crowd
EP4152204A1 (en) Lane line detection method, and related apparatus
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN104599502A (zh) 一种基于视频监控的车流量统计方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
Sun et al. Moving vehicle detection and tracking based on optical flow method and immune particle filter under complex transportation environments
CN103886609B (zh) 基于粒子滤波和lbp特征的车辆跟踪方法
CN113168520A (zh) 跟踪场景中的对象的方法
Qi et al. Automated traffic volume analytics at road intersections using computer vision techniques
Zhan et al. Pedestrian detection and behavior recognition based on vision
Li et al. Vehicle detection in uav traffic video based on convolution neural network
CN107871315A (zh) 一种视频图像运动检测方法和装置
CN114724063A (zh) 一种基于深度学习的公路交通事件检测方法
Zhang et al. Vehicle detection in UAV aerial images based on improved YOLOv3
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
Ashraf et al. HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation
Liu et al. Multi-lane detection by combining line anchor and feature shift for urban traffic management
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
Tang et al. Multilevel traffic state detection in traffic surveillance system using a deep residual squeeze-and-excitation network and an improved triplet loss
Kshirsagar et al. GREE-COCO: Green Artificial Intelligence Powered Cost Pricing Models for Congestion Control.
Mo et al. Research on expressway traffic event detection at night based on Mask-SpyNet

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19924249

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19924249

Country of ref document: EP

Kind code of ref document: A1