WO2020147410A1 - 行人检测方法、系统、计算机设备及计算机可存储介质 - Google Patents

行人检测方法、系统、计算机设备及计算机可存储介质 Download PDF

Info

Publication number
WO2020147410A1
WO2020147410A1 PCT/CN2019/118471 CN2019118471W WO2020147410A1 WO 2020147410 A1 WO2020147410 A1 WO 2020147410A1 CN 2019118471 W CN2019118471 W CN 2019118471W WO 2020147410 A1 WO2020147410 A1 WO 2020147410A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
convolution
convolutional
convolutional layers
pooling layer
Prior art date
Application number
PCT/CN2019/118471
Other languages
English (en)
French (fr)
Inventor
贾雪丽
程宁
王健宗
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020147410A1 publication Critical patent/WO2020147410A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the embodiments of the present application relate to the field of computer data processing, and in particular, to a pedestrian detection method, system, computer equipment, and non-volatile computer-readable storage medium.
  • Pedestrian detection technology can be applied in the fields of video surveillance, intelligent assisted driving, pedestrian analysis, and intelligent robots, and has a profound impact on people's lives.
  • a solution of pedestrian detection technology is based on the Histogram Of Gradient (HOG) for improvement.
  • HOG Histogram Of Gradient
  • the detection accuracy of this kind of pedestrian detection technology mainly depends on the design of the researcher's features, but it is very difficult to design excellent features even for researchers with a solid professional foundation.
  • Another type of solution is that with the rise of deep learning technology, those skilled in the art have begun to use deep convolutional networks to automatically extract features from the data set, thus effectively avoiding traditional methods that rely on researchers to manually design features and effectively Improve the accuracy of detection.
  • neural networks based on YOLO You Only Look Once
  • v1, YOLOv2, etc. have begun to be valued and applied to pedestrian detection technology due to their advantages of fast detection speed and high accuracy.
  • the detection technology based on the above-mentioned neural network has poor detection ability for small targets.
  • the purpose of the embodiments of the present application is to provide a pedestrian detection method, system, computer equipment, and non-volatile computer-readable storage medium, which can effectively solve the technical problem of poor detection ability for small targets.
  • an embodiment of the present application provides a pedestrian detection method based on YOLO neural network, the method includes:
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, and M pools are arranged between the N convolutional layers
  • the M-1th pooling layer is coupled to the branch line, and the branch line includes the M+1th pooling layer and the N+1th convolution layer that are sequentially coupled;
  • the embodiments of the present application also provide a pedestrian detection system, including:
  • the input module is used to input the picture to be detected into the YOLO neural network.
  • the YOLO neural network includes a main line and a branch line.
  • the main line includes N convolutional layers coupled in sequence, and between the N convolutional layers M pooling layers are configured, the M-1th pooling layer is coupled to the branch line, and the branch line includes the M+1th pooling layer and the N+1th convolutional layer that are sequentially coupled;
  • the feature extraction module is configured to perform convolution operation and pooling operation on the image to be detected through the YOLO neural network to obtain 2A x*y convolution feature maps, the 2A x*y convolution feature maps Including the Nth convolutional layer outputting A x*y convolutional feature maps and the N+1th convolutional layer outputting A x*y convolutional feature maps;
  • Pedestrian prediction frame processing module used to perform convolution operations on the 2A x*y convolution feature maps through preset B pedestrian prediction frames, and output x*y*B*(5+C) output sheets
  • Quantity C represents the probability of C conditional categories
  • the obtaining module is used to obtain the pedestrian and the location of the pedestrian in the picture to be detected according to the output tensor.
  • an embodiment of the present application also provides a computer device, the computer device including a memory, a processor, and computer-readable instructions stored on the memory and running on the processor, the When the computer-readable instructions are executed by the processor, the following steps are implemented:
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, and M pools are arranged between the N convolutional layers
  • the M-1th pooling layer is also coupled to the branch line, and the branch line includes the M+1th pooling layer and the N+1th convolutional layer that are sequentially coupled;
  • embodiments of the present application also provide a non-volatile computer-readable storage medium, in which computer-readable instructions are stored, and the computer-readable instructions may Is executed by at least one processor, so that the at least one processor executes the following steps:
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, and M pools are arranged between the N convolutional layers
  • the M-1th pooling layer is also coupled to the branch line, and the branch line includes the M+1th pooling layer and the N+1th convolutional layer that are sequentially coupled;
  • the pedestrian detection method, system, computer equipment, and non-volatile computer-readable storage medium provided by the embodiments of the present application are added by adding a branch line including the M+1th pooling layer and the N+1th branch.
  • the feature of the image to be detected is extracted in the intermediate process of the convolution of the neural network, which is used to retain more information of small objects, thereby effectively improving the prediction accuracy of small objects.
  • FIG. 1 is a flowchart of Embodiment 1 of the pedestrian detection method of this application.
  • FIG. 2 is a flowchart of Embodiment 2 of the pedestrian detection method of this application.
  • FIG. 3 is a schematic diagram of the structure of the YOLO neural network in the second embodiment of the pedestrian detection method of this application.
  • FIG. 4 is a schematic diagram of program modules of Embodiment 3 of the pedestrian detection system of this application.
  • Fig. 5 is a schematic diagram of the hardware structure of the fourth embodiment of the computer equipment of this application.
  • FIG. 1 shows a flowchart of the steps of a pedestrian detection method based on a YOLO neural network in the first embodiment of the present application. It can be understood that the flowchart in this method embodiment is not used to limit the order of execution of the steps. details as follows.
  • Step S100 input the image to be detected into the YOLO neural network.
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, M pooling layers are configured between the N convolutional layers, and the M-1th pooling layer is coupled
  • the branch line includes the M+1 th pooling layer and the N+1 th convolution layer that are sequentially coupled.
  • the main line includes a first group of convolutional layers, a first pooling layer, a second group of convolutional layers, a second pooling layer, and a third group of convolutional layers that are coupled in sequence.
  • Layer, the third pooling layer, the fourth group of convolutional layers, the fourth pooling layer, the fifth group of convolutional layers, the fifth pooling layer, the sixth group of convolutional layers, after the fourth pooling layer Is coupled with the branch line, and the branch line includes a sixth pooling layer and a seventh group of convolutional layers that are sequentially coupled, wherein the fifth group of convolutional layers, the fifth pooling layer, and the sixth group are sequentially coupled.
  • Step 102 Perform a convolution operation and a pooling operation on the picture to be detected through the YOLO neural network to obtain 2A x*y convolution feature maps.
  • the 2A x*y convolutional feature maps include A x*y convolutional feature maps output by the Nth convolutional layer and A x*y convolutional feature maps output by the N+1th convolutional layer Figure.
  • Step 104 Perform a convolution operation on the 2A x*y convolution feature maps through preset B pedestrian prediction boxes (anchor boxes), and output an output tensor of x*y*B*(5+C) , C represents the probability of C conditional categories.
  • t o means the single grid Whether there is an object in the pedestrian prediction box corresponding to the grid, C represents the conditional category probability of the pedestrian category corresponding to the single grid.
  • Step 106 Obtain the pedestrian and the location of the pedestrian in the picture to be detected according to the output tensor.
  • the bounding box data includes every The position and size of each bounding box in the picture to be detected and the pedestrian category probability of the pedestrian category; wherein the calculation formula for predicting the bounding box data of the corresponding B bounding boxes on each grid includes:
  • ⁇ is the sigmoid function, which is used to maintain the offset value of the bounding box within the range of (0,1), so that the center position of the bounding box is constrained in the corresponding grid to prevent excessive offset;
  • t x The distance from the center of the predicted bounding box to the left of the grid;
  • t y the distance from the center of the predicted bounding box to the upper edge of the grid;
  • c x , c y are the position offset of the grid from the upper left corner of the image to be detected ,
  • the length and width of each grid are 1;
  • p w and p h are the width and length of the pedestrian prediction box;
  • t w the width of the prediction bounding box, divided by the normalized value of the width of the picture to be detected;
  • t h the height of the predicted bounding box, divided by the normalized value of the height of the picture to be detected;
  • Pr(object) the conditional category probability of the pedestrian category;
  • the method further includes the step of obtaining the deviation between the actual output of the YOLO neural network and the sample label value through a loss function, and the deviation is used to train the YOLO neural network.
  • the grid contains the center of the object, and it is responsible for predicting the pedestrian category probability of the object. To determine that there is no object in the j-th bounding box of grid i
  • ⁇ coord is the coordinate loss weight, taking 5
  • ⁇ noobj is the confidence loss weight, taking 0.5.
  • Equations (1) and (2) are the coordinate prediction part
  • the formula (3) is the confidence prediction part of the bounding box containing the object
  • the formula (4) is the confidence prediction part of the bounding box without the object.
  • 5) For the pedestrian category prediction part.
  • FIG. 2 shows a flow chart of the steps of the pedestrian detection method based on the YOLO neural network in the second embodiment of the present application.
  • Step S200 configure the YOLO neural network.
  • the YOLO neural network includes a main line and a branch line, and the main line includes a first group of convolutional layers, a first pooling layer, a second group of convolutional layers, a second pooling layer, and a third group of convolutional layers coupled in sequence , The third pooling layer, the fourth group of convolutional layers, the fourth pooling layer, the fifth group of convolutional layers, the fifth pooling layer, and the sixth group of convolutional layers.
  • the branch line is further coupled after the fourth pooling layer, and the branch line includes a sixth pooling layer and a seventh group of convolutional layers that are sequentially coupled. Therefore, the fifth group of convolutional layers, the fifth pooling layer, and the sixth group of convolutional layers that are sequentially coupled are in a parallel relationship with the sixth grouping layer and the seventh group of convolutional layers that are sequentially coupled.
  • the first group of convolutional layers includes: a first convolutional layer composed of 32 3X3 convolution kernels;
  • the first pooling layer includes: a pooling layer with a step length of 2;
  • the second group of convolutional layers includes: a second convolutional layer composed of 64 3X3 convolution kernels;
  • the second pooling layer includes: a pooling layer with a step length of 2;
  • the third group of convolutional layers includes sequentially coupled: a third convolutional layer composed of 128 3X3 convolution kernels, a fourth convolutional layer composed of 64 1X1 convolution kernels, and 128 3X3 convolutional layers
  • the fifth convolutional layer composed of cores
  • the third pooling layer includes: a pooling layer with a step length of 2;
  • the fourth group of convolutional layers includes sequentially coupled: a sixth convolutional layer composed of 256 3X3 convolution kernels, a seventh convolutional layer composed of 128 1X1 convolution kernels, and 256 3X3 convolutional layers
  • the eighth convolutional layer of core composition includes sequentially coupled: a sixth convolutional layer composed of 256 3X3 convolution kernels, a seventh convolutional layer composed of 128 1X1 convolution kernels, and 256 3X3 convolutional layers.
  • the fourth pooling layer includes: a pooling layer with a step length of 2;
  • the fifth group of convolutional layers includes sequentially coupled: a ninth convolutional layer composed of 512 3X3 convolution kernels, a tenth convolutional layer composed of 256 1X1 convolution kernels, and 512 3X3 convolutional layers
  • the eleventh convolutional layer composed of cores, the twelfth convolutional layer composed of 256 1X1 convolution cores, and the thirteenth convolutional layer composed of 512 3X3 convolution cores;
  • the fifth pooling layer includes: a pooling layer with a step length of 2;
  • the sixth group of convolutional layers includes sequentially coupled: a fourteenth convolutional layer composed of 1024 3X3 convolution kernels, a fifteenth convolutional layer composed of 512 1X1 convolution kernels, and 1024 1X1 convolutional layers.
  • the sixteenth convolution layer composed of convolution kernels, the seventeenth convolution layer composed of 512 1X1 convolution kernels, the eighteenth convolution layer composed of 1024 3X3 convolution kernels, and 1024 3X3 convolutions
  • the nineteenth convolution layer composed of cores, the twentieth convolution layer composed of 1024 3X3 convolution kernels, the twenty-first convolution layer composed of 1024 3X3 convolution kernels, and 125 1X1 convolution kernels
  • the twenty-second convolutional layer composed;
  • the sixth pooling layer a pooling layer with a step length of 2;
  • the seventh group of convolutional layers includes sequentially coupled: a twenty-third convolutional layer composed of 125 1X1 convolution kernels.
  • Step S202 input the 416*416 pixel specification to-be-detected picture into the YOLO neural network.
  • Step 204 Perform a convolution operation and a pooling operation on the image to be detected through the YOLO neural network to obtain 250 13*13 convolution feature maps.
  • the 250 convolution feature maps include 125 13*13 convolution feature maps output by the twenty-second convolution layer and 125 13*13 convolution feature maps output by the twenty-third convolution layer.
  • Step 206 Perform a convolution operation on the 250 13*13 convolution feature maps through 5 pedestrian prediction frames, and output an output tensor of 13*13*5*(5+C), where C represents C conditional categories Probability.
  • the five pedestrian prediction boxes are five a priori boxes based on different area ratios and length-width ratios.
  • Each 13*13 convolution feature map consists of 13*13 grids.
  • Five pedestrian prediction frames are configured for each grid in the 250 13*13 convolutional feature maps, and (5+C) vectors of the corresponding five pedestrian prediction frames on each grid are obtained.
  • Step 208 Obtain the pedestrian and the location of the pedestrian in the image to be detected according to the output tensor.
  • the bounding box data of the five bounding boxes corresponding to each grid is predicted, and the bounding box data includes every The position and size of each bounding box in the picture to be detected and the pedestrian category probability of the pedestrian category.
  • FIG. 4 shows a schematic diagram of the program modules of Embodiment 3 of the pedestrian detection system of the present application.
  • the pedestrian detection system 20 may include or be divided into one or more program modules.
  • the one or more program modules are stored in a storage medium and executed by one or more processors to complete this Apply and implement the above-mentioned pedestrian detection method.
  • the program module referred to in the embodiments of the present application refers to a series of computer-readable instruction segments that can complete specific functions. The following description will specifically introduce the functions of each program module in this embodiment:
  • the input module 200 is used to input the image to be detected into the YOLO neural network.
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, M pooling layers are configured between the N convolutional layers, and the M-1th pooling layer is coupled
  • the branch line includes the M+1 th pooling layer and the N+1 th convolution layer that are sequentially coupled.
  • the feature extraction module 202 is configured to perform a convolution operation and a pooling operation on the image to be detected through the YOLO neural network to obtain 2A x*y convolution feature maps.
  • the 2A x*y convolutional feature maps include A x*y convolutional feature maps output by the Nth convolutional layer and A x*y convolutional feature maps output by the N+1th convolutional layer Figure.
  • the pedestrian prediction frame processing module 204 is configured to perform convolution operations on the 2A x*y convolution feature maps through B preset pedestrian prediction frames, and output the output of x*y*B*(5+C) Tensor, C represents the probability of C conditional categories.
  • the pedestrian prediction frame processing module 204 is configured to: configure B pedestrian prediction frames for each grid in the 2A x*y convolutional feature maps, and obtain B pedestrian predictions corresponding to each grid The (5+C) vector of the box. That is, the pedestrian prediction frame is subjected to a sliding window operation on the x*y convolution feature map, and each one slides to a corresponding grid to obtain a corresponding vector.
  • the obtaining module 206 is configured to obtain the pedestrian and the location of the pedestrian in the picture to be detected according to the output tensor.
  • the obtaining module 206 is used to:
  • the bounding box data includes The position, size, and pedestrian category probability of the pedestrian category in the picture to be detected; wherein the calculation formula for predicting the bounding box data of the corresponding B bounding boxes on each grid includes:
  • ⁇ is the sigmoid function
  • t x the distance between the center point of the predicted bounding box and the left side of the grid
  • t y the distance between the center point of the predicted bounding box and the upper edge of the grid
  • c x , c y are the distance from the grid
  • p w and p h are the width and length of the pedestrian prediction frame
  • t w the width of the predicted bounding box, divided by the detecting image width of a value obtained by normalizing
  • t h height of the bounding box of prediction, the picture height to be detected divided by the normalized value of one
  • Pr (object) condition pedestrian class category probabilities
  • ⁇ (t o ) is the pedestrian category probability of the bounding box to the pedestrian
  • the YOLO neural network includes a main line and a branch line, and the main line includes a first group of convolutional layers, a first pooling layer, a second group of convolutional layers, a second pooling layer, and a third group of convolutional layers coupled in sequence , The third pooling layer, the fourth group of convolutional layers, the fourth pooling layer, the fifth group of convolutional layers, the fifth pooling layer, and the sixth group of convolutional layers.
  • the branch line is further coupled after the fourth pooling layer, and the branch line includes a sixth pooling layer and a seventh group of convolutional layers that are sequentially coupled. Therefore, the fifth group of convolutional layers, the fifth pooling layer, and the sixth group of convolutional layers that are sequentially coupled are in a parallel relationship with the sixth grouping layer and the seventh group of convolutional layers that are sequentially coupled. .
  • the first group of convolutional layers includes: a first convolutional layer composed of 32 3X3 convolution kernels;
  • the first pooling layer includes: a pooling layer with a step length of 2;
  • the second group of convolutional layers includes: a second convolutional layer composed of 64 3X3 convolution kernels;
  • the second pooling layer includes: a pooling layer with a step length of 2;
  • the third group of convolutional layers includes sequentially coupled: a third convolutional layer composed of 128 3X3 convolution kernels, a fourth convolutional layer composed of 64 1X1 convolution kernels, and 128 3X3 convolutional layers
  • the fifth convolutional layer composed of cores
  • the third pooling layer includes: a pooling layer with a step length of 2;
  • the fourth group of convolutional layers includes sequentially coupled: a sixth convolutional layer composed of 256 3X3 convolution cores, a seventh convolutional layer composed of 256 1X1 convolution cores, and 256 3X3 convolutional layers
  • the eighth convolutional layer composed of cores
  • the fourth pooling layer includes: a pooling layer with a step length of 2;
  • the fifth group of convolutional layers includes sequentially coupled: a ninth convolutional layer composed of 512 3X3 convolution kernels, a tenth convolutional layer composed of 128 1X1 convolution kernels, and 512 3X3 convolutional layers
  • the eleventh convolutional layer composed of cores
  • the twelfth convolutional layer composed of 256 1X1 convolution cores
  • the thirteenth convolutional layer composed of 512 3X3 convolution cores
  • the fifth pooling layer includes: a pooling layer with a step length of 2;
  • the sixth group of convolutional layers includes sequentially coupled: a fourteenth convolutional layer composed of 1024 3X3 convolution kernels, a fifteenth convolutional layer composed of 512 1X1 convolution kernels, and 1024 1X1 convolutional layers.
  • the sixteenth convolution layer composed of convolution kernels, the seventeenth convolution layer composed of 512 1X1 convolution kernels, the eighteenth convolution layer composed of 1024 3X3 convolution kernels, and 1024 3X3 convolutions
  • the nineteenth convolution layer composed of cores, the twentieth convolution layer composed of 1024 3X3 convolution kernels, the twenty-first convolution layer composed of 1024 3X3 convolution kernels, and 125 1X1 convolution kernels
  • the twenty-second convolutional layer composed;
  • the sixth pooling layer a pooling layer with a step length of 2;
  • the seventh group of convolutional layers includes sequentially coupled: a twenty-third convolutional layer composed of 125 1X1 convolution kernels.
  • the deviation between the actual output of the YOLO neural network and the sample label value is obtained through the loss function, which is used to train the YOLO neural network.
  • the computer device 2 is a device that can automatically perform numerical calculation and/or information processing according to pre-set or stored instructions.
  • the computer device 2 may be a rack server, a blade server, a tower server, or a cabinet server (including an independent server or a server cluster composed of multiple servers).
  • the computer device 2 at least includes, but is not limited to, a memory 21, a processor 22, a network interface 23, and a pedestrian detection system 20 that can communicate with each other through a system bus. among them:
  • the memory 21 includes at least one type of non-volatile computer-readable storage medium.
  • the readable storage medium includes flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), Random access memory (RAM), static random access memory (SRAM), read only memory (ROM), electrically erasable programmable read only memory (EEPROM), programmable read only memory (PROM), magnetic memory, magnetic disk, optical disk Wait.
  • the memory 21 may be an internal storage unit of the computer device 2, for example, the hard disk or memory of the computer device 2.
  • the memory 21 may also be an external storage device of the computer device 2, for example, a plug-in hard disk, a smart media card (SMC), and a secure digital (Secure Digital, SD) card, flash card (Flash Card), etc.
  • the memory 21 may also include both the internal storage unit of the computer device 2 and its external storage device.
  • the memory 21 is generally used to store the operating system and various application software installed in the computer device 2, such as the program code of the pedestrian detection system 20 in the fifth embodiment.
  • the memory 21 can also be used to temporarily store various types of data that have been output or will be output.
  • the processor 22 may be a central processing unit (Central Processing Unit, CPU), a controller, a microcontroller, a microprocessor, or other data processing chips in some embodiments.
  • the processor 22 is generally used to control the overall operation of the computer device 2.
  • the processor 22 is used to run the program code or process data stored in the memory 21, for example, to run the pedestrian detection system 20 to implement the pedestrian detection method of the first or second embodiment.
  • the network interface 23 may include a wireless network interface or a wired network interface, and the network interface 23 is generally used to establish a communication connection between the computer device 2 and other electronic devices.
  • the network interface 23 is used to connect the computer device 2 with an external terminal through a network, and establish a data transmission channel and a communication connection between the computer device 2 and the external terminal.
  • the network may be an intranet, the Internet, a global system of mobile communication (GSM), a wideband code division multiple access (WCDMA), a 4G network, and a 5G Network, Bluetooth (Bluetooth), Wi-Fi and other wireless or wired networks.
  • FIG. 5 only shows the computer device 2 with components 20-23, but it should be understood that it is not required to implement all the components shown, and more or fewer components may be implemented instead.
  • the pedestrian detection system 20 stored in the memory 21 may also be divided into one or more program modules.
  • the one or more program modules are stored in the memory 21 and are composed of one or more program modules. This is executed by two processors (in this embodiment, the processor 22) to complete the application.
  • FIG. 4 shows a schematic diagram of program modules for implementing the fourth embodiment of the pedestrian detection system 20.
  • the pedestrian detection system 20 can be divided into an input module 200, a feature extraction module 202, and a pedestrian prediction frame.
  • the program module referred to in this application refers to a series of computer-readable instruction segments that can complete specific functions. The specific functions of the program modules 200-210 have been described in detail in the third embodiment, and will not be repeated here.
  • This embodiment also provides a non-volatile computer-readable storage medium, such as flash memory, hard disk, multimedia card, card-type memory (for example, SD or DX memory, etc.), random access memory (RAM), static random access memory ( SRAM), Read Only Memory (ROM), Electrically Erasable Programmable Read Only Memory (EEPROM), Programmable Read Only Memory (PROM), Magnetic Memory, Disk, Optical Disk, Server, App Store, etc., which are stored on There are computer-readable instructions, and the corresponding functions are realized when the program is executed by the processor.
  • the non-volatile computer-readable storage medium of this embodiment is used to store the pedestrian detection system 20, and the processor executes the following steps:
  • the YOLO neural network includes a main line and a branch line, the main line includes N convolutional layers coupled in sequence, and M pools are arranged between the N convolutional layers
  • the M-1th pooling layer is also coupled to the branch line, and the branch line includes the M+1th pooling layer and the N+1th convolutional layer that are sequentially coupled;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种行人检测方法，所述方法包括：将待检测图片输入到所述YOLO神经网络；通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作；通过预设的B个行人预测框在2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及根据所述输出张量获取所述待检测图片中的行人及行人所在位置。本方法可以有效提高小物体的预测准确性。

Description

行人检测方法、系统、计算机设备及计算机可存储介质
本申请申明2019年01月14日递交的申请号为201910031726.4、名称为“行人检测方法、系统、计算机设备及计算机可存储介质”的中国专利申请的优先权，该中国专利申请的整体内容以参考的方式结合在本申请中。
技术领域
本申请实施例涉及计算机数据处理领域，尤其涉及一种行人检测方法、系统、计算机设备及非易失性计算机可读存储介质。
背景技术
近年来，深度卷积网络推动目标分类、目标检测、语义分割等领域取得了巨大的发展。其中，行人检测技术成为了计算机视觉领域的一个研究热点问题。行人检测技术可以应用在视频监控、智能辅助驾驶、行人分析以及智能机器人等领域，对人们的生活产生了深远的影响。
行人检测技术一类解决方案是基于梯度方向直方图(Histogram Of Gradient，HOG)进行改进的。但是这种行人检测技术的检测精度主要依赖于研究人员的特征的设计，但设计出优秀的特征即使对于有扎实的专业基础的研究者来说也是十分困难的。另一类解决方案是，随着深度学习技术的兴起，本领域技术人员开始使用深度卷积网络自动的在数据集中提取特征，从而有效地避免了传统方法中依靠研究人员手工设计特征，有效地提高了检测的精度。
例如，基于YOLO(You Only Look Once)v1、YOLOv2等神经网络，其凭借检测速度快、准确度高等优点开始被人们重视并应用于行人检测技术中。然而，发明人发现基于上述神经网络的检测技术，对小目标的检测能力较差。
发明内容
有鉴于此，本申请实施例的目的是提供一种行人检测方法、系统、计算机设备及非易失性计算机可读存储介质，可以有效解决对小目标的检测能力较差的技术问题。
为实现上述目的，本申请实施例提供了一种基于YOLO神经网络的行人检测方法，所 述方法包括：
将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
为实现上述目的，本申请实施例还提供了行人检测系统，包括：
输入模块，用于将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
特征提取模块，用于通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
行人预测框处理模块，用于通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
获取模块，用于根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
为实现上述目的，本申请实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
为实现上述目的，本申请实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质内存储有计算机可读指令，所述计算机可读指令可被至少一个处理器所执行，以使所述至少一个处理器执行如下步骤：
将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
本申请实施例提供的行人检测方法、系统、计算机设备及非易失性计算机可读存储介质，通过新增一个包括第M+1个池化层和第N+1的支线，该支线在YOLO神经网络的卷积中间过程中提取待检测图片的特征，用于保留更多小目标的信息，从而有效提高了小物体的预测准确性。
附图说明
图1为本申请行人检测方法实施例一的流程图。
图2为本申请行人检测方法实施例二的流程图。
图3为本申请行人检测方法实施例二中YOLO神经网络的结构示意图。
图4为本申请行人检测系统实施例三的程序模块示意图。
图5为本申请计算机设备实施例四的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
以下实施例将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图1，示出了本申请实施例一之基于YOLO神经网络的行人检测方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。具体如下。
步骤S100，将待检测图片输入到所述YOLO神经网络。
所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层。
进一步的，预先配置所述YOLO神经网络：所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层，所述第四池化层之后还耦合有所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层，其中，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层之间为并联关系。
步骤102，通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图。
所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图。
步骤104，通过预设的B个行人预测框(anchor box)在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率。
为所述2A个x*y卷积特征图中的每个网格配置B个行人预测框，获取每个网格上对应的B个行人预测框的(5+C)的向量；
其中，“5”表示单个网格对应其中一个行人预测框所预测得到的4个坐标值(t x、t y、t w、t h)和1个置信度t o，t o表示该单个网格对应的行人预测框中是否存在物体，C表示该单个网格对应的行人类别的条件类别概率。
步骤106，根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
根据每个网格上对应的B个行人预测框的(5+C)的向量，预测每个网格上对应的B个边界框(bounding box)的边界框数据，所述边界框数据包括每个边界框在所述待检测图片中的位置、尺寸和行人类别的行人类别概率；其中，预测每个网格上对应的B个边界框的边界框数据的计算公式包括：
b x＝σ(t x)+c x
b y＝σ(t y)+c y
Figure PCTCN2019118471-appb-000001
Figure PCTCN2019118471-appb-000002
Figure PCTCN2019118471-appb-000003
其中，σ为sigmoid函数，用于将边界框的偏移值维持在(0,1)范围内，使得边界框的中心位置被约束在相应的网格内，防止偏移过多；t x：预测边界框中心点距所在网格左边的距离；t y：预测边界框中心点距所在网格上边的距离；c x、c y为该网格距离所述待检测图片左上角的位置偏移，每个网格的长和宽为1；p w、p h为行人预测框的宽度和长度；t w：预测边界框的宽度，除以所述待检测图片宽度归一化后的值；t h：预测边界框的高度，除以所述待检测图片高度归一化后的值；Pr(object)：行人类别的条件类别概率；b x、b y为边界框的坐标信息；b w、b h为边界框的尺寸信息；
Figure PCTCN2019118471-appb-000004
为边界框和实际边界框的交并比，所述交并比为交集部分面积和并集部分面积之比；σ(t o)为边界框对行人类别的行人类别概率。
IOU＝交集部分面积/并集部分面积，边界框和实际边界框完全重合时IOU＝1，不相交时IOU＝0，即用于体现了预测的边界框与真实边界框的接近程度。
通过每个网格对应的B个边界框对应的B个行人类别概率，得到x*y*B个边界框对应的x*y*B个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
在一实施例中，还包括步骤：通过损失函数得到所述YOLO神经网络实际输出和样本标签值之间的偏差，用于训练所述YOLO神经网络。
Figure PCTCN2019118471-appb-000005
Figure PCTCN2019118471-appb-000006
为判断网格i的第j个边界框是否负责这个物体，是则取1，否则取0。
Figure PCTCN2019118471-appb-000007
为判断有物体的中心落在网格i中，网格中包含有物体的中心，则负责预测该物体的行人类别概率。
Figure PCTCN2019118471-appb-000008
为判断网格i的第j个边界框中不存在物体。
λ coord为坐标损失权重，取5，λ noobj为置信度损失权重，取0.5。
在式(1)和式(2)为坐标预测部分，式(3)为含物体的边界框的置信度预测部分，式(4)为不含物体的边界框的置信度预测部分，式(5)为行人类别预测部分。
实施例二
参阅图2，示出了本申请实施例二之基于YOLO神经网络的行人检测方法的步骤流程图。
步骤S200，配置YOLO神经网络。
所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层。所述第四池化层之后还耦合所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层。因此，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层为并联关系。
具体的，如图3所示：
所述第一组卷积层包括：由32个3X3卷积核组成的第一卷积层；
所述第一池化层包括：步长为2的池化层；
所述第二组卷积层包括：由64个3X3卷积核组成的第二卷积层；
所述第二池化层包括：步长为2的池化层；
所述第三组卷积层包括依序耦合的：由128个3X3卷积核组成的第三卷积层、由64个1X1卷积核组成的第四卷积层、由128个3X3卷积核组成的第五卷积层；
所述第三池化层包括：步长为2的池化层；
所述第四组卷积层包括依序耦合的：由256个3X3卷积核组成的第六卷积层、由128个1X1卷积核组成的第七卷积层、由256个3X3卷积核组成的第八卷积层；
所述第四池化层包括：步长为2的池化层；
所述第五组卷积层包括依序耦合的：由512个3X3卷积核组成的第九卷积层、由256个1X1卷积核组成的第十卷积层、由512个3X3卷积核组成的第十一卷积层、由256个1X1卷积核组成的第十二卷积层、由512个3X3卷积核组成的第十三卷积层；
所述第五池化层包括：步长为2的池化层；
所述第六组卷积层包括依序耦合的：由1024个3X3卷积核组成的第十四卷积层、由512个1X1卷积核组成的第十五卷积层、由1024个1X1卷积核组成的第十六卷积层、由512个1X1卷积核组成的第十七卷积层、由1024个3X3卷积核组成的第十八卷积层、由1024个3X3卷积核组成的第十九卷积层、由1024个3X3卷积核组成的第二十卷积层、由1024个3X3卷积核组成的第二十一卷积层、由125个1X1卷积核组成的第二十二卷积层；
所述第六池化层：步长为2的池化层；
所述第七组卷积层包括依序耦合的：由125个1X1卷积核组成的第二十三卷积层。
步骤S202，将416*416像素规格的待检测图片输入到所述YOLO神经网络。
步骤204，通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到250个13*13卷积特征图。
所述250个卷积特征图包括所述第二十二卷积层输出125个13*13卷积特征图以及所述第二十三卷积层输出125个13*13卷积特征图。
步骤206，通过5个行人预测框在所述250个13*13卷积特征图上做卷积操作，输出13*13*5*(5+C)的输出张量，C表示C个条件类别概率。
5个行人预测框为根据不同的面积比例和长宽比例的5个先验框。
每个13*13卷积特征图由13*13个网格组成。
为所述250个13*13卷积特征图中的每个网格配置5个行人预测框，获取每个网格上对应的5个行人预测框的(5+C)的向量。
步骤208，根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
根据每个网格上对应的5个行人预测框的(5+C)的向量，预测每个网格上对应的5个边界框(bounding box)的边界框数据，所述边界框数据包括每个边界框在所述待检测图 片中的位置、尺寸和行人类别的行人类别概率。
通过每个网格对应的5个边界框对应的5个行人类别概率，得到13*13*5个边界框对应的13*13*5个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
实施例三
请继续参阅图4，示出了本申请行人检测系统实施例三的程序模块示意图。在本实施例中，行人检测系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请，并可实现上述行人检测方法。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机可读指令段。以下描述将具体介绍本实施例各程序模块的功能：
输入模块200，用于将待检测图片输入到所述YOLO神经网络。
所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层。
特征提取模块202，用于通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图。
所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图。
行人预测框处理模块204，用于通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率。
具体的，行人预测框处理模块204，用于：为所述2A个x*y卷积特征图中的每个网格配置B个行人预测框，获取每个网格上对应的B个行人预测框的(5+C)的向量。也即，将行人预测框在x*y卷积特征图上做滑窗操作，每个滑到一对应网格处，得到相应的向量。
“5”表示单个网格对应其中一个行人预测框所预测得到的4个坐标值(t x、t y、t w、t h)和1个置信度t o，t o表示该单个网格对应的行人预测框中是否存在物体，C表示该单个网格对应的行人类别的条件类别概率。
获取模块206，用于根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
具体的，获取模块206用于：
根据每个网格上对应的B个行人预测框的(5+C)的向量，预测每个网格上对应的B个边界框的边界框数据，所述边界框数据包括每个边界框在所述待检测图片中的位置、尺寸和行人类别的行人类别概率；其中，预测每个网格上对应的B个边界框的边界框数据的计 算公式包括：
b x＝σ(t x)+c x
b y＝σ(t y)+c y
Figure PCTCN2019118471-appb-000009
Figure PCTCN2019118471-appb-000010
Figure PCTCN2019118471-appb-000011
其中，σ为sigmoid函数；t x：预测边界框中心点距所在网格左边的距离；t y：预测边界框中心点距所在网格上边的距离；c x、c y为该网格距离所述待检测图片左上角的位置偏移，每个网格的长和宽为1；p w、p h为行人预测框的宽度和长度；t w：预测边界框的宽度，除以所述待检测图片宽度归一化后的值；t h：预测边界框的高度，除以所述待检测图片高度归一化后的值；Pr(object)：行人类别的条件类别概率；
Figure PCTCN2019118471-appb-000012
为边界框和实际边界框的交并比，所述交并比为交集部分面积和并集部分面积之比；σ(t o)为边界框对行人类别的行人类别概率。
通过每个网格对应的B个边界框对应的B个行人类别概率，得到x*y*B个边界框对应的x*y*B个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
在一实施例中：
还包括配置模块208，用于配置所述YOLO神经网络；
所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层。所述第四池化层之后还耦合所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层。因此，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层为并联关系。。
进一步：
所述第一组卷积层包括：由32个3X3卷积核组成的第一卷积层；
所述第一池化层包括：步长为2的池化层；
所述第二组卷积层包括：由64个3X3卷积核组成的第二卷积层；
所述第二池化层包括：步长为2的池化层；
所述第三组卷积层包括依序耦合的：由128个3X3卷积核组成的第三卷积层、由64个1X1卷积核组成的第四卷积层、由128个3X3卷积核组成的第五卷积层；
所述第三池化层包括：步长为2的池化层；
所述第四组卷积层包括依序耦合的：由256个3X3卷积核组成的第六卷积层、由256个1X1卷积核组成的第七卷积层、由256个3X3卷积核组成的第八卷积层；
所述第四池化层包括：步长为2的池化层；
所述第五组卷积层包括依序耦合的：由512个3X3卷积核组成的第九卷积层、由128个1X1卷积核组成的第十卷积层、由512个3X3卷积核组成的第十一卷积层、由256个1X1卷积核组成的第十二卷积层、由512个3X3卷积核组成的第十三卷积层；
所述第五池化层包括：步长为2的池化层；
所述第六组卷积层包括依序耦合的：由1024个3X3卷积核组成的第十四卷积层、由512个1X1卷积核组成的第十五卷积层、由1024个1X1卷积核组成的第十六卷积层、由512个1X1卷积核组成的第十七卷积层、由1024个3X3卷积核组成的第十八卷积层、由1024个3X3卷积核组成的第十九卷积层、由1024个3X3卷积核组成的第二十卷积层、由1024个3X3卷积核组成的第二十一卷积层、由125个1X1卷积核组成的第二十二卷积层；
所述第六池化层：步长为2的池化层；
所述第七组卷积层包括依序耦合的：由125个1X1卷积核组成的第二十三卷积层。
在一实施例中：
还包括训练模块210，用于：
通过损失函数得到所述YOLO神经网络实际输出和样本标签值之间的偏差，用于训练所述YOLO神经网络。
实施例四
参阅图5，是本申请实施例四之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及行人检测系统20。其中：
本实施例中，存储器21至少包括一种类型的非易失性计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。 在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例五的行人检测系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行行人检测系统20，以实现实施例一或二的行人检测方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图5仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述行人检测系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本申请。
例如，图4示出了所述实现行人检测系统20实施例四的程序模块示意图，该实施例中，所述基于行人检测系统20可以被划分为输入模块200、特征提取模块202、行人预测框处理模块204、获取模块206、配置模块208和训练模块210。其中，本申请所称的程序模块是指能够完成特定功能的一系列计算机可读指令段。所述程序模块200-210的具体功能在实施例三中已有详细描述，在此不再赘述。
实施例五
本实施例还提供一种非易失性计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、 只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机可读指令，程序被处理器执行时实现相应功能。本实施例的非易失性计算机可读存储介质用于存储行人检测系统20，被处理器执行如下步骤：
将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种基于YOLO神经网络的行人检测方法，所述方法包括：
    将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
    通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
    通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
    根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
  2. 根据权利要求1所述的行人检测方法，将待检测图片输入到所述YOLO神经网络的步骤之前，还包括：
    配置所述YOLO神经网络；
    其中，所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层，所述第四池化层之后还耦合有所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层，其中，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层之间为并联关系。
  3. 根据权利要求2所述的行人检测方法，通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量的步骤，包括：
    为所述2A个x*y卷积特征图中的每个网格配置B个行人预测框，获取每个网格上对应的B个行人预测框的(5+C)的向量；
    其中，“5”表示单个网格对应其中一个行人预测框所预测得到的4个坐标值(t x、t y、t w、t h)和1个置信度t o，t o表示该单个网格对应的行人预测框中是否存在物体，C表示该单个网格对应的行人类别的条件类别概率。
  4. 根据权利要求3所述的行人检测方法，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    根据每个网格上对应的B个行人预测框的(5+C)的向量，预测每个网格上对应的B个边界框的边界框数据，所述边界框数据包括每个边界框在所述待检测图片中的位置、尺寸 和行人类别的行人类别概率；其中，预测每个网格上对应的B个边界框的边界框数据的计算公式包括：
    b x＝σ(t x)+c x
    b y＝σ(t y)+c y
    Figure PCTCN2019118471-appb-100001
    Figure PCTCN2019118471-appb-100002
    Figure PCTCN2019118471-appb-100003
    其中，σ为sigmoid函数；t x：预测边界框中心点距所在网格左边的距离；t y：预测边界框中心点距所在网格上边的距离；c x、c y为该网格距离所述待检测图片左上角的位置偏移，每个网格的长和宽为1；p w、p h为行人预测框的宽度和长度；t w：预测边界框的宽度，除以所述待检测图片宽度归一化后的值；t h：预测边界框的高度，除以所述待检测图片高度归一化后的值；Pr(object)：行人类别的条件类别概率；
    Figure PCTCN2019118471-appb-100004
    为边界框和实际边界框的交并比，所述交并比为交集部分面积和并集部分面积之比；b x、b y为边界框的坐标信息；b w、b h为边界框的尺寸信息；σ(t o)为边界框对行人类别的行人类别概率。
  5. 根据权利要求4所述的行人检测方法，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    通过每个网格对应的B个边界框对应的B个行人类别概率，得到x*y*B个边界框对应的x*y*B个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
  6. 根据权利要求2所述的行人检测方法，其特征在于：
    所述第一组卷积层包括：由32个3X3卷积核组成的第一卷积层；
    所述第一池化层包括：步长为2的池化层；
    所述第二组卷积层包括：由64个3X3卷积核组成的第二卷积层；
    所述第二池化层包括：步长为2的池化层；
    所述第三组卷积层包括依序耦合的：由128个3X3卷积核组成的第三卷积层、由64个1X1卷积核组成的第四卷积层、由128个3X3卷积核组成的第五卷积层；
    所述第三池化层包括：步长为2的池化层；
    所述第四组卷积层包括依序耦合的：由256个3X3卷积核组成的第六卷积层、由128个1X1卷积核组成的第七卷积层、由256个3X3卷积核组成的第八卷积层；
    所述第四池化层包括：步长为2的池化层；
    所述第五组卷积层包括依序耦合的：由512个3X3卷积核组成的第九卷积层、由256 个1X1卷积核组成的第十卷积层、由512个3X3卷积核组成的第十一卷积层、由256个1X1卷积核组成的第十二卷积层、由512个3X3卷积核组成的第十三卷积层；
    所述第五池化层包括：步长为2的池化层；
    所述第六组卷积层包括依序耦合的：由1024个3X3卷积核组成的第十四卷积层、由512个1X1卷积核组成的第十五卷积层、由1024个1X1卷积核组成的第十六卷积层、由512个1X1卷积核组成的第十七卷积层、由1024个3X3卷积核组成的第十八卷积层、由1024个3X3卷积核组成的第十九卷积层、由1024个3X3卷积核组成的第二十卷积层、由1024个3X3卷积核组成的第二十一卷积层、由125个1X1卷积核组成的第二十二卷积层；
    所述第六池化层：步长为2的池化层；
    所述第七组卷积层包括依序耦合的：由125个1X1卷积核组成的第二十三卷积层。
  7. 根据权利要求1所述的行人检测方法，还包括：
    通过损失函数得到所述YOLO神经网络实际输出和样本标签值之间的偏差，用于训练所述YOLO神经网络。
  8. 一种行人检测系统，包括：
    输入模块，用于将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
    特征提取模块，用于通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
    行人预测框处理模块，用于通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
    获取模块，用于根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
  9. 一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被处理器执行时实现以下步骤：
    将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
    通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y 卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
    通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
    根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
  10. 根据权利要求9所述的计算机设备，将待检测图片输入到所述YOLO神经网络的步骤之前，还包括：
    配置所述YOLO神经网络；
    其中，所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层，所述第四池化层之后还耦合有所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层，其中，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层之间为并联关系。
  11. 根据权利要求10所述的计算机设备，通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量的步骤，包括：
    为所述2A个x*y卷积特征图中的每个网格配置B个行人预测框，获取每个网格上对应的B个行人预测框的(5+C)的向量；
    其中，“5”表示单个网格对应其中一个行人预测框所预测得到的4个坐标值(t x、t y、t w、t h)和1个置信度t o，t o表示该单个网格对应的行人预测框中是否存在物体，C表示该单个网格对应的行人类别的条件类别概率。
  12. 根据权利要求11所述的计算机设备，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    根据每个网格上对应的B个行人预测框的(5+C)的向量，预测每个网格上对应的B个边界框的边界框数据，所述边界框数据包括每个边界框在所述待检测图片中的位置、尺寸和行人类别的行人类别概率；其中，预测每个网格上对应的B个边界框的边界框数据的计算公式包括：
    b x＝σ(t x)+c x
    b y＝σ(t y)+c y
    Figure PCTCN2019118471-appb-100005
    Figure PCTCN2019118471-appb-100006
    Figure PCTCN2019118471-appb-100007
    其中，σ为sigmoid函数；t x：预测边界框中心点距所在网格左边的距离；t y：预测边界框中心点距所在网格上边的距离；c x、c y为该网格距离所述待检测图片左上角的位置偏移，每个网格的长和宽为1；p w、p h为行人预测框的宽度和长度；t w：预测边界框的宽度，除以所述待检测图片宽度归一化后的值；t h：预测边界框的高度，除以所述待检测图片高度归一化后的值；Pr(object)：行人类别的条件类别概率；
    Figure PCTCN2019118471-appb-100008
    为边界框和实际边界框的交并比，所述交并比为交集部分面积和并集部分面积之比；b x、b y为边界框的坐标信息；b w、b h为边界框的尺寸信息；σ(t o)为边界框对行人类别的行人类别概率。
  13. 根据权利要求12所述的计算机设备，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    通过每个网格对应的B个边界框对应的B个行人类别概率，得到x*y*B个边界框对应的x*y*B个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
  14. 根据权利要求10所述的计算机设备，其特征在于：
    所述第一组卷积层包括：由32个3X3卷积核组成的第一卷积层；
    所述第一池化层包括：步长为2的池化层；
    所述第二组卷积层包括：由64个3X3卷积核组成的第二卷积层；
    所述第二池化层包括：步长为2的池化层；
    所述第三组卷积层包括依序耦合的：由128个3X3卷积核组成的第三卷积层、由64个1X1卷积核组成的第四卷积层、由128个3X3卷积核组成的第五卷积层；
    所述第三池化层包括：步长为2的池化层；
    所述第四组卷积层包括依序耦合的：由256个3X3卷积核组成的第六卷积层、由128个1X1卷积核组成的第七卷积层、由256个3X3卷积核组成的第八卷积层；
    所述第四池化层包括：步长为2的池化层；
    所述第五组卷积层包括依序耦合的：由512个3X3卷积核组成的第九卷积层、由256个1X1卷积核组成的第十卷积层、由512个3X3卷积核组成的第十一卷积层、由256个1X1卷积核组成的第十二卷积层、由512个3X3卷积核组成的第十三卷积层；
    所述第五池化层包括：步长为2的池化层；
    所述第六组卷积层包括依序耦合的：由1024个3X3卷积核组成的第十四卷积层、由512个1X1卷积核组成的第十五卷积层、由1024个1X1卷积核组成的第十六卷积层、由512个1X1卷积核组成的第十七卷积层、由1024个3X3卷积核组成的第十八卷积层、由1024个3X3卷积核组成的第十九卷积层、由1024个3X3卷积核组成的第二十卷积层、由1024 个3X3卷积核组成的第二十一卷积层、由125个1X1卷积核组成的第二十二卷积层；
    所述第六池化层：步长为2的池化层；
    所述第七组卷积层包括依序耦合的：由125个1X1卷积核组成的第二十三卷积层。
  15. 根据权利要求9所述的计算机设备，还包括：
    通过损失函数得到所述YOLO神经网络实际输出和样本标签值之间的偏差，用于训练所述YOLO神经网络。
  16. 一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质内存储有计算机可读指令，所述计算机可读指令可被至少一个处理器所执行，以使所述至少一个处理器执行如下步骤：
    将待检测图片输入到所述YOLO神经网络，所述YOLO神经网络包括主线和支线，所述主线包括依顺序耦合的N个卷积层，所述N个卷积层之间配置有M个池化层，第M-1个池化层还耦合所述支线，所述支线包括依序耦合的第M+1个池化层和第N+1个卷积层；
    通过所述YOLO神经网络对所述待检测图片执行卷积操作和池化操作，以得到2A个x*y卷积特征图，所述2A个x*y卷积特征图包括所述第N个卷积层输出A个x*y卷积特征图以及所述第N+1个卷积层输出A个x*y卷积特征图；
    通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量，C表示C个条件类别概率；及
    根据所述输出张量获取所述待检测图片中的行人及行人所在位置。
  17. 根据权利要求9所述的非易失性计算机可读存储介质，将待检测图片输入到所述YOLO神经网络的步骤之前，还包括：
    配置所述YOLO神经网络；
    其中，所述主线包括依顺序耦合的第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层、第五池化层、第六组卷积层，所述第四池化层之后还耦合有所述支线，所述支线包括依序耦合的第六池化层和第七组卷积层，其中，依序耦合的所述第五组卷积层、第五池化层和第六组卷积层与依序耦合的第六池化层和第七组卷积层之间为并联关系。
  18. 根据权利要求17所述的非易失性计算机可读存储介质，通过预设的B个行人预测框在所述2A个x*y卷积特征图上做卷积操作，输出x*y*B*(5+C)的输出张量的步骤，包括：
    为所述2A个x*y卷积特征图中的每个网格配置B个行人预测框，获取每个网格上对应的B个行人预测框的(5+C)的向量；
    其中，“5”表示单个网格对应其中一个行人预测框所预测得到的4个坐标值(t x、t y、t w、t h)和1个置信度t o，t o表示该单个网格对应的行人预测框中是否存在物体，C表示该单个网格对应的行人类别的条件类别概率。
  19. 根据权利要求18所述的非易失性计算机可读存储介质，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    根据每个网格上对应的B个行人预测框的(5+C)的向量，预测每个网格上对应的B个边界框的边界框数据，所述边界框数据包括每个边界框在所述待检测图片中的位置、尺寸和行人类别的行人类别概率；其中，预测每个网格上对应的B个边界框的边界框数据的计算公式包括：
    b x＝σ(t x)+c x
    b y＝σ(t y)+c y
    Figure PCTCN2019118471-appb-100009
    Figure PCTCN2019118471-appb-100010
    Figure PCTCN2019118471-appb-100011
    其中，σ为sigmoid函数；t x：预测边界框中心点距所在网格左边的距离；t y：预测边界框中心点距所在网格上边的距离；c x、c y为该网格距离所述待检测图片左上角的位置偏移，每个网格的长和宽为1；p w、p h为行人预测框的宽度和长度；t w：预测边界框的宽度，除以所述待检测图片宽度归一化后的值；t h：预测边界框的高度，除以所述待检测图片高度归一化后的值；Pr(object)：行人类别的条件类别概率；
    Figure PCTCN2019118471-appb-100012
    为边界框和实际边界框的交并比，所述交并比为交集部分面积和并集部分面积之比；b x、b y为边界框的坐标信息；b w、b h为边界框的尺寸信息；σ(t o)为边界框对行人类别的行人类别概率。
  20. 根据权利要求19所述的非易失性计算机可读存储介质，根据所述输出张量获取所述待检测图片中的行人及行人所在位置的步骤，包括：
    通过每个网格对应的B个边界框对应的B个行人类别概率，得到x*y*B个边界框对应的x*y*B个行人类别概率，选择大于预设阈值的一个或多个目标边界框。
PCT/CN2019/118471 2019-01-14 2019-11-14 行人检测方法、系统、计算机设备及计算机可存储介质 WO2020147410A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910031726.4A CN109902556A (zh) 2019-01-14 2019-01-14 行人检测方法、系统、计算机设备及计算机可存储介质
CN201910031726.4 2019-01-14

Publications (1)

Publication Number Publication Date
WO2020147410A1 true WO2020147410A1 (zh) 2020-07-23

Family

ID=66943667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/118471 WO2020147410A1 (zh) 2019-01-14 2019-11-14 行人检测方法、系统、计算机设备及计算机可存储介质

Country Status (2)

Country Link
CN (1) CN109902556A (zh)
WO (1) WO2020147410A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308045A (zh) * 2020-11-30 2021-02-02 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN113256683A (zh) * 2020-12-30 2021-08-13 深圳云天励飞技术股份有限公司 目标跟踪方法及相关设备
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114708653A (zh) * 2022-03-23 2022-07-05 南京邮电大学 基于行人重识别算法的指定行人动作检索方法
CN114723944A (zh) * 2022-03-28 2022-07-08 长春长光博翔无人机有限公司 图像分析方法、存储介质和电子设备
CN115147642A (zh) * 2022-06-02 2022-10-04 盛视科技股份有限公司 基于视觉的渣土车检测方法、装置、计算机及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111209822A (zh) * 2019-12-30 2020-05-29 南京华图信息技术有限公司 一种热红外图像的人脸检测方法
CN113128316B (zh) * 2020-01-15 2024-08-02 北京四维图新科技股份有限公司 目标检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN108921875A (zh) * 2018-07-09 2018-11-30 哈尔滨工业大学（深圳） 一种基于航拍数据的实时车流检测与追踪方法
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509859B (zh) * 2018-03-09 2022-08-26 南京邮电大学 一种基于深度神经网络的无重叠区域行人跟踪方法
CN108805070A (zh) * 2018-06-05 2018-11-13 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习行人检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108875600A (zh) * 2018-05-31 2018-11-23 银江股份有限公司 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN108921875A (zh) * 2018-07-09 2018-11-30 哈尔滨工业大学（深圳） 一种基于航拍数据的实时车流检测与追踪方法
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308045A (zh) * 2020-11-30 2021-02-02 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN112308045B (zh) * 2020-11-30 2023-11-24 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN113256683A (zh) * 2020-12-30 2021-08-13 深圳云天励飞技术股份有限公司 目标跟踪方法及相关设备
CN113256683B (zh) * 2020-12-30 2024-03-29 深圳云天励飞技术股份有限公司 目标跟踪方法及相关设备
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114118124B (zh) * 2021-09-29 2023-09-12 北京百度网讯科技有限公司 图像检测方法和装置
CN114708653A (zh) * 2022-03-23 2022-07-05 南京邮电大学 基于行人重识别算法的指定行人动作检索方法
CN114723944A (zh) * 2022-03-28 2022-07-08 长春长光博翔无人机有限公司 图像分析方法、存储介质和电子设备
CN115147642A (zh) * 2022-06-02 2022-10-04 盛视科技股份有限公司 基于视觉的渣土车检测方法、装置、计算机及存储介质

Also Published As

Publication number Publication date
CN109902556A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
WO2020147410A1 (zh) 行人检测方法、系统、计算机设备及计算机可存储介质
US11270166B2 (en) Image identification system and image identification method
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN108304775B (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN110033481B (zh) 用于进行图像处理的方法和设备
CN113379718A (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
CN112560862B (zh) 文本识别方法、装置及电子设备
WO2020151299A1 (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
WO2023001059A1 (zh) 检测方法、装置、电子设备及存储介质
WO2021174688A1 (zh) 人脸检测方法及系统
CN112016510A (zh) 基于深度学习的信号灯识别方法和装置、设备及存储介质
CN115331048B (zh) 图像分类方法、装置、设备以及存储介质
CN113781493A (zh) 图像处理方法、装置、电子设备、介质及计算机程序产品
CN111353580A (zh) 目标检测网络的训练方法、电子设备及存储介质
CN114359932B (zh) 文本检测方法、文本识别方法及装置
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CN112241736A (zh) 一种文本检测的方法及装置
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN111709346B (zh) 基于深度学习和高分影像的历史建筑识别与检测方法
CN113744280A (zh) 图像处理方法、装置、设备及介质
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
CN115482436B (zh) 图像筛选模型的训练方法、装置以及图像筛选方法
CN116343169A (zh) 路径规划方法、目标对象运动控制方法、装置及电子设备
CN112749293A (zh) 一种图像分类方法、装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 07.09.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19910188

Country of ref document: EP

Kind code of ref document: A1