WO2021203717A1 - 基于视频帧的复杂场景路侧停车行为识别方法 - Google Patents
基于视频帧的复杂场景路侧停车行为识别方法 Download PDFInfo
- Publication number
- WO2021203717A1 WO2021203717A1 PCT/CN2020/132029 CN2020132029W WO2021203717A1 WO 2021203717 A1 WO2021203717 A1 WO 2021203717A1 CN 2020132029 W CN2020132029 W CN 2020132029W WO 2021203717 A1 WO2021203717 A1 WO 2021203717A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- video frames
- parking
- coordinate information
- parking space
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006399 behavior Effects 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Definitions
- the beneficial effects of the present invention using the difference comparison between vehicles and auxiliary targets in continuous video frames provided by the present invention, judging the roadside parking behavior of vehicles in complex scenes, based on the processing of image continuous video frames, the principle is simple, and the calculation efficiency is high , It is suitable for the urban roadside parking lot scene, which has great significance for improving the recognition accuracy of urban roadside parking behavior and the automation level of the parking management system.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于视频帧的复杂场景路侧停车行为识别方法，通过对视频设备中停车位区域进行绘制；对连续视频帧中车辆的检测以及连续视频帧中停车位区域内车辆的差异对比；初步确定可能发生停车行为的车辆，再通过对每个差异车辆的辅助目标的检测，并结合连续的视频帧中车辆及辅助目标的差异对比，判断复杂场景下车辆的路侧停车行为。本识别方法基于对图像连续视频帧的处理，计算效率高，适用于城市路侧停车场景，对于提高城市路侧停车行为的识别准确率及停车管理系统的自动化水平具有重要的意义。
Description
本发明涉及路侧停车的自动控制领域，特别涉及一种基于视频帧的复杂场景路侧停车行为识别方法。
路侧停车是利用地面上通行公路两侧的场地进行的停车管理，是城市管理的重要组成部分，随着城市经济的飞速发展和人们生活水平的不断提高，城市机动车保有量快速增长，由于历史及现实的种种原因，大部分城市都面临机动车停车位短缺甚至严重不足的困扰，因此，路侧停车管理成为城市停车管理的一个重要环节，受到政府及民众的广泛关注，目前主要采用高位视频来进行路侧停车的管理。
近年以来，基于高位视频的路侧停车系统由于其安装后不易损坏、捕捉视频全面清晰、现场不需人操作等优点，在很多城市开始大规模上线应用。作为智慧城市建设的重要一环，路侧自动停车管理系统确实解决了原来路侧停车中只能依靠人工巡逻进行低效的管理，成本高企，劳动条件差等缺点。
但是，基于高位视频的路侧停车需要依靠视频帧自动捕捉出入场等停车行为，自动定位及捕捉清晰的车牌等，高效的处理算法成为整个系统中及其重要的部分，虽然一些城市开始大规模应用，但处理算法的准确性及实时性成为通车的关键一环，影响着整个系统的成败与效果。尤其是由于安装条件及周围环境的限制，造成采集视频中车辆重叠严重、天气因素成像不清晰、夜间停车场光照不足成像模糊、城市绿化的树叶等障碍物的遮挡等复杂场景下，系统中视频处理算法要准确判断停车行为更加困难。如何采取更加智能、更加鲁棒性的算法在困难的复杂应用环境中准确的自动判断车辆的进出场行为，成为摆在行业从业者面前的难题之一。
基于此，本发明提供一种基于视频帧的复杂场景路侧停车行为识别方法，用 来克服现有技术中存在的缺陷。
发明内容
本发明的目的是提供一种基于视频帧的复杂场景路侧停车行为识别方法，基于路侧停车的复杂场景中高位视频的连续帧，采用智能图像处理算法，自动识别出视频中的车辆出入场行为，为实现复杂场景中路侧停车的自动化管理，提高智慧城市交通治理和停车管理效率提供技术的支持。
为实现上述目的，本发明提供一种基于视频帧的复杂场景路侧停车行为识别方法，包括：
获取通过视频设备采集的连续的多个视频帧；
在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息；
检测连续多个视频帧，得到视频帧中车辆的坐标信息；
逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；
判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变化；
若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；
基于检测结果，确定车辆停车行为。
进一步的优化，在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息，具体包括：
选取停车位区域的某一顶点作为坐标起点，沿停车位的边界绘制多边形，形成闭合多边形边界，确定多边形每一顶点的坐标。
进一步的优化，获取位于停车位内所有车辆的坐标信息之前还包括，若视频帧中某一车辆坐标不在停车位区域内，则删除该车辆坐标信息。
进一步的优化，获取位于停车位内所有车辆的坐标信息具体包括；
选取车辆边界框的坐标信息；
判断该车辆边界框的下边界中点坐标是否在停车位区域内，
若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。
进一步的优化，若该两相邻视频帧中车辆坐标信息发生变化，切割所述相邻两视频帧中发生变化的车辆区域块。
进一步的优化，检测相邻两视频帧中该车辆区域块中车辆附属物的变化，根据车辆附属物的变化结果，判定车辆发生停车行为。
进一步的优化，对连续多个视频帧中车辆坐标进行检测之前还包括建立车辆训练模型，建立训练模型具体包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
进一步的优化，对车辆附属物坐标的检测之前还包括建立附属物训练模型，建立附属物训练模型包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习所述车辆的附属物进行标注训练，得到车辆附属物训练模型。
一种基于视频帧的复杂场景路侧停车行为的识别装置，该装置包括，
获取模块，用于获取通过视频设备采集的连续的多个视频帧；
绘制模块，用于在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息；
第一检测模块，用于检测连续多个视频帧中车辆的坐标信息；
比对模块，逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；
判断模块，判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变化；
第二检测模块，若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；
确定模块，用于基于检测结果，确定车辆停车行为。
进一步的优化，所述绘制模块，具体用于选取停车位区域的某一顶点作为坐标起点，沿停车位的边界绘制多边形，形成闭合多边形边界，确定多边形每一顶 点的坐标。
进一步的优化，所述装置还包括删除模块，所述删除模块，用于删除视频帧中不在停车位区域内该车辆的坐标信息。
进一步的优化，所述比对模块，具体用于选取车辆边界框的坐标信息；
判断该车辆边界框的下边界中点坐标是否在停车位区域内，
若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。
进一步的优化，所述装置还包括切割模块，若该两相邻视频帧中车辆坐标信息发生变化，所述切割模块用于切割所述相邻两视频帧中发生变化的车辆区域块。
进一步的优化，所述第二检测模块具体用于检测相邻两视频帧中该车辆区域块中车辆附属物的变化。
进一步的优化，所述装置还包括训练模块，所述训练末用于建立车辆训练模型，建立训练模型具体包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
进一步的优化，所述训练模块还用于建立附属物训练模型，建立附属物训练模型包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习所述车辆的附属物进行标注训练，得到车辆附属物训练模型。
本发明中，所述车辆的附属物是指车辆所附带的能代表车辆本身特征的一切附属物。本发明以车辆后视镜和车辆尾灯为代表，但本识别方法所指附属物包括但不限于此。
本发明中，所述视频帧，是指通过安装在路侧停车场上方的高空摄像机间隔一定时间段采集的连续的图像帧。
本发明的有益效果：采用本发明提供的通过连续的视频帧中车辆及辅助目标的差异对比，判断复杂场景下车辆的路侧停车行为，基于图像连续视频帧的处理，原理简单，计算效率高，适用于城市路侧停车场景，对于提高城市路侧停车行为的识别准确率及停车管理系统的自动化水平具有较大的意义。
图1是本发明基于视频帧的复杂场景路侧停车行为识别方法的流程图；
图2是本发明视频帧中停车位区域的绘制示意图；
图3是本发明停车位内车辆发生变化的示意图；
图4是本发明基于视频帧的复杂场景路侧停车行为识别装置的流程示意图；
图5是本发明基于视频帧的复杂场景路侧停车行为识别装置的流程示意图。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
如图1所述的是基于视频帧路侧停车行为识别方法的流程图，具体的，所述方法包括；
101、获取通过视频设备采集的连续的多个视频帧，具体的，采集视频帧的设备可选用枪型摄像机或者球型摄像机中的一种或多种，确保采集图像的准确度即可，从采集的多个视频帧中获取所有车辆的坐标信息；
102、在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息，
具体的选取停车位区域的某一顶点作为坐标起点作为起点A(a
0，b
0)，沿停车位的边界绘制多边形，并记录多边形的各个顶点B(a
1，b
1)、C(a
2，b
2)、D(a
3，b
3),最后形成闭合的停车位多边形边界ABCD，把停车位的多边形边界保存，并在系统启动时加载。
103、检测连续多个视频帧，得到视频帧中车辆的坐标信息，具体的采用基于神经网络的深度学习方法，利用加载的深度模型在视频帧中检测车辆，得到视频帧中车辆的坐标信息；
104、逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；
获取位于停车位内的车辆坐标信息具体包括；选取车辆边界框的坐标信息，判断该车辆边界框的下边界中点坐标是否在停车位区域内，
若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。具体的，检 测到的车辆边界框为矩形，根据所述边界框的坐标信息和所述停车位坐标信息判断所述车辆对应的边界框的下边界中点是否在停车位区域内；若其中点在停车位区域内，则确定有车辆驶入该停车位内。
具体的四边形四个顶点为A(x
0，y
0)、B(x
1，y
0)、C(x
0，y
1)、D(x
1，y
1)，x
0<x
1，y
0<y
1，则车辆边界框的下边界的中点坐标为O((x
0+x
1)/2，y
1)。如果
P
ABCD是顶点为A、B、C、D的四边形，则车辆位于停车位内；否则，车辆不在停车位内。
若视频帧中某一车辆坐标不在停车位区域内，则删除该车辆坐标信息。
105、判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变化；
如图3所示的是停车位内车辆发生变化的示意图，选取相邻两视频帧分别为第i帧与第i+1帧视频帧，将前后该两视频帧中检测到的停车位内的车辆进行对比，在车辆信息对比时，如果两视频帧中车辆坐标无变化，则继续检测第i+2帧中停车位内的车辆，并比较第i+1帧与第i+2帧间的车辆变化情况；直至检测到相邻两帧停车位内的车辆发生变化。
106、若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；
具体的，若连续视频帧第i帧与第i+1帧里停车位内的车辆发生变化，基于已获取的各个发生变化待检测的车辆信息中的坐标信息，切割当前连续两视频帧中的各个变化车辆的车辆区域，得到当前视频帧中的各个变化车辆的车辆区域块。
例如，在连续视频帧第i帧与第i+1帧中，发生变化的车辆为连续视频帧第i帧中的C1车辆，在第i+1帧中C1车辆消失。基于已获取的C1车辆信息的像素坐标信息，切割当前连续视频帧第i帧与第i+1帧中的C1车辆的车辆区域，得到当前连续视频帧第i帧与第i+1帧中的C1的车辆区域块，如，假设C1车辆的检测框在视频帧图像中像素坐标的顶点为a(x
0，y
0)、b(x
1，y
0)、c(x
0，y
1)、d(x
1，y
1)，如图2所示，其中x
0<x
1，y
0<y
1；随后，则从当前连续视频帧第i帧与第i+1帧的车辆区域块中分别裁剪出横坐标x
0到x
1、纵坐标y
0到y
1的图像块作为C1车辆的切割图像块B1和B2，其宽度为x
1-x
0+1(像素)，高 为y
1-y
0+1(像素)，该图形块优先选取车辆附属物，上例中，检测图像块B1和B2中的车辆附属物，如尾灯和后视镜等。如，检测B1中的尾灯信息记录为W1，后视镜信息记录为H1；检测B2中的尾灯信息记录为W2，后视镜信息记录为H2。
进一步的，通过相邻视频帧中车辆及辅助目标的差异对比，判断车辆的路侧停车行为。比较前后两视频帧中变化车辆的所属附属物进行对比，通过视频帧中停车位区域里车辆及附属物的减少判断车辆的出场行为。
107、基于检测结果，确定车辆停车行为；
如果附属物变化的趋势与车辆变化的趋势相同，则判定为有车辆出场；如果附属物变化的趋势与车辆变化的趋势不同，则重新采集多个视频帧进行判断，直至确定停车行为。
如上例的连续视频帧第i帧与第i+1帧中，C1车辆在第i帧存在，第i+1帧中消失，其前后相邻帧中的车辆区域块B1和B2中检测到的尾灯信息也符合W1中存在，W2中消失，后视镜信息也类似，则认为辅助目标的变化趋势符合车辆的变化趋势，确认C1车辆存在出场动作；若车辆附属物的变化状态不符合车辆的变化趋势，C1车辆可能在不同视频帧中存在误检或漏检现象，需要重新检测，直至确认停车行为。
上述实施例中，具体的，连续检测相邻的视频帧，若第i视频帧中没有车辆在停车位区域，在第i+1视频帧中有车辆在停车位区域，则进一步选取该车辆的附属物进行检测，例如后视镜或者尾灯等，若第i视频帧和第i视频帧中附属物的变化趋势也是从无到有，则该变化趋势与车辆的变化趋势一致，则确认车辆有入场行为；
具体的，连续检测相邻的视频帧，若第i视频帧中有车辆在停车位区域，在第i+1视频帧中该车辆消失，则进一步选取该车辆的附属物进行检测，例如后视镜或者尾灯等，若第i视频帧和第i视频帧中附属物的变化趋势也是从有到无，则该变化趋势与车辆的变化趋势一致，则确认车辆有出场行为，在判定车辆入场以及出场行为均采用车辆训练模型以及同样的算法。
本发明中，对车辆坐标进行检测之前还包括建立车辆训练模型，建立训练模型具体包括：
对视频帧中预采集停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
对车辆附属物坐标的检测之前还包括建立附属物训练模型，建立附属物训练模型包括：
对视频帧中预采集停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆的附属物样本进行标注训练，得到车辆附属物训练模型。
本发明还公开了执行基于视频帧的复杂场景路侧停车行为识别方法的一种识别装置，具体的，如图4所示的是该装置的流程示意图，该装置包括，
获取模块1001，用于获取通过视频设备采集的连续的多个视频帧；
绘制模块1002，用于在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息；
第一检测模块1003，用于检测连续多个视频帧中车辆的坐标信息；
比对模块1004，逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；
判断模块1007，判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变化；
第二检测模块1006，若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；
确定模块1005，用于基于检测结果，确定车辆停车行为。
优化的实施方式中，所述绘制模块，具体用于选取停车位区域的某一顶点作为坐标起点，沿停车位的边界绘制多边形，形成闭合多边形边界，确定多边形每一顶点的坐标。
如图5所示是的改装置的又一实施例流程图，优化的实施方式中，所述装置还包括删除模块1008，
所述删除模块，用于删除视频帧中不在停车位区域内该车辆的坐标信息。
优化的实施方式中，所述比对模块，具体用于选取车辆边界框的坐标信息；
判断该车辆边界框的下边界中点坐标是否在停车位区域内，
若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。
优化的实施方式中，所述装置还包括切割模块1009，若该两相邻视频帧中车辆坐标信息发生变化，所述切割模块用于切割所述相邻两视频帧中发生变化的车辆区域块。
优化的实施方式中，所述第二检测模块具体用于检测相邻两视频帧中该车辆区域块中车辆附属物的变化。
优化的实施方式中，所述装置还包括训练模块，所述训练末用于建立车辆训练模型，建立训练模型具体包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
优化的实施方式中，所述训练模块还用于建立附属物训练模型，建立附属物训练模型包括：
预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习所述车辆的附属物进行标注训练，得到车辆附属物训练模型。
结合上述实施例对本发明基于视频帧的复杂场景路侧停车行为识别方法的流程做进一步的说明，
在本发明中，采集的相邻视频帧均是选取间隔为5s的连续视频帧作为样本，但实际采集中不对间隔进行限制，以方便检测帧间的停车位车辆变化。
在进行停车行为判定前，需要通过图形采集设备预先采集停车环境中的多个车辆样本，标注车辆及附属物并训练以下模型，系统启动时载入，具体的预训练用于检测车辆信息的第一卷积神经网络模型以及预训练用于检测车辆附属物的第二卷积神经网络模型；为了提高车辆检测的准确率，在系统启动时已将车辆检测模型导入系统中。
在进行车辆检测中，主要通过差分比对算法对视频帧中车辆的状态进行检测，判断相邻视频帧中车辆的位置是否有变化，若相邻视频帧中车辆的位置无变化， 则继续检测直至车辆有变化，同样的，车辆附属物选取时也采用同样的检测方式，以确保停车实事件判定的准确性。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。
因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块.
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理 器数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存,或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不 用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
- 基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述方法包括：获取通过视频设备采集的连续的多个视频帧；在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息；检测连续多个视频帧，得到视频帧中车辆的坐标信息；逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变化；若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；基于检测结果，确定车辆停车行为。
- 根据权利要求1所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息，具体包括：选取停车位区域的某一顶点作为坐标起点，沿停车位的边界绘制多边形，形成闭合多边形边界，确定多边形每一顶点的坐标。
- 根据权利要求1所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，获取位于停车位内所有车辆的坐标信息之前还包括，若视频帧中某一车辆坐标不在停车位区域内，则删除该车辆坐标信息。
- 根据权利要求3所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，获取位于停车位内所有车辆的坐标信息具体包括；选取车辆边界框的坐标信息；判断该车辆边界框的下边界中点坐标是否在停车位区域内，若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。
- 根据权利要求1所述的基于视频帧的复杂场景路侧停车行为识别方法，其 特征在于，若该两相邻视频帧中车辆坐标信息发生变化，切割所述相邻两视频帧中发生变化的车辆区域块。
- 根据权利要求5所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，检测相邻两视频帧中该车辆区域块中车辆附属物的变化，根据车辆附属物的变化结果，判定车辆发生停车行为。
- 根据权利要求1至5中任一权利要求所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，对连续多个视频帧中车辆坐标进行检测之前还包括建立车辆训练模型，建立训练模型具体包括：预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
- 根据权利要求1至5中任一权利要求所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，对车辆附属物坐标的检测之前还包括建立附属物训练模型，建立附属物训练模型包括：预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习所述车辆的附属物进行标注训练，得到车辆附属物训练模型。
- 一种基于视频帧的复杂场景路侧停车行为的识别装置，其特征在于：该装置包括，获取模块，用于获取通过视频设备采集的连续的多个视频帧；绘制模块，用于在所述多个视频帧中的任一视频帧中绘制停车位区域，确定所述停车位区域的坐标信息；第一检测模块，用于检测连续多个视频帧，得到视频帧中车辆的坐标信息；比对模块，逐一比对视频帧中车辆的坐标信息与已绘制的所述停车位区域坐标信息，获取位于停车位内所有车辆的坐标信息；判断模块，判断位于停车位内任一车辆在两相邻视频帧中的坐标信息是否变 化；第二检测模块，若该两相邻视频帧中车辆坐标信息发生变化，则检测该两视频帧中车辆附属物的坐标是否变化，得到检测结果；确定模块，用于基于检测结果，确定车辆停车行为。
- 根据权利要求9中所述的基于视频帧的复杂场景路侧停车行为的识别装置，其特征在于：所述绘制模块，具体用于选取停车位区域的某一顶点作为坐标起点，沿停车位的边界绘制多边形，形成闭合多边形边界，确定多边形每一顶点的坐标。
- 根据权利要求10所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述装置还包括删除模块，所述删除模块，用于删除视频帧中不在停车位区域内该车辆的坐标信息。
- 根据权利要求11所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述比对模块，具体用于选取车辆边界框的坐标信息；判断该车辆边界框的下边界中点坐标是否在停车位区域内，若在，则确认该车辆驶入停车位区域内，获取该车辆坐标信息。
- 根据权利要求12所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述装置还包括切割模块，若该两相邻视频帧中车辆坐标信息发生变化，所述切割模块用于切割所述相邻两视频帧中发生变化的车辆区域块。
- 根据权利要求13所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述第二检测模块具体用于检测相邻两视频帧中该车辆区域块中车辆附属物的变化。
- 根据权利要求9至14中任一权利要求所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述装置还包括训练模块，所述训练模块用于建立车辆训练模型，建立训练模型具体包括：预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络 的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型。
- 根据权利要求9至14中任一权利要求所述的基于视频帧的复杂场景路侧停车行为识别方法，其特征在于，所述训练模块还用于建立附属物训练模型，建立附属物训练模型包括：预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习所述车辆的附属物进行标注训练，得到车辆附属物训练模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010270386.3A CN111476169B (zh) | 2020-04-08 | 2020-04-08 | 一种基于视频帧的复杂场景路侧停车行为识别方法 |
| CN202010270386.3 | 2020-04-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021203717A1 true WO2021203717A1 (zh) | 2021-10-14 |
Family
ID=71750083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/132029 WO2021203717A1 (zh) | 2020-04-08 | 2020-11-27 | 基于视频帧的复杂场景路侧停车行为识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111476169B (zh) |
| WO (1) | WO2021203717A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114530056A (zh) * | 2022-02-15 | 2022-05-24 | 超级视线科技有限公司 | 一种基于定位信息和图像信息的停车管理方法及系统 |
| CN115116262A (zh) * | 2022-04-07 | 2022-09-27 | 江西中天智能装备股份有限公司 | 一种基于图像识别停车限位监测系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476169B (zh) * | 2020-04-08 | 2023-11-07 | 智慧互通科技股份有限公司 | 一种基于视频帧的复杂场景路侧停车行为识别方法 |
| CN113205692B (zh) * | 2021-04-29 | 2023-01-24 | 超级视线科技有限公司 | 一种路侧停车泊位异常变动的自动识别方法 |
| CN113450575B (zh) * | 2021-05-31 | 2022-04-19 | 超级视线科技有限公司 | 一种路侧停车的管理方法及装置 |
| CN113570857A (zh) * | 2021-07-19 | 2021-10-29 | 超级视线科技有限公司 | 一种基于高位视频的路侧停车泊位预约方法及系统 |
| CN113706919A (zh) * | 2021-08-20 | 2021-11-26 | 云往(上海)智能科技有限公司 | 一种路边停车位判断方法及智慧停车系统 |
| CN114155619A (zh) * | 2021-12-09 | 2022-03-08 | 济南博观智能科技有限公司 | 一种对停车位自动监管的方法、装置、介质及系统 |
| CN115050005B (zh) * | 2022-06-17 | 2024-04-05 | 北京精英路通科技有限公司 | 目标检测方法及用于高位视频智慧停车场景的检测装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN105869182A (zh) * | 2016-06-17 | 2016-08-17 | 北京精英智通科技股份有限公司 | 一种停车位状态检测方法和系统 |
| CN109389064A (zh) * | 2018-09-27 | 2019-02-26 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆特征获取方法及装置 |
| CN110163107A (zh) * | 2019-04-22 | 2019-08-23 | 智慧互通科技有限公司 | 一种基于视频帧识别路侧停车行为的方法及装置 |
| CN111476169A (zh) * | 2020-04-08 | 2020-07-31 | 智慧互通科技有限公司 | 一种基于视频帧的复杂场景路侧停车行为识别方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741249B2 (en) * | 2011-08-16 | 2017-08-22 | Conduent Business Services, Llc | Automated processing method for bus crossing enforcement |
| CN103093194B (zh) * | 2013-01-07 | 2017-04-26 | 信帧电子技术（北京）有限公司 | 一种基于视频的违章车辆检测方法及装置 |
| CN105551264A (zh) * | 2015-12-25 | 2016-05-04 | 中国科学院上海高等研究院 | 一种基于车牌特征匹配的车速检测方法 |
| CN106558068A (zh) * | 2016-10-10 | 2017-04-05 | 广东技术师范学院 | 一种面向智能交通应用的视觉跟踪方法及系统 |
| CN110287955B (zh) * | 2019-06-05 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 目标区域确定模型训练方法、装置和计算机可读存储介质 |
| CN110163985A (zh) * | 2019-06-20 | 2019-08-23 | 广西云高智能停车设备有限公司 | 一种基于车脸识别的路边停车管理收费系统及收费方法 |
| CN110322702B (zh) * | 2019-07-08 | 2020-08-14 | 中原工学院 | 一种基于双目立体视觉系统的车辆智能测速方法 |
-
2020
- 2020-04-08 CN CN202010270386.3A patent/CN111476169B/zh active Active
- 2020-11-27 WO PCT/CN2020/132029 patent/WO2021203717A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
| CN105869182A (zh) * | 2016-06-17 | 2016-08-17 | 北京精英智通科技股份有限公司 | 一种停车位状态检测方法和系统 |
| CN109389064A (zh) * | 2018-09-27 | 2019-02-26 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆特征获取方法及装置 |
| CN110163107A (zh) * | 2019-04-22 | 2019-08-23 | 智慧互通科技有限公司 | 一种基于视频帧识别路侧停车行为的方法及装置 |
| CN111476169A (zh) * | 2020-04-08 | 2020-07-31 | 智慧互通科技有限公司 | 一种基于视频帧的复杂场景路侧停车行为识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114530056A (zh) * | 2022-02-15 | 2022-05-24 | 超级视线科技有限公司 | 一种基于定位信息和图像信息的停车管理方法及系统 |
| CN114530056B (zh) * | 2022-02-15 | 2023-05-02 | 超级视线科技有限公司 | 一种基于定位信息和图像信息的停车管理方法及系统 |
| CN115116262A (zh) * | 2022-04-07 | 2022-09-27 | 江西中天智能装备股份有限公司 | 一种基于图像识别停车限位监测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476169A (zh) | 2020-07-31 |
| CN111476169B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021203717A1 (zh) | 基于视频帧的复杂场景路侧停车行为识别方法 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN110399856B (zh) | 特征提取网络训练方法、图像处理方法、装置及其设备 | |
| US10628890B2 (en) | Visual analytics based vehicle insurance anti-fraud detection | |
| US9704060B2 (en) | Method for detecting traffic violation | |
| CN105913685A (zh) | 一种基于视频监控的车位识别及智能引导方法 | |
| WO2018130016A1 (zh) | 一种基于监控视频的停车检测方法及装置 | |
| CN103208185B (zh) | 一种基于车灯识别的夜间车辆检测方法及系统 | |
| CN110163107B (zh) | 一种基于视频帧识别路侧停车行为的方法及装置 | |
| CN110781883B (zh) | 一种基于360度环视摄像头的车位尺寸识别系统及方法 | |
| WO2021223418A1 (zh) | 基于视觉差的停车检测方法及装置 | |
| CN106791710A (zh) | 目标检测方法、装置和电子设备 | |
| WO2004042673A2 (en) | Automatic, real time and complete identification of vehicles | |
| CN113537105B (zh) | 一种车位检测方法及装置 | |
| CN110334625A (zh) | 一种面向自动泊车的停车位视觉识别系统及其识别方法 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN115116012B (zh) | 基于目标检测算法的车辆停车位停车状态检测方法及系统 | |
| WO2023179416A1 (zh) | 确定车辆进出泊位的方法、装置、设备和存储介质 | |
| WO2020108464A1 (zh) | 充电桩车位的管理 | |
| CN111369824B (zh) | 一种基于图像识别定位的引导泊车方法及系统 | |
| WO2023205760A1 (en) | Automatic license plate recognition | |
| CN111931673A (zh) | 一种基于视觉差的车辆检测信息的校验方法及装置 | |
| CN114419603A (zh) | 一种自动驾驶车辆控制方法、系统和自动驾驶车辆 | |
| Shafie et al. | Smart video surveillance system for vehicle detection and traffic flow control | |
| CN113673527A (zh) | 一种车牌识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20930253 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20930253 Country of ref document: EP Kind code of ref document: A1 |