WO2023103204A1 - 一种基于两阶段的车辆违规变道识别方法 - Google Patents

一种基于两阶段的车辆违规变道识别方法 Download PDF

Info

Publication number
WO2023103204A1
WO2023103204A1 PCT/CN2022/081155 CN2022081155W WO2023103204A1 WO 2023103204 A1 WO2023103204 A1 WO 2023103204A1 CN 2022081155 W CN2022081155 W CN 2022081155W WO 2023103204 A1 WO2023103204 A1 WO 2023103204A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
image
lane line
vehicle
recognition
Prior art date
Application number
PCT/CN2022/081155
Other languages
English (en)
French (fr)
Inventor
李征
仲从建
付本刚
Original Assignee
江苏航天大为科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江苏航天大为科技股份有限公司 filed Critical 江苏航天大为科技股份有限公司
Publication of WO2023103204A1 publication Critical patent/WO2023103204A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • a large number of methods have been applied to lane line detection, which can be mainly divided into traditional machine learning algorithms and deep learning. Some workers process the input image by modifying the morphological operation to obtain a good lane line detection effect. Some workers segment images to obtain lane outlines by training deep learning models. There are also some workers who use detection algorithms to directly determine the position of lane lines. Due to the lack of lane line type recognition data sets and the lack of lane line type recognition algorithms, the existing methods have achieved good results in lane line position detection, but there are few lane line type recognition algorithms for lane changes. Is it a violation? The misrecognition rate of lane change is high, and it is difficult to apply to embedded.
  • the present invention proposes a method for identifying illegal lane changes based on two stages, and its specific implementation includes the following implementation steps:
  • the lane line type prediction model is applied to the equipment to identify the lane line for lane change. If the recognition result is one of solid line, solid imaginary line or double solid line, it is an illegal lane change and an alarm is issued.
  • the lane line type prediction model is established through the following steps:
  • the model is trained using the lane line type recognition data set, and a converged recognition model is obtained after multiple iterations.
  • the two-stage vehicle lane change identification method proposed by the present invention comprehensively considers the lane line problem, not only considering lane line detection and vehicle lane change, but also identifying the lane line type of the lane change, which is helpful for judging whether the vehicle is Changing lanes in violation of regulations can better maintain road traffic safety.
  • Figure 2 is a schematic diagram of the type of lane lines contained in the recognition data set
  • the types of lane markings are divided into six categories, that is, the number of recognition types is 6, which are solid lines (yellow solid line and white solid line), dashed lines (yellow dashed line and white dashed line), double Solid line (double white solid line and double yellow solid line), double yellow dashed line, solid dashed line, dashed solid line.
  • ResNet is the abbreviation of residual network Residual Network, and this network is widely used in the target classification field and a part of computer vision task backbone classic neural network, and ResNet50 is wherein classic network, and ResNet is common knowledge in this field, and the present invention no longer repeats,
  • the classic residual block in this embodiment is the residual block in ResNet50.
  • y i represents the label of sample i
  • positive class is 1
  • negative class is 1
  • p i represents the probability that sample i is predicted to be positive class
  • N is the number of samples.
  • Step 3 The vehicle and ADAS camera are started, and the camera image is read in real time as input;
  • R, G, and B are the three channels of the bird's-eye view image
  • Gray is the processed grayscale image
  • G(x, y) is the grayscale value after Gaussian filtering
  • w is the width of the input image
  • the number of pixels in each column of the image from left to right is 255
  • l lbase is the base point of the left lane line
  • l rbase is the base point of the right lane line.
  • 4c Combine the sliding window and the base point of the lane line to search for the pixel coordinates belonging to the left and right lane lines, then perform fitting and map to the original image, and mark 1 and 2 from left to right lane lines respectively.
  • Step 5 Compare the change of the base point of the lane line to determine whether the vehicle has changed lanes and the direction of the lane change. If the vehicle has not changed lanes, return to step 4. Otherwise, intercept the lane line image of the lane change and proceed to step 6. The judgment method is:
  • the base point of the left lane line of the second frame image is the base point of the left lane line of the first frame image. If the base point difference between the first frame and the second frame is greater than the threshold ⁇ , it is a right lane change, and if it is less than - ⁇ , it is a left lane change.
  • Step 6 Apply the detection model to the device to identify lane changes and determine whether it is an illegal lane change. If the recognition results are solid lines, solid virtual lines, and double solid lines, it is an illegal lane change, and an alarm will be issued.
  • the specific implementation method of this implementation case is as described above, and the specific steps are not described in detail.
  • the accuracy of lane line type recognition is shown below.
  • the test data of this implementation case comes from the actual scene, and the pictures used are affected by various environments such as light, shadow, and stagnant water.
  • selection standard is:
  • the accuracy of resnet18 is 70%
  • the accuracy of resnet50 is 77%
  • the accuracy of the present invention is 85% after repeated experiments, which fully demonstrates the effectiveness and superiority of the present invention.
  • the beneficial effects of the present invention are as follows:
  • the two-stage vehicle lane change identification method proposed by the present invention comprehensively considers the lane line problem, not only considering lane line detection and vehicle lane change, but also identifying the lane line type of the lane change, which is helpful for judging whether the vehicle is Changing lanes in violation of regulations can better maintain road traffic safety.
  • the two-stage vehicle lane change identification method proposed by the present invention comprehensively considers the characteristics of the lane line and the characteristics of the existing algorithm when identifying the type of lane line, improves the residual module of resnet50, and uses the image more fully information, which improves the recognition accuracy of the algorithm.
  • the first stage of the present invention uses morphological operation and filtering technology, and the second stage uses the resnet50 framework.
  • the detection and identification of lane lines can be quickly completed, which is convenient for embedded transplantation applications.
  • the word "preferred” means serving as an example, instance or illustration. Any aspect or design described herein as “preferred” is not necessarily to be construed as advantageous over other aspects or designs. Rather, use of the word “preferably” is intended to present concepts in a concrete manner.
  • the term “or” is intended to mean an inclusive “or” rather than an exclusive “or”. That is, unless otherwise specified or clear from context, "X employs A or B” is meant to naturally include either of the permutations. That is, if X employs A; X employs B; or X employs both A and B, then "X employs A or B" is satisfied in any of the foregoing instances.
  • Each functional unit in the embodiment of the present invention may be integrated into one processing module, or each unit may physically exist separately, or multiple or more of the above units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or in the form of software function modules. If the integrated modules are implemented in the form of software function modules and sold or used as independent products, they can also be stored in a computer-readable storage medium.
  • the storage medium mentioned above may be a read-only memory, a magnetic disk or an optical disk, and the like.
  • Each of the above devices or systems may execute the storage method in the corresponding method embodiment.

Abstract

本发明公开了一种基于两阶段的车辆违规变道识别方法，包括步骤：车辆和摄像机启动，实时读取摄像机图像作为输入；对输入图像进行处理，检测车道线；对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则重新读取图像进行识别，否则截取变道车道线图像进行下一步；将车道线类型预测模型应用于设备，对变道车道线进行识别，如识别结果为实线、实虚或双实线之一，则为违规变道，发出警报提示。本发明能识别车道线、车辆变道和变道的车道线类型；对残差模块改进，提升了算法的识别精度，能够快速完成车道线的检测和识别，方便进行嵌入式移植应用。

Description

一种基于两阶段的车辆违规变道识别方法 技术领域
本发明属于智能交通技术领域，尤其涉及一种基于两阶段的车辆违规变道识别方法。
背景技术
近年来，随着机动车普及程度的提高，许多国家出现了汽车销量快速增长与道路建设基础不足的矛盾，给人民群众的生命和财产安全带来了巨大威胁。据统计，全球每年约有130万人死于交通事故，80％的交通事故是由司机的错误直接或间接造成的，如疲劳驾驶、注意力不集中、不良驾驶习惯等，其中，大约50％的汽车交通事故是由于车辆违规变道造成的。
随着计算机计算能力的提升和工业应用的加速，智能交通领域得到快速发展，智能驾驶辅助系统(ADAS，Advanced Driver Assistance System)得到大量工作者的关注和研究，成为了提高道路安全的重要创新技术，在此技术中，由于车道线检测不仅可以用于车道偏离预警和车道保持辅助，还有助于进行违规变道识别工作，维护道路安全和驾驶员的行车安全，成为了最基本的和最具有挑战性的工作之一。
已有大量方法应用于车道线检测，主要可分为传统的机器学习算法和深度学习。有工作者通过修改形态学操作对输入图像进行处理，以获得好的车道线检测效果。一部分工作者通过训练深度学习模型，对图像进行分割获得车道线轮廓。还有一部分工作者使用检测算法直接进行车道线位置确定。由于目前车道线类型识别数据集少和缺少车道线类型识别算法，现有的方法在车道线位置检测方面取得了较好的效果，但对于变道的车道线类型识别算法较少，是否为违规变道的误识别率较高，且难以应用于嵌入式。
发明内容
本发明目的在于提供一种基于两阶段的车辆违规变道识别方法，提高违规变道识别率，有效的维护道路安全。为了解决车道线类型识别数据集少的问题，通过整理公开数据集和使用现有条件录制实际场景中的图像，制作车道线类型识别数据集，用于识别算法的训练。为解决车道线类型识别算法精度低和嵌入式应用难的问题，通过分析车道线类型的特点和嵌入式移植的要求，先使用形态学操作对车道线进行检测，并判断是否存在变道，若存在则进行前方图像提取并进入车道线识别；通过性能对比和嵌入式移植速度要求，识别算法选择resnet50为基础模型，同时，根据车道线类型的特点和resnet50的特点，对resnet50进行改进，以取得更高的识别精度。
本发明提出的一种基于两阶段的违规变道识别方法，具体执行包含以下实现步骤：
车辆和ADAS摄像机启动，实时读取摄像机图像作为输入；
对输入图像进行处理，检测车道线；
对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则重新读取图像进行识别，否则截取变道车道线图像进行下一步；
将车道线类型预测模型应用于设备，对变道车道线进行识别，如识别结果为实线、实虚或双实线之一，则为违规变道，发出警报提示。
进一步的，所述对输入图像进行处理，检测车道线包括：
对输入图像进行逆透视变换，生成鸟瞰图；
对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点；
结合滑动窗口和车道线基点搜索出属于左、右车道线的像素坐标，之后进行拟合并映射到原图像。
进一步的，所述对输入图像进行逆透视变换，生成鸟瞰图，使用如下转化矩阵：
Figure PCTCN2022081155-appb-000001
进一步的，所述对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点的计算过程为：
Gray＝R×0.299+G×0.587+B×0.114
Figure PCTCN2022081155-appb-000002
Figure PCTCN2022081155-appb-000003
Figure PCTCN2022081155-appb-000004
式中，R、G和B分别为鸟瞰图图像的三个通道，Gray为处理后的灰度图像，G(x,y)为高斯滤波后的灰度值，w为输入图像的宽度，
Figure PCTCN2022081155-appb-000005
为图像从左到右每列像素为255的个数，l lbase为左车道线基点，l rbase为右车道线基点。
进一步的，所述判断车辆是否变道和变道方向的方法为：
Figure PCTCN2022081155-appb-000006
Figure PCTCN2022081155-appb-000007
式中，
Figure PCTCN2022081155-appb-000008
为第二帧图像的左车道线基点，
Figure PCTCN2022081155-appb-000009
为第一帧图像的左车道线基点，若第一帧和第二帧基点差值大于阈值β则为右变道，小于-β则为左变道。
进一步的，所述车道线类型预测模型通过以下步骤建立：
定义识别车道线类型，获取用于训练违规变道识别算法的车道线类型数据集；
对图像通道和尺寸进行预处理，以满足模型输入；
使用卷积层、池化层、新残差块、空洞卷积和全连接搭建训练模型；
设置损失函数和约束参数，用于计算识别率和调整模型权重，其中，损失函数使用交叉熵损失函数；
使用车道线类型识别数据集对模型进行训练，迭代多次之后得到收敛的识别模型。
进一步的，所述新残差块通过添加空洞卷积到残差块形成，用于解决下采样造成特征信息丢失，保留丰富的特征信息；输入图像先经过卷积、最大池化得到X，之后输入所述新残差块，得到通过经过卷积处理后的O c(X)和经过空洞卷积处理的O k(X)，并经过跳跃连接和相加操作，保留更加丰富的图像信息，完成此模块并循环经过此模块；最后经过全连接层输出图像类别。
本发明的有益效果如下：
本发明提出的基于两阶段的车辆违规变道识别方法对车道线问题进行综合考虑，不仅考虑车道线检测和车辆变道，还将变道的车道线类型进行识别，有助于判断车辆是否为违规变道，更好的维护道路交通安全。
本发明提出的基于两阶段的车辆违规变道识别方法，对车道线类型识别 时，综合考虑车道线的特点和现有算法的特点，对resnet50的残差模块进行改进，更充分的使用图像的信息，提升了算法的识别精度。
本发明第一阶段使用形态学操作和滤波技术，第二阶段使用resnet50框架，总体上，能够快速完成车道线的检测和识别，方便进行嵌入式移植应用。
附图说明
图1为本发明的流程示意图；
图2为识别数据集含有的车道线类型示意图；
图3为改进的resnet50残差模块示意图；
图4为车道线检测阶段示意图；
图5为车辆变道车道线变化和车道线识别区域提取示意图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
步骤1：定义识别车道线类型，获取用于训练违规变道识别算法的车道线类型数据集，具体如下：
制作车道线识别数据集，其中车道线识别数据集包含多个类别的车道线检测数据，每个车道线识别数据对应一种车道线类型，并且车道线数量是已知确定的，参照图2。
根据车道线类型和识别算法性能，将车道线类型分为六大类，即识别类型数目为6，分别为实线(黄实线和白实线)、虚线(黄虚线和白虚线)、双实线(双白实线和双黄实线)、双黄虚线、实虚线、虚实线。以此为目标，综合网上公开的数据集和实际车载设备获取的图像，制作违规变道识别数据集。
步骤2：建立基于识别的车道线类型预测模型，建立过程如下：
2a：对图像通道和尺寸进行预处理，以满足模型输入；
2b：搭建训练模型使用的卷积层、池化层、新残差块、空洞卷积和全连接，其中，经过分析车道线类型信息和resnet50残差块的特点，添加空洞卷积到经典残差块，用于解决下采样造成特征信息丢失，保留更加丰富的特征信息；
如图3所示，1×1卷积层，3×3，rate2卷积层，3×3，rate4卷积层，3×3，rate8卷积层和池化层并联后，一方面通过新残差块中经典残差块的64个1×1的卷积把256维channel降到64维，再经过64个3×3卷积，最后通过64个1×1卷积恢复到256个channel，另一方面通过新残差块中1×1卷积层和Dropout层进行空洞卷积，连接到经典残差块。参照图3，输入图像先经过卷积、最大池化得到X，之后输入本发明提出的残差块，得到通过经过卷积处理后的O c(X)和经过空洞卷积处理的O k(X)，并经过跳跃连接和相加操作，保留更加丰富的图像信息，完成此模块并循环经过此模块；最后经过全连接层(图中未标出)输出图像类别。ResNet为残差网络Residual Network的缩写，该网络广泛用于目标分类领域以及计算机视觉任务主干经典神经网络的一部分，ResNet50是其中的经典网络，ResNet为本领域的公知常识，本发明不再赘述，本实施例中的经典残差块为ResNet50中的残差块。
2c：设置损失函数和约束参数，用于计算识别率和调整模型权重，其中，损失函数是使用交叉熵损失。交叉熵损失函数的数学公式如下：
Figure PCTCN2022081155-appb-000010
其中y i表示样本i的label，正类为1，负类为0，p i表示样本i预测为正类的概率，N为样本个数。
2d：使用制作的车道线类型识别数据集对模型进行训练，迭代多次之后 得到收敛的识别模型；
步骤3：车辆和ADAS摄像机启动，实时读取摄像机图像作为输入；
步骤4：对输入图像进行处理，检测车道线，具体为：
4a：对输入图像进行逆透视变换，生成鸟瞰图，转化矩阵为：
Figure PCTCN2022081155-appb-000011
4b：对鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点，计算过程为：
Gray＝R×0.299+G×0.587+B×0.114
Figure PCTCN2022081155-appb-000012
Figure PCTCN2022081155-appb-000013
Figure PCTCN2022081155-appb-000014
式中，R、G和B分别为鸟瞰图图像的三个通道，Gray为处理后的灰度图像，G(x,y)为高斯滤波后的灰度值，w为输入图像的宽度，
Figure PCTCN2022081155-appb-000015
为图像从左到右每列像素为255的个数，l lbase为左车道线基点，l rbase为右车道线基点。
4c：结合滑动窗口和车道线基点搜索出属于左、右车道线的像素坐标，之后进行拟合并映射到原图像，从左到右车道线分别标记1和2.
步骤5：对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则返回步骤4，否则截取变道车道线图像进行步骤6，判断方法为：
Figure PCTCN2022081155-appb-000016
Figure PCTCN2022081155-appb-000017
式中，
Figure PCTCN2022081155-appb-000018
为第二帧图像的左车道线基点，
Figure PCTCN2022081155-appb-000019
为第一帧图像的左车道线基点，若第一帧和第二帧基点差值大于阈值β则为右变道，小于-β则为左变道。
步骤6：将检测模型应用于设备，对变道车道线进行识别，并判断是否为违规变道。如识别结果实线、实虚、双实线则为违规变道，发出警报提示。
实施例
本实施案例的具体实现方法如前所述，不在详细阐述具体的步骤，下面针对车道线类型识别的精度进行展示。本实施案例测试数据来自于实际场景，使用图片受光照、阴影和积水等多种环境影响。
为更加直观的显示本发明的优点，对本发明的第二阶段进行定量分析，选用标准为：
Figure PCTCN2022081155-appb-000020
式中，p为识别精度，T i为第i类识别正确的个数，I i为第i类的总个数，k为类别数。
在同一实验环境下，经过多次实验取平均，resnet18的精度为70％，resnet50的精度为77％，本发明的精度为85％，充分说明了本发明的有效性和优越性。本发明的有益效果如下：
本发明提出的基于两阶段的车辆违规变道识别方法对车道线问题进行综合考虑，不仅考虑车道线检测和车辆变道，还将变道的车道线类型进行识别，有助于判断车辆是否为违规变道，更好的维护道路交通安全。
本发明提出的基于两阶段的车辆违规变道识别方法，对车道线类型识别 时，综合考虑车道线的特点和现有算法的特点，对resnet50的残差模块进行改进，更充分的使用图像的信息，提升了算法的识别精度。
本发明第一阶段使用形态学操作和滤波技术，第二阶段使用resnet50框架，总体上，能够快速完成车道线的检测和识别，方便进行嵌入式移植应用。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述 集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

  1. 一种基于两阶段的车辆违规变道识别方法，其特征在于，包括以下步骤：
    车辆和ADAS摄像机启动，实时读取摄像机图像作为输入；
    对输入图像进行处理，检测车道线；
    对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则重新读取图像进行识别，否则截取变道车道线图像进行下一步；
    将车道线类型预测模型应用于设备，对变道车道线进行识别，如识别结果为实线、实虚或双实线之一，则为违规变道，发出警报提示。
  2. 根据权利要求1所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述对输入图像进行处理，检测车道线包括：
    对输入图像进行逆透视变换，生成鸟瞰图；
    对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点；
    结合滑动窗口和车道线基点搜索出属于左、右车道线的像素坐标，之后进行拟合并映射到原图像。
  3. 根据权利要求2所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述对输入图像进行逆透视变换，生成鸟瞰图，使用如下转化矩阵：
    Figure PCTCN2022081155-appb-100001
  4. 根据权利要求2所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点的计算过程为：
    Gray＝R×0.299+G×0.587+B×0.114
    Figure PCTCN2022081155-appb-100002
    Figure PCTCN2022081155-appb-100003
    Figure PCTCN2022081155-appb-100004
    式中，R、G和B分别为鸟瞰图图像的三个通道，Gray为处理后的灰度图像，G(x,y)为高斯滤波后的灰度值，w为输入图像的宽度，
    Figure PCTCN2022081155-appb-100005
    为图像从左到右每列像素为255的个数，l lbase为左车道线基点，l rbase为右车道线基点。
  5. 根据权利要求2所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述判断车辆是否变道和变道方向的方法为：
    Figure PCTCN2022081155-appb-100006
    Figure PCTCN2022081155-appb-100007
    式中，
    Figure PCTCN2022081155-appb-100008
    为第二帧图像的左车道线基点，
    Figure PCTCN2022081155-appb-100009
    为第一帧图像的左车道线基点，若第一帧和第二帧基点差值大于阈值β则为右变道，小于-β则为左变道。
  6. 根据权利要求1所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述车道线类型预测模型通过以下步骤建立：
    定义识别车道线类型，获取用于训练违规变道识别算法的车道线类型数据集；
    对图像通道和尺寸进行预处理，以满足模型输入；
    使用卷积层、池化层、新残差块、空洞卷积和全连接搭建训练模型；
    设置损失函数和约束参数，用于计算识别率和调整模型权重，其中，损失函数使用交叉熵损失函数；
    使用车道线类型识别数据集对模型进行训练，迭代多次之后得到收敛的识别模型。
  7. 根据权利要求6所述的基于两阶段的车辆违规变道识别方法，其特征在于，所述新残差块通过添加空洞卷积到残差块形成，用于解决下采样造成特征信息丢失，保留丰富的特征信息；输入图像先经过卷积、最大池化得到X，之后输入所述新残差块，得到通过经过卷积处理后的O c(X)和经过空洞卷积处理的O k(X)，并经过跳跃连接和相加操作，保留更加丰富的图像信息，完成此模块并循环经过此模块；最后经过全连接层输出图像类别。
PCT/CN2022/081155 2021-12-06 2022-03-16 一种基于两阶段的车辆违规变道识别方法 WO2023103204A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111476375.1 2021-12-06
CN202111476375.1A CN114299461A (zh) 2021-12-06 2021-12-06 一种基于两阶段的车辆违规变道识别方法

Publications (1)

Publication Number Publication Date
WO2023103204A1 true WO2023103204A1 (zh) 2023-06-15

Family

ID=80965150

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/081155 WO2023103204A1 (zh) 2021-12-06 2022-03-16 一种基于两阶段的车辆违规变道识别方法

Country Status (2)

Country Link
CN (1) CN114299461A (zh)
WO (1) WO2023103204A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164790A1 (en) * 2008-10-22 2011-07-07 Kazuyuki Sakurai Lane marking detection apparatus, lane marking detection method, and lane marking detection program
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
CN110647850A (zh) * 2019-09-27 2020-01-03 福建农林大学 一种基于逆透视原理的车道偏移自动测量方法
US20210117698A1 (en) * 2018-02-20 2021-04-22 Hitachi Automotive Systems, Ltd. Image Capturing Device
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164790A1 (en) * 2008-10-22 2011-07-07 Kazuyuki Sakurai Lane marking detection apparatus, lane marking detection method, and lane marking detection program
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN107481526A (zh) * 2017-09-07 2017-12-15 公安部第三研究所 用于行车变道检测记录及违章变道举报控制的系统及方法
US20210117698A1 (en) * 2018-02-20 2021-04-22 Hitachi Automotive Systems, Ltd. Image Capturing Device
CN110647850A (zh) * 2019-09-27 2020-01-03 福建农林大学 一种基于逆透视原理的车道偏移自动测量方法
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置

Also Published As

Publication number Publication date
CN114299461A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN111814621B (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN104063712B (zh) 一种车辆信息提取方法和系统
Satzoda et al. Multipart vehicle detection using symmetry-derived analysis and active learning
CN111460919B (zh) 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法
CN105868700A (zh) 一种基于监控视频的车型识别与跟踪方法及系统
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
Yonetsu et al. Two-stage YOLOv2 for accurate license-plate detection in complex scenes
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN113486886B (zh) 一种自然场景下的车牌识别方法和装置
CN112613434A (zh) 道路目标检测方法、装置及存储介质
WO2024051296A1 (zh) 一种复杂天气下障碍物检测方法及装置
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN115116035A (zh) 一种基于神经网络的道路交通灯识别系统及方法
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
WO2023103204A1 (zh) 一种基于两阶段的车辆违规变道识别方法
Nakamura et al. Few-shot adaptive object detection with cross-domain cutmix
CN116052189A (zh) 一种文本识别方法、系统和存储介质
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
Goel et al. Enhancement of Potholes Detection using SSD Algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22902648

Country of ref document: EP

Kind code of ref document: A1