WO2020048027A1 - 一种基于动态感兴趣区域的鲁棒性车道线检测方法 - Google Patents
一种基于动态感兴趣区域的鲁棒性车道线检测方法 Download PDFInfo
- Publication number
- WO2020048027A1 WO2020048027A1 PCT/CN2018/118618 CN2018118618W WO2020048027A1 WO 2020048027 A1 WO2020048027 A1 WO 2020048027A1 CN 2018118618 W CN2018118618 W CN 2018118618W WO 2020048027 A1 WO2020048027 A1 WO 2020048027A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lane
- lane line
- region
- line
- curve
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Definitions
- the present invention relates to the field of intelligent driving and ADAS intelligent assisted driving system, and particularly relates to a robust lane line detection method based on a dynamic region of interest.
- ITS Intelligent Transportation System
- ADAS Advanced Driver Assistance System
- lane line detection plays an indispensable role in assisting driving safety, and has also attracted domestic and foreign scholars to conduct in-depth research on it.
- lane detection under complex conditions such as low visibility at night, shadows, lights, and obstacle interference, it still has problems such as low robustness and poor real-time performance.
- the present invention provides a robust lane line detection method based on a dynamic region of interest.
- a robust lane line detection method based on a dynamic region of interest includes the following steps:
- the initial detection area of the image preprocessing is determined according to the lane line width, the lane line solid line, the type of the dashed line, and the lane line straight and curve distribution characteristics.
- the method for fitting a straight line recognition region includes the following sub-steps:
- fitting method of the curve recognition area includes the following sub-steps:
- step S30 includes:
- step S40 the method further includes the following sub-steps: judging whether the average value of the lane line, vanishing point, and curve radius satisfied satisfies all the following conditions; if it is satisfied, execute step S40; if not, it does not output and returns In step S10, the next frame image is processed.
- the product of the slope of the fitted straight line on both sides of the lane is less than 0;
- step S40 includes the following sub-steps:
- step S43 Use the data in step S41 and step S42 as input parameters to perform prediction using Kalman filtering, and obtain the predicted values of the slope, intercept, and vanishing point corresponding to the straight lane lane line in the next frame;
- a prediction verification step is further included:
- step S52 Determine whether the distance between the predicted vanishing point of the next frame and the vanishing point of the current frame exceeds a third threshold, and if yes, perform step S53; otherwise, perform step S44;
- S53 Determine the first region, the second region, and the third region of the next frame according to the prediction result of the previous frame.
- step S30 a verification step is further included before drawing and fitting the lane line:
- the first threshold is 0.15m
- the second threshold value is (0.1, 50), wherein the first term in the sequence is a slope error value, and the second term is an intercept error value, and the unit is a pixel;
- the third threshold is 30, and the unit is a pixel
- the fourth threshold is 30, and the unit is a pixel
- the fifth threshold is 150m.
- the inner edge information of the lane line under complex conditions can be effectively extracted.
- the anti-interference and accuracy of this method are compared with the maximum inter-class variance (OTSU) and Canny calculations.
- OTD maximum inter-class variance
- Zi et al. Have noticeably improved and improved.
- FIG. 1 is a schematic diagram of a method flow of the present invention.
- FIG. 2 is a schematic diagram of DROI region division for frame image recognition according to the present invention.
- FIG. 1 illustrates an overall process of the present invention, including the following steps:
- the lane line region of interest in the current frame is first divided into a first region DROI1, a second region DROI2, and a third region from near to far.
- Region DROI3 the left and right relationships are represented by L and R in FIG. 2, such as LDROI1 and RDROI1 respectively indicate the left lane line sense of the first region DROI1.
- Area of interest and right lane line area of interest are represented by L and R in FIG. 2, such as LDROI1 and RDROI1 respectively indicate the left lane line sense of the first region DROI1.
- the first region DROI1 and the second region DROI2 are formed into a straight line recognition region; Because of the curve recognition characteristics of the curve of the lane being enlarged in the image recognition, the second region DROI2 and the third region DROI3 constitute a curve recognition region.
- the second region is a common recognition region, which facilitates the fitting of the straight line recognition region and the curve recognition region.
- the lane line edge feature points are pre-extracted for the straight line recognition area and the curve recognition area.
- the lane line edge feature point pre-extraction is a lane edge extraction method that uses the average gradient intensity of the pixel points and the direction of the gradient in the region of interest DROI. Specifically, by restricting the gradient direction of the lane edge points, using the standard deviation of the gray value of the lane edge pixels as the segmentation threshold, and taking the average gradient intensity of the pixel points as the indirect segmentation object, lane edge extraction is performed, and then lane line edge refinement is performed to obtain the lane.
- This method is simple and easy to implement, and has good real-time performance.
- the straight line parameters of the straight line recognition area and the curve lane parameters of the curve recognition area are obtained by the fitting algorithm, and the fitted lane lines are drawn.
- the method for fitting a straight line recognition region includes the following sub-steps:
- the straight line parameters of the lane and the coordinates of the vanishing point by the RANSAC algorithm. Specifically, first, the straight line parameters are calculated. In this embodiment, the straight line parameters are determined by the slope K and the intercept b of the straight line parameters. Using the positions of the vanishing points, a plurality of candidate executions are determined in the first region and the second region, and then the lane straight line parameter fitting and vanishing point position calculation are performed using the RANSAC algorithm. It can be understood that the lane line includes two straight lines, namely the left lane line and the right lane line. The intersection of the two lane lines is determined as the vanishing point, and its coordinates can be represented by (v vp , u vp ).
- the fitting method for the curve recognition area includes the following sub-steps:
- this embodiment further provides a step of drawing and fitting a lane line:
- the specific step S40 includes the following sub-steps:
- step S43 Use the data in step S41 and step S42 as input parameters to perform prediction using Kalman filtering, and obtain the predicted values of the slope, intercept, and vanishing point corresponding to the straight lane lane line in the next frame;
- the essence of this step is to realize lane tracking, and the lane line tracking is realized by using a Kalman filter algorithm.
- the lane line and vanishing point observation information of the current frame is compared with the information obtained after Kalman filtering prediction. If a sudden change occurs, the current frame information is discarded and the previous frame's Car The information obtained by the Mann filter is used as the lane line information for the current frame, which is used as the basis for the calculation of the next frame. If there is no sudden change, it will be executed in order. In the end, the lanes that occur due to obstacles blocking the lane lines can be effectively avoided. Line misdetection occurs.
- this embodiment is different from Embodiment 1 in that in order to verify the accuracy of the calculated lane lines, this embodiment further includes the following sub-steps before executing step S40: judging the solved lane lines, Whether the vanishing point and the mean value of the curve radius meet all the following conditions; if the conditions are satisfied, the relevant parameters are output and the Kalman filter prediction calculation is performed; if not, the output is not output, and the process returns to step S10 to process the next frame image.
- the slope straight line product on both sides of the lane is less than 0 to determine whether the fitted lane line conforms to a typical ladder shape. If the slope product of the left and right lane lines is greater than 0, it is obviously not in line with image recognition. Lane line characteristics.
- the width difference between the calculated lane width and the actual lane width is less than the first threshold.
- the first threshold may be, but is not limited to, 0.15m. This condition is used to determine whether the identified lane width conforms to the characteristics of the lane line, and the lane widths are all standard, so when the deviation is large, a detection error can also be determined.
- the coordinates of the vanishing point are within the current frame image. Understandably, the vanishing point must be in the image. If it does not appear in the image, it means a detection error.
- the method of judging the vanishing point can determine whether its vertical and horizontal coordinate values are smaller than the pixel values of the image.
- the difference between this embodiment and the embodiment 2 lies in that: in order to prevent the drawing lane line from “flicking off” or apparently not fitting the actual lane line, in this step in the implementation, in step S30, The alignment steps are also included before the lane alignment:
- step S321. Determine whether the distance between the predicted vanishing point of the next frame and the vanishing point of the current frame is less than the fourth threshold, and if yes, execute step S322; otherwise, output the result but do not perform the lane line drawing step;
- the fourth threshold is determined according to the distance of the image pixels, and the fifth threshold is calculated from the actual value.
- the fourth threshold is preferably 30, and the fifth threshold is preferably 150m.
- Embodiment 1 As an optimization of Embodiment 1, the difference between this embodiment and Embodiment 1 is that this implementation provides specific prediction verification steps:
- the second threshold includes two parameters, namely, a slope error value and an intercept error value.
- the slope error value is preferably 0.1 pixel, and the intercept error value is preferably 50.
- step S52 Determine whether the distance between the predicted vanishing point of the next frame and the vanishing point of the current frame exceeds a third threshold; if yes, perform step S53; otherwise, perform step S44; the third threshold in this step is preferably 30 pixels.
- S53 Determine the first region, the second region, and the third region of the next frame according to the prediction result of the previous frame.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于动态感兴趣区域的鲁棒性车道线检测方法，包括如下步骤：S10、进行车道动态感兴趣区域初始化；S20、将当前帧中的车道线感兴趣区域由近到远划分成直线识别区域和曲线识别区域；S30、针对所述直线识别区域和曲线识别区域进行车道线边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；S40、根据当前帧的拟合车道线参数，利用卡尔曼滤波预测下一帧图像中的动态感兴趣区域DROI。该方法基于DROI，采用RANSAC算法，可以有效地提取复杂工况下的车道线内侧边缘信息，该方法的抗干扰性、准确性相有着明显的改善与提高；同时利用卡尔曼预测及帧间关联约束，可实现实时、鲁棒的车道线跟踪。
Description
本发明涉及智能驾驶以及ADAS智能辅助驾驶系统领域，特别涉及一种基于动态感兴趣区域的鲁棒性车道线检测方法。
智能交通系统(Intelligent Transportation System，ITS)及高级驾驶辅助系统(Advanced Driver Assistance System，ADAS)的飞速发展，为驾驶人员的行车安全提供了重要的保障。车道线检测作为ADAS系统中的一项关键技术，在辅助行车安全方面扮演者不可或缺的角色，进而也吸引着国内外学者对其进行了深入的研究。然而，针对夜间能见度低，阴影、灯光、障碍物干扰等复杂工况下的车道线检测，其仍然存在鲁棒性低，实时性差等难题。
因此，提出一种快速、鲁棒的车道线检测方法，将有利于在面对复杂的行车路况下，提高驾乘人员的行车安全性。
发明内容
本发明为了解决上述技术问题，提供一种基于动态感兴趣区域的鲁棒性车道线检测方法。
一种基于动态感兴趣区域的鲁棒性车道线检测方法，包括如下步骤：
S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化；
S20、将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域、第二区域以及第三区域，并将第一区域和第二区域组成直线识别区域，将第二区域和第三区域组成曲线识别区域；
S30、针对所述直线识别区域和曲线识别区域进行车道线边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；
S40、根据当前帧的拟合车道线利用卡尔曼滤波预测下一帧图像中第一区域、第二区域以及第三区域的位置。
进一步的，所述车道线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。
进一步的，所述直线识别区域的拟合方法包括如下子步骤：
S301、获取直线区域车道线边缘特征点；
S302、通过RANSAC算法(Random Sample Consensus，随机抽样一致算法)计算当前帧车道直线参数以及消失点坐标。
进一步的，所述曲线识别区域的拟合方法包括如下子步骤：
S311、获取曲线区域车道线边缘特征点；
S312、利用三次曲线模型，完成曲线拟合，并求解三次曲线函数的系数及曲率半径均值。
进一步的，所述步骤S30中的绘画拟合车道线的步骤包括：
S331、根据当前帧车道直线参数绘制直线车道线；
S332、获取上一帧图像中的直线车道线的底部像素点，并以该点作为定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线。
进一步的，执行所述步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲线半径均值是否满足如下所有条件，若满足则执行步骤S40；若不满足，则不输出，并返回步骤S10，处理下一帧图像。
条件包括：
1)判断拟合车道线中，车道两侧拟合直线斜率乘积小于0；
2)计算车道宽度与实际车道宽度的宽度差小于第一阈值；
3)消失点坐标处于当前帧图像内。
进一步的，所述步骤S40包括如下子步骤：
S41、获取当前帧的直线车道线所对应的斜率和截距；
S42、获取当前帧的消失点坐标同时当前帧图像消失点与上帧图像消失点的距离小于第三阈值；
S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；
S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。
进一步的，执行所述步骤S43后还包括预测校验步骤：
S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；
S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；
S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。
进一步的，在步骤S30中，在绘画拟合车道线前还包括校验步骤：
S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；
S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。
可选的，所述第一阈值为0.15m；
所述第二阈值为(0.1,50)，其中数列内第一项为斜率误差值，第二项为截距误差值，单位为像素；
所述第三阈值为30，单位为像素；
所述第四阈值为30，单位为像素；
所述第五阈值为150m。
本发明的基于动态感兴趣区域的鲁棒性车道线检测方法所起到的有益效果包括：
1、基于DROI，利用车道线内侧边缘梯度特性，可以有效地提取复杂工况下的车道线内侧边缘信息，该方法的抗干扰性、准确性相比于最大类间方差(OTSU)、Canny算子等有着明显的改善与提高。
2、通过建立DROI，可降低对复杂车道线识别算法的要求，同时可达到车道线区域跟踪的目的。
3、利用卡尔曼预测及帧间关联法，可实现实时、鲁棒的车道线跟踪。
4、针对复杂工况，基于道路消失点的候选直线样本，利用RANSAC算法进行车道直线检测，可提高其算法准确性，鲁棒性；利用三次曲线模型，结合RANSAC算法，可实现准确的曲线拟合，也可解决拟合车道线“甩动”问题。
图1为本发明的方法流程原理图。
图2为本发明对帧图像识别的DROI区域划分原理图。
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。
实施例1：
一种基于动态感兴趣区域的鲁棒性车道线检测方法，如图1所示。附图1介绍一个本发明的整体流程，包括如下步骤：
S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化，在初始化过程中，车道 线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。
S20、如图2所示，为了更加准确地进行动态感兴趣区域识别，首先将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域DROI1、第二区域DROI2以及第三区域DROI3。可以理解的，为了便于区分左车道线感兴趣区域和右车道线感兴趣区域，附图2中分别以L和R来表示左右关系，如LDROI1、RDROI1分别表示第一区域DROI1的左车道线感兴趣区域和右车道线感兴趣区域。
之后根据车道的图像识别特性，由于在图像识别过程中，距离车辆较近的车道线其曲率通常较小，因此将第一区域DROI1和第二区域DROI2组成直线识别区域；而在距离车辆较远的车道线由于在图像识别上，弯道曲率特性被放大，因此将第二区域DROI2和第三区域DROI3组成曲线识别区域。在三个区域中，第二区域是共同识别区域，便于完成直线识别区域和曲线识别区域的拟合。
S30、在确定直线识别区域和曲线识别区域确定后，针对直线识别区域和曲线识别区域进行车道线边缘特征点预提取。
本实施例中，车道线边缘特征点预提取是在感兴趣区域DROI内，利用像素点平均梯度强度及梯度方向的车道边缘提取方法。具体通过约束车道边缘点梯度方向，以车道边缘像素灰度值的标准差作为分割阈值，以像素点的平均梯度强度作为间接分割对象，进行车道边缘提取，然后进行车道线边缘细化，获取车道线内侧唯一边缘点，该方法简单易行，实时性好。
在获得车道线边缘特征点后，通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线。
具体的，本实施所提供的直线识别区域的拟合方法包括如下子步骤：
S301、获取第一区域DROI1和第二区域DROI2组成的直线区域车道线边缘特征点；
S302、通过RANSAC算法计算当前帧车道直线参数以及消失点坐标。具体的，首先对直线参数进行计算，本实施例通过直线参数的斜率K以及截距b来确定直线参数。利用消失点的位置，在第一区域和第二区域确定多条候选执行，进而利用RANSAC算法进行车道直线参数拟合及消失点位置计算。可以理解的，车道线的直线包括两条，分别是左车道线以及右车道线，两个车道线相交之处则确定为消失点，其坐标可以通过(v
vp,u
vp)来表示。
本实施例中，对改进RANSAC算法进行了一定的改进，主要体现在,算法在样本选取上，界定了样本容量及样本范围，如图2所示的直线样本，其仅在DROI区域内范围内提 供多个样本值供后续拟合步骤选择，提高了计算效率，缩小了误检范围。
完成直线参数计算后，针对曲线识别区域的拟合方法包括如下子步骤：
S311、获取第二区域DROI2和第三区域DROI3组成的曲线区域车道线边缘特征点；
S312、利用三次曲线模型，完成左车道线和右车道线的曲线拟合，并求解三次曲线函数的系数及曲率半径均值。拟合方法是多种的，其旨在求解三次曲线系数。同时基于此确定曲率半径均值。由此即可完成曲线拟合以及车道线绘制。
进一步的，本实施例还提供绘画拟合车道线的步骤：
S331、根据当前帧车道直线参数绘制直线车道线，
S332、为了防止在车道虚线部分，进行车道曲线拟合而出现的拟合曲线“甩动”现象，获取上一帧图像中的直线车道线的底部像素点，并以该点座位定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线，进而可确保拟合曲线的稳定性。利用上述方法，可以鲁棒地提取车道直线、曲线。
S40、根据当前帧的拟合车道线利用卡尔曼滤波求得下一帧图像中车道线的直线信息，即下一帧图像中直线车道线的斜率Kr、截距br以及道路消失点位置(v
vr,u
vr)。进而，根据该信息获得下一帧图像中的一区域DROI1、第二区域DROI2以及第三区域DROI3的位置。
具体步骤S40包括如下子步骤：
S41、获取当前帧的直线车道线所对应的斜率和截距；
S42、获取当前帧的消失点坐标；
S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；
S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。
如此，即可实现实时的动态检测以及车道线的拟合。
本步骤实质为了实现车道跟踪，其车道线跟踪是利用卡尔曼滤波算法来实现。为了避免突变状况带入无效信息，将当前帧的车道线及消失点观测信息，与经过卡尔曼滤波预测后得出的信息作比较，若发生突变，抛弃当前帧信息，将上一帧的卡尔曼滤波预测所得信息作为当前帧的车道线信息，从而用于作为下一帧的计算基础，若没有发生突变则按顺序执行，最终可有效地避免，由于障碍物遮挡车道线，而出现的车道线误检现象发生。
实施例2：
作为实施例1的优化，本实施例与实施例1的区别在于：为了对计算所得的车道线进行准确性认证，本实施例在执行步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲 线半径均值是否满足如下所有条件，若满足条件则将相关参数输出并进行卡尔曼滤波预测计算；若不满足，则不输出，并返回步骤S10，处理下一帧图像。
具体条件包括：
1)判断拟合车道线中，车道两侧拟合直线斜率乘积小于0，确定所拟合的车道线是否符合典型的梯形状，如果左右车道线的斜率乘积大于0则明显不符合图像识别中的车道线特性。
2)计算车道宽度与实际车道宽度的宽度差小于第一阈值。优选的，本实施例中，该第一阈值可以但不仅限于为0.15m。该条件用于判断所识别的车道宽度是否符合车道线特性，车道宽度均有标准，因此当偏差较大时也可以判定检测错误。
3)消失点坐标处于当前帧图像内。可以理解的，消失点必定在图像内，若不出现在图像内则说明检测错误。判断消失点的方法可以判断其纵横坐标值是否小于图像的像素值。
实施例3：
作为实施例1的优化，本实施例与实施例2的区别在于：为了防止绘画的车道线出现“甩飞”或者明显不拟合实际车道线的情况，本实施在步骤S30中，在绘画拟合车道线前还包括校验步骤：
S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；
S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。
其中，第四阈值按照图像像素距离来判断，第五阈值则计算出实际值，第四阈值优选为30，第五阈值优选为150m。
实施例4：
作为实施例1的优化，本实施例与实施例1的区别在于：本实施提供具体的预测校验步骤：
S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；
其中，第二阈值包括两个参数，分别是斜率误差值和截距误差值，斜率误差值优选为0.1像素，截距误差值优选为50。
S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；本步骤中第三阈值优选为30像素。
S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
- 一种基于动态感兴趣区域的鲁棒性车道线检测方法，其特征在于：包括如下步骤：S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化；S20、将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域、第二区域以及第三区域，并将第一区域和第二区域组成直线识别区域，将第二区域和第三区域组成曲线识别区域；S30、针对所述直线识别区域和曲线识别区域进行车道线内侧边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；S40、根据当前帧的拟合车道线利用卡尔曼滤波预测下一帧图像中第一区域、第二区域以及第三区域的位置。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述车道线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述直线识别区域的拟合方法包括如下子步骤：S301、获取直线区域车道线边缘特征点；S302、通过RANSAC算法计算当前帧车道直线参数以及消失点坐标。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述曲线识别区域的拟合方法包括如下子步骤：S311、获取曲线区域车道线边缘特征点；S312、利用三次曲线模型，完成曲线拟合，并求解三次曲线函数的系数及曲率半径均值。
- 根据权利要求3所述的鲁棒性车道线检测方法，其特征在于，所述步骤S30中的绘画拟合车道线的步骤包括：S331、根据当前帧车道直线参数绘制直线车道线；S332、获取上一帧图像中的直线车道线的底部像素点，并以该点作为定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，执行所述步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲线半径均值是否满足如下所有条件，若满足则执行步骤S40；若不满足，则不输出，并返回步骤S10，处理下一帧图像；条件包括：1)判断拟合车道线中，车道两侧拟合直线斜率乘积小于0；2)计算车道宽度与实际车道宽度的宽度差小于第一阈值；3)消失点坐标处于当前帧图像内，同时当前帧图像消失点与上帧图像消失点的距离小于第三阈值。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述步骤S40包括如下子步骤：S41、获取当前帧的直线车道线所对应的斜率和截距；S42、获取当前帧的消失点坐标；S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。
- 根据权利要求7所述的鲁棒性车道线检测方法，其特征在于，执行所述步骤S43后还包括预测校验步骤：S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。
- 根据权利要求7所述的鲁棒性车道线检测方法，其特征在于，在步骤S30中，在绘画拟合车道线前还包括校验步骤：S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。
- 根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述第一阈值为0.15m；所述第二阈值为(0.1,50)，其中数列内第一项为斜率误差值，第二项为截距误差值，单位为像素；所述第三阈值为30，单位为像素；所述第四阈值为30，单位为像素；所述第五阈值为150m。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811034829.8 | 2018-09-06 | ||
| CN201811034829.8A CN109409202B (zh) | 2018-09-06 | 2018-09-06 | 基于动态感兴趣区域的鲁棒性车道线检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020048027A1 true WO2020048027A1 (zh) | 2020-03-12 |
Family
ID=65463864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/118618 WO2020048027A1 (zh) | 2018-09-06 | 2018-11-30 | 一种基于动态感兴趣区域的鲁棒性车道线检测方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109409202B (zh) |
| WO (1) | WO2020048027A1 (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507274A (zh) * | 2020-04-20 | 2020-08-07 | 安徽卡思普智能科技有限公司 | 基于自适应路面条件变化机制的多车道线检测方法及系统 |
| CN111583341A (zh) * | 2020-04-30 | 2020-08-25 | 中远海运科技股份有限公司 | 云台像机移位检测方法 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111721316A (zh) * | 2020-06-22 | 2020-09-29 | 重庆大学 | 一种高性能的车道线识别感兴趣区域预测方法 |
| CN111881823A (zh) * | 2020-07-27 | 2020-11-03 | 上海智驾汽车科技有限公司 | 一种地面目标检测评价方法 |
| CN112115778A (zh) * | 2020-08-11 | 2020-12-22 | 华南理工大学 | 一种在环仿真条件下车道线智能识别方法 |
| CN112132109A (zh) * | 2020-10-10 | 2020-12-25 | 北京百度网讯科技有限公司 | 车道线处理和车道定位方法、装置、设备及存储介质 |
| CN112200142A (zh) * | 2020-08-07 | 2021-01-08 | 平安科技（深圳）有限公司 | 一种识别车道线的方法、装置、设备及存储介质 |
| CN112668466A (zh) * | 2020-12-24 | 2021-04-16 | 中国计量大学 | 一种地址事件数据流的车道线识别方法 |
| CN112946661A (zh) * | 2021-02-08 | 2021-06-11 | 同致电子科技（厦门）有限公司 | 一种基于360°环视系统多目视觉的路沿检测方法及装置 |
| CN113344979A (zh) * | 2021-06-29 | 2021-09-03 | 北京搜狗科技发展有限公司 | 一种车道线跟踪方法、装置和用于车道线跟踪的装置 |
| CN113780082A (zh) * | 2021-08-10 | 2021-12-10 | 南昌大学 | 一种基于滑动窗口搜索的车道线检测方法 |
| CN113781562A (zh) * | 2021-09-13 | 2021-12-10 | 山东大学 | 一种基于道路模型的车道线虚实配准和自车定位方法 |
| CN113815608A (zh) * | 2021-09-24 | 2021-12-21 | 上汽通用五菱汽车股份有限公司 | 车道保持方法、装置和计算机可读存储介质 |
| CN114578690A (zh) * | 2022-01-26 | 2022-06-03 | 西北工业大学 | 一种基于多传感器的智能汽车自主组合控制方法 |
| CN114913500A (zh) * | 2022-07-12 | 2022-08-16 | 福思(杭州)智能科技有限公司 | 位姿确定方法、装置、计算机设备和存储介质 |
| CN116468729A (zh) * | 2023-06-20 | 2023-07-21 | 南昌江铃华翔汽车零部件有限公司 | 一种汽车底盘异物检测方法、系统及计算机 |
| CN116778224A (zh) * | 2023-05-09 | 2023-09-19 | 广州华南路桥实业有限公司 | 一种基于视频流深度学习的车辆追踪方法 |
| CN118155177A (zh) * | 2024-05-11 | 2024-06-07 | 合众新能源汽车股份有限公司 | 车辆所在车道的定位方法、装置和电子设备 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10943132B2 (en) * | 2019-04-10 | 2021-03-09 | Black Sesame International Holding Limited | Distant on-road object detection |
| CN111832347B (zh) * | 2019-04-17 | 2024-03-19 | 北京地平线机器人技术研发有限公司 | 动态选取感兴趣区域的方法及装置 |
| CN110414425A (zh) * | 2019-07-26 | 2019-11-05 | 清华大学 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
| CN110705444B (zh) * | 2019-09-27 | 2022-02-08 | 四川长虹电器股份有限公司 | 车道跟踪系统及方法 |
| CN110826412B (zh) * | 2019-10-10 | 2023-07-11 | 江苏理工学院 | 高速公路能见度检测系统和方法 |
| CN110796084A (zh) * | 2019-10-29 | 2020-02-14 | 华人运通(上海)自动驾驶科技有限公司 | 车道线识别方法、装置、设备和计算机可读存储介质 |
| CN112050821B (zh) * | 2020-09-11 | 2021-08-20 | 湖北亿咖通科技有限公司 | 一种车道线聚合方法 |
| CN112434621B (zh) * | 2020-11-27 | 2022-02-15 | 武汉极目智能技术有限公司 | 车道线内侧边缘特征提取方法 |
| CN113160322A (zh) * | 2021-03-17 | 2021-07-23 | 地平线(上海)人工智能技术有限公司 | 摄像装置标定方法和设备、介质以及电子设备 |
| CN113095283B (zh) * | 2021-04-30 | 2023-08-25 | 南京工程学院 | 一种基于动态roi和改进萤火虫算法的车道线提取方法 |
| CN113436190B (zh) * | 2021-07-30 | 2023-03-14 | 重庆长安汽车股份有限公司 | 一种基于车道线曲线系数的车道线质量计算方法、装置及汽车 |
| CN114750759B (zh) * | 2022-04-19 | 2024-04-30 | 合众新能源汽车股份有限公司 | 一种跟车目标确定方法、装置、设备及介质 |
| CN115131968B (zh) * | 2022-06-28 | 2023-07-11 | 重庆长安汽车股份有限公司 | 一种基于车道线点集与注意力机制的匹配融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177246A (zh) * | 2013-03-26 | 2013-06-26 | 北京理工大学 | 基于动态区域划分的双模型车道线识别方法 |
| CN104102905A (zh) * | 2014-07-16 | 2014-10-15 | 中电海康集团有限公司 | 一种车道线自适应检测的方法 |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106991407A (zh) * | 2017-04-10 | 2017-07-28 | 吉林大学 | 一种车道线检测的方法以及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6978037B1 (en) * | 2000-11-01 | 2005-12-20 | Daimlerchrysler Ag | Process for recognition of lane markers using image data |
| KR20130006752A (ko) * | 2011-06-23 | 2013-01-18 | 주식회사 만도 | 차선 인식 장치 및 그 방법 |
| CN103617412B (zh) * | 2013-10-31 | 2017-01-18 | 电子科技大学 | 实时车道线检测方法 |
| CN106529443B (zh) * | 2016-11-03 | 2019-09-06 | 温州大学 | 改进霍夫变化检测车道线的方法 |
-
2018
- 2018-09-06 CN CN201811034829.8A patent/CN109409202B/zh active Active
- 2018-11-30 WO PCT/CN2018/118618 patent/WO2020048027A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177246A (zh) * | 2013-03-26 | 2013-06-26 | 北京理工大学 | 基于动态区域划分的双模型车道线识别方法 |
| CN104102905A (zh) * | 2014-07-16 | 2014-10-15 | 中电海康集团有限公司 | 一种车道线自适应检测的方法 |
| CN105893949A (zh) * | 2016-03-29 | 2016-08-24 | 西南交通大学 | 一种复杂路况场景下的车道线检测方法 |
| CN106991407A (zh) * | 2017-04-10 | 2017-07-28 | 吉林大学 | 一种车道线检测的方法以及装置 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507274B (zh) * | 2020-04-20 | 2023-02-24 | 安徽卡思普智能科技有限公司 | 基于自适应路面条件变化机制的多车道线检测方法及系统 |
| CN111507274A (zh) * | 2020-04-20 | 2020-08-07 | 安徽卡思普智能科技有限公司 | 基于自适应路面条件变化机制的多车道线检测方法及系统 |
| CN111583341A (zh) * | 2020-04-30 | 2020-08-25 | 中远海运科技股份有限公司 | 云台像机移位检测方法 |
| CN111583341B (zh) * | 2020-04-30 | 2023-05-23 | 中远海运科技股份有限公司 | 云台像机移位检测方法 |
| CN111611942B (zh) * | 2020-05-22 | 2022-03-22 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111611942A (zh) * | 2020-05-22 | 2020-09-01 | 山东大学 | 一种透视自适应车道骨架提取建库的方法 |
| CN111721316A (zh) * | 2020-06-22 | 2020-09-29 | 重庆大学 | 一种高性能的车道线识别感兴趣区域预测方法 |
| CN111881823A (zh) * | 2020-07-27 | 2020-11-03 | 上海智驾汽车科技有限公司 | 一种地面目标检测评价方法 |
| CN112200142A (zh) * | 2020-08-07 | 2021-01-08 | 平安科技（深圳）有限公司 | 一种识别车道线的方法、装置、设备及存储介质 |
| CN112115778B (zh) * | 2020-08-11 | 2023-07-21 | 华南理工大学 | 一种在环仿真条件下车道线智能识别方法 |
| CN112115778A (zh) * | 2020-08-11 | 2020-12-22 | 华南理工大学 | 一种在环仿真条件下车道线智能识别方法 |
| CN112132109A (zh) * | 2020-10-10 | 2020-12-25 | 北京百度网讯科技有限公司 | 车道线处理和车道定位方法、装置、设备及存储介质 |
| CN112668466A (zh) * | 2020-12-24 | 2021-04-16 | 中国计量大学 | 一种地址事件数据流的车道线识别方法 |
| CN112946661A (zh) * | 2021-02-08 | 2021-06-11 | 同致电子科技（厦门）有限公司 | 一种基于360°环视系统多目视觉的路沿检测方法及装置 |
| CN112946661B (zh) * | 2021-02-08 | 2023-10-20 | 同致电子科技（厦门）有限公司 | 一种基于360°环视系统多目视觉的路沿检测方法及装置 |
| CN113344979A (zh) * | 2021-06-29 | 2021-09-03 | 北京搜狗科技发展有限公司 | 一种车道线跟踪方法、装置和用于车道线跟踪的装置 |
| CN113344979B (zh) * | 2021-06-29 | 2024-04-16 | 北京搜狗科技发展有限公司 | 一种车道线跟踪方法、装置和用于车道线跟踪的装置 |
| CN113780082A (zh) * | 2021-08-10 | 2021-12-10 | 南昌大学 | 一种基于滑动窗口搜索的车道线检测方法 |
| CN113781562A (zh) * | 2021-09-13 | 2021-12-10 | 山东大学 | 一种基于道路模型的车道线虚实配准和自车定位方法 |
| CN113781562B (zh) * | 2021-09-13 | 2023-08-04 | 山东大学 | 一种基于道路模型的车道线虚实配准和自车定位方法 |
| CN113815608A (zh) * | 2021-09-24 | 2021-12-21 | 上汽通用五菱汽车股份有限公司 | 车道保持方法、装置和计算机可读存储介质 |
| CN113815608B (zh) * | 2021-09-24 | 2023-08-29 | 上汽通用五菱汽车股份有限公司 | 车道保持方法、装置和计算机可读存储介质 |
| CN114578690A (zh) * | 2022-01-26 | 2022-06-03 | 西北工业大学 | 一种基于多传感器的智能汽车自主组合控制方法 |
| CN114913500A (zh) * | 2022-07-12 | 2022-08-16 | 福思(杭州)智能科技有限公司 | 位姿确定方法、装置、计算机设备和存储介质 |
| CN114913500B (zh) * | 2022-07-12 | 2022-11-01 | 福思(杭州)智能科技有限公司 | 位姿确定方法、装置、计算机设备和存储介质 |
| CN116778224A (zh) * | 2023-05-09 | 2023-09-19 | 广州华南路桥实业有限公司 | 一种基于视频流深度学习的车辆追踪方法 |
| CN116468729B (zh) * | 2023-06-20 | 2023-09-12 | 南昌江铃华翔汽车零部件有限公司 | 一种汽车底盘异物检测方法、系统及计算机 |
| CN116468729A (zh) * | 2023-06-20 | 2023-07-21 | 南昌江铃华翔汽车零部件有限公司 | 一种汽车底盘异物检测方法、系统及计算机 |
| CN118155177A (zh) * | 2024-05-11 | 2024-06-07 | 合众新能源汽车股份有限公司 | 车辆所在车道的定位方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109409202B (zh) | 2022-06-24 |
| CN109409202A (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020048027A1 (zh) | 一种基于动态感兴趣区域的鲁棒性车道线检测方法 | |
| CN107730520B (zh) | 车道线检测方法及系统 | |
| CN109649384A (zh) | 一种泊车辅助方法 | |
| CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
| CN107798335B (zh) | 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法 | |
| Haque et al. | A computer vision based lane detection approach | |
| CN104008387A (zh) | 一种基于特征点分段线性拟合的车道线检测方法 | |
| WO2020098004A1 (zh) | 车道通行状态提醒方法及设备 | |
| CN107389084B (zh) | 行车路径规划方法及存储介质 | |
| CN111291603B (zh) | 车道线检测方法、装置、系统及存储介质 | |
| JP5712968B2 (ja) | 人検出装置 | |
| CN103150337B (zh) | 一种基于Bézier曲线的车道线重构方法 | |
| CN103978978A (zh) | 基于逆投影变换的车道保持方法 | |
| WO2020220182A1 (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
| CN111723625A (zh) | 交通灯图像识别处理方法、装置、辅助通行系统及存储介质 | |
| JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
| CN110991264A (zh) | 前方车辆检测方法和装置 | |
| CN111553214A (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN107133600A (zh) | 一种基于帧间关联的实时车道线检测方法 | |
| JPH11195127A (ja) | 白線認識方法および装置 | |
| CN114663859A (zh) | 灵敏准确的复杂路况车道偏移实时预警系统 | |
| CN105760876A (zh) | 一种基于散热器栅格背景消融的车标定位方法 | |
| CN113361299B (zh) | 一种异常停车的检测方法、装置、存储介质及电子设备 | |
| CN110008838B (zh) | 基于改进拟合算法的车道线检测方法和系统 | |
| CN109961004B (zh) | 一种偏光光源人脸检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18932343 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18932343 Country of ref document: EP Kind code of ref document: A1 |