KR101910256B1 - Lane Detection Method and System for Camera-based Road Curvature Estimation - Google Patents

Lane Detection Method and System for Camera-based Road Curvature Estimation Download PDF

Info

Publication number
KR101910256B1
KR101910256B1 KR1020160174280A KR20160174280A KR101910256B1 KR 101910256 B1 KR101910256 B1 KR 101910256B1 KR 1020160174280 A KR1020160174280 A KR 1020160174280A KR 20160174280 A KR20160174280 A KR 20160174280A KR 101910256 B1 KR101910256 B1 KR 101910256B1
Authority
KR
South Korea
Prior art keywords
lane
top view
equation
curved
view image
Prior art date
Application number
KR1020160174280A
Other languages
Korean (ko)
Other versions
KR20180071552A (en
Inventor
손행선
민경원
이선영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160174280A priority Critical patent/KR101910256B1/en
Publication of KR20180071552A publication Critical patent/KR20180071552A/en
Application granted granted Critical
Publication of KR101910256B1 publication Critical patent/KR101910256B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G06K9/38—
    • G06K9/4609—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 차선 검출 방법은 전방 영상을 탑뷰 영상으로 변환하는 단계; 탑뷰 영상을 필터링하는 단계; 필터링된 탑뷰 영상에서 차선 후보들을 추출하는 단계; 추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 단계; 피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 단계;를 포함한다.
이에 의해, 탑뷰에서 차선을 강조하는 필터링 기법을 통하여 차선 주변에 차량이나 도로 마커들이 존재하여도 이는 배제하고 차선만을 추출할 수 있게 된다.A lane detection method and system for camera-based road curvature estimation are provided. A method of detecting a lane according to an exemplary embodiment of the present invention includes converting a forward image into a top image; Filtering a top view image; Extracting lane candidates from the filtered top view image; Modeling and fitting the curved lane pair using the extracted lane candidates; Estimating the curvature of the curved lane from the fitted curve lane pair.
Thus, even if there are vehicles or road markers around the lane through the filtering technique emphasizing the lane in the top view, it can be excluded and only the lane can be extracted.

Description

카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템{Lane Detection Method and System for Camera-based Road Curvature Estimation}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a lane detection method and system for estimating camera curvature of a road,

본 발명은 ADAS(Advanced Driver Assistance System : 차량용 운전자 지원 시스템) 관련 기술에 관한 것으로, 더욱 상세하게는 ADAS를 위한 차선 인식 시스템에 관한 것이다.The present invention relates to ADAS (Advanced Driver Assistance System) related technology, and more particularly, to a lane recognition system for ADAS.

기존의 차선 인식 시스템의 경우 차선을 직선의 형태로 취급하고 검출하여 차선의 이탈 여부를 판단하여 왔다. 종래의 기술은 차선의 이탈 여부에만 관심이 있었으므로 근거리에 대한 차선의 모델링이 필요했던 바 직선으로 모델링을 하여도 문제가 없었다.In the case of the conventional lane recognition system, the lane is treated as a straight line and detected to determine whether or not the lane has departed. Since the conventional technique was only interested in whether or not the lane departed, it was necessary to model the lane near the lane.

그러나 최근에는 지능형 자동차가 자율주행 자동차로 발전을 하면서 FCWS(Forward Collision Warning System : 전방 추돌 방지 시스템) 이나 ACCS(Adaptive Cruise Control System) 등과 융합하여 원거리에 대한 차선의 정보가 필요하게 되었으며, 이를 기반으로 한 차선의 곡률 정보가 필요하게 되었다. In recent years, however, intelligent automobiles have developed into self-propelled vehicles and have been required to provide lane information for long distances by converging with FCWS (Forward Collision Warning System) or ACCS (Adaptive Cruise Control System). Curvature information of one lane became necessary.

이에, 차선 정보를 좀 더 정확히 추출하고, 원거리까지 차선을 곡선으로 모델링할 수 있는 방안의 모색이 요청된다.Therefore, it is required to search for ways to extract lane information more accurately and to model the lane as a curve to a long distance.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 탑뷰(Top View) 영상에서 차선만을 강조하기 위한 필터링 기법을 적용하여, 차선 주변에 차량이 존재하는 경우에도 차선을 잘 추출해 낼 수 있는 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a filtering method for emphasizing only a lane in an image of a top view so that even when a vehicle exists around a lane, And to provide a method for extracting it well.

또한, 본 발명의 다른 목적은, 탑뷰 영상에서 좌우 차선은 일정 간격으로 평행하다는 특성을 가지므로, 이를 이용하여 차선을 두 개의 평행한 곡선 쌍으로 모델링하여 검출의 정확도를 높일 수 있는 방법을 제공함에 있다.Another object of the present invention is to provide a method for increasing the accuracy of detection by modeling lanes into two parallel curve pairs using the feature that the left and right lanes in the top view image are parallel at regular intervals have.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차선 검출 방법은 전방 영상을 탑뷰 영상으로 변환하는 단계; 탑뷰 영상을 필터링하는 단계; 필터링된 탑뷰 영상에서 차선 후보들을 추출하는 단계; 추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 단계; 피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 단계;를 포함한다. According to another aspect of the present invention, there is provided a lane detection method comprising: converting a forward image into a top image; Filtering a top view image; Extracting lane candidates from the filtered top view image; Modeling and fitting the curved lane pair using the extracted lane candidates; Estimating the curvature of the curved lane from the fitted curve lane pair.

피팅 단계는, 추출된 차선 후보들 중 두 개의 차선으로 이루어진 차선 쌍을 찾아 2차 방정식으로 모델링한 후 피팅할 수 있다. In the fitting step, a lane pair consisting of two lanes of the extracted lane candidates can be searched and modeled into a quadratic equation and then fitted.

필터링 단계는, 탑뷰 영상에서 도로 패치를 설정하는 단계; 도로 패치의 평균 픽셀 값으로부터 임계치를 생성하는 단계; 생성된 임계치와 비교 결과를 기초로, 탑뷰 영상의 픽셀들 중 해당 픽셀들을 특정 값으로 변환하는 단계;를 포함할 수 있다. The filtering step may include: setting a road patch on the top view image; Generating a threshold from an average pixel value of the road patch; And converting the pixels of the top view image into a specific value based on the generated threshold value and the comparison result.

임계치 생성 단계는, 도로 패치의 평균 픽셀 값에 특정 가중치를 곱하여 임계치를 생성하고, 변환 단계는, 생성된 임계치 보다 픽셀 값이 작은 탑뷰 영상의 픽셀들을 특정 값으로 변환할 수 있다. The threshold value generation step may generate a threshold value by multiplying the average pixel value of the road patch by a specific weight, and the conversion step may convert the pixels of the top view image into a specific value with a pixel value smaller than the generated threshold value.

도로 패치는, 물체가 존재할 가능성이 가장 작은 영역일 수 있다. The road patch may be a region having the smallest possibility that an object exists.

필터링 단계는, 변환된 탑뷰 영상에 대해, x 방향으로는 제1 필터를 적용하고, y 방향으로는 제2 필터를 적용하는 단계;를 더 포함할 수 있다. The filtering step may further include applying a first filter in the x direction and a second filter in the y direction for the transformed top view image.

제1 필터는, HPF(High Pass Filter)이고, 제2 필터는, LPF(Low Pass Filter)일 수 있다.The first filter may be an HPF (High Pass Filter), and the second filter may be an LPF (Low Pass Filter).

본 발명에 따른 차선 검출 방법은 변환된 탑뷰 영상에서 차선 영역을 이진화하는 단계;를 더 포함할 수 있다. The lane detecting method according to the present invention may further include binarizing the lane area in the transformed top view image.

이진화 단계는, 중심 값이 평균 값 보다 특정 상수값 이상 크면 차선으로 표현하고, 중심 값이 평균 값 보다 특정 상수값 이상 크지 않으면 도로로 표현할 수 있다. The binarization step may be expressed as a lane if the center value is greater than or equal to a certain constant value than the average value, and expressed as a road if the center value is not greater than the average value by a certain constant value or more.

한편, 본 발명의 다른 실시예에 따른 차선 검출 시스템은 전방 영상을 이용하여 탑뷰 영상을 생성하는 생성부; 탑뷰 영상을 필터링하는 필터링부; 필터링된 탑뷰 영상에서 차선 후보들을 추출하는 추출부; 추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 피팅부; 피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 추정부;를 포함한다. According to another aspect of the present invention, there is provided a lane detection system including: a generation unit generating a top view image using a forward image; A filtering unit for filtering the top view image; An extracting unit for extracting lane candidates from the filtered top view image; A fitting unit for modeling and fitting a curved lane pair using the extracted lane candidates; And estimating means for estimating the curvature of the curved lane from the fitted curve lane pair.

한편, 본 발명의 다른 실시예에 따른 차선 검출 방법은 탑뷰 영상에서 차선 후보들을 추출하는 단계; 추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 단계; 및 피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 단계;를 포함할 수 있다. According to another aspect of the present invention, there is provided a lane detection method including: extracting lane candidates from a top view image; Modeling and fitting the curved lane pair using the extracted lane candidates; And estimating the curvature of the curved lane from the fitted curve lane pair.

한편, 본 발명의 다른 실시예에 따른 차선 검출 시스템은 탑뷰 영상에서 차선 후보들을 추출하는 추출부; 및 추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 피팅부; 피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 추정부;를 포함할 수 있다. According to another aspect of the present invention, there is provided a lane detecting system including: an extracting unit for extracting lane candidates from a top view image; A fitting unit for modeling and fitting a curved lane pair using the extracted lane candidates; And estimating means for estimating the curvature of the curved lane from the fitted curve lane pair.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 탑뷰에서 차선을 강조하는 필터링 기법을 통하여 차선 주변에 차량이나 도로 마커들이 존재하여도 이는 배제하고 차선만을 추출할 수 있게 된다.As described above, according to the embodiments of the present invention, even if vehicles or road markers exist around the lane through the filtering technique emphasizing the lane in the top view, it can be excluded and only the lane can be extracted.

또한, 차선이 있는 도로는 탑뷰 상에서 보면 두 개의 평행한 곡선의 형태를 가지는데, 본 발명의 실시예들에 따르면, 이를 한 번에 구해내어 좀 더 정확한 차선을 추출해 낼 수 있게 된다.In addition, a road having a lane has two parallel curved lines in a top view. According to the embodiments of the present invention, it is possible to extract the lane more accurately at a time.

도 1은 본 발명의 일 실시예에 따른 차선 검출 시스템의 블럭도,
도 2에는 전방 카메라 영상,
도 3은, 도 2의 전방 카메라 영상을 탑뷰 영상으로 변환한 결과,
도 4는 도로 패치 P의 설정 예시,
도 5는 가우시안 필터 fx(x)를 예시한 도면,
도 6은 가우시안 필터 fy(y)를 예시한 도면,
도 7은 2D 가우시안 필터링 결과,
도 8은 이진화 결과,
도 9는 차선 ROI 추출 결과,
도 10은 곡선 차선 쌍 모델 생성/피팅 결과,
도 11은 곡선 차선 쌍을 원 입력 영상에 나타낸 결과, 그리고,
도 12는 본 발명의 다른 실시예에 따른 차선 검출 방법의 설명에 제공되는 흐름도이다.1 is a block diagram of a lane detection system according to an embodiment of the present invention;
2 shows a front camera image,
FIG. 3 shows a result of converting the front camera image of FIG. 2 into a top view image,
4 shows an example of the setting of the road patch P,
5 is a diagram illustrating a Gaussian filter f x (x)
6 is a diagram illustrating a Gaussian filter f y (y)
FIG. 7 shows the result of 2D Gaussian filtering,
8 shows a result of binarization,
9 shows a result of the lane-line ROI extraction,
Figure 10 shows the result of curve lane pair model creation / fitting,
11 shows the results of the curved lane pairs in the original input image,
12 is a flowchart provided in the description of the lane detection method according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 차선 검출 시스템의 블럭도이다. 본 발명의 실시예에 따른 차선 검출 시스템은, 차선을 추출하고 추출한 차선의 곡률을 추정하기 위한 시스템이다.1 is a block diagram of a lane detection system according to an embodiment of the present invention. The lane detecting system according to the embodiment of the present invention is a system for estimating the curvature of a lane that is extracted and extracted.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 차선 검출 시스템은, 탑뷰(Top View) 생성부(110), 차선 필터링부(120), 차선 ROI 추출부(130), 차선 피팅부(140) 및 곡률 추정부(150)를 포함한다.1, the lane detecting system according to the embodiment of the present invention includes a top view generating unit 110, a lane filtering unit 120, a lane ROI extracting unit 130, a lane fitting unit 140 and a curvature estimator 150. [

탑뷰 생성부(110)는 차량의 전방 카메라 영상을 도로의 위에서 아래를 내려다보는 영상으로 변환하여 탑뷰 영상를 생성한다.The top view generation unit 110 converts the front camera image of the vehicle into an image looking down on the road from above and generates a top view image.

전방 카메라 영상은 카메라로부터의 원근에 따라 차선의 폭이 다르게 나타나므로, 이를 탑뷰 영상으로 변환하여 사용하게 되면 원근에 의한 효과가 배제되어 차선 추정이 좀 더 용이하다.Since the front camera image shows different widths of the lane according to the perspective from the camera, if it is converted into the top view image, it is easier to estimate the lane by eliminating the effect due to the perspective.

도 2에는 전방 카메라 영상을 나타내었고, 도 3은 도 2의 전방 카메라 영상을 탑뷰 영상으로 변환한 결과를 나타내었다.FIG. 2 shows a front camera image, and FIG. 3 shows a result of converting the front camera image of FIG. 2 into a top view image.

차선 필터링부(120)는 탑뷰 영상에서 차선을 좀 더 강조하기 위한 필터링을 수행한다.The lane filtering unit 120 performs filtering to further emphasize the lane in the top view image.

도 3의 탑뷰 영상을 보면 도로상에 다른 차량이 존재할 경우, 탑뷰 영상에서는 실제 영역보다 더 큰 영역으로 다른 차량이 퍼져서 나타나게 되므로, 탑뷰 영상에서 다른 차량을 제외하고 차선 부분만을 강조하기 위한 필터링이 요구된다.In the top view image of FIG. 3, when another vehicle exists on the road, another vehicle is displayed in a larger area than the actual area in the top view image. Therefore, filtering for emphasizing only the lane portion is required do.

이를 위해, 먼저 도 4에 도시된 바와 같이, 탑뷰 영상에서 도로 패치 P를 설정한다. 이 부분은 도로상에서 물체가 존재할 가능성이 가장 희박한 영역, 이를 테면, 도 4에 나타난 바와 같이 차량의 바로 앞 영역으로 직사각형태의 도로 패치 P에 대해서 매 영상 프레임 평균 픽셀 값을 구한다.To this end, the road patch P is first set in the top view image, as shown in Fig. This portion obtains the average pixel value of each image frame for a road patch P in which the object is most likely to be present on the road, for example, a rectangle-shaped road patch P, as shown in FIG.

도로 패치 P에서 구한 평균 픽셀 값에 특정 가중치(예를 들면, w=1.1)을 곱하여 임계 값(Threshold)을 만들고, 입력되는 탑뷰 영상 Ith에서 일괄적으로 입계 값을 빼고, 음수 값은 0으로 변환한다. 수학식으로 표현하면 다음과 같다.A threshold value is created by multiplying the average pixel value obtained by the road patch P by a specific weight (for example, w = 1.1), the threshold value is collectively subtracted from the input top view image Ith, and the negative value is converted to 0 do. Expressed in mathematical form as follows.

Threshold = average(P) × wThreshold = average (P) x w

Ith = max(I-Threshold, 0)Ith = max (I-Threshold, 0)

도로 패치 P는 물체가 존재할 가능성이 가장 희박한 영역, 즉 도로일 가능성이 가장 높은 영역이므로, 탑뷰 영상 Ith에 대해 위와 같은 처리를 하는 것은 탑뷰 영상 Ith에서 도로 영역을 0으로 만드는 전처리 작업이다.The road patch P is a region where the object is most likely to be present, that is, the region that is the most likely to be a road. Therefore, the above processing is performed on the top view image Ith. This is a preprocessing operation for making the road region 0 in the top view image Ith.

본 발명의 실시예에서는 Ith에 대해 2D 가우시안 필터를 적용하는데, 탑뷰 영상 내 차선의 특성상 x 방향으로는 HPF(High Pass Filter)를 적용하고, y 방향으로는 LPF(Low Pass Filter) 필터를 적용하여야, 차선이 강하게 추출된다.In the embodiment of the present invention, a 2D Gaussian filter is applied to Ith. In the characteristics of the lane in the top view image, HPF (High Pass Filter) is applied in the x direction and LPF (Low Pass Filter) , The lane is strongly extracted.

탑뷰 영상의 x 방향으로 적용할 HPF에 해당하는 가우시안 필터 fx(x)와 탑뷰 영상의 y 방향으로 적용할 LPF에 해당하는 가우시안 필터 fy(y)를 다음과 같이 구현할 수 있다.The Gaussian filter f x (x) corresponding to the HPF to be applied in the x direction of the top view image and the Gaussian filter f y (y) corresponding to the LPF to be applied in the y direction of the top view image can be implemented as follows.

Figure 112016124809353-pat00001
Figure 112016124809353-pat00001

여기서, σx의 값은 탑뷰 영상의 해상도에 따라 달라지는데, 탑뷰 영상의 해상도가 5cm에 해당한다면, σx의 값은 0.5 정도로 설정한다. 일반적으로 도로상 차선의 폭은 10cm~ 15cm이므로, σx의 값은 1~1.5의 값으로 설정한다.Here, the value of? X varies depending on the resolution of the top view image. If the resolution of the top view image corresponds to 5 cm, the value of? X is set to about 0.5. Generally, the width of a lane on a road is 10 cm to 15 cm, so the value of σ x is set to a value of 1 to 1.5.

σy의 값은 차선의 길이와 연관이 있으며, 일반적으로 도로상 차선의 길이는 30cm~ 50cm이므로, σy의 값은 6~10의 값으로 설정한다.The value of σ y is related to the length of the lane. In general, the length of the lane on the road is 30 cm to 50 cm, so the value of σ y is set to a value between 6 and 10.

이에 따른, 가우시안 필터 fx(x)를 도 5에, 가우시안 필터 fy(y)를 도 6에, 각각 나타내었다.FIG. 5 shows the Gaussian filter f x (x) and FIG. 6 shows the Gaussian filter f y (y).

Ith에 대한 2D 가우시안 필터링은, 아래와 같이 Ith에 대해서 fx(x)로 x축에 대해 1D-컨벌루션을 계산하고, fy(y)로 다시 y축에 대해 1D-컨벌루션을 수행하는 과정에 의한다.The 2D Gaussian filtering for Ith is performed by calculating 1D-convolution with respect to the x-axis with f x (x) for Ith and performing 1D-convolution with respect to the y-axis again with f y All.

I_fx = conv(Ith, fx); I_fx = conv (Ith, fx);

I_fy = conv(I_fx, fy); I_fy = conv (I_fx, fy);

이후, 2D 가우시안 필터링된 탑뷰 영상에서 차선 영역에 대해서는 이진화를 수행한다. 이진화 방법은 Adaptive Threshold 방식에 따라 11x11 Box에 대하여 Average 값을 구하고, 중심값이 Average 값을 기준으로 특정 상수값 이상 크면, 차선으로 표현(True)하고, 그렇지 않으면 도로로 표현(False)한다. 이진화에 의해 차선이 아닌 도로 마커 등이 제거 된다.Then, binarization is performed on the lane area in the 2D Gaussian filtered top view image. The binarization method calculates the average value for the 11x11 Box according to the adaptive threshold method. If the center value is greater than a certain constant value based on the average value, it is represented as a lane (True). Otherwise, it is expressed as a road (False). Road markers and the like which are not lanes are removed by binarization.

도 7에는 2D 가우시안 필터링 결과를, 도 8에는 이진화 결과를, 각각 나타내었다.FIG. 7 shows 2D Gaussian filtering results and FIG. 8 shows binarization results.

차선 ROI 추출부(130)는 차선 영역에 대해 허프 변환을 통해 차선이 존재하는 관심 영역(ROI)를 설정한다.The lane-line ROI extractor 130 sets the ROI in which the lane exists through the Hough transform for the lane area.

허프 변환은 탑뷰 영상을 근거리와 원거리 영역 두 개로 나누어 독립적으로 허프 변환을 수행함으로써, 차선에 해당하는 직선을 찾는다. 차선이라면 두 영역(근거리, 원거리)에서 수행된 허프 변환의 결과가 한점에서 만나야 하며, 각도의 차이가 특정범위 이내에 존재한다는 조건으로 두 개의 차선 ROI을 추출한다. 도 9에 차선 ROI 추출 결과를 노란색으로 나타내었다.The Hough transform divides the top view image into two near and far regions and independently performs a Hough transform to find a straight line corresponding to the lane. If it is a lane, the result of the Hough transform performed in two areas (near and far) must meet at a point, and the two lane ROIs are extracted on condition that the difference in angle exists within a certain range. FIG. 9 shows the results of the lane-based ROI extraction in yellow.

차선 피팅부(140)는 차선 ROI 추출 결과를 이용하여 곡선 형태의 차선 쌍을 생성한다.The lane fitting unit 140 generates a curved lane pair using the lane-based ROI extraction result.

ROI 결과가 좌우 차선이 존재한다면, 차선 피팅부(140)에서는 두 개의 차선으로 이루어진 차선 쌍을 찾는다.If the ROI result indicates that there are left and right lanes, the lane fitting unit 140 finds a lane pair consisting of two lanes.

구체적으로, 탑뷰 영상에서 두 개의 곡선 차선 쌍은 같은 곡률에 평행하다는 특징을 가지고 있으므로, 차선 피팅부(140)는 이를 이용하여 차선 쌍 모델을 생성하고, 곡선 차선 쌍을 피팅 한다.Specifically, since the two curved lane pairs in the top view image are parallel to the same curvature, the lane fitting unit 140 generates a lane pair model and fits the curved lane pair.

곡선 차선 쌍 모델은 2차 방정식으로 나타내며, 차선 쌍 피팅은 최소 자승법 혹은 RANSAC을 이용한다.The curved lane pair model is expressed by a quadratic equation, and the lane pair fitting uses the least squares method or RANSAC.

차선 피팅부(140)는 차선 ROI로 추출된 차선의 후보 집합 (X1, Y1)와 (X2, Y2)를 이용하여 두 개의 2차원 차선 쌍 모델을 아래와 같이 생성한 후, 최소 자승법 혹은 RANSAC에 의해 곡선 차선 쌍을 피팅한다. The lane fitting unit 140 generates two two-dimensional lane pair models using the candidate sets (X 1 , Y 1 ) and (X 2 , Y 2 ) of the lane extracted by the lane ROI as follows, Or fitting a curved lane pair by RANSAC.

X1 = aY1 2+b1Y1+c1 X 1 = aY 1 2 + b 1 Y 1 + c 1

X2 = aY2 2+b2Y2+c2 X 2 = aY 2 2 + b 2 Y 2 + c 2

최소 자승법은 차선 후보 집합들과 가장 적은 에러를 가지는 차선 쌍으로 피팅이 될 것이며, RANSAC의 경우는 차선 후보 집합에서 랜덤하게 5개의 점을 취하여 a, b1, c1, b2, c2를 구하고 inlier의 개수가 가장 많은 곡선 쌍으로 차선을 추정한다.In the case of RANSAC, we take five points randomly in the lane candidate set to obtain a, b1, c1, b2, c2, and the number of inliers Estimates the lane with the largest number of curve pairs.

최소 자승법으로 피팅하기 위해서는, 아래와 같이 행렬식을 세우고, 미지수 A 행렬을 구해내어야 한다. Y-1은 Y의 Pseudo Inverse Matrix에 해당한다.To fit with least-squares fitting, we need to construct the determinant and get the unknown matrix A as shown below. Y -1 corresponds to the Pseudo Inverse Matrix of Y.

X=Y×AX = Y X A

Figure 112016124809353-pat00002
Figure 112016124809353-pat00002

Figure 112016124809353-pat00003
Figure 112016124809353-pat00003

도 10에는, 도 9의 차선 ROI 추출 결과로부터 곡선 차선 쌍 모델을 생성한 후 피팅한 결과를 나타내었다. 그리고, 도 10에 나타난 피팅된 곡선 차선 쌍을 원 영상으로 변환한 결과를 도 11에 나타내었다.FIG. 10 shows fitting results after generating a curved lane pair model from the lane-based ROI extraction result of FIG. The result of converting the fitted curve lane pair shown in FIG. 10 into an original image is shown in FIG.

곡률 추정부(150)는 차선 피팅부(140)에 의해 생성/피팅 곡선 차선의 방정식을 이용하여, 차선의 곡률을 계산한다.The curvature estimator 150 calculates the curvature of the lane using the equation of the generation / fitting curve lane by the lane fitting portion 140. [

곡률 K는 다음의 수학식으로 표현할 수 있다.The curvature K can be expressed by the following equation.

Figure 112016124809353-pat00004
Figure 112016124809353-pat00004

또한, 차선은 다음의 2차원 방정식으로 모델링 된다.Further, the lane is modeled by the following two-dimensional equation.

x = ay2+by+cx = month 2 + by + c

위 식들로부터 K를 구하면 다음과 같다.From the above equations, K is obtained as follows.

Figure 112016124809353-pat00005
Figure 112016124809353-pat00005

위 식을 통해 알 수 있는 바와 같이, 차선 쌍에서 K 값은 a 값에 의존하며, 차선 쌍의 두 개의 곡선 방정식에서 2차항의 계수는 a로 동일하게 모델링을 세웠기 때문에, 곡률 K는 차선 쌍에 대해 동일한 값으로 구할 수 있다.As can be seen from the above equation, the K value in the lane pair depends on the value of a, and since the coefficients of the quadrants in the two curve equations of the lane pair are modeled the same as a, Can be obtained with the same value.

도 12는 본 발명의 다른 실시예에 따른 차선 검출 방법의 설명에 제공되는 흐름도이다.12 is a flowchart provided in the description of the lane detection method according to another embodiment of the present invention.

도 12에 도시된 바와 같이, 먼저, 탑뷰 생성부(110)가 차량의 전방 카메라 영상을 변환하여 탑뷰 영상를 생성한다(S210). 다음, 차선 필터링부(120)는 S210단계에서 생성된 탑뷰 영상을 필터링하여, 차선을 좀 더 강조한다(S220).As shown in FIG. 12, first, the top view generation unit 110 converts the front camera image of the vehicle to generate a top view image (S210). Next, the lane filtering unit 120 filters the top view image generated in step S210 to further emphasize the lane (S220).

이후, 차선 ROI 추출부(130)는 S220단계에서 필터링된 탑뷰 영상으로부터 차선 후보 영역들을 차선 ROI들로 추출한다(S230). 그리고, 차선 피팅부(140)는 S230단계에서 추출된 차선 ROI들을 이용하여 곡선 형태의 차선 쌍을 생성하고 피팅한다(S240).Then, the lane ROI extracting unit 130 extracts the lane candidate regions from the filtered top view image in step S220 as lane ROIs (S230). In step S240, the lane fitting unit 140 creates and fits a curved lane pair using the lane ROIs extracted in step S230.

그러면, 곡률 추정부(150)는 S240단계에서 생성/피팅 곡선 차선 쌍의 방정식을 이용하여, 차선의 곡률을 계산한다(S250).Then, the curvature estimator 150 calculates the curvature of the lane using the equation of the generation / fitting curve lane pair in step S240 (S250).

지금까지, 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a lane detection method and system for camera-based road curvature estimation has been described in detail with a preferred embodiment.

본 발명의 실시예에 따른 차선 검출 방법 및 시스템은, 차선을 직선이 아닌 곡선 형태의 차선을 추정함으로써 도로의 곡률을 추정할 수 있도록 하기 위한 방법 및 시스템으로, ADAS와 같은 차량 시스템에 적용가능하다.The lane detecting method and system according to the embodiment of the present invention can be applied to a vehicle system such as ADAS as a method and system for estimating a curvature of a road by estimating a lane in a curved form rather than a straight line .

곡선 형태의 차선을 정확이 추정하기 위하여, 본 발명의 실시예에 따른 차선 검출 방법 및 시스템에서는 전방 영상을 그대로 사용하지 않고, 원근감이 배제된 탑뷰 영상을 사용한다.In order to accurately estimate the curved lane, in the lane detecting method and system according to the embodiment of the present invention, the top view image in which the perspective is excluded is used without using the forward image as it is.

또한, 본 발명의 실시예에 따른 차선 검출 방법 및 시스템은, 탑뷰 영상에서 다른 도로상의 물체를 제외하고 차선만을 원거리까지 추출하기 위하여 차선 최적 필터링을 수행한다.In addition, the lane detecting method and system according to the embodiment of the present invention performs lane-optimal filtering in order to extract only the lanes to a long distance from the top view image except for objects on other roads.

아울러, 본 발명의 실시예에 따른 차선 검출 방법 및 시스템은, 탑뷰 영상에서 좌우의 차선은 곡선 형태로 평행하게 나타난다는 사실을 이용하여, 두 개의 평행한 곡선 쌍을 최소 자승법이나 RANSAC을 이용하여 한 번에 피팅하여 차선을 검출한다.In addition, the lane detecting method and system according to the embodiment of the present invention can detect two lane curves by using the least squares method or RANSAC using the fact that left and right lanes appear as parallel curves in the top view image And the lane is detected.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

110 : 탑뷰 생성부
120 : 차선 필터링부
130 : 차선 ROI 추출부
140 : 차선 피팅부
150 : 곡률 추정부110: Top view generation unit
120: lane filtering unit
130: Lane ROI extracting unit
140: Lane fitting part
150: Curvature estimation unit

Claims (12)

차량의 전방 영상을 탑뷰 영상으로 변환하는 단계;
탑뷰 영상을 필터링하는 단계;
필터링된 탑뷰 영상에서 차선 후보들을 추출하는 단계;
추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 단계;
피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 단계;를 포함하고,
필터링 단계는,
탑뷰 영상에서 도로 패치를 설정하는 단계;
도로 패치의 평균 픽셀 값에 특정 가중치를 곱하여 임계치를 생성하는 단계;
생성된 임계치 보다 픽셀 값이 작은 탑뷰 영상의 픽셀들을 특정 값으로 변환하는 단계; 및
변환된 탑뷰 영상에 대해, x 방향으로는 HPF(High Pass Filter)를 적용하고, y 방향으로는 LPF(Low Pass Filter) 필터를 적용하는 단계;를 포함하며,
도로 패치는,
차량의 바로 앞에 위치한 특정 크기의 도로 영역이고,
피팅 단계는,
추출된 차선 후보들 중 두 개의 곡선 차선으로 이루어진 곡선 차선 쌍을 찾아 다음의 식 1과 식 2로 모델링하고, 두 개의 곡선 차선에서 랜덤하게 선정한 점들로 a, b1, c1, b2, c2를 결정하여 모델링한 곡선 차선 쌍을 피팅하며,
X1 = aY1 2+b1Y1+c1 (식 1)
X2 = aY2 2+b2Y2+c2 (식 2)
여기서, 식 1은 두 개의 곡선 차선 중 하나를 나타내는 2차 방정식이고, 식 2는 두 개의 곡선 차선 중 다른 하나를 나타내는 2차 방정식이며, a, b1, c1, b2, c2는 피팅 단계에서 결정할 상수이고,
추정 단계는,
다음의 식 3을 이용하여 곡선 차선의 곡률을 추정하며,
Figure 112018073916425-pat00018
(식 3)
여기서, K는 곡선 차선의 곡률인 것을 특징으로 하는 차선 검출 방법.
Converting a forward image of the vehicle into a top view image;
Filtering a top view image;
Extracting lane candidates from the filtered top view image;
Modeling and fitting the curved lane pair using the extracted lane candidates;
Estimating the curvature of the curved lane from the fitted curve lane pair,
In the filtering step,
Setting a road patch in a top view image;
Generating a threshold by multiplying an average pixel value of the road patch by a specific weight;
Converting pixels of the top view image having a pixel value smaller than the generated threshold value to a specific value; And
Applying a high pass filter (HPF) in the x direction and a low pass filter (LPF) filter in the y direction for the converted top view image,
The road patch,
A road area of a specific size located immediately in front of the vehicle,
In the fitting step,
Of the extracted lane candidates to find a curved lane pair consisting of two curved lane modeled as the following equation 1 and equation 2, and by two curved lane to the selected at random points a, b 1, c 1, b 2, c 2 And fitting the modeled curved lane pair,
X 1 = aY 1 2 + b 1 Y 1 + c 1 (Equation 1)
X 2 = aY 2 2 + b 2 Y 2 + c 2 (Equation 2)
Here, the expression 1 is a quadratic equation representing one of the two curved lane, equation 2 is a quadratic equation representing the other of the two curved lane, a, b 1, c 1, b 2, c 2 are fitting ≪ / RTI >
In the estimating step,
The curvature of the curved lane is estimated using the following Equation 3,
Figure 112018073916425-pat00018
(Equation 3)
Where K is the curvature of the curved lane.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
변환된 탑뷰 영상에서 차선 영역을 이진화하는 단계;를 더 포함하는 것을 특징으로 하는 차선 검출 방법.
The method according to claim 1,
And binarizing the lane area in the transformed top view image.
청구항 8에 있어서,
이진화 단계는,
중심 값이 평균 값 보다 특정 상수값 이상 크면 차선으로 표현하고, 중심 값이 평균 값 보다 특정 상수값 이상 크지 않으면 도로로 표현하는 것을 특징으로 하는 차선 검출 방법.
The method of claim 8,
In the binarization step,
The center value is expressed as a lane if the center value is greater than or equal to a certain constant value than the average value, and expressed as a road if the center value is not greater than the specific value by more than a certain constant value.
차량의 전방 영상을 탑뷰 영상으로 변환하는 탑뷰 생성부;
탑뷰 영상을 필터링하는 필터링부;
필터링된 탑뷰 영상에서 차선 후보들을 추출하는 추출부;
추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 피팅부; 및
피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 추정부;를 포함하고,
필터링부는,
탑뷰 영상에서 도로 패치를 설정하고, 도로 패치의 평균 픽셀 값에 특정 가중치를 곱하여 임계치를 생성하며, 생성된 임계치 보다 픽셀 값이 작은 탑뷰 영상의 픽셀들을 특정 값으로 변환하고, 변환된 탑뷰 영상에 대해, x 방향으로는 HPF(High Pass Filter)를 적용하고, y 방향으로는 LPF(Low Pass Filter) 필터를 적용하며,
도로 패치는,
차량의 바로 앞에 위치한 특정 크기의 도로 영역이고,
피팅부는,
추출된 차선 후보들 중 두 개의 곡선 차선으로 이루어진 곡선 차선 쌍을 찾아 다음의 식 1과 식 2로 모델링하고, 두 개의 곡선 차선에서 랜덤하게 선정한 점들로 a, b1, c1, b2, c2를 결정하여 모델링한 곡선 차선 쌍을 피팅하며,
X1 = aY1 2+b1Y1+c1 (식 1)
X2 = aY2 2+b2Y2+c2 (식 2)
여기서, 식 1은 두 개의 곡선 차선 중 하나를 나타내는 2차 방정식이고, 식 2는 두 개의 곡선 차선 중 다른 하나를 나타내는 2차 방정식이며, a, b1, c1, b2, c2는 피팅 단계에서 결정할 상수이고,
추정부는,
다음의 식 3을 이용하여 곡선 차선의 곡률을 추정하며,
Figure 112018073916425-pat00019
(식 3)
여기서, K는 곡선 차선의 곡률인 것을 특징으로 하는 차선 검출 시스템.
A top view generation unit for converting a forward image of the vehicle into a top view image;
A filtering unit for filtering the top view image;
An extracting unit for extracting lane candidates from the filtered top view image;
A fitting unit for modeling and fitting a curved lane pair using the extracted lane candidates; And
And estimating means for estimating the curvature of the curved lane from the fitted curve lane pair,
The filtering unit,
A road patch is set in the top view image, a threshold value is generated by multiplying the average pixel value of the road patch by a specific weight, pixels of the top view image having a pixel value smaller than the generated threshold value are converted into specific values, , HPF (High Pass Filter) is applied in the x direction, LPF (Low Pass Filter) is applied in the y direction,
The road patch,
A road area of a specific size located immediately in front of the vehicle,
In the fitting portion,
We find a pair of curved lanes consisting of two curved lanes of the extracted lane candidates and model them with the following equations 1 and 2 and determine a, b1, c1, b2, c2 as randomly selected points in the two curved lanes, Fit a curved lane pair,
X 1 = aY 1 2 + b 1 Y 1 + c 1 (Equation 1)
X 2 = aY 2 2 + b 2 Y 2 + c 2 (Equation 2)
Here, the expression 1 is a quadratic equation representing one of the two curved lane, equation 2 is a quadratic equation representing the other of the two curved lane, a, b 1, c 1, b 2, c 2 are fitting ≪ / RTI >
The estimating unit,
The curvature of the curved lane is estimated using the following Equation 3,
Figure 112018073916425-pat00019
(Equation 3)
Where K is the curvature of the curved lane.
차량의 전방 영상으로부터 변환된 탑뷰 영상을 필터링하는 단계;
필터링된 탑뷰 영상에서 차선 후보들을 추출하는 단계;
추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 단계; 및
피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 단계;를 포함하고,
필터링 단계는,
탑뷰 영상에서 도로 패치를 설정하는 단계;
도로 패치의 평균 픽셀 값에 특정 가중치를 곱하여 임계치를 생성하는 단계;
생성된 임계치 보다 픽셀 값이 작은 탑뷰 영상의 픽셀들을 특정 값으로 변환하는 단계; 및
변환된 탑뷰 영상에 대해, x 방향으로는 HPF(High Pass Filter)를 적용하고, y 방향으로는 LPF(Low Pass Filter) 필터를 적용하는 단계;를 포함하고,
도로 패치는,
차량의 바로 앞에 위치한 특정 크기의 도로 영역이고,
피팅 단계는,
추출된 차선 후보들 중 두 개의 곡선 차선으로 이루어진 곡선 차선 쌍을 찾아 다음의 식 1과 식 2로 모델링하고, 두 개의 곡선 차선에서 랜덤하게 선정한 점들로 a, b1, c1, b2, c2를 결정하여 모델링한 곡선 차선 쌍을 피팅하며,
X1 = aY1 2+b1Y1+c1 (식 1)
X2 = aY2 2+b2Y2+c2 (식 2)
여기서, 식 1은 두 개의 곡선 차선 중 하나를 나타내는 2차 방정식이고, 식 2는 두 개의 곡선 차선 중 다른 하나를 나타내는 2차 방정식이며, a, b1, c1, b2, c2는 피팅 단계에서 결정할 상수이고,
추정 단계는,
다음의 식 3을 이용하여 곡선 차선의 곡률을 추정하며,
Figure 112018073916425-pat00020
(식 3)
여기서, K는 곡선 차선의 곡률인 것을 특징으로 하는 차선 검출 방법.
Filtering the transformed top view image from the forward image of the vehicle;
Extracting lane candidates from the filtered top view image;
Modeling and fitting the curved lane pair using the extracted lane candidates; And
Estimating the curvature of the curved lane from the fitted curve lane pair,
In the filtering step,
Setting a road patch in a top view image;
Generating a threshold by multiplying an average pixel value of the road patch by a specific weight;
Converting pixels of the top view image having a pixel value smaller than the generated threshold value to a specific value; And
Applying a high pass filter (HPF) in the x direction and a low pass filter (LPF) filter in the y direction for the transformed top view image,
The road patch,
A road area of a specific size located immediately in front of the vehicle,
In the fitting step,
Of the extracted lane candidates to find a curved lane pair consisting of two curved lane modeled as the following equation 1 and equation 2, and by two curved lane to the selected at random points a, b 1, c 1, b 2, c 2 And fitting the modeled curved lane pair,
X 1 = aY 1 2 + b 1 Y 1 + c 1 (Equation 1)
X 2 = aY 2 2 + b 2 Y 2 + c 2 (Equation 2)
Here, the expression 1 is a quadratic equation representing one of the two curved lane, equation 2 is a quadratic equation representing the other of the two curved lane, a, b 1, c 1, b 2, c 2 are fitting ≪ / RTI >
In the estimating step,
The curvature of the curved lane is estimated using the following Equation 3,
Figure 112018073916425-pat00020
(Equation 3)
Where K is the curvature of the curved lane.
차량의 전방 영상으로부터 변환된 탑뷰 영상을 필터링하는 필터링부;
필터링된 탑뷰 영상에서 차선 후보들을 추출하는 추출부;
추출된 차선 후보들을 이용하여 곡선 차선 쌍을 모델링한 후 피팅하는 피팅부; 및
피팅된 곡선 차선 쌍으로부터 곡선 차선의 곡률을 추정하는 추정부;를 포함하고,
필터링부는,
탑뷰 영상에서 도로 패치를 설정하고, 도로 패치의 평균 픽셀 값에 특정 가중치를 곱하여 임계치를 생성하며, 생성된 임계치 보다 픽셀 값이 작은 탑뷰 영상의 픽셀들을 특정 값으로 변환하고, 변환된 탑뷰 영상에 대해, x 방향으로는 HPF(High Pass Filter)를 적용하고, y 방향으로는 LPF(Low Pass Filter) 필터를 적용하며,
도로 패치는,
차량의 바로 앞에 위치한 특정 크기의 도로 영역이고,
피팅부는,
추출된 차선 후보들 중 두 개의 곡선 차선으로 이루어진 곡선 차선 쌍을 찾아 다음의 식 1과 식 2로 모델링하고, 두 개의 곡선 차선에서 랜덤하게 선정한 점들로 a, b1, c1, b2, c2를 결정하여 모델링한 곡선 차선 쌍을 피팅하며,
X1 = aY1 2+b1Y1+c1 (식 1)
X2 = aY2 2+b2Y2+c2 (식 2)
여기서, 식 1은 두 개의 곡선 차선 중 하나를 나타내는 2차 방정식이고, 식 2는 두 개의 곡선 차선 중 다른 하나를 나타내는 2차 방정식이며, a, b1, c1, b2, c2는 피팅 단계에서 결정할 상수이고,
추정부는,
다음의 식 3을 이용하여 곡선 차선의 곡률을 추정하며,
Figure 112018073916425-pat00021
(식 3)
여기서, K는 곡선 차선의 곡률인 것을 특징으로 하는 차선 검출 시스템.
A filtering unit for filtering the converted top view image from the forward image of the vehicle;
An extracting unit for extracting lane candidates from the filtered top view image;
A fitting unit for modeling and fitting a curved lane pair using the extracted lane candidates; And
And estimating means for estimating the curvature of the curved lane from the fitted curve lane pair,
The filtering unit,
A road patch is set in the top view image, a threshold value is generated by multiplying the average pixel value of the road patch by a specific weight, pixels of the top view image having a pixel value smaller than the generated threshold value are converted into specific values, , HPF (High Pass Filter) is applied in the x direction, LPF (Low Pass Filter) is applied in the y direction,
The road patch,
A road area of a specific size located immediately in front of the vehicle,
In the fitting portion,
Of the extracted lane candidates to find a curved lane pair consisting of two curved lane modeled as the following equation 1 and equation 2, and by two curved lane to the selected at random points a, b 1, c 1, b 2, c 2 And fitting the modeled curved lane pair,
X 1 = aY 1 2 + b 1 Y 1 + c 1 (Equation 1)
X 2 = aY 2 2 + b 2 Y 2 + c 2 (Equation 2)
Here, the expression 1 is a quadratic equation representing one of the two curved lane, equation 2 is a quadratic equation representing the other of the two curved lane, a, b 1, c 1, b 2, c 2 are fitting ≪ / RTI >
The estimating unit,
The curvature of the curved lane is estimated using the following Equation 3,
Figure 112018073916425-pat00021
(Equation 3)
Where K is the curvature of the curved lane.
KR1020160174280A 2016-12-20 2016-12-20 Lane Detection Method and System for Camera-based Road Curvature Estimation KR101910256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160174280A KR101910256B1 (en) 2016-12-20 2016-12-20 Lane Detection Method and System for Camera-based Road Curvature Estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160174280A KR101910256B1 (en) 2016-12-20 2016-12-20 Lane Detection Method and System for Camera-based Road Curvature Estimation

Publications (2)

Publication Number Publication Date
KR20180071552A KR20180071552A (en) 2018-06-28
KR101910256B1 true KR101910256B1 (en) 2018-10-22

Family

ID=62780198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160174280A KR101910256B1 (en) 2016-12-20 2016-12-20 Lane Detection Method and System for Camera-based Road Curvature Estimation

Country Status (1)

Country Link
KR (1) KR101910256B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296520B1 (en) 2020-12-18 2021-09-01 주식회사 카비 Method of detecting curved lane through path estimation by monocular vision based camera

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119678B1 (en) * 2018-08-08 2020-06-08 주식회사 넥스트칩 Lane detection method and electronic device performing the method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956926B2 (en) * 2003-09-24 2007-08-08 アイシン精機株式会社 Road lane detection device
CN103499350A (en) * 2013-09-28 2014-01-08 长安大学 High-precision vehicle positioning method for fusing multi-source information under GPS (global positioning system) blind area and device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956926B2 (en) * 2003-09-24 2007-08-08 アイシン精機株式会社 Road lane detection device
CN103499350A (en) * 2013-09-28 2014-01-08 长安大学 High-precision vehicle positioning method for fusing multi-source information under GPS (global positioning system) blind area and device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296520B1 (en) 2020-12-18 2021-09-01 주식회사 카비 Method of detecting curved lane through path estimation by monocular vision based camera
US11562577B2 (en) 2020-12-18 2023-01-24 Carvi Inc. Method of detecting curved lane through path estimation using monocular vision camera

Also Published As

Publication number Publication date
KR20180071552A (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
JP6670071B2 (en) Vehicle image recognition system and corresponding method
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2779025B1 (en) Method and system for detecting road edge
KR101609303B1 (en) Method to calibrate camera and apparatus therefor
CN108280450B (en) Expressway pavement detection method based on lane lines
Yuan et al. Robust lane detection for complicated road environment based on normal map
EP2725520A2 (en) Method and apparatus for detecting road
KR101067437B1 (en) Lane detection method and Detecting system using the same
KR101176693B1 (en) Method and System for Detecting Lane by Using Distance Sensor
CN111209770A (en) Lane line identification method and device
JP2016194925A (en) Method and device of detecting road boundary object
CN112200171B (en) Road point cloud extraction method based on scanning lines
KR101483742B1 (en) Lane Detection method for Advanced Vehicle
CN113370977B (en) Intelligent vehicle forward collision early warning method and system based on vision
Li et al. A lane marking detection and tracking algorithm based on sub-regions
CN111178193A (en) Lane line detection method, lane line detection device and computer-readable storage medium
Ozgunalp Robust lane‐detection algorithm based on improved symmetrical local threshold for feature extraction and inverse perspective mapping
CN113917487A (en) Laser radar-based method for detecting road edge and drivable area of closed road
KR101910256B1 (en) Lane Detection Method and System for Camera-based Road Curvature Estimation
US20200193184A1 (en) Image processing device and image processing method
Miron et al. Cross-comparison census for colour stereo matching applied to intelligent vehicle
Getahun et al. A robust lane marking extraction algorithm for self-driving vehicles
Schomerus et al. Camera-based lane border detection in arbitrarily structured environments
CN114842166A (en) Negative obstacle detection method, system, medium, and apparatus applied to structured road

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant