KR101455835B1 - Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same - Google Patents

Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same Download PDF

Info

Publication number
KR101455835B1
KR101455835B1 KR1020140072565A KR20140072565A KR101455835B1 KR 101455835 B1 KR101455835 B1 KR 101455835B1 KR 1020140072565 A KR1020140072565 A KR 1020140072565A KR 20140072565 A KR20140072565 A KR 20140072565A KR 101455835 B1 KR101455835 B1 KR 101455835B1
Authority
KR
South Korea
Prior art keywords
lane
image
tracking
edge image
curve
Prior art date
Application number
KR1020140072565A
Other languages
Korean (ko)
Inventor
이은수
Original Assignee
주식회사 지티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지티 filed Critical 주식회사 지티
Priority to KR1020140072565A priority Critical patent/KR101455835B1/en
Application granted granted Critical
Publication of KR101455835B1 publication Critical patent/KR101455835B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Disclosed is a method of obtaining an image from a camera to recognize and track a lane. The method includes steps of: obtaining an original image from a camera; generating a canny edge image from the original image; analyzing a main component of the canny edge image to extract a lane candidate edge image; applying a particle filter to the lane candidate edge image to recognize the lane; tracking the lane by using a previously recognized lane image and a presently recognized lane image. According to the present invention, fast algorithm may be realized when compared to the existing lane recognizing and tracking method to reduce costs and improve efficiency, thereby realizing a lane departure alarm system with low costs.

Description

영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법{Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same} TECHNICAL FIELD [0001] The present invention relates to a lane recognition and tracking system using an image, a lane recognition and tracking system using the same,

본 발명은 영상을 이용한 차선 인식 및 추적 방법에 관한 것이다. 상세하게는 전방 카메라로 획득된 영상에서 차선을 인식하고, 그 차선을 추적하는 방법에 관한 것이다.The present invention relates to a lane recognition and tracking method using an image. And more particularly, to a method of recognizing a lane in an image acquired by a front camera and tracking the lane.

영상을 이용하여 차선을 인식하고, 추적하여, 차선 이탈시 운전자에게 경보 하는 연구들이 많이 진행되었다. 이 기술에서 가장 핵심적인 것은 도로 위의 차선을 배경과 분리하여 정확하게 추정하는 부분이다. 이것을 위해, 호프(Hough) 변환 방법, 차선의 모델을 디자인하여 인식하는 방법, 카메라 모델링에 의한 방법, 신경망을 이용한 방법, 차선의 색을 인식하는 방법 등이 연구 개발되었다. There have been many researches to recognize the lane using the image, to track it, and to warn the driver when leaving the lane. The most important part of this technology is the accurate estimation of the lane on the road, separated from the background. For this purpose, Hough transform method, lane model design and recognition method, camera modeling method, neural network method, lane color recognition method have been researched and developed.

그런데, 이러한 연구는 도로의 차선 주변의 잡음과 차선의 도료의 소실 등 차선의 인식에 방해를 주는 요소들에 의해 인식율이 떨어지고, 추가적인 알고리즘 적용으로 인한 전체 성능의 저하로 이어지는 문제점이 있었다.However, such research has been problematic in that the recognition rate is lowered due to the obstacles to the recognition of the lane, such as the noise around the lane of the road and the disappearance of the paint of the lane, and the overall performance is deteriorated due to the application of the additional algorithm.

대한민국 등록특허 제1362595호Korean Patent No. 1362595 대한민국 등록특허 제0472823호Korea Patent No. 0472823

본 발명이 해결하고자 하는 과제는 차선을 배경 영상과 구분하여 정확하게 인식하고, 정확하고 빠르게 차선을 추적할 수 있는 영상을 이용한 차선 인식 및 추적 시스템 및 이를 이용한 차선 인식 및 추적방법을 제공하는데 목적이 있다.It is an object of the present invention to provide a lane recognition and tracking system using an image that can distinguish a lane from a background image and correctly recognize the lane, track the lane accurately and quickly, and provide a lane recognition and tracking method using the lane recognition and tracking system .

또한, 고속 알고리즘을 구현할 수 있어 저비용 고효율의 차선 인식 및 추적 시스템 및 이를 이용한 차선인식 및 추적 방법을 제공하는데 목적이 있다.Also, it is an object of the present invention to provide a low-cost and high-efficiency lane recognition and tracking system capable of implementing a high-speed algorithm, and a lane recognition and tracking method using the same.

상기 기술적 과제를 달성하기 위해서 본 발명의 영상을 이용한 차선인식 및 차선추적 방법은, 카메라로부터 원 영상을 획득하는 단계; 상기 원 영상으로부터 캐니 에지 영상을 생성하는 단계; 상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 단계; 상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 단계; 및 이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 단계를 포함한다.According to an aspect of the present invention, there is provided a lane recognition and lane-tracking method using an image, comprising: obtaining an original image from a camera; Generating a canyon edge image from the original image; Extracting a lane candidate edge image by analyzing a principal component of the canyon image; Recognizing a lane by applying a particle filter to the lane candidate edge image; And performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time.

본 발명에 있어서, 상기 차선 후보 에지 영상을 추출하는 단계는, 상기 캐니 에지 영상으로부터 직선성분의 에지 영상을 획득하는 단계; 상기 직선성분의 에지 영상을 각 화소의 연결성에 따라 에지 영상을 군집화하는 단계; 상기 에지 영상의 각 군집들의 각도를 계산하는 단계; 군집 각도의 상한 및 하한 임계각을 설정하는 단계; 상기 상한 및 하한 임계각 범위 내의 각도를 갖는 군집을 추출하여 차선 후보 에지 영상을 생성하는 단계를 포함할 수 있다.In the present invention, the step of extracting the lane candidate edge image may include: obtaining an edge image of a straight line component from the canyon edge image; Clustering an edge image of the linear component according to connectivity of each pixel; Calculating an angle of each cluster of the edge image; Setting an upper limit and a lower limit critical angle of the cluster angle; And generating a lane candidate edge image by extracting a cluster having an angle within the upper and lower critical angles.

본 발명에 있어서, 상기 직선성분의 에지 영상을 획득하는 단계는, 상기 캐니 에지 영상의 주성분을 분석하여 각 에지 영상의 고유값을 계산하고, 상기 고유값 중 직선성분에 해당하는 에지를 추출하여 직선성분 에지 영상으로 결정할 수 있다.In the present invention, the step of acquiring the edge image of the straight line component may include calculating an eigenvalue of each edge image by analyzing a principal component of the canyon edge image, extracting an edge corresponding to a straight line component of the eigenvalue, It can be determined by component edge image.

본 발명에 있어서, 상기 에지 영상의 군집 각도를 계산하는 단계는, 수학식

Figure 112014055641932-pat00001
과 같이, 상기 에지 영상의 주성분의 고유벡터값을 사용하여 계산할 수 있다. 여기서, V는 주성분의 고유벡터, S는 단위 벡터이다.In the present invention, the step of calculating the cluster angle of the edge image may include:
Figure 112014055641932-pat00001
, It can be calculated using the eigenvector value of the principal component of the edge image. Where V is the eigenvector of the principal component, and S is the unit vector.

본 발명에 있어서, 상기 차선을 인식하는 단계는, 상기 차선 후보 에지 영상에서 제어점들을 추출하는 단계; 상기 초기 제어점들에서 소정의 제어점들을 선택하는 단계; 상기 선택된 제어점들을 사용하여 3차 스플라인 곡선을 생성하는 단계; 상기 3차 스플라인 곡선과 차선 후보 에지와의 곡선 적합도를 계산하는 단계; 상기 곡선 적합도를 사용하여 각 곡선의 가중치를 계산하고, 상기 가중치값이 임계값 이상일 때 차선 후보 곡선의 존재를 결정하는 단계; 상기 가중치를 사용하여 차선에 가장 가까운 3차 스플라인 곡선을 추정하는 단계; 및 이전 시간의 차선과 현재 시간에 추정된 차선의 차분 데이터를 이용하여 차선을 추정하는 단계를 포함할 수 있다.In the present invention, the step of recognizing the lane may include: extracting control points from the lane candidate edge image; Selecting predetermined control points at the initial control points; Generating a cubic spline curve using the selected control points; Computing a curve fit of the cubic spline curve and the lane candidate edge; Calculating a weight of each curve using the curve fitness and determining the presence of a lane candidate curve when the weight value is greater than or equal to a threshold value; Estimating a third-order spline curve closest to the lane using the weight; And estimating the lane using the lane of the previous time and the difference data of the lane estimated at the current time.

본 발명에 있어서, 상기 차선 후보 곡선의 존재를 결정하는 단계에서, 상기 가중치값이 임계값 이하일 때, 상기 제어점들을 선택하는 단계부터 반복할 수 있다.In the present invention, in the step of determining the presence of the lane candidate curve, it may be repeated from the step of selecting the control points when the weight value is equal to or less than the threshold value.

본 발명에 있어서, 상기 인식된 차선은 제어점 (

Figure 112014055641932-pat00002
,
Figure 112014055641932-pat00003
)으로 표현될 수 있다. In the present invention, the recognized lane is a control point
Figure 112014055641932-pat00002
,
Figure 112014055641932-pat00003
). ≪ / RTI >

여기서,

Figure 112014055641932-pat00004
, here,
Figure 112014055641932-pat00004
,

Figure 112014055641932-pat00005
,
Figure 112014055641932-pat00005
,

Figure 112014055641932-pat00006
,
Figure 112014055641932-pat00006
,

Figure 112014055641932-pat00007
,
Figure 112014055641932-pat00008
,
Figure 112014055641932-pat00007
,
Figure 112014055641932-pat00008
,

Figure 112014055641932-pat00009
,
Figure 112014055641932-pat00010
이고,
Figure 112014055641932-pat00009
,
Figure 112014055641932-pat00010
ego,

Gi는 i번째 곡선의 적합도이며, Ne는 곡선이 지나는 에지 화소의 개수이며, Nc는 곡선을 영상 평면 위에 맵핑할 때 곡선의 제어점 1과 제어점 3 사이에 존재하는 에지 화소의 전체 개수, wi는 i번째 가중치, k는 k번째 제어점(k=1,2,3),

Figure 112014055641932-pat00011
는 k번째 제어점의 x좌표 값,
Figure 112014055641932-pat00012
는 k번째 제어점의 y좌표 값, i는 i번째 곡선,
Figure 112014055641932-pat00013
및
Figure 112014055641932-pat00014
는 각각 x좌표 및 y좌표에 대한 가중치 평균값,
Figure 112014055641932-pat00015
는 이전 시간의 차선의 k번째 제어점의 x좌표,
Figure 112014055641932-pat00016
는 이전 시간의 차선의 k번째 제어점의 y좌표,
Figure 112014055641932-pat00017
는 시간에 따른 차분 데이터를 포함하는 행렬,
Figure 112014055641932-pat00018
는 k번째 제어점의 시간 가중치 변수이다.G i is the fit of the i-th curve, N e is the number of edge pixels through which the curve passes, N c is the total number of edge pixels present between the control points 1 and 3 of the curve when mapping the curve over the image plane, w i is the ith weight, k is the kth control point (k = 1, 2, 3)
Figure 112014055641932-pat00011
Is the x coordinate value of the kth control point,
Figure 112014055641932-pat00012
Is the y coordinate value of the k-th control point, i is the i-th curve,
Figure 112014055641932-pat00013
And
Figure 112014055641932-pat00014
A weighted average value for the x-coordinate and the y-coordinate, respectively,
Figure 112014055641932-pat00015
Is the x coordinate of the kth control point of the lane of the previous time,
Figure 112014055641932-pat00016
Is the y coordinate of the kth control point of the lane of the previous time,
Figure 112014055641932-pat00017
A matrix including differential data according to time,
Figure 112014055641932-pat00018
Is the time-weighted variable of the kth control point.

본 발명에 있어서, 상기 차선 추적을 수행하는 단계는, 상기 차선 인식 단계에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하는 제어점 위치 이동 단계; 현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하는 단계; 상기 3차 스플라인 곡선과 차선 후보 에지와의 곡선 적합도를 계산하는 단계; 상기 곡선 적합도를 사용하여 각 곡선의 가중치를 계산하고, 상기 가중치값이 임계값 이상일 때 차선 추적 성공을 결정하는 단계; 및 상기 차선 추적이 성공된 제어점을 제어점 위치 이동 단계로 전달하여 차선 추적을 반복하는 단계를 포함할 수 있다.In the present invention, the performing of the lane-tracking may include: a control point position moving step of moving the position of the control point of the previous time selected in the lane recognition step so as to coincide with the edge of the current time; Generating a cubic spline curve using control points of the current time; Computing a curve fit of the cubic spline curve and the lane candidate edge; Calculating a weight of each curve using the curve fitness and determining success of lane tracking when the weight value is greater than or equal to a threshold value; And repeating the lane-tracking by transferring the control point where the lane-tracking is successful to the control point position-moving step.

본 발명에 있어서, 상기 제어점 위치 이동 단계는 유클리디안(Euclidean) 거리와 마할라노비스(Mahalanobis) 거리 방법을 사용할 수 있다.In the present invention, the control point position moving step may use an Euclidean distance and a Mahalanobis distance method.

상기 기술적 과제를 달성하기 위해서 본 발명의 영상을 이용한 차선인식 및 차선추적 시스템은 카메라로부터 원 영상을 획득하는 영상촬영부; 상기 원 영상으로부터 캐니 에지 영상을 생성하는 캐니 에지 영상 생성부; 상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 차선 후보 에지 영상 생성부; 상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 차선인식부; 및 이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 차선 추적부를 포함한다.According to an aspect of the present invention, there is provided a lane recognition and lane-tracking system using an image, comprising: an image capturing unit for acquiring an original image from a camera; A canyon edge image generation unit for generating a canyon edge image from the original image; A lane candidate edge image generation unit for extracting a lane candidate edge image by analyzing a principal component of the canyon image; A lane recognition unit for recognizing a lane by applying a particle filter to the lane candidate edge image; And a lane-tracking unit for performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time.

본 발명에 있어서, 상기 차선 후보 에지 영상 생성부는 상기 캐니 에지 영상에서 직선성분의 에지 영상을 추출하고, 상기 직선성분의 에지들을 군집화하고 각도에 따라 필터링하여 차선 후보 에지 영상을 생성할 수 있다.In the present invention, the lane-line candidate edge image generation unit may extract an edge image of a straight line component from the canyon edge image, cluster the edges of the straight line component, and filter the angle to generate a lane candidate edge image.

본 발명에 있어서, 상기 차선인식부는 상기 차선 후보 에지 영상에서 제어점들을 추출하여 3차 스플라인 곡선을 생성하고, 차선 후보 에지와 적합성을 계산하고 가중치를 적용하여 차선에 가장 가까운 3차 스플라인 곡선을 추정하고, 이전 시간의 차선과 현재 시간에 추정된 차선의 차분 데이터를 이용하여 차선을 추정할 수 있다.In the present invention, the lane recognition unit may extract a control point from the lane candidate edge image to generate a cubic spline curve, calculate a fitness of the lane candidate edge and fitness, and apply a weight to estimate a cubic spline curve closest to the lane , The lane can be estimated using the difference data of the lane estimated at the previous lane and the current time.

본 발명에 있어서, 상기 차선 추적부는 상기 차선 인식부에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하고, 현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하여 차선 후보 에지와의 곡선 적합도를 계산하고 가중치값을 적용하여 차선을 추적할 수 있다.In the present invention, the lane-tracking unit moves the position of the control point of the previous time selected by the lane recognition unit to match the edge of the current time, generates a third-order spline curve using the control points of the current time, And the weight value is applied to track the lane.

본 발명에 따르면, 영상을 이용한 차선인식 및 추적 방법에 있어서, 차선을 배경 영상과 구분하여 정확하게 인식하고, 정확하고 빠르게 차선을 추적할 수 있다.According to the present invention, in a lane recognition and tracking method using an image, a lane can be distinguished from a background image and accurately recognized, and a lane can be tracked accurately and quickly.

또한, 종래의 차선인식 및 추적 방법보다 고속 알고리즘을 구현할 수 있어 저비용 고효율의 특징으로 인해 상용화에 유리한 효과가 있다.In addition, since a high-speed algorithm can be realized over conventional lane recognition and tracking methods, it is advantageous for commercialization because of its low cost and high efficiency.

도 1은 본 발명의 일실시예에 따른 차선인식 및 추적방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일실시예에 따른 차선 후보 에지 영상 생성단계를 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에서 사용하는 원영상을 나타낸다.
도 4a는 도 3의 원영상에서 생성한 캐니 에지 영상을 나타낸다.
도 4b는 도 4a의 캐니 에지 영상에서 직선 성분만 표시한 영상이다.
도 4c는 도 4b의 직선 에지 영상에 대해 직선 군집화 과정을 수행한 영상이다.
도 4d는 도 4c의 직선 군집에서 각도 필터링에 의해 구해진 차선 후보 에지 영상이다.
도 5는 본 발명의 일실시예에 따른 차선 인식 단계를 설명하기 위한 순서도이다.
도 6은 본 발명의 일실시예에 따른 파티클 필터에 의한 차선 인식을 설명하기 위한 원영상이다.
도 7은 도 6의 원 영상에서 초기 제어점을 추출하는 단계를 설명하기 위한 영상이다.
도 8은 도 7의 영상으로부터 제어점 선택 단계에서 재배열된 제어점 집합을 보여 주는 영상이다.
도 9는 도 6의 원영상에 3차 스플라인 곡선 생성 단계에서 만들어진 모든 곡선을 표시한 영상이다.
도 10은 도 6의 원영상에서 차선 인식 결과를 나타낸 영상이다.
도 11은 본 발명의 일실시예에 따라 사용한 3차 스플라인 곡선을 나타낸 도면이다.
도 12는 에지가 표시된 영상에서 3차 스플라인 곡선이 표시된 영상이다.
도 13은 본 발명의 일실시예에 따른 차선 추적 단계를 설명하기 위한 순서도이다.
도 14a는 본 발명의 다른 실시예에 따라 차선이 곡선의 형태일 때 차선을 인식하는 모습을 나타낸 영상이다.
도 14b는 본 발명의 또다른 실시예에 따라 주변의 빛이 없는 야간에 차선을 인식한 영상이다.
도 15a 내지 도 15e는 본 발명의 일실시예에 따른 차선 추적의 예를 보여 주는 영상들이다.
도 16은 본 발명의 일실시예에 따른 차선인식 및 차선추적 시스템의 블록도이다.1 is a flowchart illustrating a lane recognition and tracking method according to an embodiment of the present invention.
2 is a flowchart for explaining a lane-line candidate edge image generation step according to an exemplary embodiment of the present invention.
3 shows an original image used in the embodiment of the present invention.
4A shows a canyon edge image generated from the original image of FIG.
4B is an image showing only linear components in the canyon edge image of FIG. 4A.
4C is an image obtained by performing a straight line clustering process on the linear edge image of FIG. 4B.
4D is a lane candidate edge image obtained by angle filtering in the straight line cluster of FIG. 4C.
5 is a flowchart illustrating a lane recognition step according to an embodiment of the present invention.
6 is an original image for explaining lane recognition by a particle filter according to an embodiment of the present invention.
FIG. 7 is a view for explaining a step of extracting an initial control point from the original image of FIG.
8 is an image showing a set of control points rearranged in the control point selecting step from the image of FIG.
9 is an image showing all the curves generated in the step of generating the cubic spline curve in the original image of FIG.
10 is an image showing lane recognition results in the original image of Fig.
11 is a diagram showing a used cubic spline curve according to an embodiment of the present invention.
12 is an image showing a cubic spline curve in an image in which an edge is displayed.
FIG. 13 is a flowchart illustrating a lane-tracking step according to an embodiment of the present invention.
14A is an image showing a state in which a lane is recognized when a lane is a curved line according to another embodiment of the present invention.
FIG. 14B is a view of a lane recognized at night without surrounding light according to another embodiment of the present invention.
15A to 15E are images showing an example of lane tracking according to an embodiment of the present invention.
16 is a block diagram of a lane recognition and lane tracking system in accordance with an embodiment of the present invention.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above-mentioned objects, features and advantages will become more apparent from the following detailed description in conjunction with the accompanying drawings. Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 차선인식 및 추적방법을 설명하기 위한 순서도이다.1 is a flowchart illustrating a lane recognition and tracking method according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 차선 후보 에지 영상 생성단계를 설명하기 위한 순서도이다.2 is a flowchart for explaining a lane-line candidate edge image generation step according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시예에서 사용하는 원영상을 나타낸다.3 shows an original image used in the embodiment of the present invention.

도 4a는 도 3의 원영상에서 생성한 캐니 에지 영상을 나타낸다.4A shows a canyon edge image generated from the original image of FIG.

도 4b는 도 4a의 캐니 에지 영상에서 직선 성분만 표시한 영상이다.4B is an image showing only linear components in the canyon edge image of FIG. 4A.

도 4c는 도 4b의 직선 에지 영상에 대해 직선 군집화 과정을 수행한 영상이다.4C is an image obtained by performing a straight line clustering process on the linear edge image of FIG. 4B.

도 4d는 도 4c의 직선 군집에서 각도 필터링에 의해 구해진 차선 후보 에지 영상이다.4D is a lane candidate edge image obtained by angle filtering in the straight line cluster of FIG. 4C.

도 1을 참조하면, 카메라를 이용하여 원영상을 획득하여 입력한다. 원영상으로부터 캐니 에지 영상을 생성한다. 본 발명에서는 기존의 에지 검출 방식인 미분 필터를 사용하지 않고 1화소 굵기의 에지를 가지는 캐니 에지 영상을 생성한다. 캐니 에지에 주성분 분석을 적용할 경우 미분 필터 방식에 비해 직선을 분류하는 성능이 더 높다. 상기 케니 에지 영상으로부터 직선 성분의 차선 후보 에지 영상을 생성하고, 차선인식을 수행하고 차선을 추적한다.Referring to FIG. 1, an original image is acquired and input using a camera. A canyon edge image is generated from the original image. In the present invention, a canyon edge image having an edge of one pixel thickness is generated without using a differential filter which is a conventional edge detection method. When the principal component analysis is applied to the cane edge, the performance of classifying the straight line is higher than that of the differential filter method. Generates a lane candidate edge image of a straight line component from the kenny edge image, performs lane recognition, and tracks lanes.

이하, 차선인식 및 차선추적 방법을 보다 상세하게 설명한다.Hereinafter, the lane recognition and lane-tracking method will be described in more detail.

도 2를 참조하면, 차선 후보 에지 영상을 생성하는 단계는 주성분 분석(Principal component analysis)을 통해 직선 성분을 결정하여 직선 성분의 화소를 얻는다. 각각의 직선 성분의 에지들의 집합으로 직선 성분의 에지들을 군집화(clustering)하고, 이 군집들로부터 차선 후보 에지 영상을 생성한다. 차선 후보 에지 영상 생성은 상기 군집들에 각도에 의한 필터링을 적용하여 차선에 가까운 직선 성분의 에지를 검출하고, 차선이 아닌 배경 에지들을 제거하는 역할을 수행한다. Referring to FIG. 2, in the step of generating a lane candidate edge image, a straight line component is determined through principal component analysis to obtain pixels of a straight line component. Clustering the edges of the straight line component into a set of edges of each linear component, and generating a lane candidate edge image from these clusters. The generation of the lane candidate edge image is performed by applying angle filtering to the clusters to detect the edge of the line component close to the lane and to remove the background edges other than the lane.

주성분 분석 단계에서 직선 성분을 결정할 고유값(eigenvalue)을 계산한다. 수학식 1은 주성분 분석의 기본 식으로 선형대수학(linear algebra)으로 표현한다.In the principal component analysis step, an eigenvalue is calculated to determine a linear component. Equation 1 is expressed as a linear algebra as a basic expression of principal component analysis.

Figure 112014055641932-pat00019
Figure 112014055641932-pat00019

여기서, C는 공분산 행렬(covariance matrix)을 의미하며, λ는 고유값을 의미하며, I는 단위 행렬(unit matrix)을 의미하며, V는 고유벡터(eigenvector)를 의미한다. C는 에지영상을 입력하여 생성된다.Here, C denotes a covariance matrix, λ denotes an eigenvalue, I denotes a unit matrix, and V denotes an eigenvector. C is generated by inputting an edge image.

고유값을 구하기 위해, 아래 수학식 2와 같이, 행렬 C의 특성 방정식(characteristic equation)을 정의한다.To obtain the eigenvalue, a characteristic equation of the matrix C is defined as shown in Equation 2 below.

Figure 112014055641932-pat00020
Figure 112014055641932-pat00020

여기서, det는 행렬식(determinent)를 의미한다. 수학식 2를 정리하면, λ에 대해 2차 방정식으로 표현되며, 2개의 해를 얻을 수 있다. 여기서, 구한 λ값을 고유값이라 부르며, 2개 중 작은 값을 선택하여 직선 성분의 조건 값으로 사용한다. 이 고유값을 λs라고 정의한다.Here, det means determinants. In summary, equation (2) can be expressed as a quadratic equation for?, And two solutions can be obtained. Here, the obtained lambda value is called an eigenvalue, and a smaller one of the two values is selected and used as a condition value of the linear component. This eigenvalue is defined as λ s .

직선 성분 결정 단계에서 이 λs를 사용한다. 수학식 3은 직선 성분 결정 조건에 의해 직선 에지 영상을 생성하는 것을 보여 준다.This λ s is used in the linear component determination step. Equation (3) shows that a linear edge image is generated by a linear component determination condition.

Figure 112014055641932-pat00021
Figure 112014055641932-pat00021

여기서, g(x,y)는 캐니 에지 영상을 의미하며, gL(x,y)는 직선 성분만 표시된 에지 영상이다. λs가 임계값 T보다 작으면, 해당 에지를 직선 성분으로 결정하고, 그렇지 않으면, 곡선 성분으로 간주하여, 사용하지 않는다. 도 4b는 직선 성분만 표시된 에지 영상이다.Here, g (x, y) denotes a canyon edge image, and g L (x, y) is an edge image showing only a linear component. If? s is smaller than the threshold value T, the edge is determined as a linear component, otherwise it is regarded as a curved component and is not used. 4B is an edge image showing only a linear component.

직선 군집화(Clustering) 단계는 직선 에지 영상에서 4-이웃 연결(4-neighbor connectivity)을 만족하는 화소들을 하나의 군집으로 만드는 것을 의미한다. 각각의 군집에는 고유 번호가 부여된다. 도 4c는 직선 군집화의 결과를 보여주는 영상이다. 여기서, 각각의 군집들을 다른 색으로 표현하였다. 수학식 4는 직선 군집들을 집합으로 표현한 것이다.The straight-line clustering step means to make pixels that satisfy 4-neighbor connectivity in a linear edge image into a single cluster. Each cluster is assigned a unique number. Figure 4c is an image showing the result of linear clustering. Here, each cluster is represented by a different color. Equation (4) represents a set of straight line clusters.

Figure 112014055641932-pat00022
Figure 112014055641932-pat00022

여기서, W는 직선 군집들의 집합을 의미하며, Wi는 고유 번호 i가 부여된 개별 군집을 의미한다. i는 n개 존재한다.Here, W denotes a set of linear clusters, and W i denotes an individual cluster to which a unique number i is assigned. i exists n.

직선 군집의 각도 계산 단계는 주성분 분석의 고유 벡터를 사용하여 각 군집의 각도를 계산한다. 수학식 5는 고유 벡터를 이용한 군집의 각도 계산식이다. The angle calculation step of the straight line community uses the eigenvectors of principal component analysis to calculate the angle of each cluster. Equation (5) is an angle calculation formula of a cluster using an eigenvector.

Figure 112014055641932-pat00023
Figure 112014055641932-pat00023

여기서, V는 고유 벡터를 의미하며, S는 단위 벡터를 의미한다. V×S는 2 벡터의 벡터곱(vector product)를 의미하며, V·S는 2 벡터의 스칼라곱(dot product)를 의미한다. θ는 군집의 각도를 의미한다. 수학식 5에서 고유 벡터를 구하기 위해 수학식 1을 정리하면 수학식 6와 같다.Here, V denotes an eigenvector, and S denotes a unit vector. VxS denotes a vector product of two vectors, and V · S denotes a scalar product of two vectors. θ is the angle of the cluster. Equation (1) can be summarized as Equation (6) to obtain the eigenvector in Equation (5).

Figure 112014055641932-pat00024
Figure 112014055641932-pat00024

수학식 6의 λ에 수학식 2에서 유도된 고유값 λs를 대입하면, 수학식 7과 같다.Substituting eigenvalue? S derived from Equation (2) into? In Equation (6) yields Equation (7).

Figure 112014055641932-pat00025
Figure 112014055641932-pat00025

수학식 7을 선형 대수적으로 풀면, 고유 벡터의 값을 구할 수 있다. 구해진 고유 벡터의 값을 수학식 5에 대입하면, 각 군집들의 각도 값을 구할 수 있다. 수학식 8은 각도값에 의해 원하는 각도의 에지만 표시하는 영상을 얻는 방법을 설명한다.Solving Equation (7) linearly and logarithmically, we can obtain the value of the eigenvector. Substituting the value of the obtained eigenvector into Equation (5), the angle value of each cluster can be obtained. Equation (8) describes a method of obtaining an image displaying only an edge of a desired angle by an angle value.

Figure 112014055641932-pat00026
Figure 112014055641932-pat00026

여기서, gθ(x,y)는 각도에 의해 필터링된 에지 영상을 의미하며, 이것이 도2의 결과인 차선 후보 에지 영상이다. gθ(xwi,ywi)은 수학식 3에서 얻어진 직선 캐니 에지 영상을 의미한다. 여기서, wi는 수학식 4에서 설명된 i번째 군집을 의미한다. θwi는 군집 wi의 각도를 의미한다. θ1는 각도의 하한 임계값이며, θ2는 상한 임계값이다. 이 θ1, θ2는 알고리즘이 수행되는 첫번째 단계에서 초기 차선의 각도에 해당하는 값을 입력해 준다. 예를 들면, 왼쪽 차선은 θ1=30, θ2=60으로 설정한다. 차선 추적시 다음 프레임에서는 이전 프레임에서 차선으로 인식된 각도 값을 중심으로 일정 범위의 값으로 설정하게 된다. 도 4d는 도2의 차선 후보 에지 영상 생성 단계의 결과 영상이다.Here, g ? (X, y) denotes an edge image filtered by an angle, which is a lane candidate edge image resulting from Fig. θ g (x wi, wi y) means a straight canyon edge image obtained by the equation (3). Here, wi denotes the i-th cluster described in Equation (4). θ wi is the angle of the cluster wi. θ 1 is the lower limit threshold value of the angle, and θ 2 is the upper limit threshold value. The θ 1 and θ 2 are input to the initial lane angle in the first step of the algorithm. For example, the left lane is set to θ 1 = 30 and θ 2 = 60. In the next frame in the lane-tracking, the angular value recognized as the lane in the previous frame is set as a center value as a certain range value. 4D is a result image of the lane candidate edge image generation step of FIG.

다시 도 1을 참조하면, 차선 후보 에지 영상이 생성된 후 차선 인식 단계가 수행된다. 본 발명의 일 실시예에서 차선 인식은 파티클 필터(Particle Filters)에 의한 방법일 수도 있다.Referring again to FIG. 1, a lane recognition step is performed after a lane candidate edge image is generated. In an embodiment of the present invention, the lane recognition may be a method by particle filters.

파티클 필터는 다른 말로 순차 몬테카를로 방법(sequential Monte Carlo, SMC)이라고도 불리우며, 확률론에 의한 수학적 모델의 일종이다. 파티클 필터는 은닉 마코프 모델(Hidden Markov Model)에 의해 설계되며, 은닉 변수(hidden variables)와 관측 변수(observable variables)로 구성된다. 일반적인 파티클 필터는 관측 변수에 기반하여 은닉 변수를 추정하는 것이다. 본 발명에서 관측 변수는 이전 시간에 관측된 차선 데이터들을 의미하며, 은닉 변수는 현재 시간에 추정한 차선 데이터들을 의미한다. 수학식 9는 파티클 필터의 기본 개념을 보여 준다.Particle filters are also called sequential Monte Carlo (SMC) in other words, a kind of mathematical model based on probability theory. The particle filter is designed by the Hidden Markov Model and consists of hidden variables and observable variables. A typical particle filter is to estimate hidden variables based on observational variables. In the present invention, the observation variable means the lane data observed at the previous time, and the latent variable means the lane data estimated at the present time. Equation 9 shows the basic concept of a particle filter.

Figure 112014055641932-pat00027
Figure 112014055641932-pat00027

여기서, X는 목표 랜덤 변수이며, xi는 특정 후보를 의미하며, e는 측정된 변수들을 의미한다.Here, X is a target random variable, x i means a specific candidate, and e means measured variables.

본 발명의 일 실시예에서 xi는 현재 시점에 추정된 차선들의 후보 집합을 의미하며, e는 현재 시간과 이전 시간에 얻어진 차선들의 데이터들을 의미한다. 본 발명은 수학식 9의 개념을 사용하여, 현재 시간과 이전 시간에 얻은 데이터들을 사용하여, 확률값이 가장 높은 차선을 추정하여, 차선 인식을 수행할 수 있다.In an embodiment of the present invention, x i denotes a candidate set of lanes estimated at the current time, and e denotes data of lanes obtained at the current time and the previous time. Using the concept of Equation (9), the present invention can perform lane recognition by estimating a lane having the highest probability value using data obtained at the current time and the previous time.

본 발명의 일실시예에 따르면, 상기 파티클 필터의 개념에 더하여 여러 단계의 비선형적인 모델을 적용하여 차선 인식 및 추적의 성능을 향상시킬 수 있다.According to one embodiment of the present invention, in addition to the concept of the particle filter, the performance of lane recognition and tracking can be improved by applying a plurality of nonlinear models.

도 5는 본 발명의 일실시예에 따른 차선 인식 단계를 설명하기 위한 순서도이다.5 is a flowchart illustrating a lane recognition step according to an embodiment of the present invention.

도 5를 참조하면, 초기 제어 점 추출 단계는 3차 스플라인(Cubic spline) 곡선을 만들기 위한 3개의 제어 점(control point)을 생성하는 과정을 수행한다. 이 3개의 제어점들은 도 4d의 차선 후보 에지의 화소를 선택하여 만들어진다. 이 3개의 제어점은 1개의 제어점 집합으로 간주된다. 제어점 집합은 여러 개가 선택되는데, 본 발명의 일실시예에서는 예시적으로 한쪽 차선에 대해 67개의 제어점 집합을 생성하여 좌, 우 차선의 제어점 집합의 개수는 134개이다. 초기 제어점 추출 단계에서 이 제어점들을 선택하기 위해 난수 함수를 사용하였다.Referring to FIG. 5, the initial control point extraction step generates three control points for creating a cubic spline curve. These three control points are created by selecting the pixels of the lane candidate edge in Fig. 4D. These three control points are regarded as one control point set. Several sets of control points are selected. In an exemplary embodiment of the present invention, 67 control point sets are generated for one lane, and the number of control point sets for the right and left lanes is 134. A random number function was used to select these control points in the initial control point extraction step.

도 6은 본 발명의 일실시예에 따른 파티클 필터에 의한 차선 인식을 설명하기 위한 원영상이고, 도 7은 도 6의 원 영상에서 초기 제어점을 추출하는 단계를 설명하기 위한 영상이고, 도 8은 도 7의 영상으로부터 제어점 선택 단계에서 재배열된 제어점 집합을 보여 주는 영상이다.FIG. 6 is an original image for explaining lane recognition by a particle filter according to an embodiment of the present invention, FIG. 7 is an image for explaining a step of extracting an initial control point from the original image of FIG. 6, 7 is an image showing a set of control points rearranged in the control point selecting step from the image of FIG.

도 7에서 흰 직선은 에지를 의미하며, 첫번째 제어점은 빨간색, 두번째 제어점은 연두색, 세번째 제어점은 파란색으로 표현하였다.In FIG. 7, the white straight line represents the edge, the first control point is red, the second control point is green, and the third control point is blue.

제어점 선택 단계는 초기 제어 점들을 주어진 조건에 따라 재배열하여 선택하는 단계이다. 3개의 제어점을 각각 P1(x1,y1), P2(x2,y2), P3(x3,y3)라고 할 때, 영상의 아래쪽에서 y축에 대해 150 화소 거리 안에 존재하는 제어점 P1을 선택할 수 있다. 제어점 P1에서 100 화소 거리 안에 존재하고, y1<y2조건을 만족하는 제어점 P2를 선택하고. 제어점 P2에서 100 화소 거리 안에 존재하고, y2<y3조건을 만족하는 제어점 P3를 선택할 수 있다. 선택할 제어점이 없을 때까지 1,2,3번의 과정을 반복할 수 있다.The control point selection step is a step of rearranging the initial control points according to a given condition. Three control points respectively, P 1 (x 1, y 1 ) a, P 2 (x 2, y 2), P 3 (x 3, y 3) when called, at the bottom of the image in the 150 pixel distance to the y-axis An existing control point P 1 can be selected. In the control points P 1 present in the pixels 100 and the distance, y 1, and select a control point P 2, which satisfy the <y 2 terms. It is possible to select the control point P 3 that exists within the distance of 100 pixels from the control point P 2 and satisfies the condition of y 2 <y 3 . You can repeat steps 1, 2, and 3 until there are no control points to choose from.

수학식 10은 제어점 집합 Pc를 정의한다.Equation (10) defines a control point set P c .

Figure 112014055641932-pat00028
Figure 112014055641932-pat00028

3차 스플라인(Cubic Spline) 곡선 생성 단계에서 제어 점 집합 Pc의 3개의 점을 지나는 곡선을 만드는 과정을 수행한다. 수학식 11은 본 발명에서 사용한 3차 스플라인 곡선을 설명한다.In the Cubic Spline curve generation step, a curve is created through three points of the control point set P c . Equation (11) describes the cubic spline curve used in the present invention.

Figure 112014055641932-pat00029
Figure 112014055641932-pat00029

여기서, Ck는 3차 스플라인 곡선을 표현하는 좌표값들을 의미한다. 여기서, k는 제어점 집합의 번호를 의미하며, k는 전체 m개의 개수를 갖는다.

Figure 112014055641932-pat00030
는 곡선의 x축 좌표값을 의미하며,
Figure 112014055641932-pat00031
는 곡선의 y축 좌표값을 의미한다.Here, C k denotes coordinate values representing a cubic spline curve. Here, k means the number of the control point set, and k has the total number of m.
Figure 112014055641932-pat00030
Means the x-axis coordinate value of the curve,
Figure 112014055641932-pat00031
Means the y-axis coordinate value of the curve.

여기서, i는 스플라인 곡선을 표현하기 위해 보간(interpolation)된 점의 번호를 의미하며, i의 전체 개수는 n개이다. t는 각각의 보간 점의 단계(step)을 의미하며, 그 범위는 0≤t≤1이다. 수학식 11의 2번째 수식은 x축에 대한 스플라인 곡선 좌표값을 표현한 것으로, ai, bi, ci, di는 곡선의 상수값들이다. 수학식 11의 3번째 수식은 y축에 대한 스플라인 곡선 좌표값을 표현한 것으로, ei, fi, gi, hi는 곡선의 상수값들이다. 이 상수값들(ai, bi, ci, di, ei, fi, gi, hi)은 3개의 제어점을 사용하여 구할 수 있다.Here, i means the number of interpolated points to represent the spline curve, and the total number of i is n. t denotes the step of each interpolation point, and the range is 0? t? 1. The second equation in Equation (11) expresses the coordinate values of the spline curve for the x axis, and a i , b i , c i , and d i are constant values of the curve. The third equation in Equation (11) expresses the coordinate values of the spline curve for the y-axis, and e i , f i , g i , and h i are constant values of the curve. These constant values (a i , b i , c i , d i , e i , f i , g i , and h i ) can be obtained using three control points.

Figure 112014055641932-pat00032
는 1번째 제어점이며, 단계는 0이다.
Figure 112014055641932-pat00033
는 2번째 제어점이며, 단계는 0.5이다.
Figure 112014055641932-pat00034
는 3번째 제어점이며, 단계는 1이다. 보간된 점들의 전체 개수는 10이다. 도 9은 3차 스플라인 곡선 생성 단계에서 만들어진 곡선들을 모두 표현한 것을 보여 준다.
Figure 112014055641932-pat00032
Is the first control point, and the step is zero.
Figure 112014055641932-pat00033
Is the second control point, and the step is 0.5.
Figure 112014055641932-pat00034
Is the third control point, and the step is one. The total number of interpolated points is 10. 9 shows all of the curves generated in the third-order spline curve generation step.

다시 도 5를 참조하면, 곡선 적합 단계는 3차 스플라인 곡선과 차선에 해당되는 에지와의 적합도(goodness of fit)를 계산하는 과정을 수행한다. 도 12는 에지가 표시된 영상에서 3차 스플라인 곡선이 표시된 실시예를 보여 준다. 여기서, 빨간색 선은 3차 스플라인 곡선을 의미하며, 격자에서 색이 칠해진 사각형은 에지가 존재하는 화소를 의미한다. 스플라인 곡선과 만나는 5개의 사각형은 파란색으로 표시되며, 만나지 않는 사각형은 검은색으로 표시하였다.Referring again to FIG. 5, the curve fitting step calculates a goodness of fit between the cubic spline curve and the edge corresponding to the lane. FIG. 12 shows an embodiment in which a cubic spline curve is displayed on an image in which an edge is displayed. Here, a red line means a cubic spline curve, and a rectangle colored in a grid means a pixel in which an edge exists. The five rectangles that meet the spline curve are displayed in blue, and the non-matching rectangles are displayed in black.

수학식 12는 3차 스플라인 곡선과 에지의 적합도를 설명한다.Equation 12 describes the fit of the cubic spline curve and the edge.

Figure 112014055641932-pat00035
Figure 112014055641932-pat00035

여기서, Gi는 i번째 곡선의 적합도이며, Ne는 곡선이 지나는 에지 화소의 개수이며, Nc는 곡선을 영상 평면 위에 맵핑할 때 곡선의 제어점 1과 제어점 3 사이에 존재하는 에지 화소의 전체 개수이다. 적합도 값이 클수록 곡선은 에지 성분을 상대적으로 더 많이 가지고 있으며, 적합도 값이 작으면 에지 성분을 상대적으로 작게 가진다.Where G i is the fit of the i th curve, N e is the number of edge pixels through which the curve passes, and N c is the total of the edge pixels existing between control points 1 and 3 of the curve when mapping the curve over the image plane The number. The larger the fitness value, the greater the edge component is, and the smaller the fitness value, the smaller the edge component.

차선 후보 결정 단계는 곡선의 적합도를 정규화하여 계산한 곡선의 가중치 값을 기준으로 차선 후보의 유무를 결정한다. 도 5의 차선 인식 단계에서 이 가중치 값을 사용하여 단 한 개의 차선을 추정하게 된다. 수학식 13은 모든 곡선의 가중치를 계산한다.The lane candidate decision step determines the presence or absence of the lane candidate based on the weight value of the curve calculated by normalizing the fitness of the curve. In the lane recognition step of FIG. 5, only one lane is estimated using this weight value. Equation (13) calculates the weights of all curves.

Figure 112014055641932-pat00036
Figure 112014055641932-pat00036

여기서, wi는 i번째 가중치를 의미하며, Gi는 수학식 12에서 정의된 곡선의 적합도이며, 분모는 적합도들의 전체 합을 의미한다. Here, w i denotes the i-th weight, G i denotes the fitness of the curve defined in Equation (12), and denominator denotes the total sum of the fitnesses.

이 가중치 값이 임계값 이하이면, 차선 후보가 없는 것으로 간주하여, 도 5의 초기 제어 점 추출 단계로 돌아가 다음 프레임 영상에서 차선 후보를 검색하게 된다. 가중치 값이 임계값 이상이면, 도 5의 차선 인식 단계에서 차선을 선택한다.If the weight value is less than or equal to the threshold value, it is regarded that there is no lane candidate, and the process returns to the initial control point extraction step of FIG. 5 to search for the lane candidate in the next frame image. If the weight value is greater than or equal to the threshold value, the lane is selected in the lane recognition step of Fig.

차선 인식 단계는 차선 후보 결정 단계에서 계산한 가중치 wi를 사용하여 차선에 가까운 3차 스플라인 곡선을 추정한다.The lane recognizing step estimates a cubic spline curve close to the lane using the weight w i calculated in the lane candidate determining step.

본 발명은 차선인식을 위해 에지 적합도에 따른 차선 추정 방법과 시간 차분 데이터를 이용한 결합 확률 밀도 함수에 따른 차선 추정 방법을 사용할 수 있다.The present invention can use a lane estimation method according to edge suitability and a lane estimation method according to a joint probability density function using time differential data for lane recognition.

첫번째, 에지 적합도에 따른 차선 추정 방법은 다음과 같다. 차선은 스플라인 곡선으로 표현되며, 곡선은 3개의 제어 점으로 표현된다. 그러므로, 3개의 제어 점의 위치를 추정하면, 차선을 추정하는 것이다. 수학식 14는 가중치 값과 모든 곡선의 제어 점의 좌표를 사용하여 3개의 제어 점의 위치를 구한다.First, the lane estimation method according to the edge fitness is as follows. The lane is represented by a spline curve, and the curve is represented by three control points. Therefore, when estimating the position of three control points, the lane is estimated. Equation (14) finds the positions of three control points using the weight value and the coordinates of the control points of all the curves.

Figure 112014055641932-pat00037
Figure 112014055641932-pat00037

여기서,

Figure 112014055641932-pat00038
는 수학식 13에서 구한 가중치이다. 여기서, k는 k번째 제어점(k=1,2,3)을 의미한다.
Figure 112014055641932-pat00039
는 k번째 제어점의 x좌표 값을 의미하며,
Figure 112014055641932-pat00040
는 k번째 제어점의 y좌표 값을 의미한다. i는 i번째 곡선을 의미한다.
Figure 112014055641932-pat00041
는 제어점
Figure 112014055641932-pat00042
에 가중치
Figure 112014055641932-pat00043
를 곱한 후, 모든 곡선에 대해 합을 구한 것이다. 즉, 차선 후보 곡선들에 대해 가중치 평균값을 구하여, 단 하나의 차선 후보를 추정하는 것을 의미한다.
Figure 112014055641932-pat00044
는 y좌표에 대한 가중치 평균값을 구한 것이다. 수학식 14를 사용하여 하나의 차선 후보를 찾은 후, 시간 차분 데이터에 의한 차선 추정을 수행한다.here,
Figure 112014055641932-pat00038
Is a weight obtained by Equation (13). Here, k means the kth control point (k = 1, 2, 3).
Figure 112014055641932-pat00039
Denotes the x-coordinate value of the k-th control point,
Figure 112014055641932-pat00040
Is the y coordinate value of the kth control point. i means the i-th curve.
Figure 112014055641932-pat00041
Lt; RTI ID =
Figure 112014055641932-pat00042
Weight
Figure 112014055641932-pat00043
And then summed over all curves. That is, it means that a weighted average value is obtained for the lane candidate curves, and only one lane candidate is estimated.
Figure 112014055641932-pat00044
Is the weighted average value for the y coordinate. After finding one lane candidate using Equation (14), lane estimation based on time differential data is performed.

두번째, 시간 차분 데이터에 의한 차선 추정은 다음과 같다. 우선, 이전 시간의 차선과 현재 시간의 차선의 차분을 계산한다. 수학식 15는 시간 차분 행렬을 구하는 방법을 보여 준다. Second, lane estimation based on time difference data is as follows. First, the difference between the lane of the previous time and the lane of the current time is calculated. Equation (15) shows a method of obtaining a time difference matrix.

Figure 112014055641932-pat00045
Figure 112014055641932-pat00045

여기서,

Figure 112014055641932-pat00046
는 이전 시간의 차선의 k번째 제어점의 x좌표이다.
Figure 112014055641932-pat00047
는 수학식 14에서 계산된 현재 시간에 추정된 차선의 k번째 제어점의 x좌표이다.
Figure 112014055641932-pat00048
는 이전 시간의 차선의 k번째 제어점의 y좌표이다.
Figure 112014055641932-pat00049
는 수학식 14에서 계산된 현재 시간에 추정된 차선의 k번째 제어점의 y좌표이다.
Figure 112014055641932-pat00050
는 시간에 따른 차분 데이터를 포함하는 행렬이다.here,
Figure 112014055641932-pat00046
Is the x coordinate of the kth control point of the lane of the previous time.
Figure 112014055641932-pat00047
Is the x coordinate of the kth control point of the lane estimated at the current time calculated in Equation (14).
Figure 112014055641932-pat00048
Is the y coordinate of the kth control point of the lane of the previous time.
Figure 112014055641932-pat00049
Is the y coordinate of the kth control point of the lane estimated at the current time calculated in Equation (14).
Figure 112014055641932-pat00050
Is a matrix including differential data according to time.

본 발명은 수학식 15에서 계산된 차분 데이터를 이용하여, 차선을 추정하기 위해 시간 가중치 변수를 구한다. 수학식 16에서 시간 가중치 변수는 결합 확률 밀도 함수(joint probability density function)를 이용하여 구한다. The present invention uses the difference data calculated in Equation (15) to find a time-weighted variable for estimating a lane. In Equation (16), the time weighting variable is obtained by using a joint probability density function.

Figure 112014055641932-pat00051
Figure 112014055641932-pat00051

여기서, Dk는 수학식 15에서 계산된 시간 차분 행렬이다. C는 공분산 행렬이며, 시간 차분 변수 값의 측정 오차를 의미하는 것으로, 실험에 의해 상수값으로 입력하였다. gk는 k번째 제어점의 시간 가중치 변수이며, 이 값이 0.5보다 크면, 현재 차선보다 이전 차선 데이터가 더 많은 영향을 주게 되며, 0.5보다 작으면, 그 반대이다. 즉, 시간 가중치 변수를 적용하면, 잘못된 차선 인식에 의해 차선이 오인식되는 것을 최소화할 수 있다. 이것은 시간에 대해 잡음 제거 필터를 적용한 것과 같은 결과를 보여 준다. 수학식 17은 시간 가중치 변수를 이전 차선과 수학식 14에서 계산된 차선에 대해 적용하여 추정 차선을 계산하는 것을 보여 준다. 이 제어점들은 최종적으로 인식된 차선을 의미한다.Where D k is the time differential matrix computed in equation (15). C is a covariance matrix, which means a measurement error of the time difference variable value. g k is a time-weighted variable of the kth control point. If this value is greater than 0.5, the previous lane data will have more influence on the current lane, and vice versa. That is, applying the time-weighted variable minimizes the misunderstanding of the lane due to incorrect lane recognition. This gives the same result as applying a noise reduction filter over time. Equation 17 shows applying the time-weighted variable to the previous lane and the lane calculated in Equation 14 to calculate the estimated lane. These control points represent the finally recognized lane.

Figure 112014055641932-pat00052
Figure 112014055641932-pat00052

여기서, gk는 수학식 16의 결과인 시간 가중치 변수이다.

Figure 112014055641932-pat00053
는 수학식 14의 결과인 적합도에 의한 차선의 제어점 x좌표이며,
Figure 112014055641932-pat00054
는 y좌표이다.
Figure 112014055641932-pat00055
는 이전 시간에 계산된 차선의 제어점 x좌표이며,
Figure 112014055641932-pat00056
는 y좌표이다.
Figure 112014055641932-pat00057
과
Figure 112014055641932-pat00058
는 도 5의 차선 인식 단계의 최종 결과 값으로 현재 영상에서 인식된 차선의 제어점을 의미한다. 도 10에서 빨간색 선은 차선 인식 결과를 보여 준다.Where gk is a time weighted variable that is a result of equation (16).
Figure 112014055641932-pat00053
Is the control point x-coordinate of the lane by the fit, which is the result of Equation (14)
Figure 112014055641932-pat00054
Is the y coordinate.
Figure 112014055641932-pat00055
Is the control point x coordinate of the lane calculated at the previous time,
Figure 112014055641932-pat00056
Is the y coordinate.
Figure 112014055641932-pat00057
and
Figure 112014055641932-pat00058
Means the control point of the lane recognized in the current image as the final result value of the lane recognition step of FIG. In Fig. 10, the red line shows the lane recognition result.

도 13은 도 1의 차선 추적 단계를 상세하게 단계별로 보여주는 흐름도이다. 도 13의 차선 추적 단계는 제어 점 위치 이동 단계, 3차 스플라인 곡선 생성 단계, 곡선 적합 단계, 차선 추적 결정 단계, 제어점 전달 단계로 구성된다.FIG. 13 is a flowchart showing the lane-tracking step of FIG. 1 in detail. The lane-tracking step of FIG. 13 includes a control point position shifting step, a third-order spline curve generating step, a curve fitting step, a lane-tracking determining step, and a control point transmitting step.

도 13을 참조하면, 제어점 위치 이동 단계는 선택된 제어점들이 에지의 위치에 일치되도록 하는 기능을 수행한다. 차선 추적을 위해 필요한 제어점 위치를 이동시키는 첫번째 단계이다.Referring to FIG. 13, the control point position shifting step performs a function of making selected control points coincide with edge positions. This is the first step to move the control point position required for lane tracking.

제어점 위치 이동을 위한 방법으로, 유클리디안(Euclidean) 거리와 마할라노비스(Mahalanobis) 거리 방법을 사용할 수 있다.Euclidean distance and Mahalanobis distance method can be used as a method for control point position movement.

이 단계는 제어점에 가까운 에지를 찾는 것이 목적이다. 유클리디안 거리는 방향성이 없이 주변의 에지를 원형으로 탐색하므로, 차선 주변의 잘못된 에지로 이동할 가능성이 높다. 마할라노비스 거리 방법은 탐색 범위가 타원이므로, 방향성을 가진다. 그러므로, 패턴이 긴 형태인 차선 에지에 적합한 거리 측정 방법이다. This step is to find the edge near the control point. Euclidean distances are likely to move to the wrong edges around the lane because they search for the surrounding edges circularly without any directionality. The Mahalanobis distance method has directionality because the search range is elliptical. Therefore, it is a distance measurement method suitable for a lane edge whose pattern is long.

본 발명에서는, 제어점 P1, P2에 대해서는 유클리디안 거리 방법을 적용하며, 제어점 P2는 마할라노비스 거리 방법을 적용하였다. 제어점 P1, P2같은 가까운 거리는 차선 에지가 명확하므로, 유클리디안 거리를 적용해도 성능에 영향을 주지 않는다. 그러나, 제어점 P2의 경우는 상대적으로 먼 거리에 위치하며, 주변의 잡음의 영향을 많이 받으므로, 방향성을 가진 마할라노비스 거리 방법을 사용한다. 유클리디안 거리 방법에 비해, 마할라노비스 거리 방법이 계산 속도가 상대적으로 느리다. 그러므로, 알고리즘의 전반적인 성능을 고려하여, 위와 같은 방법으로 적용하였다. 수학식 18은 마할라노비스 거리를 계산하는 방법을 설명한다.In the present invention, the Euclidean distance method is applied to the control points P 1 and P 2 , and the Mahalanobis distance method is applied to the control point P 2 . The application of the Euclidean distance does not affect the performance, as close points such as control points P 1 and P 2 have clear lane edges. However, in the case of the control point P 2 , the directional Mahalanobis distance method is used because it is located at a relatively long distance and is affected by surrounding noise. Compared to the Euclidian distance method, the Mahalanobis distance method is relatively slow to calculate. Therefore, considering the overall performance of the algorithm, we applied it in the same way as above. Equation (18) describes a method for calculating Mahalanobis distance.

Figure 112014055641932-pat00059
Figure 112014055641932-pat00059

여기서,

Figure 112014055641932-pat00060
는 제어점 p에 대한 마할라노비스 거리이며, μ는 제어점의 평균값이며, S는 제어점의 공분산이다.here,
Figure 112014055641932-pat00060
Is the Mahalanobis distance to the control point p, μ is the mean value of the control points, and S is the covariance of the control points.

3차 스플라인 곡선 생성 단계 및 곡선 적합 단계에서 도 5의 차선 인식 단계에서 설명한 내용과 같은 기능을 수행한다. 차선 추적 결정 단계에서는 수학식 13에서 계산한 가중치 값이 임계값 이하이면, 차선 추적을 중지하고, 차선 인식 단계로 돌아간다. 가중치 값이 임계값 이상이면 차선 추적이 성공으로 간주하여, 현재 제어점을 제어점 위치 이동 단계로 전달해 주어 추적 반복 과정을 수행하게 한다.In the third spline curve generation step and the curve fitting step, the same functions as those described in the lane recognition step of FIG. 5 are performed. In the lane-tracking determination step, if the weight value calculated in Equation (13) is less than the threshold value, the lane-tracking is stopped and the process returns to the lane recognition step. If the weight value is greater than or equal to the threshold value, the lane tracking is regarded as successful and the current control point is transferred to the control point position moving step to perform the tracking iterative process.

(실시예)(Example)

본 발명의 실시예는 다음과 같다.An embodiment of the present invention is as follows.

본 발명의 실험을 위해 차량에 설치할 수 있는 실험용 단말기를 사용하였으며, 단말기에 사용된 CPU는 s3c6410 800MHz이며, OS는 리눅스이다. 실험 결과, 10FPS(frame/second)의 처리 속도를 평균적으로 유지하여, 실시간 차선 추적이 가능함을 알 수 있다.For the experiment of the present invention, an experimental terminal that can be installed in a vehicle is used. The CPU used in the terminal is s3c6410 800MHz, and the OS is Linux. Experimental results show that the processing speed of 10 FPS (frame / second) is kept on average and real-time lane tracking is possible.

도 14와 도 15는 본 발명의 방법을 적용하여 차선을 인식하고 추적하는 것을 나타낸다.Figures 14 and 15 illustrate the recognition and tracking of lanes by applying the method of the present invention.

도 14를 참조하면, 도 14a는 차선이 곡선의 형태일 때, 차선을 인식하는 모습을 보여주고, 도 14b는 주변의 빛이 없는 야간에 차선을 인식한 영상의 예를 보여 준다.Referring to FIG. 14, FIG. 14A shows the lane recognition when the lane is in the shape of a curve, and FIG. 14B shows an example of the lane recognized in the night without the surrounding light.

도 15를 참조하면, 차선 추적의 예를 보여 준다. (a)에서 (e)까지의 영상은 실시간으로 차선을 추적하는 모습을 보여 주며, 각 영상의 시간 간격은 1초이다. 이 실험 환경은 운전자의 차량이 주행 중, 왼쪽 차선에서 오른쪽 차선 방향으로 차선을 이탈하는 경우이며, 이런 경우 차선 이탈 경보를 운전자에게 알려야 한다. 실험 결과, 빠르게 차선을 이탈하는 경우에도 차선의 추적 성공율이 높았다.Referring to FIG. 15, an example of lane-tracking is shown. The images from (a) to (e) show lane tracking in real time, and the time interval of each image is 1 second. This experimental environment is when the driver's vehicle leaves the lane from the left lane to the right lane while driving, in which case the lane departure alarm should be reported to the driver. As a result of the experiment, the success rate of the lane was high even if the lane departed quickly.

이하 상술한 영상을 이용한 차선인식 및 차선추적 방법을 구현하기 위한 차선인식 및 차선추적 시스템에 대하여 알아본다.Hereinafter, a lane recognition and lane tracking system for realizing lane recognition and lane tracking using the image will be described.

도 16은 본 발명의 일실시예에 따른 차선인식 및 차선추적 시스템의 블록도이다.16 is a block diagram of a lane recognition and lane tracking system in accordance with an embodiment of the present invention.

도 16을 참조하면, 전방 차량 인식 및 추적 시스템은 영상촬영부(100), 차선 인식부(200), 차선 추적부(300), 경보부(400), 및 브레이크 제어부(500)를 포함한다. 영상 촬영부(100)는 차량의 전방에 위치한 카메라로부터 원 영상을 획득한다.16, the front vehicle recognition and tracking system includes an image pickup unit 100, a lane recognition unit 200, a lane-tracking unit 300, an alarm unit 400, and a brake control unit 500. The image capturing unit 100 acquires an original image from a camera located in front of the vehicle.

차선 인식부(200)는 원 영상으로부터 차선을 인식하는 구성으로서, 구체적으로 원 영상으로부터 1화소 굵기의 캐니 에지 영상을 생성하는 캐니 에지 영상 생성부(210), 상기 캐니 에지 영상에서 차선 후보 에지 영상을 생성하는 차선 후보 에지 영상 생성부(220), 상기 차선 후보 에지 영상에 대하여 필터링을 적용하여 차선을 인식하는 전방 차선 인식부(230)로 구성된다.The lane recognition unit 200 recognizes the lane from the original image. Specifically, the lane recognition unit 200 generates a canyge edge image having a pixel size of one pixel from the original image. The lane recognition unit 200 generates a lane candidate image And a front lane recognition unit 230 for recognizing the lane by applying filtering to the lane candidate edge image. The lane candidate edge image generating unit 220 generates the lane candidate edge image.

상기 캐니 에지 영상 생성부(210)는 원 영상으로부터 1화소 굵기의 캐니 에지 영상을 생성하고, 상기 차선 후보 에지 영상 생성부(220)은 상기 캐니 에지 영상에서 직선성분의 에지 영상을 추출하고, 상기 직선성분의 에지들을 군집화하고 각도에 따라 필터링하여 차선 후보 에지 영상을 생성한다.The lane candidate edge image generating unit 220 extracts an edge image of a straight line component from the canyon edge image, and the lane candidate edge image generating unit 220 generates a lane edge candidate image The edges of the straight line components are clustered and filtered according to the angle to generate a lane candidate edge image.

상기 차선인식부(230)는 상기 차선 후보 에지 영상에서 제어점들을 추출하여 3차 스플라인 곡선을 생성하고, 차선 후보 에지와 적합성을 계산하고 가중치를 적용하여 차선에 가장 가까운 3차 스플라인 곡선을 추정하고, 이전 시간의 차선과 현재 시간에 추정된 차선의 차분 데이터를 이용하여 차선을 추정한다.The lane recognition unit 230 extracts control points from the lane candidate edge image to generate a cubic spline curve, calculates a fitness of the lane candidate edge and fitness, and applies a weight to estimate a cubic spline curve closest to the lane, The lane is estimated using the lane difference between the lane of the previous time and the lane estimated at the current time.

본 발명에 있어서, 상기 차선 추적부는 상기 차선 인식부에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하고, 현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하여 차선 후보 에지와의 곡선 적합도를 계산하고 가중치값을 적용하여 차선을 추적한다.In the present invention, the lane-tracking unit moves the position of the control point of the previous time selected by the lane recognition unit to match the edge of the current time, generates a third-order spline curve using the control points of the current time, And the weight value is applied to track the lane.

차량 추적부(300)는 상기 차선 인식부에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하고, 현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하여 차선 후보 에지와의 곡선 적합도를 계산하고 가중치값을 적용하여 차선을 추적한다.The vehicle tracking unit 300 moves the position of the control point of the previous time selected by the lane recognition unit so as to coincide with the edge of the current time, generates a third-order spline curve using the control points of the current time, Compute the fitness and apply the weight value to track the lane.

상기 경보부(400)는 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 운전자에게 추돌 경보를 알린다.The alarm unit 400 informs the driver of a collision warning when a forward collision is expected by tracking the vehicle by the vehicle tracking unit.

상기 브레이크 제어부(500)는 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 전자 제어에 의하여 브레이크를 제어하여 추돌을 예방할 수 있다.The brake control unit 500 may control the brakes by electronic control to prevent a collision by tracking the vehicle by the vehicle tracking unit if a forward collision is expected.

상기 본 발명의 실시예를 기술하였으나, 본 발명의 권리는 이에 한정되지 않으며, 상기 청구 범위에 의해 해석되어야 하며, 본 발명의 기술을 사용한 당업자의 다양한 수정 및 변형도 본 발명의 권리 범위에 속한다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims.

100: 영상 촬영부 200: 차선 인식부
210: 캐니 에지 영상 생성부 220: 차선 후보 에지 영상 생성부
250: 전방 차선 인식부 300: 차선 추적부
400: 경보부 500: 브레이크 제어부100: image capturing unit 200: lane recognition unit
210: Canny edge image generation unit 220: Lane candidate edge image generation unit
250: Front lane recognition unit 300: Lane tracking unit
400: alarm unit 500: brake control unit

Claims (13)

삭제delete 카메라로부터 영상을 획득하여 차선을 인식하고 추적하는 방법에 있어서,
카메라로부터 원 영상을 획득하는 단계;
상기 원 영상으로부터 캐니 에지 영상을 생성하는 단계;
상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 단계;
상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 단계;
이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 단계를 포함하며,
상기 차선 후보 에지 영상을 추출하는 단계는,
상기 캐니 에지 영상으로부터 직선성분의 에지 영상을 획득하는 단계;
상기 직선성분의 에지 영상을 각 화소의 연결성에 따라 에지 영상을 군집화하는 단계;
상기 에지 영상의 각 군집들의 각도를 계산하는 단계;
군집 각도의 상한 및 하한 임계각을 설정하는 단계;
상기 상한 및 하한 임계각 범위 내의 각도를 갖는 군집을 추출하여 차선 후보 에지 영상을 생성하는 단계를 포함하며,
상기 에지 영상의 군집 각도를 계산하는 단계는,
하기 수학식과 같이, 상기 에지 영상의 주성분의 고유벡터값을 사용하여 계산하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.
수학식
Figure 112014095881673-pat00102

여기서, V는 주성분의 고유벡터, S는 단위 벡터.A method of recognizing and tracking a lane by acquiring an image from a camera,
Obtaining an original image from a camera;
Generating a canyon edge image from the original image;
Extracting a lane candidate edge image by analyzing a principal component of the canyon image;
Recognizing a lane by applying a particle filter to the lane candidate edge image;
And performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time,
Wherein the step of extracting the lane candidate edge image comprises:
Obtaining an edge image of a linear component from the canyon edge image;
Clustering an edge image of the linear component according to connectivity of each pixel;
Calculating an angle of each cluster of the edge image;
Setting an upper limit and a lower limit critical angle of the cluster angle;
And generating a lane candidate edge image by extracting a cluster having an angle within the upper limit and lower limit critical angle ranges,
The step of calculating the cluster angle of the edge image may include:
And calculating an eigenvector of the main image using the eigenvector of the principal component of the edge image.
Equation
Figure 112014095881673-pat00102

Where V is the eigen vector of the principal component, and S is the unit vector. 제2항에 있어서,
상기 직선성분의 에지 영상을 획득하는 단계는,
상기 캐니 에지 영상의 주성분을 분석하여 각 에지 영상의 고유값을 계산하고, 상기 고유값 중 직선성분에 해당하는 에지를 추출하여 직선성분 에지 영상으로 결정하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.3. The method of claim 2,
Wherein the step of acquiring the edge image of the linear component comprises:
Calculating an eigenvalue of each edge image by analyzing a principal component of the canyon image and extracting an edge corresponding to a straight line component of the eigenvalue to determine a straight line component edge image, Tracking method. 삭제delete 카메라로부터 영상을 획득하여 차선을 인식하고 추적하는 방법에 있어서,
카메라로부터 원 영상을 획득하는 단계;
상기 원 영상으로부터 캐니 에지 영상을 생성하는 단계;
상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 단계;
상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 단계;
이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 단계를 포함하며,
상기 차선을 인식하는 단계는,
상기 차선 후보 에지 영상에서 제어점들을 추출하는 단계;
상기 초기 제어점들에서 소정의 제어점들을 선택하는 단계;
상기 선택된 제어점들을 사용하여 3차 스플라인 곡선을 생성하는 단계;
상기 3차 스플라인 곡선과 차선 후보 에지와의 곡선 적합도를 계산하는 단계;
상기 곡선 적합도를 사용하여 각 곡선의 가중치를 계산하고, 상기 가중치값이 임계값 이상일 때 차선 후보 곡선의 존재를 결정하는 단계;
상기 가중치를 사용하여 차선에 가장 가까운 3차 스플라인 곡선을 추정하는 단계; 및
이전 시간의 차선과 현재 시간에 추정된 차선의 차분 데이터를 이용하여 차선을 추정하는 단계를 포함하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.A method of recognizing and tracking a lane by acquiring an image from a camera,
Obtaining an original image from a camera;
Generating a canyon edge image from the original image;
Extracting a lane candidate edge image by analyzing a principal component of the canyon image;
Recognizing a lane by applying a particle filter to the lane candidate edge image;
And performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time,
The step of recognizing the lane may include:
Extracting control points from the lane candidate edge image;
Selecting predetermined control points at the initial control points;
Generating a cubic spline curve using the selected control points;
Computing a curve fit of the cubic spline curve and the lane candidate edge;
Calculating a weight of each curve using the curve fitness and determining the presence of a lane candidate curve when the weight value is greater than or equal to a threshold value;
Estimating a third-order spline curve closest to the lane using the weight; And
And estimating a lane using difference data of a lane estimated at a lane of a previous time and a current time of the lane. 제5항에 있어서,
상기 차선 후보 곡선의 존재를 결정하는 단계에서, 상기 가중치값이 임계값 이하일 때, 상기 제어점들을 선택하는 단계부터 반복하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.6. The method of claim 5,
Wherein the step of determining the presence of the lane candidate curve repeats the step of selecting the control points when the weight value is equal to or less than a threshold value. 제5항에 있어서,
상기 인식된 차선은 제어점 (
Figure 112014055641932-pat00062
,
Figure 112014055641932-pat00063
)으로 표현되는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.
여기서,
Figure 112014055641932-pat00064
,
Figure 112014055641932-pat00065
,
Figure 112014055641932-pat00066
,
Figure 112014055641932-pat00067
,
Figure 112014055641932-pat00068
,
Figure 112014055641932-pat00069
,
Figure 112014055641932-pat00070
,
Figure 112014055641932-pat00071
이고,
Gi는 i번째 곡선의 적합도이며, Ne는 곡선이 지나는 에지 화소의 개수이며, Nc는 곡선을 영상 평면 위에 맵핑할 때 곡선의 제어점 1과 제어점 3 사이에 존재하는 에지 화소의 전체 개수, wi는 i번째 가중치, k는 k번째 제어점(k=1,2,3),
Figure 112014055641932-pat00072
는 k번째 제어점의 x좌표 값,
Figure 112014055641932-pat00073
는 k번째 제어점의 y좌표 값, i는 i번째 곡선,
Figure 112014055641932-pat00074
및
Figure 112014055641932-pat00075
는 각각 x좌표 및 y좌표에 대한 가중치 평균값,
Figure 112014055641932-pat00076
는 이전 시간의 차선의 k번째 제어점의 x좌표,
Figure 112014055641932-pat00077
는 이전 시간의 차선의 k번째 제어점의 y좌표, Dk는 시간에 따른 차분 데이터를 포함하는 행렬, gk는 k번째 제어점의 시간 가중치 변수이다.6. The method of claim 5,
The recognized lane is a control point
Figure 112014055641932-pat00062
,
Figure 112014055641932-pat00063
Wherein the lane recognition and the lane-tracking method using the image are expressed by the following formula.
here,
Figure 112014055641932-pat00064
,
Figure 112014055641932-pat00065
,
Figure 112014055641932-pat00066
,
Figure 112014055641932-pat00067
,
Figure 112014055641932-pat00068
,
Figure 112014055641932-pat00069
,
Figure 112014055641932-pat00070
,
Figure 112014055641932-pat00071
ego,
G i is the fit of the i-th curve, N e is the number of edge pixels through which the curve passes, N c is the total number of edge pixels present between the control points 1 and 3 of the curve when mapping the curve over the image plane, w i is the ith weight, k is the kth control point (k = 1, 2, 3)
Figure 112014055641932-pat00072
Is the x coordinate value of the kth control point,
Figure 112014055641932-pat00073
Is the y coordinate value of the k-th control point, i is the i-th curve,
Figure 112014055641932-pat00074
And
Figure 112014055641932-pat00075
A weighted average value for the x-coordinate and the y-coordinate, respectively,
Figure 112014055641932-pat00076
Is the x coordinate of the kth control point of the lane of the previous time,
Figure 112014055641932-pat00077
Is a matrix that contains the y coordinates, D k is the difference data according to the time of the k-th control point of the previous lane-time, g k is a time variable weight of the k-th control point. 카메라로부터 영상을 획득하여 차선을 인식하고 추적하는 방법에 있어서,
카메라로부터 원 영상을 획득하는 단계;
상기 원 영상으로부터 캐니 에지 영상을 생성하는 단계;
상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 단계;
상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 단계;
이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 단계를 포함하며,
상기 차선 추적을 수행하는 단계는,
상기 차선 인식 단계에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하는 제어점 위치 이동 단계;
현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하는 단계;
상기 3차 스플라인 곡선과 차선 후보 에지와의 곡선 적합도를 계산하는 단계;
상기 곡선 적합도를 사용하여 각 곡선의 가중치를 계산하고, 상기 가중치값이 임계값 이상일 때 차선 추적 성공을 결정하는 단계; 및
상기 차선 추적이 성공된 제어점을 제어점 위치 이동 단계로 전달하여 차선 추적을 반복하는 단계를 포함하는 영상을 이용한 차선인식 및 차선추적 방법.A method of recognizing and tracking a lane by acquiring an image from a camera,
Obtaining an original image from a camera;
Generating a canyon edge image from the original image;
Extracting a lane candidate edge image by analyzing a principal component of the canyon image;
Recognizing a lane by applying a particle filter to the lane candidate edge image;
And performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time,
The step of performing the lane-
A control point position moving step of moving the position of the control point of the previous time selected in the lane recognition step so as to coincide with the edge of the current time;
Generating a cubic spline curve using control points of the current time;
Computing a curve fit of the cubic spline curve and the lane candidate edge;
Calculating a weight of each curve using the curve fitness and determining success of lane tracking when the weight value is greater than or equal to a threshold value; And
And repeating the lane-tracking by transferring the control point where the lane-tracking is successful to the control point position-moving step. 제8항에 있어서,
상기 제어점 위치 이동 단계는 유클리디안(Euclidean) 거리와 마할라노비스(Mahalanobis) 거리 방법을 사용하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 방법.9. The method of claim 8,
Wherein the control point position moving step uses an Euclidean distance and a Mahalanobis distance method. 삭제delete 삭제delete 카메라로부터 원 영상을 획득하는 영상촬영부;
상기 원 영상으로부터 캐니 에지 영상을 생성하는 캐니 에지 영상 생성부;
상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 차선 후보 에지 영상 생성부;
상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 차선인식부; 및
이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 차선 추적부를 포함하며,
상기 차선인식부는 상기 차선 후보 에지 영상에서 제어점들을 추출하여 3차 스플라인 곡선을 생성하고, 차선 후보 에지와 적합성을 계산하고 가중치를 적용하여 차선에 가장 가까운 3차 스플라인 곡선을 추정하고, 이전 시간의 차선과 현재 시간에 추정된 차선의 차분 데이터를 이용하여 차선을 추정하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 시스템.An image capturing unit for capturing an original image from a camera;
A canyon edge image generation unit for generating a canyon edge image from the original image;
A lane candidate edge image generation unit for extracting a lane candidate edge image by analyzing a principal component of the canyon image;
A lane recognition unit for recognizing a lane by applying a particle filter to the lane candidate edge image; And
And a lane-tracking unit for performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time,
The lane recognition unit extracts control points from the lane candidate edge image to generate a cubic spline curve, calculates a fitness of the lane candidate edge and fitness, and estimates a cubic spline curve closest to the lane by applying a weight, And estimating the lane using difference data of the lane estimated at the current time. 카메라로부터 원 영상을 획득하는 영상촬영부;
상기 원 영상으로부터 캐니 에지 영상을 생성하는 캐니 에지 영상 생성부;
상기 캐니 에지 영상의 주성분을 분석하여 차선 후보 에지 영상을 추출하는 차선 후보 에지 영상 생성부;
상기 차선 후보 에지 영상에 파티클 필터를 적용하여 차선을 인식하는 차선인식부; 및
이전 시간에 인식된 차선 영상과 현재 시간에 인식된 차선 영상을 이용하여 차선 추적을 수행하는 차선 추적부를 포함하며,
상기 차선 추적부는 상기 차선 인식부에서 선택된 이전 시간의 제어점의 위치를 현재 시간의 에지에 일치하도록 이동하고, 현재 시간의 제어점들을 이용하여 3차 스플라인 곡선을 생성하여 차선 후보 에지와의 곡선 적합도를 계산하고 가중치값을 적용하여 차선을 추적하는 것을 특징으로 하는 영상을 이용한 차선인식 및 차선추적 시스템.An image capturing unit for capturing an original image from a camera;
A canyon edge image generation unit for generating a canyon edge image from the original image;
A lane candidate edge image generation unit for extracting a lane candidate edge image by analyzing a principal component of the canyon image;
A lane recognition unit for recognizing a lane by applying a particle filter to the lane candidate edge image; And
And a lane-tracking unit for performing lane-tracking using the lane image recognized at the previous time and the lane image recognized at the current time,
The lane-tracking unit moves the position of the control point of the previous time selected in the lane recognition unit so as to match the edge of the current time, generates a cubic spline curve using the control points of the current time, and calculates a curve fitness with the lane candidate edge And the lane is tracked by applying a weight value to the lane recognition and lane tracking system.
KR1020140072565A 2014-06-16 2014-06-16 Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same KR101455835B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140072565A KR101455835B1 (en) 2014-06-16 2014-06-16 Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140072565A KR101455835B1 (en) 2014-06-16 2014-06-16 Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same

Publications (1)

Publication Number Publication Date
KR101455835B1 true KR101455835B1 (en) 2014-11-04

Family

ID=52289084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072565A KR101455835B1 (en) 2014-06-16 2014-06-16 Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same

Country Status (1)

Country Link
KR (1) KR101455835B1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083410A (en) * 2014-12-31 2016-07-12 가천대학교 산학협력단 System and method for detecting lane using lane variation vector and cardinal spline
CN108615452A (en) * 2018-04-03 2018-10-02 华南理工大学 A kind of unknown method for extracting roads based on people's wheel paths point multi-resolution hierarchy
CN110766709A (en) * 2019-10-30 2020-02-07 成都理工大学 Landslide particle accumulation characteristic identification method based on image identification
US20210206380A1 (en) * 2020-01-06 2021-07-08 Luminar, Llc Lane Detection and Tracking Techniques for Imaging Systems
KR102296520B1 (en) * 2020-12-18 2021-09-01 주식회사 카비 Method of detecting curved lane through path estimation by monocular vision based camera
KR102318586B1 (en) 2020-08-26 2021-10-28 주식회사 카비 Method of detecting median strip and predicting collision risk through analysis of images
CN113903014A (en) * 2021-12-07 2022-01-07 智道网联科技(北京)有限公司 Lane line prediction method and device, electronic device and computer-readable storage medium
KR102433544B1 (en) 2022-01-14 2022-08-18 주식회사 카비 Vehicle path restoration system through sequential image analysis and vehicle path restoration method using the same
CN115116017A (en) * 2022-06-27 2022-09-27 北京旋极信息技术股份有限公司 Lane recognition method, device and storage medium
KR20220158947A (en) * 2021-05-25 2022-12-02 포티투닷 주식회사 Method and apparatus for determining a curved lane in cluttered environments
KR102501889B1 (en) 2022-08-01 2023-02-21 주식회사 카비 Intersection recognition and restoration system using geometric modeling method and intersection recognition and restoration method using the same
KR102633425B1 (en) 2023-08-14 2024-02-07 주식회사 카비 Apparatus for creating a traffic accident site reconstruction report
KR102633427B1 (en) 2023-08-14 2024-02-07 주식회사 카비 Method for creating a traffic accident site reconstruction report
US11941893B2 (en) 2021-11-16 2024-03-26 Hyundai Motor Company Virtual traffic line generation apparatus and method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305388B1 (en) * 2012-04-20 2013-09-06 한국과학기술연구원 Detection device and method of road line using camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305388B1 (en) * 2012-04-20 2013-09-06 한국과학기술연구원 Detection device and method of road line using camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
권오현. 적응적 차선 검출을 이용한 차선 추적 알고리즘. 한국산업기술대학교 지식기반기술·에너지대학원. 2012.12. *
권오현. 적응적 차선 검출을 이용한 차선 추적 알고리즘. 한국산업기술대학교 지식기반기술·에너지대학원. 2012.12.*

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645322B1 (en) * 2014-12-31 2016-08-04 가천대학교 산학협력단 System and method for detecting lane using lane variation vector and cardinal spline
KR20160083410A (en) * 2014-12-31 2016-07-12 가천대학교 산학협력단 System and method for detecting lane using lane variation vector and cardinal spline
CN108615452A (en) * 2018-04-03 2018-10-02 华南理工大学 A kind of unknown method for extracting roads based on people's wheel paths point multi-resolution hierarchy
CN108615452B (en) * 2018-04-03 2019-08-20 华南理工大学 A kind of unknown method for extracting roads based on people's wheel paths point multi-resolution hierarchy
CN110766709A (en) * 2019-10-30 2020-02-07 成都理工大学 Landslide particle accumulation characteristic identification method based on image identification
US11551547B2 (en) * 2020-01-06 2023-01-10 Luminar, Llc Lane detection and tracking techniques for imaging systems
US20210206380A1 (en) * 2020-01-06 2021-07-08 Luminar, Llc Lane Detection and Tracking Techniques for Imaging Systems
US11688155B2 (en) 2020-01-06 2023-06-27 Luminar, Llc Lane detection and tracking techniques for imaging systems
KR102318586B1 (en) 2020-08-26 2021-10-28 주식회사 카비 Method of detecting median strip and predicting collision risk through analysis of images
US11634124B2 (en) 2020-08-26 2023-04-25 Carvi Inc. Method of recognizing median strip and predicting risk of collision through analysis of image
US11562577B2 (en) 2020-12-18 2023-01-24 Carvi Inc. Method of detecting curved lane through path estimation using monocular vision camera
KR102296520B1 (en) * 2020-12-18 2021-09-01 주식회사 카비 Method of detecting curved lane through path estimation by monocular vision based camera
KR20220158947A (en) * 2021-05-25 2022-12-02 포티투닷 주식회사 Method and apparatus for determining a curved lane in cluttered environments
KR102488983B1 (en) * 2021-05-25 2023-01-17 포티투닷 주식회사 Method and apparatus for determining a curved lane in cluttered environments
US11941893B2 (en) 2021-11-16 2024-03-26 Hyundai Motor Company Virtual traffic line generation apparatus and method thereof
CN113903014B (en) * 2021-12-07 2022-05-17 智道网联科技(北京)有限公司 Lane line prediction method and device, electronic device and computer-readable storage medium
CN113903014A (en) * 2021-12-07 2022-01-07 智道网联科技(北京)有限公司 Lane line prediction method and device, electronic device and computer-readable storage medium
KR102433544B1 (en) 2022-01-14 2022-08-18 주식회사 카비 Vehicle path restoration system through sequential image analysis and vehicle path restoration method using the same
CN115116017A (en) * 2022-06-27 2022-09-27 北京旋极信息技术股份有限公司 Lane recognition method, device and storage medium
KR102501889B1 (en) 2022-08-01 2023-02-21 주식회사 카비 Intersection recognition and restoration system using geometric modeling method and intersection recognition and restoration method using the same
KR102633425B1 (en) 2023-08-14 2024-02-07 주식회사 카비 Apparatus for creating a traffic accident site reconstruction report
KR102633427B1 (en) 2023-08-14 2024-02-07 주식회사 카비 Method for creating a traffic accident site reconstruction report

Similar Documents

Publication Publication Date Title
KR101455835B1 (en) Lane Recognition and Tracking System Using Images, And Method For Recognition And Tracking Lane Using The Same
CN108765458B (en) Sea surface target scale self-adaptive tracking method of high-sea-condition unmanned ship based on correlation filtering
Keller et al. The benefits of dense stereo for pedestrian detection
Wang et al. On pedestrian detection and tracking in infrared videos
CN104200495B (en) A kind of multi-object tracking method in video monitoring
Cheng et al. Environment classification and hierarchical lane detection for structured and unstructured roads
Zhu et al. Object tracking in structured environments for video surveillance applications
Santosh et al. Tracking multiple moving objects using gaussian mixture model
CN104537692B (en) Based on the key point tenacious tracking method that spatio-temporal context information is auxiliary
CN104378582A (en) Intelligent video analysis system and method based on PTZ video camera cruising
Flohr et al. Joint probabilistic pedestrian head and body orientation estimation
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
CN106780539B (en) Robot vision tracking
Laible et al. Terrain classification with conditional random fields on fused 3D LIDAR and camera data
Seo et al. Detection and tracking of boundary of unmarked roads
Hassan et al. An adaptive sample count particle filter
Hu et al. Depth sensor based human detection for indoor surveillance
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
Nath et al. On road vehicle/object detection and tracking using template
Dou et al. Robust visual tracking based on joint multi-feature histogram by integrating particle filter and mean shift
Li et al. Detection of Imaged Objects with Estimated Scales.
CN102622765A (en) Target tracking method adopting fish swarm algorithm on basis of Riemann flow pattern measurement
Cheng et al. Hierarchical lane detection for different types of roads
Shen et al. Comparative study of color feature for particle filter based object tracking
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171019

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191022

Year of fee payment: 6