KR101225626B1 - Vehicle Line Recognition System and Method - Google Patents

Vehicle Line Recognition System and Method Download PDF

Info

Publication number
KR101225626B1
KR101225626B1 KR1020100069537A KR20100069537A KR101225626B1 KR 101225626 B1 KR101225626 B1 KR 101225626B1 KR 1020100069537 A KR1020100069537 A KR 1020100069537A KR 20100069537 A KR20100069537 A KR 20100069537A KR 101225626 B1 KR101225626 B1 KR 101225626B1
Authority
KR
South Korea
Prior art keywords
lane
equation
point
candidate point
value
Prior art date
Application number
KR1020100069537A
Other languages
Korean (ko)
Other versions
KR20120009590A (en
Inventor
한영인
서용덕
송영기
최현철
오세영
Original Assignee
포항공과대학교 산학협력단
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 주식회사 이미지넥스트 filed Critical 포항공과대학교 산학협력단
Priority to KR1020100069537A priority Critical patent/KR101225626B1/en
Priority to PCT/KR2011/005290 priority patent/WO2012011713A2/en
Publication of KR20120009590A publication Critical patent/KR20120009590A/en
Application granted granted Critical
Publication of KR101225626B1 publication Critical patent/KR101225626B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 본 발명에 따른 방법은 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계를 포함하고, 이전 차선 방정식이 있는 경우 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계, 관심 영역 내에서 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계를 포함한다.The present invention relates to a lane recognition system and method, the method according to the present invention comprises the steps of pre-processing the vehicle front image obtained from the camera module mounted on the vehicle into an integrated image, if there is no previous lane equation integrated image and lane candidate point Extracting lane candidate points by performing a convolution of the template, obtaining a first lane equation of a lane candidate cluster obtained by converting the coordinates of the extracted lane candidate points into coordinates in a real distance coordinate system and then clustering the obtained lane candidate points Selecting a lane candidate cluster pair that satisfies a predetermined condition among the clusters as an initially detected lane pair, and converting the lane equation in the actual distance coordinate system of the selected lane pair into a lane equation in the image coordinate system, If there is a previous lane equation, Setting a region of interest within a predetermined range at a point located at, extracting lane candidate points by performing a convolution of an integrated image and a lane candidate point template within the region of interest, RANSAC (RANdom Sample) for the extracted lane candidate points Selecting a valid lane candidate point using a concensus algorithm, and obtaining a lane equation updated from a previous lane equation by applying a Kalman filter using the valid lane candidate point as a measured value.

Description

차선 인식 시스템 및 방법{Vehicle Line Recognition System and Method}Lane Recognition System and Method

본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라로 촬영한 이미지를 이용하여 차선 인식을 수행하는 시스템 및 방법에 관한 것이다.The present invention relates to a lane recognition system and method, and more particularly, to a system and method for performing lane recognition using an image taken with a camera.

종래의 차선 검출 방법으로 모바일 기기를 기반으로 빠르고 간단한 에지(Edge) 추출과 호프 트랜스폼(Hough transform)을 이용한 직선 차선 검출 방법이 있다. 그리고 PC 기반으로는 직선 또는 쌍곡선(hyperbola) 쌍으로 차선을 검출하는 방법이 있다. 이러한 방법들은 단순한 계산과정으로 인해서 속도 면에서는 빠르지만, 주행중 발생할 수 있는 차선의 소실이나, 진동 등에 약한 단점이 있다. 한편 PC 기반으로 차선의 끊어짐에 강인한 랜덤 워크(random walk), 진동이나 기타 노이즈에 강인한 칼만 필터(Kalman filter) 등의 다소 복잡한 처리과정을 사용하여 2차 곡선 또는 B-스플라인(spline)으로 차선을 안정적으로 검출하는 방법들은 3.0 GHz 이상의 고성능 PC에서 복잡한 계산을 사용하여 차선의 끊어짐, 가려짐, 도로상의 트래픽 신호(traffic sign) 등에 강인한 성능을 낸다. 에지(edge)의 방향성을 고려하는 스티어러블 필터(steerable filter)와 레이저 센서(laser sensor)의 전방 스캔(scan) 정보를 사용하여 차선의 검색 영역 최소화 및 장애물로 인한 차선 가림을 해결하는 방법도 있다. 그러나 이러한 방법들은 고성능 PC에서 처리속도가 13 ms ~ 100 ms 이상이고, 고가의 레인지 센서(range sensor)를 필요로 하기 때문에, DSP 기반의 스탠드 얼론(stand-alone) 시스템으로 구현하기에는 적합하지 않은 부분이 있다. 따라서 DSP 기반의 개별 제품을 고려할 때는, 적은 연산량을 갖는 매우 간단한 차선 검출 방법과 함께, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 강인한 추적 방법이 요구된다.Conventional lane detection methods include a straight lane detection method using fast and simple edge extraction and Hough transform based on a mobile device. The PC-based method includes detecting a lane by a straight line or hyperbola pair. These methods are fast in terms of speed due to a simple calculation process, but have weak disadvantages such as lane loss or vibration that may occur during driving. On the other hand, PC-based lanes can be used to construct lanes with quadratic curves or B-splines using rather complex processes, such as random walks that are robust against lane breakage and Kalman filters that are robust against vibration and other noise. Reliable detection methods use complex calculations on high-performance PCs above 3.0 GHz to provide robust performance for lane breaks, obstructions, and traffic signs on the road. There is also a method of minimizing the search area of the lane and obscuring the lane due to obstacles by using the front scan information of the steerable filter and the laser sensor considering the direction of the edge. . However, these methods are not suitable for DSP-based stand-alone systems because the processing speed of the high-performance PC is 13 ms to 100 ms or more and requires expensive range sensors. There is this. Therefore, when considering DSP-based individual products, a very simple lane detection method with a small amount of calculation is required, as well as a robust tracking method for vehicle vibration, lighting change, and lane change situation.

차선의 종류 인식에 관하여서는, 차선 위의 후보점의 분포를 샘플링하여 후보점 간격을 보고 점선과 실선을 판단하는 방법이 있으나, 조명 조건의 변화에 따라 차선과 도로 간의 경계가 모호해 져서 판단이 어려운 경우가 있다. 따라서 차선 위의 점과 도로 간의 차이를 판단하는 방법이 요구된다.Regarding lane type recognition, there is a method of judging the dotted line and solid line by sampling the distribution of candidate points on the lane and looking at the gap between candidate points.However, the boundary between lanes and roads is blurred due to the change of lighting conditions, making it difficult to judge. There is a case. Therefore, a method of determining the difference between the point on the lane and the road is required.

차선 색 인식 방법에 관하여서는, 조명 조건에 따라 차선 색이 매우 다양하게 바뀌므로 차선 색을 여러 조건에서 샘플링하여 방대한 데이터를 모아 인식기를 학습하는 방법이 있다. 그러나, 이러한 방법은 색변화의 비선형성을 충분히 반영하지 못하는 면이 있다. 따라서 조명으로 인한 색변화를 충분히 반영하여, 색변화가 있더라도 차선 색을 정확히 인식하는 방법이 요구된다.Regarding the lane color recognition method, since the lane color changes in various ways according to lighting conditions, there is a method of learning a recognizer by sampling a lane color under various conditions and collecting enormous data. However, this method does not sufficiently reflect the nonlinearity of the color change. Therefore, there is a need for a method of accurately recognizing lane colors even if there is a color change by sufficiently reflecting the color change due to illumination.

차선 이탈 경보에 관해서는, 차선과 차량 간의 수평 거리를 계산하고, 또한 차량이 차선을 이탈하는 예상시간 (Time to Lane Crossing: TLC)을 계산하여, 임계치와 비교하여 경보하는 방법이 통상적으로 사용된다. 이를 적용하기 위해서는 영상에서의 차선 방정식으로부터 차선의 실제 방정식 및 거리를 계산하는 방법이 요구된다.Regarding the lane departure warning, a method of calculating the horizontal distance between the lane and the vehicle, and also calculating the estimated time to lane crossing (TLC) by the vehicle, and comparing the threshold with an alarm is commonly used. . To apply this, a method of calculating the actual equation and the distance of the lane from the lane equation in the image is required.

따라서 본 발명이 해결하고자 하는 과제는 카메라로 촬영한 이미지를 이용하여 차선 방정식, 차선 종류, 차선 색, 차선 이탈 상황 등을 인식하고 경고를 수행하는 차선 인식 시스템 및 방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a lane recognition system and method for recognizing a lane equation, lane type, lane color, lane departure situation, etc. using an image captured by a camera.

이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 차선 인식 방법은, 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 단계, 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계를 포함한다.According to an exemplary embodiment of the present invention, there is provided a lane recognizing method including preprocessing a vehicle front image obtained by a camera module mounted on a vehicle into an integrated image. Extracting lane candidate points by performing a convolution of a lane candidate point template, and converting the coordinates of the extracted lane candidate points into coordinates in an actual distance coordinate system to obtain a first lane equation of a lane candidate cluster obtained by clustering Selecting a lane candidate cluster pair that satisfies a predetermined condition among the obtained lane candidate clusters as an initially detected lane pair, and converting a lane equation in an actual distance coordinate system of the selected lane pair into a lane equation in an image coordinate system Converting.

상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상일 수 있다.The integrated image may be an integrated image of a G channel component of the vehicle front image.

이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계를 포함할 수 있다.If there is a previous lane equation, setting a region of interest within a predetermined range at a point located on the previous lane equation, and extracting a lane candidate point by performing a convolution of the integrated image and the lane candidate point template within the region of interest. Selecting a valid lane candidate point by using a random sample concensus (RANSAC) algorithm for the extracted lane candidate point, and applying a Kalman filter using the valid lane candidate point as a measured value to perform the previous lane equation It may include the step of obtaining a lane equation that has been updated.

상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택할 수 있다.Among the lane candidate points extracted by performing convolution of the lane candidate point template within the ROI, the lane candidate point located at the rightmost point in the ROI of the left lane is selected as a representative value, and the leftmost lane is located at the leftmost point in the ROI of the right lane. By selecting a lane candidate point, an effective lane candidate point may be selected using the RANSAC algorithm.

상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며, 상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식The lane candidate point template has a step function in which '+1' and '-1' values have a same width (N / 2) with respect to coordinates (u, v), and the lane candidate point template And performing convolution on the integral image

Figure 112010046415364-pat00001
Figure 112010046415364-pat00001

을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출할 수 있다.Where I (u, v) is the brightness value of the integrated image at pixel (u, v), conv_left is the convolution value of the left lane candidate point template and the integrated image, and conv_right is the right lane candidate point template Coordinates u and v, which are convolution values of an integrated image and whose convolution values conv_left and conv_right are greater than or equal to a threshold value, may be extracted as the lane candidate points.

상기 업데이트 된 차선 방정식을 수학식Equation of the updated lane equation

Figure 112012067769798-pat00053
Figure 112012067769798-pat00053

Figure 112012067769798-pat00054
Figure 112012067769798-pat00054

에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식일 수 있다.According to the new lane equation, b R is the slope of the right lane equation in the updated lane equation, b L is the slope of the left lane equation in the updated lane equation, b1, b2 is a predetermined slope, Line L ' and Line R' are new left and right lane equations, and Line L and Line R may be left and right lane equations in the updated lane equation.

상기 업데이트 된 차선 방정식의 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경할 수 있다.If the vanishing point of the updated lane equation is greater than the preset maximum value, it may be changed to the maximum value, and if it is smaller than the preset minimum value, it may be changed to the minimum value.

상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단할 수 있다.In the updated lane equation, if the difference between the maximum value and the minimum value is greater than or equal to the channel brightness of a predetermined pixel, the channel brightness of the pixel is scanned from the left and right around the sampled points at predetermined intervals, and the sampled point is determined as the point on the lane. If it is determined that the point on the lane among the sampled points is less than or equal to a predetermined criterion, the updated lane may be determined as a dotted line.

상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식할 수 있다.The lane color may be recognized by inputting a lane color average of an area centered on a point located in the updated lane equation and a road color average obtained for a road area having a predetermined size to a neural network.

상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단할 수 있다.In the updated lane equation, an X coordinate of a point away from the vehicle by a predetermined distance in the vehicle front direction (Y-axis direction) may be calculated to determine whether the vehicle leaves the lane.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 차선 인식 시스템은 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상을 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고 이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 좌표를 실제 거리 좌표계에서 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈을 포함한다.The lane recognition system according to another embodiment of the present invention for solving the technical problem is a pre-processing image module for pre-processing the vehicle front image obtained from the camera module mounted on the vehicle into an integrated image, and if there is no previous lane equation, A lane candidate point is extracted by performing a convolution of an integrated image and a lane candidate point template, and the coordinates of the extracted lane candidate point are converted into coordinates in an actual distance coordinate system, and then the first lane equation of a lane candidate cluster obtained by clustering is obtained. Selecting a lane candidate cluster pair satisfying a predetermined condition among the obtained lane candidate clusters as an initially detected lane pair, and converting a lane equation in an actual distance coordinate system of the selected lane pair into a lane equation in an image coordinate system. An initial lane detection module is included.

이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 더 포함할 수 있다.If there is a previous lane equation, the region of interest is set within a predetermined range at a point located on the previous lane equation, and the lane candidate point is extracted by performing convolution of the integrated image and the lane candidate point template within the region of interest. A lane that selects a valid lane candidate point using the RANSAC algorithm for the extracted lane candidate point, and updates the previous lane equation by applying a Kalman filter using the valid lane candidate point as a measured value It may further include a lane tracking module for obtaining an equation.

상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함할 수 있다.In the updated lane equation, if the difference between the maximum value and the minimum value is greater than or equal to the channel brightness of a predetermined pixel, the channel brightness of the pixel is scanned from the left and right around the sampled points at predetermined intervals, and the sampled point is determined as the point on the lane. The method may further include a lane type recognition module configured to determine the updated lane as a dotted line when it is determined that the point on the lane among the sampled points is equal to or less than a predetermined criterion.

상기 업데이트 된 차선 방정식에 위치하는 점을 중심으로 하는 영역의 차선 색 평균과, 미리 정해진 크기의 도로 영역에 대해 구해지는 도로 색 평균을 신경망에 입력하여 차선 색을 인식하는 차선 색 인식 모듈을 더 포함할 수 있다.The apparatus further includes a lane color recognition module configured to recognize a lane color by inputting a lane color average of an area centered on a point located in the updated lane equation and a road color average obtained for a road area having a predetermined size to a neural network. can do.

상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함할 수 있다.The lane departure warning module may further include a lane departure warning module configured to calculate an X coordinate of a point away from the vehicle by a predetermined distance in the vehicle front direction (Y-axis direction) in the updated lane equation, and determine whether the vehicle leaves the lane. .

본 발명에 의하면, 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 적은 연산량으로 매우 간단하게 차선 추적 및 차선 종류, 차선 색, 차선 이탈 경고 등을 강인하게 수행할 수 있다.According to the present invention, it is possible to robustly perform lane tracking, lane type, lane color, lane departure warning, etc. with a small amount of calculation even in a vehicle vibration, lighting change, lane change situation, and the like.

도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.
도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이다.
도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이다.
도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이다.
도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.
도 7은 영상 좌표계에서 차선 방정식을 설명하기 위해 제공되는 도면이다.
도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.
도 9는 차선 종류 인식 동작을 설명하기 위해 제공되는 도면이다.
도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다.
도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이다.
도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.
도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다.1 is a block diagram provided to explain a lane recognition system according to an exemplary embodiment of the present invention.
FIG. 2 is a block diagram illustrating the lane recognition system of FIG. 1 in more detail.
3 is a flowchart provided to explain an operation of the lane recognition system of FIG. 2.
4 is a diagram illustrating an actual distance coordinate system and an image coordinate system used in a lane detection operation.
FIG. 5 is a flowchart illustrating the initial lane equation detection step of FIG. 3 in more detail.
FIG. 6 is a diagram provided to explain a method of extracting lane candidate points using a lane candidate point template.
7 is a diagram provided to explain a lane equation in an image coordinate system.
8 is a flowchart illustrating the lane equation tracking step of FIG. 3 in more detail.
9 is a view provided to explain a lane type recognition operation.
FIG. 10 is a diagram provided to explain a method of obtaining a lane curvature.
11 is a flowchart of a lane color recognition operation according to the present invention.
12 is a diagram provided to explain a lane color recognition operation.
13 is a view provided to explain a color recognition process using a neural network.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

도 1은 본 발명의 실시예에 따른 차선 인식 시스템을 설명하기 위해 제공되는 블록도이다.1 is a block diagram provided to explain a lane recognition system according to an exemplary embodiment of the present invention.

도 1을 참고하면, 먼저 차선 인식 시스템(200)은 차량(도시하지 않음)에 설치된 카메라 모듈(100)로부터 획득된 영상을 전달받고, 이를 기초로 자기 차량이 현재 위치한 차로의 차선에 대한 각종 정보를 인식하는 기능을 수행한다. 예컨대 차선에 대한 정보는 차선 방정식, 차선 종류(실선, 점선 여부), 차선 곡률, 차선 색, 차선 이탈 상황 등을 포함할 수 있다.Referring to FIG. 1, first, a lane recognition system 200 receives an image obtained from a camera module 100 installed in a vehicle (not shown), and based on this, various information about lanes of a lane in which a vehicle is currently located. It performs the function of recognizing it. For example, the information on the lane may include a lane equation, a lane type (solid line or not), lane curvature, lane color, lane departure, and the like.

카메라 모듈(100)은 차량의 전방에 설치되어 차량 전방 도로에 대한 컬러 영상을 획득하는 기능을 수행한다. 카메라 모듈(100)은 획득된 영상을 실시간으로 차선 인식 시스템(200)에 전달한다. 카메라 모듈(100)은 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀홀 카메라를 포함한다. 카메라 모듈(100)은 60°에서 120°정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.The camera module 100 is installed in front of the vehicle and performs a function of acquiring a color image of the road in front of the vehicle. The camera module 100 transmits the acquired image to the lane recognition system 200 in real time. The camera module 100 may include a lens having a large angle of view, such as a wide angle lens or a fisheye lens, and includes a pinhole camera. The camera module 100 may acquire a 3D object as a 2D image through a lens having a wide angle of view of about 60 ° to about 120 °.

그러면 도 2 및 도 3을 참고하여 본 발명에 따른 차선 인식 시스템에 대해 보다 자세하게 설명한다.2 and 3 will be described in more detail with respect to the lane recognition system according to the present invention.

도 2는 도 1의 차선 인식 시스템을 보다 상세하게 나타낸 블록도이고, 도 3은 도 2의 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.FIG. 2 is a block diagram illustrating the lane recognition system of FIG. 1 in more detail, and FIG. 3 is a flowchart provided to explain an operation of the lane recognition system of FIG. 2.

도 2를 참고하면, 차선 인식 시스템(200)은 영상 전처리 모듈(210), 초기 차선 검출 모듈(220), 차선 추적 모듈(230), 차선 종류 인식 모듈(240), 차선 색 인식 모듈(250), 차선 이탈 경고 모듈(260), 제어 모듈(270) 및 저장 모듈(280)을 포함할 수 있다.Referring to FIG. 2, the lane recognition system 200 includes an image preprocessing module 210, an initial lane detection module 220, a lane tracking module 230, a lane type recognition module 240, and a lane color recognition module 250. The lane departure warning module 260 may include a control module 270 and a storage module 280.

영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받고, 그에 대한 적분 영상(integral image)을 계산하여 출력할 수 있다.The image preprocessing module 210 may receive a vehicle front image from the camera module 100, calculate an integral image thereof, and output the calculated image.

초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력되는 적분 영상을 이용하여 초기 차선 방정식을 검출할 수 있다.The initial lane detection module 220 may detect the initial lane equation using an integrated image input from the image preprocessing module 210.

차선 추적 모듈(230)은 이전 차선 방정식이 있을 경우 이를 이용하여 새로운 차선 방정식을 구할 수 있다.The lane tracking module 230 may obtain a new lane equation using the previous lane equation if there is one.

차선 종류 인식 모듈(240)은 차선이 실선인지 점선인지 여부를 인식하는 기능을 수행할 수 있다.The lane type recognition module 240 may perform a function of recognizing whether the lane is a solid line or a dotted line.

차선 색 인식 모듈(250)은 차선 색이 백색, 노랑색 또는 파랑색인지 여부를 인식하는 기능을 수행한다. 이를 통해 차선이 중앙선인지, 버스 전용 차선인지 등에 대한 정보를 획득할 수 있다.The lane color recognition module 250 performs a function of recognizing whether the lane color is white, yellow, or blue. Through this, information about whether the lane is a center line or a bus-only lane can be obtained.

차선 이탈 경고 모듈(260)은 차량의 차선 이탈 상황을 판단하고 경고하는 기능을 수행한다.The lane departure warning module 260 determines a lane departure situation of the vehicle and performs a warning function.

제어 모듈(270)은 차선 인식 시스템(200)의 전체적인 동작을 제어한다.The control module 270 controls the overall operation of the lane recognition system 200.

저장 모듈(280)은 차선 인식 시스템(200)의 동작에 필요한 각종 정보 및 데이터를 저장하고, 각 구성요소의 요청에 따라 제공하는 기능을 수행한다.The storage module 280 stores various kinds of information and data necessary for the operation of the lane recognizing system 200 and performs a function of providing the information according to a request of each component.

그러면 도 3을 참고하여 본 발명에 따른 차선 인식 시스템의 동작을 자세하게 설명한다.Next, the operation of the lane recognition system according to the present invention will be described in detail with reference to FIG. 3.

도 3은 본 발명에 따른 차선 인식 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.3 is a flowchart provided to explain the operation of the lane recognition system according to the present invention.

먼저 영상 전처리 모듈(210)은 카메라 모듈(100)로부터 차량 전방 영상을 입력받는다(S310). 영상 전처리 모듈(210)은 입력된 차량 전방 영상의 컬러 성분 중에서 G 채널 성분을 선택하여 그에 대한 적분 영상(integral image)을 계산하여 출력한다(S320). G 채널 성분을 선택하는 이유는 터널 또는 야간에도 차선 부분과 도로 부분의 구분이 다른 채널 성분보다 명확하기 때문이다. 따라서 R, B 채널 영상을 선택하여 이하에서 설명하는 동작을 수행하는 것도 가능하나 G 채널 영상을 이용하는 것이 바람직하다. 한편 영상 전처리 모듈(210)은 카메라 모듈(100)에서 입력된 영상에 왜곡, 오류가 있을 경우 이를 보정하는 기능을 추가적으로 수행할 수도 있다.First, the image preprocessing module 210 receives an image of the vehicle front from the camera module 100 (S310). The image preprocessing module 210 selects a G channel component from the input color components of the vehicle front image and calculates and outputs an integrated image thereof (S320). The reason for selecting the G channel component is that the division of the lane portion and the road portion is clearer than other channel components even in a tunnel or at night. Therefore, it is also possible to perform the operation described below by selecting the R, B channel image, but it is preferable to use the G channel image. Meanwhile, the image preprocessing module 210 may additionally perform a function of correcting a distortion or an error in an image input from the camera module 100.

다음으로 제어 모듈(270)은 이전 차선 방정식이 있는지 여부를 판단하고(S330), 그에 따라 초기 차선 검출 모듈(220)을 제어하여 초기 차선 방정식을 검출하게 한다.Next, the control module 270 determines whether there is a previous lane equation (S330), and controls the initial lane detection module 220 accordingly to detect the initial lane equation.

보다 자세하게는 유효한 이전 차선 방정식이 없는 경우(S330-N), 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 계산된 G 채널의 적분 영상을 이용하여 초기 차선 방정식을 검출한다(S340). 단계(S340)의 초기 차선 방정식 검출 동작에 대해 도 4 및 도 5를 참고하여 보다 자세히 설명한다.More specifically, when there is no valid previous lane equation (S330-N), the initial lane detection module 220 detects the initial lane equation using the integrated image of the G channel calculated by the image preprocessing module 210 (S340). . An initial lane equation detection operation in step S340 will be described in more detail with reference to FIGS. 4 and 5.

도 4는 차선 검출 동작에서 사용되는 실제거리 좌표계와 영상 좌표계를 도시한 도면이고, 도 5는 도 3의 초기 차선 방정식 검출 단계를 보다 자세히 나타낸 흐름도이며, 도 6은 차선 후보점 템플릿을 이용하여 차선 후보점을 추출하는 방법을 설명하기 위해 제공되는 도면이다.4 is a diagram illustrating an actual distance coordinate system and an image coordinate system used in a lane detection operation, FIG. 5 is a flowchart illustrating the initial lane equation detection step of FIG. 3 in more detail, and FIG. 6 is a lane using a lane candidate point template. A diagram provided for explaining a method of extracting candidate points.

도 4에서 (a)는 차량의 전면 중심을 원점으로 하는 실제 거리 좌표계를 나타내고 있으며, (b)는 차량 전방을 촬영한 영상에서 사용되는 영상 좌표계를 나타내고 있다.In FIG. 4, (a) shows an actual distance coordinate system starting from the center of the front of the vehicle, and (b) shows an image coordinate system used in an image captured in front of the vehicle.

먼저 초기 차선 검출 모듈(220)은 영상 전처리 모듈(210)에서 입력된 적분 영상에 대한 차선 검출 대상 영역을 계산한다(S3410). 차선 검출 대상 영역은 자기 차량의 전면 중심(예컨대 차량 후드 선단의 중심)으로부터 전방 3m ~ 30m, 그리고 좌우 -4m ~ 4m의 사각 영역에 대응하는 영상 영역으로 구해질 수 있다. 예컨대, 실제 거리 좌표계에서 사각 영역의 각 코너점에 대응하는 (-4, 3), (-4, 30), (4, 3), (4, 30)에 대해 아래 수학식 1을 이용하여 영상 좌표계에서 대응하는 코너점을 구하면 차선 검출 대상 영역이 구해질 수 있다.First, the initial lane detection module 220 calculates a lane detection target region for an integrated image input by the image preprocessing module 210 (S3410). The lane detection target area may be obtained as an image area corresponding to a rectangular area of 3m to 30m in front and -4m to 4m in left and right from the front center of the vehicle (eg, the center of the vehicle hood tip). For example, an image is generated by using Equation 1 below for (-4, 3), (-4, 30), (4, 3), and (4, 30) corresponding to each corner point of the rectangular area in the actual distance coordinate system. When the corresponding corner point is obtained from the coordinate system, the lane detection target area may be obtained.

Figure 112012026238727-pat00042
Figure 112012026238727-pat00042

여기서 (X,Y)는 실제거리 좌표계에서의 좌표이고, (u,v)는 영상 좌표계에서의 좌표이며, u', v'는 원근 투영 적용 전의 영상 좌표계에서의 u, v 좌표이고, s는 원근 투영비를 나타내며, 행렬(PT: Perspective Transform)은 실제 거리 좌표계에서 좌표(X,Y)를 영상 좌표계의 좌표(u', v')로 변환하는 행렬이다. 행렬(PT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.Where (X, Y) is the coordinate in the actual distance coordinate system, (u, v) is the coordinate in the image coordinate system, u ', v' is the u, v coordinate in the image coordinate system before the perspective projection is applied, and s is Perspective Transform (PT) represents a perspective projection ratio, and is a matrix for transforming coordinates (X, Y) into coordinates (u ', v') of an image coordinate system in an actual distance coordinate system. It is generally known to find the components of the matrix PT, and thus detailed description thereof will be omitted.

다음으로 초기 차선 검출 모듈(220)은 차선 검출 대상 영역 내에서 차선 후보점을 추출한다(S3420). 도 6에 예시한 것과 같이 좌표(u0, v0)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지는 차선 후보점 템플릿(610, 620)을 이용하여 차선 후보점을 추출한다. 차선 검출 대상 영역(630)에서 적분 영상과 차선 후보점 템플릿(610, 620)에 대해 컨벌루션을 수행한 값이 미리 정해진 임계치 이상인 경우 해당 좌표를 차선 후보점(u0, v0)으로 추출할 수 있다.Next, the initial lane detection module 220 extracts a lane candidate point in the lane detection target region (S3420). As shown in FIG. 6, candidate lanes having a step function in which '+1' and '-1' values have the same width (N / 2) are continuous with respect to the coordinates u 0 and v 0 . Lane candidate points are extracted using the templates 610 and 620. If the convolution of the integrated image and the lane candidate point templates 610 and 620 in the lane detection target area 630 is greater than or equal to a predetermined threshold, the corresponding coordinates may be extracted as the lane candidate points u 0 and v 0 . have.

차선 후보점 템플릿을 나타내는 스텝 함수는 다음 수학식 2와 같이 표현될 수 있다.The step function representing the lane candidate point template may be expressed as in Equation 2 below.

Figure 112012026238727-pat00043
Figure 112012026238727-pat00043

Figure 112012026238727-pat00044
Figure 112012026238727-pat00044

여기서, fL(u)는 좌측 차선 후보점 템플릿(610)이고, fR(u)는 우측 차선 후보점 템플릿(620)을 나타낸다.Here, f L (u) represents the left lane candidate point template 610, and f R (u) represents the right lane candidate point template 620.

이하에서 차선 후보점 추출에 대해 보다 자세히 설명한다.Hereinafter, the lane candidate point extraction will be described in more detail.

먼저 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)의 폭(N)을 계산한다. 차선 후보점 템플릿(610, 620)의 폭(N)은 도로에 페인팅된 차선의 폭과 대응되게 설정될 수 있다. 일반적으로 도로에 페인팅된 차선 하나의 폭은 20cm이므로 다음 수학식 3을 이용하면 폭(N)을 구할 수 있다.First, the initial lane detection module 220 calculates the width N of the lane candidate point templates 610 and 620. The width N of the lane candidate point templates 610 and 620 may be set to correspond to the width of the lane painted on the road. In general, since the width of one lane painted on the road is 20 cm, the following equation (3) can be used to obtain the width (N).

Figure 112012026238727-pat00045
Figure 112012026238727-pat00045

Figure 112012026238727-pat00046
Figure 112012026238727-pat00046

Figure 112010046415364-pat00009
Figure 112010046415364-pat00009

여기서, X', Y'는 실제거리 좌표계에서의 좌표이고, s는 원근 투영비를 나타내며, (u,v)는 영상 좌표계에서의 좌표이며, u'는 원근 투영 적용 전의 영상 좌표계에서의 u 좌표이고, v'는 원근 투영 적용 전의 영상 좌표계에서의 v 좌표이며, 행렬(IPT: Inverse Perspective Transform)은 영상 좌표계에서의 좌표(u, v)를 실제 거리 좌표계에서의 좌표(X', Y')로 변환하는 행렬이다. 행렬(IPT)의 성분을 구하는 것은 일반적으로 알려져 있으므로 자세한 설명은 생략한다.Where X 'and Y' are coordinates in the actual distance coordinate system, s is a perspective projection ratio, (u, v) is a coordinate in the image coordinate system, and u 'is a u coordinate in the image coordinate system before the perspective projection is applied. V 'is the v coordinate in the image coordinate system before the perspective projection is applied, and the matrix (IPT: Inverse Perspective Transform) is the coordinate in the image coordinate system (u, v) in the actual distance coordinate system (X', Y ') The matrix to convert to. Obtaining the components of the matrix IPT is generally known, and thus detailed description thereof will be omitted.

영상에서 차선의 폭은 차량에서 멀어질수록 좁아지므로 v 값에 대한 함수로 계산될 수 있다. 먼저 좌표(0, v)에 대해 대응하는 실제 거리 좌표계에서의 좌표(X, Y)를 구하고, 좌표(X, Y)로부터 X축으로 20cm 이동한 좌표(X+0.2, Y)를 구한다. 그리고 좌표(X, Y)와 좌표(X+0.2, Y)를 다시 영상 좌표계로 변환한 후 좌표(u, v)와 좌표(u2, v2)의 u 축으로의 거리(u2-u)로 폭(N)을 구할 수 있다.Since the lane width in the image becomes narrower as it moves away from the vehicle, it can be calculated as a function of the value of v. First, the coordinates (X, Y) in the corresponding actual distance coordinate system are obtained with respect to the coordinates (0, v), and the coordinates (X + 0.2, Y) moved 20 cm from the coordinates (X, Y) to the X axis are obtained. After converting coordinates (X, Y) and coordinates (X + 0.2, Y) back to the image coordinate system, the width of the coordinates (u, v) and coordinates (u2, v2) in the u axis (u2-u) (N) can be obtained.

차선 후보점 템플릿(610, 620)의 폭(N)이 구해지면, 다음으로 초기 차선 검출 모듈(220)은 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션을 행하여 차선 후보점을 추출한다. 차선 후보점 템플릿(610, 620)과 차량 전방 영상의 컨벌루션은 아래 수학식 4를 이용하여 수행할 수 있다.Once the width N of the lane candidate point templates 610 and 620 is obtained, the initial lane detection module 220 performs convolution of the lane candidate point templates 610 and 620 with the vehicle front image to extract the lane candidate points. do. Convolution of the lane candidate point templates 610 and 620 and the vehicle front image may be performed by using Equation 4 below.

Figure 112010046415364-pat00010
Figure 112010046415364-pat00010

여기서, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이고, conv_right는 우측 차선 후보점 템플릿(610)과 적분 영상의 컨벌루션 값이다. 양 컨벌루션 값은 도로 부분과 차선 부분의 평균 밝기 차이를 의미한다. 따라서 이 두 값이 모두 임계치 이상인 좌표 (u,v)를 차선 후보점으로 선택한다. 한편 임계치 이상을 만족하는 차선 후보점들이 서로 이웃한 픽셀(pixel)에서 매우 많이 검출되는데, 가까운 거리에 있는 차선 후보점들 중에서 임계치가 가장 높은 후보점을 대표값으로 선택한다. 여기서 가까운 거리의 기준은 가로방향으로 차선의 폭(N)을 사용할 수 있다. 한편, 차량 전방 영상에서 일정 영역이 차량 영역으로 검출된 정보가 있는 경우, 차량 검출 영역 안에 있는 차선 후보점들은 차량에 가려져 있는 잘못된 후보점일 수 있기 때문에 차선 후보점에서 제거한다. 차량 전방 영상에서 차량 영역을 검출하는 방법은 당업자에게 이미 공지된 방법이 이용될 수 있으며, 기타 다양한 방법이 이용될 수 있다.Here, I (u, v) is a brightness value of an integrated image in pixels (u, v), conv_left is a convolution value of a left lane candidate point template 610 and an integrated image, and conv_right is a right lane candidate point template 610. ) And the convolution value of the integral image. Both convolution values represent the difference in average brightness between the road and lane sections. Therefore, we select the coordinates (u, v) where both values are above the threshold as the lane candidate points. Meanwhile, a large number of lane candidate points satisfying the threshold or more are detected in pixels adjacent to each other. Among the candidate candidates in close proximity, the candidate point having the highest threshold value is selected as the representative value. Here, the reference for the close distance may use the width N of the lane in the horizontal direction. On the other hand, if there is information that a certain area is detected as the vehicle area in the vehicle front image, the lane candidate points in the vehicle detection area may be removed from the lane candidate point because they may be wrong candidates hidden by the vehicle. As a method for detecting the vehicle area in the vehicle front image, a method already known to those skilled in the art may be used, and various other methods may be used.

다음으로 초기 차선 검출 모듈(220)은 단계(S3423)에서 얻어진 차선 후보점을 클러스터링한다(S3430). 영상 좌표계에서 차선 후보점 사이의 거리에 기반하여 클러스터링할 수 있는데, 차선 후보점 간의 거리가 미리 정해진 기준(예컨대 6 픽셀 등)이하일 때 동일한 클러스터로 정의한다. 한편, 동일 클러스터에 속한 후보점의 개수가 미리 정해진 개수(예컨대 5개) 미만인 것은 노이즈로 간주하여 제외할 수 있다. 차선 후보점에 대한 클러스터링 결과로 차선 또는 기타 차선과 비슷한 표식에 대한 차선 후보 클러스터를 얻을 수 있다.Next, the initial lane detection module 220 clusters the lane candidate points obtained in step S3423 (S3430). Clustering may be performed based on the distance between lane candidate points in the image coordinate system. When the distance between lane candidate points is equal to or less than a predetermined criterion (eg, 6 pixels), the same cluster is defined. On the other hand, the number of candidate points belonging to the same cluster is less than a predetermined number (for example, 5) can be considered as noise and excluded. As a result of clustering lane candidate points, lane candidate clusters for markers similar to lanes or other lanes can be obtained.

다음으로, 초기 차선 검출 모듈(220)은 추출된 차선 후보 클러스터에 대하여 차선 방정식을 계산한다(S3440). 초기 차선 검출을 위한 각 클러스터의 차선 방정식은 실제 거리 좌표계에서 X에 대한 Y의 1차 방정식으로 계산할 수 있다. 즉 'X = a1Y+a0' 로 나타낼 수 있다. 이를 기초로 초기 차선 방정식을 구하는 방법을 보다 자세히 설명한다.Next, the initial lane detection module 220 calculates a lane equation with respect to the extracted lane candidate cluster (S3440). The lane equation of each cluster for initial lane detection can be calculated as the linear equation of Y for X in the actual distance coordinate system. That is, it may be expressed as 'X = a 1 Y + a 0 '. Based on this, the method of obtaining the initial lane equation is explained in more detail.

먼저 영상 좌표계에서 차선 후보점의 좌표(u, v)를 실제 거리 좌표계에서 좌표(X, Y)로 행렬(IPT)을 이용하여 변환한다. 다음으로 실제 거리 좌표계로 변환된 복수 개의 후보점 집합{(X1, Y1), (X2, Y2) …, (Xn, Yn)}으로 이루어진 각 클러스터에 대한 1차 차선 방정식을 구한다. 최소자승법(LS: least squares method)을 이용하여 아래 수학식 5에 의해 구할 수 있다.First, coordinates (u, v) of lane candidate points in an image coordinate system are converted to coordinates (X, Y) in a real distance coordinate system using a matrix (IPT). Next, a plurality of candidate point sets {(X 1 , Y 1 ), (X 2 , Y 2 )... , (X n , Y n )} to find the first-order lane equation for each cluster. Using the least squares method (LS) it can be obtained by the following equation (5).

Figure 112010046415364-pat00011
Figure 112010046415364-pat00011

이렇게 각 차선 후보 클러스터에 대해 계산된 차선 방정식으로부터 다음의 차선 쌍 만족 요건을 충족하는 클러스터 쌍을 초기 검출된 차선 쌍으로 선택한다(S3450). 한편 실시예에 따라서 하기 5개의 차선 쌍 만족 요건 중 일부를 생략하거나 일부를 추가로 할 수 있음은 물론이다.In this way, a cluster pair that satisfies the next lane pair satisfaction requirement is selected as the initially detected lane pair from the lane equation calculated for each lane candidate cluster (S3450). Meanwhile, some of the following five lane pair satisfaction requirements may be omitted or additionally added according to embodiments.

조건 1) 실제 거리 좌표계에서 3 m ~ 10 m 사이의 차선 후보점 개수가 10 개 이상인 차선 쌍Condition 1) A lane pair with 10 or more lane candidate points between 3 m and 10 m in the actual distance coordinate system.

조건 2) 5 m 지점에서 두 차선 사이의 거리가 2.2 m ~ 3.0 m 영역에 있는 차선 쌍Condition 2) A pair of lanes with a distance between 2.2 m and 3.0 m from the 5 m point

조건 3) 실제 거리 좌표계에서 두 차선의 기울기 차이가 2°이하Condition 3) The difference between the slopes of the two lanes in the actual distance coordinate system is 2 ° or less.

조건 4) 조건 1)~3) 을 만족하는 차선 쌍이 여럿 있을 경우, 조건 2)의 차선 사이 거리가 가장 작은 쌍을 선택Condition 4) When there are several lane pairs satisfying conditions 1) to 3), select the pair with the smallest distance between lanes under condition 2).

조건 5) 선택된 차선 쌍에서 5 m 지점에서의 X 좌표가 큰 것이 오른쪽 차선, 작은 것이 왼쪽 차선Condition 5) In the selected lane pair, the larger X coordinate at 5 m is the right lane, the smaller the left lane.

단계(S3450)에서 차선 쌍 검출이 실패한 경우, 제어 모듈(270)은 현재 입력 영상에 차선이 없는 것으로 간주하고, 다음 입력 영상에서 초기 차선 검출 동작이 수행되도록 제어한다.If lane pair detection fails in step S3450, the control module 270 considers that there is no lane in the current input image, and controls the initial lane detection operation to be performed on the next input image.

한편 단계(S3450)에서 차선 쌍 검출에 성공한 경우, 초기 차선 검출 모듈(220)은 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환한다(S3460). 영상 좌표계에서의 차선 방정식으로 변환하는 이유는 다음과 같다. 이전 차선 정보가 있는 경우 차선 추적 모듈(230)을 이용하여 차선을 추적하는 동작을 수행하게 되는데, 차선 추적은 계산 상의 효율을 위해 영상 좌표계에서 이루어지기 때문이다. 실제 거리 좌표계와 영상 좌표계 사이에서의 차선 방정식 변환은 두 좌표계 간의 변환이 비선형이므로 방정식 자체를 변환할 수 없고, 차선 위에서 샘플링(sampling)된 점들을 영상 좌표계로 변환하여 다시 방정식의 계수를 찾아내는 방법으로 이루어질 수 있다.On the other hand, if the lane pair detection is successful in step S3450, the initial lane detection module 220 converts the lane equation in the actual distance coordinate system to the lane equation in the image coordinate system (S3460). The reason for the conversion to the lane equation in the image coordinate system is as follows. If there is previous lane information, the lane tracking module 230 is used to track the lane, since the lane tracking is performed in the image coordinate system for computational efficiency. In the lane equation transformation between the actual distance coordinate and the image coordinate system, the equation itself cannot be transformed because the transformation between the two coordinate systems is nonlinear, and the coefficients of the equation are again found by converting the sampled points on the lane into the image coordinate system. Can be done.

영상 좌표계에서의 차선 방정식은 도 7에 나타낸 것과 같이 영상의 u 좌표에 대한 v 좌표의 쌍곡선(hyperbolar) 방정식이다. 이 방정식은 실제 좌표계에서의 2차 방정식에 대응되는 것으로, 차선의 곡률을 나타내는 계수 k, 왼쪽 차선의 점근선 기울기 bL, 오른쪽 차선의 점근선 기울기 bK, 두 점근선이 만나는 소실점의 좌표(c, h)로 표현된다. 좌표계 변환을 위해 실제 거리 좌표계에서 구해진 1차 차선 방정식에 대하여 3m ~ 30m 사이에서 1m 간격으로 차선 위의 점을 샘플링(sampling)하고 행렬(PT)을 이용하여 각 점들을 영상 좌표로 변환한다. 그리고 소실점의 v 좌표인 h 값은 행렬(PT)을 이용하여 아래 수학식 6과 같이 실제 좌표에서 Y가 무한대일 때 대응 값으로 구한다.The lane equation in the image coordinate system is a hyperbolar equation of the v coordinate with respect to the u coordinate of the image, as shown in FIG. This equation corresponds to a quadratic equation in the real coordinate system, the coefficient k representing the curvature of the lane, the asymptotic slope b L in the left lane, the asymptotic slope b K in the right lane, and the coordinates of the vanishing point where the two asymptotes meet (c, h ) For the coordinate system transformation, points on the lanes are sampled at intervals of 1m from 3m to 30m for the first-lane equations obtained from the actual distance coordinate system, and each point is converted into image coordinates using a matrix (PT). In addition, h value, which is the v coordinate of the vanishing point, is obtained as a corresponding value when Y is infinite in actual coordinates using Equation 6 below using a matrix (PT).

Figure 112010046415364-pat00012
Figure 112010046415364-pat00012

다음으로는 샘플링된 좌우 차선 위의 점

Figure 112010046415364-pat00013
에 대하여 아래의 수학식 7을 이용하여 최소 자승법을 통해 쌍곡선 방정식의 계수를 구한다.Next, a point on the sampled left and right lanes.
Figure 112010046415364-pat00013
For Equation 7, the coefficients of the hyperbolic equation are obtained by using the least square method.

Figure 112010046415364-pat00014
Figure 112010046415364-pat00014

다시 도 3으로 돌아가서 이전 차선 정보가 있는 경우(S330-Y), 제어 모듈(260)은 차선 추적 모듈(230)은 제어하여 이전 차선 방정식을 기초로 새로운 차선 방정식을 추적한다(S350).3, if there is previous lane information (S330-Y), the control module 260 controls the lane tracking module 230 to track the new lane equation based on the previous lane equation (S350).

도 8은 도 3의 차선 방정식 추적 단계를 보다 자세히 나타낸 흐름도이다.8 is a flowchart illustrating the lane equation tracking step of FIG. 3 in more detail.

도 8을 참고하면, 먼저 차선 추적 모듈(230)은 이전 차선 정보가 있는 경우 이전의 차선 위치에서 관심 영역(Region of Interest)을 설정하고(S3510), 관심 영역 내에서 차선 후보점을 추출한다(S3520). 관심 영역은 미리 정해진 기준에 따라 설정될 수 있다. 예컨대 이전 차선 방정식 상에 위치하는 점에서 좌우로 60cm 범위 내로 설정될 수 있으며 이는 연산속도, 정확도 등을 고려하여 사용자에 의해 적절하게 설정될 수 있다. 관심 영역 내에서 차선 후보점을 추출하는 방법은 초기 차선 추출에서와 같이 차선 후보점 템플릿을 이용할 수 있다. 한편 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하도록 구현할 수 있다. 이렇게 하면 두 갈래로 차선이 갈라질 때, 갈라져 나오는 새로운 차선 위의 후보점을 선택하지 않고 원래 차선 위의 후보점을 선택할 수 있기 때문에 관심 영역 내에서 두 갈래로 갈라지는 차선이 있을 경우에도 현재 추적되는 차선을 따라 지속적인 추적이 가능하다.Referring to FIG. 8, first, if there is previous lane information, the lane tracking module 230 sets a region of interest at a previous lane position (S3510), and extracts lane candidate points within the region of interest (S3510). S3520). The region of interest may be set according to a predetermined criterion. For example, it may be set within a range of 60 cm from the left and right at the point located on the previous lane equation, and may be appropriately set by the user in consideration of arithmetic speed and accuracy. The lane candidate point extraction method in the ROI may use the lane candidate point template as in the initial lane extraction. Meanwhile, the lane candidate point located on the right side may be selected as the representative value among the lane candidate points, and the lane candidate point located on the left side in the ROI of the right lane may be selected. This allows you to select a candidate point on the original lane when a lane splits into two, instead of selecting a candidate point on the new lane that splits, so that even if there are two split lanes within the area of interest Follow-on tracking is possible.

다음으로 차선 추적 모듈(230)은 단계(S3510)에서 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택한다(S3530). 보다 자세하게는 RANSAC 알고리즘은 모델 피팅(model fitting)에서 아웃라이어(outlier)를 효과적으로 제거하는 방법인데, 추출된 좌우 차선 후보점 각각에 대하여 차선 쌍곡선(hyperbolar) 방정식을 피팅 모델(fitting model)로 하여 인라이어(inlier)만 선택한다. 이때, RANSAC 알고리즘에서 사용된 인라이어(inlier) 임계치는 차선 하나의 폭인 20cm(행렬(PT)을 이용하여 영상 좌표에서의 거리로 환산해야 함)가 이용될 수 있으며, 반복 횟수는 미리 설정될 수 있다. 예컨대 반복 횟수를 시스템 부하 등을 고려하여 100번으로 설정할 수 있다. 아래는 RANSAC 알고리즘으로 유효 차선 후보점에 해당하는 인라이너(inlier)를 선택하는 과정이다.Next, the lane tracking module 230 selects a valid lane candidate point using a random sample concensus (RANSAC) algorithm for the lane candidate point extracted in step S3510 (S3530). In more detail, the RANSAC algorithm effectively removes outliers from model fitting. The RANSAC algorithm uses a hyperbolar equation as a fitting model for each extracted left and right lane candidate points. Choose only inliers. In this case, the inlier threshold used in the RANSAC algorithm may use a width of 20 cm (which should be converted into a distance in image coordinates using a matrix PT) of one lane, and the number of repetitions may be preset. have. For example, the number of repetitions can be set to 100 considering the system load. The following is a process of selecting an inliner corresponding to a valid lane candidate point using the RANSAC algorithm.

과정 1) 추출된 왼쪽 차선 후보점에서 3개의 서로 다른 점을 무작위로 선택한다.Process 1) Randomly select three different points from the extracted left lane candidate points.

과정 2) 선택된 차선 후보점으로 최소 자승 에러(least squares error)를 가지는 왼쪽 차선 방정식 계수(k, bL, c)를 구한다.Step 2) The left lane equation coefficient (k, b L , c) having the least squares error is obtained as the selected lane candidate point.

과정3) 계산된 차선 방정식으로부터 u 좌표의 거리 차이가 20cm 이하인 점들을 인라이너(inlier)로 선택한다.Step 3) Inliers are selected points whose distance difference of u coordinate is less than 20cm from the calculated lane equation.

과정4) 인라이너(inlier)의 개수가 이전 결과보다 많으면 인라이너(inlier)를 저장하고, 과정 1) ~ 3) 을 반복한다. 과정 1) ~ 3) 을 미리 정해진 횟수만큼 반복했거나, 인라이너(inlier)의 개수가 후보점 전체와 같아지면 반복을 중단하고 그 때까지 선택된 인라이너(inlier)를 유효 차선 후보점으로 선택한다.Step 4) If the number of inliers is larger than the previous result, the inliner is stored and the steps 1) to 3) are repeated. If the process 1) to 3) is repeated a predetermined number of times, or if the number of inliers is equal to the entire candidate points, the repetition is stopped and the selected inliers are selected as valid lane candidate points until then.

과정 5) 추출된 오른쪽 차선 후보점에 대해서도 과정 1) ~ 4) 를 반복하여, 유효 차선 후보점을 선택한다.Step 5) Repeat steps 1) to 4) for the extracted right lane candidate points to select an effective lane candidate point.

다음으로 차선 추적 모듈(230)은 RANSAC 알고리즘을 통해 선별된 유효 차선 후보점을 측정값(measurement)으로 하여 칼만 필터를 적용함으로써 새로운 차선 방정식으로 업데이트한다(S3540). 한편 왼쪽 또는 오른쪽 관심영역에서 선택된 유효 차선 후보점의 개수가 10개 미만이면 그 관심영역의 후보점은 측정값(measurement)에 포함하지 않는다. 만약 왼쪽 또는 오른쪽의 관심영역 모두 유효 차선 후보점의 개수가 10개 미만이면 업데이트(update) 과정을 수행하지 않고 차선 방정식이 없다고 처리할 수 있다. 업데이트 과정을 수행하지 않는 유효 차선 후보점의 개수는 본 실시예에서는 10개로 설정하였으나 반드시 이에 한정되는 것은 아니며, 정확도와 트레이드 오프되는 관계가 있으므로, 실시예에 따라 요구되는 정확도에 따라 가감하여 적절한 숫자로 조정 가능하다.Next, the lane tracking module 230 updates the new lane equation by applying a Kalman filter using the valid lane candidate points selected through the RANSAC algorithm as a measurement (S3540). Meanwhile, if the number of valid lane candidate points selected in the left or right ROI is less than 10, the candidate points of the ROI are not included in the measurement. If the left or right ROI is less than 10 valid lane candidate points, the lane equation may be processed without performing an update process. The number of valid lane candidate points for which the update process is not performed is set to 10 in this embodiment, but the present invention is not limited thereto. Since there is a relationship between the accuracy and the trade-off, an appropriate number is added or subtracted according to the required accuracy according to the embodiment. It is adjustable by.

이와 같이 차선 후보점에 대해 RANSAC 알고리즘을 사용하여 관심 영역 내의 차선 후보점만을 새로운 차선을 찾는 데에 이용하면, 도로상의 표지로 인한 영향을 배제할 수 있고, 매우 빠른 연산이 가능하다. 한편 도로 주행시에 있는 진동과 차선의 일시적인 끊어짐, 조명 변화 등으로 인해 차선 후보점이 관심 영역 내에서 존재하지 않을 경우가 있다. 따라서 이런 경우를 견디기 위한 방법으로, 가우션 잡음(Gaussian noise)에 강인하며 비선형 방정식을 추적할 수 있는 확장 칼만 필터(Extended Kalman Filtering:EKF) 방법을 사용하여 차선을 추적하는 것이 바람직하다.As such, when only the lane candidate points within the region of interest are used to find new lanes using the RANSAC algorithm for the lane candidate points, it is possible to exclude the influence due to the marking on the road and to perform a very fast operation. On the other hand, there are cases where lane candidate points do not exist in the region of interest due to vibrations on the road, temporary breaks in the lanes, and lighting changes. Therefore, it is desirable to track lanes using the Extended Kalman Filtering (EKF) method, which is robust to Gaussian noise and can track nonlinear equations.

다음으로 차선 추적 모듈(230)은 업데이트 된 차선 방정식에 대해 차선 변경 및 소실점 변경을 수행한다(S3550). 차선 변경은 좌측 이웃 차선으로 변경하는 경우와 우측 이웃 차선으로 변경하는 경우 두 가지로 나눌 수 있다. 이하에서 업데이트된 차선 쌍은 칼만 필터를 이용하여 단계(S3530)에서 업데이트된 차선 방정식에 의해 표현되는 차선 쌍을 의미하고, 새로운 차선 쌍은 차선 변경 및 소실점 변경을 적용하여 최종적으로 추적된 차선 쌍을 의미한다.Next, the lane tracking module 230 performs a lane change and a vanishing point change on the updated lane equation (S3550). The lane change can be divided into two cases of changing to the left neighboring lane and changing to the right neighboring lane. Hereinafter, the updated lane pair refers to a lane pair represented by the lane equation updated in step S3530 by using a Kalman filter, and the new lane pair applies a lane change and a vanishing point change to finally detect the lane pair. it means.

좌측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 우측 차선의 기울기(bR)가 -0.2 보다 작은 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 우측 차선 방정식(LineR)을 새로운 차선 쌍의 좌측 차선 방정식(LineL')으로 변경하고, u 축을 기준으로 폭 +

Figure 112010046415364-pat00015
만큼 평행 이동하여 새로운 차선 쌍의 우측 차선 방정식을 다시 설정한다. 여기서 +
Figure 112010046415364-pat00016
은 실제 거리 좌표계에서 차선 폭(예컨대 3.5m)을 영상 좌표계로 변환한 값이다.The change to the left neighboring lane is defined as a case where the slope b R of the right lane in the updated lane pair is smaller than −0.2. In this case, change the updated lane pair's right lane equation (Line R ) to the new lane pair's left lane equation (Line L ' ) and use the width +
Figure 112010046415364-pat00015
Move parallel by to reset the right lane equation for the new lane pair. Where +
Figure 112010046415364-pat00016
Is a value obtained by converting a lane width (for example, 3.5m) into an image coordinate system in an actual distance coordinate system.

한편 우측 이웃 차선으로 변경하는 경우는, 업데이트된 차선 쌍에서 좌측 차선의 기울기(bL)가 0.2 보다 큰 경우로 정의한다. 이 경우, 업데이트된 차선 쌍의 좌측 차선 방정식(LineL)을 새로운 차선 쌍의 우측 차선 방정식(LineR')으로 간주하고, 그에 대해 폭 -

Figure 112010046415364-pat00017
만큼 평행 이동하여 새로운 차선 쌍의 좌측 차선 방정식을 다시 설정한다. 아래 수학식 8은 이러한 차선 정보 변경을 나타낸 것이다.The change to the right neighboring lane is defined as a case where the slope b L of the left lane is greater than 0.2 in the updated lane pair. In this case, consider the updated lane pair's left lane equation (Line L ) as the new lane pair's right lane equation (Line R ' ),
Figure 112010046415364-pat00017
Move parallel by to reset the left lane equation of the new lane pair. Equation 8 below shows such lane information change.

Figure 112012026238727-pat00047
Figure 112012026238727-pat00047

Figure 112012026238727-pat00048
Figure 112012026238727-pat00048

한편 업데이트된 소실점이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 최소값보다 작은 경우 최소값으로 변경한다. 이렇게 소실점을 변경하는 이유는 차선 추적 과정에서 소실점이 발산하는 것을 방지하기 위해서다. 예를 들어 소실점의 가능 범위를 최대값(v80m)과 최소값(v30m)으로 설정한 경우 업데이트된 소실점이 최대값(v80m)과 최소값(v30m) 범위 내면 해당 소실점을 그대로 사용하고, 최대값(v80m)보다 크면 소실점을 최대값(v80m)으로 변경하고, 최소값(v30m)보다 작으면 최소값(v30m)으로 변경할 수 있다. 여기서 v80m, v30m는 각각 실제 거리 좌표계에서 차량으로부터 전방 80m, 30m에 해당하는 Y 좌표를 영상 거리 좌표계로 변환했을 때 그에 대응하는 v 좌표값이다. On the other hand, if the updated vanishing point is larger than the preset maximum value, it is changed to the maximum value, and if the updated vanishing point is smaller than the minimum value, the minimum value is changed. The reason for changing the vanishing point is to prevent the vanishing point from diverging during the lane tracking process. For example, if you set the possible range of vanishing points to the maximum value (v 80m ) and the minimum value (v 30m ), if the updated vanishing point is within the maximum value (v 80m ) and the minimum value (v 30m ), the corresponding vanishing point is used as it is. value can be changed by changing the vanishing point is greater than (v 80m) to the maximum value (v 80m), and the minimum value of the minimum value (v 30m) is less than (v 30m). Where v 80m , v 30m is the corresponding v coordinate value when the Y coordinates corresponding to 80m and 30m ahead of the vehicle are converted into the image distance coordinate system in the actual distance coordinate system, respectively.

차선 추적이 완료되면, 차선 종류 인식 모듈(240)은 차선의 점선, 실선 여부와 차선 곡률을 계산할 수 있다(S360).When the lane tracking is completed, the lane type recognition module 240 may calculate a dotted line, a solid line, and a lane curvature of the lane (S360).

차선의 점선, 실선 인식은 다음과 같이 이루어질 수 있다. 차량 전방 영상의 차선 방정식에서 차량 전방 5m ~ 20m에 해당하는 차선 위의 픽셀(pixel)값과 주위 픽셀값을 이용하여 실선인지 점선인지를 인식한다. 도 9와 같이 각 차선 위에서 미리 정해진 간격(예컨대 1m 등)으로 샘플링된 점(point)을 중심으로 좌우 20 픽셀로 G 채널 밝기(intensity)를 스캔(scan)하고, 그 중에서 최대값과 최소값의 차이가 미리 정해진 임계치 이상인 점은 차선 위의 점, 임계치 이하인 점은 차선이 끊어진 도로 영역의 점으로 간주한다. 차량 전방 5m ~ 20m에 해당하는 전체 점의 개수에 대하여 차선 위의 점의 개수 비율을 계산하고, 이 값이 0.9 이상이면 실선, 0.9 이하이면 점선으로 판단할 수 있다. 본 실시예에서는 차량 전방 5m ~ 20m 에 해당하는 차선에 대해 차선 위의 점의 개수 비율이 0.9 이상인 경우를 기준으로 점선, 실선 여부를 판단하였으나, 실시예에 따라 차량 전방의 범위와 점의 개수 비율을 다르게 설정될 수 있다.The dotted line and solid line recognition of the lane may be performed as follows. In the lane equation of the vehicle front image, whether a solid line or a dotted line is recognized using a pixel value and surrounding pixel values on a lane corresponding to 5m to 20m in front of the vehicle. As shown in FIG. 9, the G channel intensity is scanned with 20 pixels on the left and right sides of the points sampled at predetermined intervals (for example, 1 m) on each lane, and the difference between the maximum value and the minimum value among them. Is a point above the lane, and a point below the threshold is regarded as a point of the road area where the lane is broken. The ratio of the number of points on the lane is calculated with respect to the total number of points corresponding to 5m to 20m in front of the vehicle, and if the value is 0.9 or more, it may be determined as a solid line and 0.9 or less. In the present exemplary embodiment, the dotted line and the solid line are determined based on the case where the number of points on the lane is 0.9 or more for the lanes corresponding to 5m to 20m in front of the vehicle. Can be set differently.

차선의 곡률 반경은 검출된 차선의 15 m ~ 30 m 사이의 차선에 대한 곡률을 계산할 수 있다. 도 10은 차선 곡률을 구하는 방법을 설명하기 위해 제공되는 도면이다. 도 10을 참고하면, 곡률 반경은 먼저 곡률 기준 위치인 차선의 15 m 지점과 22.5 m, 30 m 지점을 행렬(IPT)과 영상 좌표계에서의 차선 방정식을 이용하여 계산할 수 있다. 그 다음으로 차선의 15 m 지점과 22.5 m 지점을 잇는 선분에 수직인 직선과, 22.5 m와 30 m 지점을 잇는 선분에 수직인 직선과의 교점을 곡률 중심으로 하고, 22.5 m 지점과 곡률 중심 사이의 거리를 곡률 반경으로 계산할 수 있다.The radius of curvature of the lane can calculate the curvature for the lane between 15 m and 30 m of the detected lane. FIG. 10 is a diagram provided to explain a method of obtaining a lane curvature. Referring to FIG. 10, the radius of curvature may be first calculated using a matrix equation (IPT) and a lane equation in an image coordinate system at 15 m, 22.5 m, and 30 m points of a lane that is a curvature reference position. Next, the center of curvature is the intersection of a straight line perpendicular to the line connecting the 15 m and 22.5 m lanes and a straight line perpendicular to the line connecting the 22.5 m and 30 m points, and between the 22.5 m and the center of curvature. The distance of can be calculated as the radius of curvature.

한편 차선색 인식 모듈(250)은 차선의 색상을 인식할 수 있다(S370). 도 11은 본 발명에 따른 차선색 인식 동작의 흐름도이고, 도 12는 차선색 인식 동작을 설명하기 위해 제공되는 도면이다.Meanwhile, the lane color recognition module 250 may recognize the color of the lane (S370). 11 is a flowchart of a lane color recognition operation according to the present invention, and FIG. 12 is a view provided to explain the lane color recognition operation.

먼저 차선 위의 점 및 도로 영역을 샘플링(sampling)하여 색 평균을 구한다(S3710). 현재 검출 또는 추적된 차량의 전방 5 m ~ 20 m 사이의 차선에 대하여 차선 종류 인식과정에서와 동일한 방법으로 미리 정해진 간격으로 샘플링된 점(point)을 중심으로 적절한 크기의 사각형 영역을 선택하여 차선 색 평균을 구한다. 그리고 도 12에 예시한 것과 같이 차량 전방 5m 영역에 대해 차선과 10 픽셀(pixel) 떨어진 점을 중심으로 하는 미리 정해진 크기(예컨대 20×20 픽셀)의 도로 영역을 이용하여 도로 색 평균을 구한다. 그리고 차선 색과 도로 색을 정규화(normalize)하여 신경망 입력이 되도록 합친다. 정규화 방법은 아래 수학식 9와 같다.First, a color average is obtained by sampling a point and a road area on a lane (S3710). For lanes between 5 m and 20 m ahead of the currently detected or tracked vehicle, select the appropriately sized rectangular area around the points sampled at predetermined intervals in the same way as the lane type recognition process. Find the average. As illustrated in FIG. 12, the road color average is obtained using a road area having a predetermined size (for example, 20 × 20 pixels) centered on a point 10 pixels away from the lane with respect to a 5 m area in front of the vehicle. The lane colors and road colors are normalized and combined to become neural network input. The normalization method is shown in Equation 9 below.

Figure 112010046415364-pat00020
Figure 112010046415364-pat00020

여기서, (RL, BL, GL)은 차선 위의 점의 색상 값이고, (RR, BR, GR)은 도로 영역의 평균 색상 값이다.Here, (R L , B L , G L ) is the color value of the point on the lane, (R R , B R , G R ) is the average color value of the road area.

다음으로 학습된 신경망으로 색 인식을 수행한다(S3730). 도 13은 신경망을 이용한 색 인식 과정을 설명하기 위해 제공되는 도면이다. 신경망은 도 13에서와 같이 입력층-은닉층-출력층의 '4-5-3'의 구조로 되어 있다. 신경망의 입력은 4차원 벡터인데, 차선 색에 대한 정규화된 B, G 채널 값과 차선 색에 대응되는 도로 색에 대한 B, G 채널 값으로 구성된다. 차선 색만을 입력으로 사용하지 않고 도로 색을 추가하는 것은 다양한 조명에 따른 비선형 색변환을 신경망이 학습할 수 있도록 하기 위함이다. 신경망의 출력은 3차원 바이폴라(bipolar) 벡터인데, 흰색 차선의 경우 [1 -1 -1], 노란색 차선의 경우 [-1 1 -1], 파란색 차선의 경우 [-1 -1 1] 을 출력한다. 물론 각 색상의 차선 별로 출력되는 3차원 바이폴라 벡터를 다른 값으로 설정할 수도 있다. 한편 신경망을 학습하기 위해서는 다양한 조명상황에서 얻은 차선 색과 도로 색의 데이터가 필요하다. 차선 색 및 도로 색 학습데이터는 도 12와 같이 주광, 터널, 역광, 푸른색 화이트밸런스 상황에서 도로 색과 차선 색을 샘플링하여 구성할 수 있다. 도로 색은 차선과 가까운 위치의 도로 영역을 적당한 크기의 사각형으로 추출한 뒤 RGB 각 채널의 평균 값을 구한다. 이 값이 현재 영상의 조명 상태를 대표하는 값이다. 그리고 차선 색은 차선 위를 적당한 크기의 사각형으로 추출한다. 입력은 차선 색의 각 픽셀의 정규화된 B, G 채널 값과 도로색의 정규화된 B, G 채널로 구성하고, 타겟 출력은 흰색, 노란색, 파란색에 대하여 각각 (1 -1 -1), (-1 1 -1), (-1 -1 1) 로 구성한다. 이때, 학습은 Levenberg-Marquart backpropagation 방법으로 학습할 수 있다. 이렇게 학습 된 신경망으로 차선 색을 인식하는 과정은 계산된 신경망 입력들에 대한 출력들을 얻고, 가장 많은 수의 출력을 얻은 색을 인식된 색으로 출력할 수 있다.Next, color recognition is performed using the learned neural network (S3730). 13 is a view provided to explain a color recognition process using a neural network. The neural network has a structure of '4-5-3' of the input layer-hidden layer-output layer as shown in FIG. The input of the neural network is a four-dimensional vector, which is composed of normalized B and G channel values for lane colors and B and G channel values for road colors corresponding to lane colors. Adding road colors instead of using only lane colors as inputs is to allow the neural network to learn nonlinear color conversions for various lighting. The output of the neural network is a three-dimensional bipolar vector, which outputs [1 -1 -1] for white lanes, [-1 1 -1] for yellow lanes, and [-1 -1 1] for blue lanes. do. Of course, the 3D bipolar vector output for each lane of each color may be set to different values. Meanwhile, in order to learn neural networks, data of lane colors and road colors obtained from various lighting situations are required. Lane color and road color learning data may be configured by sampling road color and lane color in daylight, tunnel, backlight, and blue white balance situations as shown in FIG. 12. For road color, the road area near the lane is extracted as a square of appropriate size, and the average value of each channel of RGB is obtained. This value represents a lighting state of the current image. The lane color is extracted as a rectangle of a suitable size on the lane. The input consists of the normalized B and G channel values of each pixel of the lane color and the normalized B and G channels of the road color, and the target output is (1 -1 -1) and (- 1 1 -1) and (-1 -1 1). At this time, the learning can be learned by the Levenberg-Marquart backpropagation method. The process of recognizing the lane color with the learned neural network can obtain outputs for the calculated neural network inputs, and output the most obtained color as the recognized color.

마지막으로 차선 이탈 경고 모듈(260)은 업데이트된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 차량의 차선 이탈 여부를 판단할 수 있다. 예컨대 차선 이탈 경고 모듈(260)은 새로 구해진 차선 방정식으로부터 차량 전방 3m에서 차선의 X 좌표를 계산하여 차선 이탈 여부를 판단하고 경고 동작을 수행한다(S380). 차선 이탈 여부 판단은 다음과 같이 수행될 수 있다. 전방 3m에서 왼쪽 차선의 계산된 X 좌표가 -50cm보다 큰 경우 왼쪽 차선 이탈 상황으로, 오른쪽 차선의 계산된 X 좌표가 50cm보다 작은 경우 오른쪽 차선 이탈 상황으로 인지할 수 있다. 물론 실시예에 따라 차선의 X 좌표를 계산하는 지점을 다르게 설정할 수 있고 이 경우 차선 이탈의 기준이 되는 X 좌표 값도 그에 맞추어 다르게 설정할 수 있다. 한편 차선 이탈 상황으로 인지된 경우, 차선 이탈 경고 모듈(260)은 스피커 또는 경고등 등의 출력수단(도시하지 않음)을 통해 차선 이탈 상황을 경고할 수 있다.Finally, the lane departure warning module 260 may determine the lane departure of the vehicle by calculating the X coordinate of a point away from the vehicle in a direction in front of the vehicle (Y-axis direction) in the updated lane equation. For example, the lane departure warning module 260 determines the lane departure by calculating the X coordinate of the lane at 3 m in front of the vehicle from the newly obtained lane equation, and performs a warning operation (S380). The lane departure determination may be performed as follows. If the calculated X coordinate of the left lane is larger than -50cm at 3m ahead, it can be regarded as a left lane departure situation. If the calculated X coordinate of the right lane is smaller than 50cm, it can be regarded as a right lane departure situation. Of course, according to the exemplary embodiment, the point for calculating the X coordinate of the lane may be set differently, and in this case, the X coordinate value that is a reference to the lane departure may be set differently accordingly. Meanwhile, if it is recognized as a lane departure situation, the lane departure warning module 260 may warn the lane departure situation through an output means (not shown) such as a speaker or a warning light.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 차선 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a computer-readable medium having program instructions for performing various computer-implemented operations. This medium records a program for executing the lane detection method described above. The medium may include program instructions, data files, data structures, etc., alone or in combination. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD and DVD, programmed instructions such as floptical disk and magneto-optical media, ROM, RAM, And a hardware device configured to store and execute the program. Or such medium may be a transmission medium, such as optical or metal lines, waveguides, etc., including a carrier wave that transmits a signal specifying a program command, data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (20)

차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상에 대해 R, G, B 컬러 성분 중에서 선택된 채널 성분에 대한 적분 영상으로 전처리하는 단계,
이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
상기 추출된 차선 후보점의 영상 좌표계에서의 좌표를 실제 거리 좌표계에서의 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하는 단계,
상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하는 단계, 그리고
상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 단계
를 포함하는 것을 특징으로 하는 차선 인식 방법.Pre-processing an integrated image of a channel component selected from among R, G, and B color components with respect to the vehicle front image acquired by the camera module mounted on the vehicle;
Extracting a lane candidate point by performing a convolution of the integrated image and the lane candidate point template when there is no previous lane equation;
Obtaining a first lane equation of a lane candidate cluster obtained by converting coordinates of the extracted lane candidate point in the image coordinate system into coordinates in an actual distance coordinate system and clustering the same;
Selecting a lane candidate cluster pair satisfying a predetermined condition among the obtained lane candidate clusters as an initially detected lane pair, and
Converting a lane equation in an actual distance coordinate system of the selected lane pair into a lane equation in an image coordinate system
Lane recognition method comprising a. 제 1 항에서,
상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 방법.The method of claim 1,
And the integrated image is an integrated image of a G channel component of the vehicle front image. 제 2 항에서,
이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하는 단계,
상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하는 단계,
상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하는 단계, 그리고
상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 단계
를 포함하는 것을 특징으로 하는 차선 인식 방법.3. The method of claim 2,
If there is a previous lane equation, setting a region of interest within a range at a point located on the previous lane equation,
Extracting lane candidate points by performing a convolution of the integrated image and the lane candidate point template in the ROI;
Selecting an effective lane candidate point using the random sample concensus (RANSAC) algorithm for the extracted lane candidate point, and
Obtaining a lane equation by updating the previous lane equation by applying a Kalman filter using the valid lane candidate point as a measured value;
Lane recognition method comprising a. 제 3 항에서,
상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 방법.In claim 3,
Among the lane candidate points extracted by performing convolution of the lane candidate point template within the ROI, the lane candidate point located at the rightmost point in the ROI of the left lane is selected as a representative value, and the leftmost lane is located at the leftmost point in the ROI of the right lane. Selecting a lane candidate point and selecting an effective lane candidate point using the RANSAC algorithm. 제 3 항에서,
상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
Figure 112010046415364-pat00021

을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 방법.In claim 3,
The lane candidate point template has a step function in which '+1' and '-1' values have a same width (N / 2) with respect to coordinates (u, v).
The convolutional performance of the lane candidate point template and the integrated image is expressed by an equation
Figure 112010046415364-pat00021

Where I (u, v) is the brightness value of the integrated image at pixel (u, v), conv_left is the convolution value of the left lane candidate point template and the integrated image, and conv_right is the right lane candidate point template And extracting coordinates (u, v) that are convolution values of an integrated image and whose convolution values (conv_left, conv_right) are greater than or equal to a threshold as lane candidate points. 제 3 항에서,
상기 업데이트 된 차선 방정식을 수학식
Figure 112012067769798-pat00055

Figure 112012067769798-pat00056

에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 방법.In claim 3,
Equation of the updated lane equation
Figure 112012067769798-pat00055

Figure 112012067769798-pat00056

According to the new lane equation, b R is the slope of the right lane equation in the updated lane equation, b L is the slope of the left lane equation in the updated lane equation, b1, b2 is a predetermined slope, Line L ' and Line R' are new left and right lane equations, and Line L and Line R are left and right lane equations in the updated lane equation. 제 3 항에서,
상기 업데이트 된 차선 방정식이 나타내는 왼쪽 차선의 점근선과 오른쪽 차선의 점근선이 만나는 소실점의 좌표 중에서 차량의 진행 방향에 대응하는 좌표의 좌표값이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 방법.In claim 3,
If the coordinate value of the coordinate corresponding to the traveling direction of the vehicle among the coordinates of the vanishing point where the asymptote of the left lane and the asymptote of the right lane indicated by the updated lane equation is greater than the preset maximum value, change to the maximum value, and the preset minimum value Lane recognition method, characterized in that for changing smaller than the minimum value. 제 3 항에서,
상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 것을 특징으로 하는 차선 인식 방법.In claim 3,
In the updated lane equation, if the difference between the maximum value and the minimum value is greater than or equal to the channel brightness of a predetermined pixel, the channel brightness of the pixel is scanned from the left and right around the sampled points at predetermined intervals, and the sampled point is determined as the point on the lane. And determining that the updated lane is a dotted line when it is determined that the point on the lane among the sampled points is equal to or less than a predetermined criterion. 제 3 항에서,
상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하는 것을 특징으로 하는 차선 인식 방법.In claim 3,
And determining an X-coordinate of a point away from the vehicle in a vehicle forward direction (Y-axis direction) in the updated lane equation to determine whether the vehicle is out of lane. 차선 위의 점을 미리 정해진 간격으로 샘플링 하는 단계,
샘플링된 차선 위의 점을 중심으로 하는 소정 크기의 사각형 영역을 이용하여 차선 색 평균을 구하는 단계,
상기 차선으로부터 소정 거리 떨어진 도로 영역의 점을 미리 정해진 간격으로 샘플링하는 단계,
상기 샘플링된 도로 영역의 점을 중심으로 하는 소정 크기의 사각형 영역을 이용하여 도로 색 평균을 구하는 단계,
상기 차선 색 평균을 정규화한 차선 색에 대한 B 채널 값과 G 채널 값 및, 상기 도로 색 평균을 정규화한 도로 색에 대한 B 채널 값과 G 채널 값을 구하는 단계, 그리고
상기 차선 색에 대한 B 채널 값과 G 채널 값 및, 상기 도로 색에 대한 B 채널 값과 G 채널 값을 조명 상황별 차선 색 데이터와 도로 색 데이터에 의해 학습된 신경망에 입력하여 차선 색을 인식하는 단계를 포함하는 것을 특징으로 하는 차선 인식 방법.Sampling the points on the lane at predetermined intervals,
Obtaining a lane color average using a rectangular area of a predetermined size centered on a point on the sampled lane,
Sampling the points of the road area a predetermined distance from the lane at predetermined intervals,
Obtaining a road color average using a rectangular area having a predetermined size centering on the points of the sampled road area;
Obtaining a B channel value and a G channel value for the lane color normalized to the lane color average, and a B channel value and G channel value for the road color normalized to the road color average, and
Recognizing the lane color by inputting the B channel value and the G channel value for the lane color and the B channel value and the G channel value for the road color into the neural network learned by the lane color data and the road color data for each lighting situation. Lane recognition method comprising the step of. 차량에 장착된 카메라 모듈에서 획득된 차량 전방 영상에 대해 R, G, B 컬러 성분 중에서 선택된 채널 성분에 대한 적분 영상으로 전처리하는 전처리 영상 모듈, 그리고
이전 차선 방정식이 없는 경우, 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하고, 상기 추출된 차선 후보점의 영상 좌표계에서의 좌표를 실제 거리 좌표계에서의 좌표로 변환한 후 클러스터링하여 구해지는 차선 후보 클러스터의 1차 차선 방정식을 구하며, 상기 구해진 차선 후보 클러스터 중에서 미리 정해진 조건을 만족하는 차선 후보 클러스터 쌍을 초기 검출된 차선 쌍으로 선택하고, 상기 선택된 차선 쌍의 실제 거리 좌표계에서의 차선 방정식을 영상 좌표계에서의 차선 방정식으로 변환하는 초기 차선 검출 모듈
을 포함하는 것을 특징으로 하는 차선 인식 시스템.A preprocessing image module for preprocessing the vehicle front image obtained from the camera module mounted in the vehicle into an integrated image of a channel component selected from among R, G, and B color components, and
If there is no previous lane equation, the lane candidate point is extracted by performing a convolution of the integrated image and the lane candidate point template, and the coordinates of the extracted lane candidate point in the image coordinate system are converted to coordinates in an actual distance coordinate system. A first lane equation of a lane candidate cluster obtained by clustering is obtained, a lane candidate cluster pair satisfying a predetermined condition among the obtained lane candidate clusters is selected as an initially detected lane pair, and the actual distance coordinate system of the selected lane pair is selected. Initial lane detection module that transforms the lane equation of the equation into the lane equation in the image coordinate system.
Lane recognition system comprising a. 제 11 항에서,
상기 적분 영상은 상기 차량 전방 영상의 G 채널 성분에 대한 적분 영상인 것을 특징으로 하는 차선 인식 시스템.In claim 11,
And the integrated image is an integrated image of a G channel component of the vehicle front image. 제 12 항에서,
이전 차선 방정식이 있는 경우, 상기 이전 차선 방정식 상에 위치하는 점에서 일정 범위 내로 관심 영역을 설정하고, 상기 관심 영역 내에서 상기 적분 영상과 차선 후보점 템플릿의 컨벌루션을 수행하여 차선 후보점을 추출하며, 상기 추출된 차선 후보점에 대해 RANSAC(RANdom Sample Concensus) 알고리즘을 이용하여 유효 차선 후보점을 선택하고, 상기 유효 차선 후보점을 측정값으로 하여 칼만 필터를 적용하여 상기 이전 차선 방정식을 업데이트 한 차선 방정식을 구하는 차선 추적 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템.In claim 12,
If there is a previous lane equation, the region of interest is set within a predetermined range at a point located on the previous lane equation, and the lane candidate point is extracted by performing convolution of the integrated image and the lane candidate point template within the region of interest. A lane that selects a valid lane candidate point using the RANSAC algorithm for the extracted lane candidate point, and updates the previous lane equation by applying a Kalman filter using the valid lane candidate point as a measured value Lane recognition system comprising a lane tracking module for obtaining an equation. 제 13 항에서,
상기 관심 영역 내에서 차선 후보점 템플릿의 컨벌루션을 수행하여 추출된 차선 후보점 중에서 대표값으로 왼쪽 차선의 관심 영역에서는 가장 오른쪽에 위치한 차선 후보점을 선택하고, 오른쪽 차선의 관심 영역에서는 가장 왼쪽에 위치한 차선 후보점을 선택하여 상기 RANSAC 알고리즘을 이용하여 유효 차선 후보점을 선택하는 것을 특징으로 하는 차선 인식 시스템.In claim 13,
Among the lane candidate points extracted by performing convolution of the lane candidate point template within the ROI, the lane candidate point located at the rightmost point in the ROI of the left lane is selected as a representative value, and the leftmost lane is located at the leftmost point in the ROI of the right lane. Selecting a lane candidate point and selecting an effective lane candidate point using the RANSAC algorithm. 제 13 항에서,
상기 차선 후보점 템플릿은 좌표(u, v)에 대해 '+1'과 '-1' 값이 동일 폭(N/2)으로 연속된 스텝 함수 형태(step function)를 가지며,
상기 차선 후보점 템플릿과 상기 적분 영상에 대한 컨벌루션 수행은 수학식
Figure 112010046415364-pat00024

을 이용하여 이루어지되, I(u,v)는 픽셀(u, v)에서 적분 영상의 밝기 값이고, conv_left는 좌측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이며, conv_right는 우측 차선 후보점 템플릿과 적분 영상의 컨벌루션 값이고, 상기 컨벌루션 값(conv_left, conv_right)이 임계치 이상인 좌표(u, v)를 차선 후보점으로 추출하는 것을 특징으로 하는 차선 인식 시스템.In claim 13,
The lane candidate point template has a step function in which '+1' and '-1' values have a same width (N / 2) with respect to coordinates (u, v).
The convolutional performance of the lane candidate point template and the integrated image is expressed by an equation
Figure 112010046415364-pat00024

Where I (u, v) is the brightness value of the integrated image at pixel (u, v), conv_left is the convolution value of the left lane candidate point template and the integrated image, and conv_right is the right lane candidate point template And a coordinate (u, v) whose convolution value is an integral image and whose convolution values (conv_left, conv_right) are greater than or equal to a threshold value as a lane candidate point. 제 13 항에서,
상기 업데이트 된 차선 방정식을 수학식
Figure 112012067769798-pat00057

Figure 112012067769798-pat00058

에 따라 새로운 차선 방정식으로 변경하되, bR은 상기 업데이트 된 차선 방정식에서 우측 차선 방정식의 기울기이고, bL은 상기 업데이트 된 차선 방정식에서 좌측 차선 방정식의 기울기이며, b1, b2는 미리 정해진 기울기이고, LineL', LineR'은 새로운 좌우 차선 방정식이고, LineL, LineR은 상기 업데이트 된 차선 방정식에서 좌우 차선 방정식인 것을 특징으로 하는 차선 인식 시스템.In claim 13,
Equation of the updated lane equation
Figure 112012067769798-pat00057

Figure 112012067769798-pat00058

Change to a new lane equation, wherein b R is the slope of the right lane equation in the updated lane equation, b L is the slope of the left lane equation in the updated lane equation, b1, b2 is the predetermined slope, Line L ' and Line R' are new left and right lane equations, and Line L and Line R are left and right lane equations in the updated lane equation. 제 13 항에서,
상기 업데이트 된 차선 방정식이 나타내는 왼쪽 차선의 점근선과 오른쪽 차선의 점근선이 만나는 소실점의 좌표 중에서 차량의 진행 방향에 대응하는 좌표의 좌표값이 미리 설정된 최대값보다 큰 경우 최대값으로 변경하고, 미리 설정된 최소값보다 작은 경우 최소값으로 변경하는 것을 특징으로 하는 차선 인식 시스템.In claim 13,
If the coordinate value of the coordinate corresponding to the traveling direction of the vehicle among the coordinates of the vanishing point where the asymptote of the left lane and the asymptote of the right lane indicated by the updated lane equation is greater than the preset maximum value, change to the maximum value, and the preset minimum value Lane recognition system, characterized in that for changing smaller than the minimum value. 제 13 항에서,
상기 업데이트 된 차선 방정식에서 미리 정해진 간격으로 샘플링된 점을 중심으로 좌우로 일정 픽셀의 채널 밝기를 스캔하여 최대값과 최소값의 차이가 임계치 이상인 경우 상기 샘플링된 점을 차선 위의 점으로 판단하고, 상기 샘플링된 점 중에서 차선 위의 점으로 판단된 경우가 미리 정해진 기준 이하인 경우 상기 업데이트 된 차선을 점선으로 판단하는 차선 종류 인식 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.In claim 13,
In the updated lane equation, if the difference between the maximum value and the minimum value is greater than or equal to the channel brightness of a predetermined pixel, the channel brightness of the pixel is scanned from the left and right around the sampled points at predetermined intervals, and the sampled point is determined as the point on the lane. And a lane type recognition module configured to determine the updated lane as a dotted line when it is determined that the point on the lane among the sampled points is equal to or less than a predetermined criterion. 제 13 항에서,
상기 업데이트 된 차선 방정식에서 차량 전방 방향(Y축 방향)으로 상기 차량과 일정 거리 떨어진 점의 X 좌표를 계산하여, 상기 차량의 차선 이탈 여부를 판단하고 경고하는 차선 이탈 경고 모듈을 더 포함하는 것을 특징으로 하는 차선 인식 시스템.In claim 13,
The lane departure warning module may further include a lane departure warning module configured to calculate an X coordinate of a point away from the vehicle by a predetermined distance in the vehicle front direction (Y-axis direction) in the updated lane equation, to determine whether the vehicle leaves the lane. Lane Recognition System. 차선 위의 점을 미리 정해진 간격으로 샘플링 하고, 샘플링된 차선 위의 점을 중심으로 하는 소정 크기의 사각형 영역을 이용하여 차선 색 평균을 구하며, 상기 차선으로부터 소정 거리 떨어진 도로 영역의 점을 미리 정해진 간격으로 샘플링하고, 상기 샘플링된 도로 영역의 점을 중심으로 하는 소정 크기의 사각형 영역을 이용하여 도로 색 평균을 구하며, 상기 차선 색 평균을 정규화한 차선 색에 대한 B 채널 값과 G 채널 값 및, 상기 도로 색 평균을 정규화한 도로 색에 대한 B 채널 값과 G 채널 값을 구하고, 상기 차선 색에 대한 B 채널 값과 G 채널 값 및, 상기 도로 색에 대한 B 채널 값과 G 채널 값을 조명 상황별 차선 색 데이터와 도로 색 데이터에 의해 학습된 신경망에 입력하여 차선 색을 인식하는 차선색 인식 모듈을 포함하는 것을 특징으로 하는 차선 인식 시스템.Sampling the points on the lane at predetermined intervals, obtaining lane color averages using a rectangular area of a predetermined size centered on the points on the sampled lanes, and pre-determining the points of the road area away from the lane by a predetermined distance. Sampling to obtain a road color average using a rectangular area having a predetermined size centering on the points of the sampled road area, B channel value and G channel value for the lane color normalizing the lane color average, and The B channel value and the G channel value for the road color normalized to the road color average are obtained, and the B channel value and the G channel value for the lane color, and the B channel value and the G channel value for the road color according to the lighting situation. And a lane color recognition module configured to recognize the lane color by inputting to the neural network learned by the lane color data and the road color data. Line recognition system.
KR1020100069537A 2010-07-19 2010-07-19 Vehicle Line Recognition System and Method KR101225626B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100069537A KR101225626B1 (en) 2010-07-19 2010-07-19 Vehicle Line Recognition System and Method
PCT/KR2011/005290 WO2012011713A2 (en) 2010-07-19 2011-07-19 System and method for traffic lane recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100069537A KR101225626B1 (en) 2010-07-19 2010-07-19 Vehicle Line Recognition System and Method

Publications (2)

Publication Number Publication Date
KR20120009590A KR20120009590A (en) 2012-02-02
KR101225626B1 true KR101225626B1 (en) 2013-01-24

Family

ID=45497281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100069537A KR101225626B1 (en) 2010-07-19 2010-07-19 Vehicle Line Recognition System and Method

Country Status (2)

Country Link
KR (1) KR101225626B1 (en)
WO (1) WO2012011713A2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483742B1 (en) 2013-06-21 2015-01-16 가천대학교 산학협력단 Lane Detection method for Advanced Vehicle
KR101878490B1 (en) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) System and method for recognizing a lane
KR20190124113A (en) * 2018-04-25 2019-11-04 연세대학교 산학협력단 Deep Learning-based road area estimation apparatus and method using self-supervised learning

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327348B1 (en) * 2012-06-15 2013-11-11 재단법인 경북아이티융합 산업기술원 A system for ego-lane detection using defined mask in driving road image
KR101382902B1 (en) * 2012-06-29 2014-04-23 엘지이노텍 주식회사 Lane Departure Warning System and Lane Departure Warning Method
KR101428165B1 (en) 2012-06-29 2014-08-07 엘지이노텍 주식회사 Lane Departure Warning System and Lane Departure Warning Method
JP5921983B2 (en) * 2012-08-03 2016-05-24 クラリオン株式会社 In-vehicle imaging device
CN103057470B (en) * 2012-12-06 2015-09-16 重庆交通大学 A kind of vehicle peccancy line ball pre-tip device and reminding method thereof
CN103150337B (en) * 2013-02-04 2016-09-21 北京航空航天大学 A kind of lane line reconstruction method based on Bézier curve
KR101338347B1 (en) * 2013-04-02 2014-01-03 라온피플 주식회사 Lane departure warning system and method for the same
KR101498975B1 (en) * 2013-11-29 2015-03-05 현대모비스(주) Lane Departure Warning System
KR102016549B1 (en) * 2014-01-13 2019-08-30 한화디펜스 주식회사 System and methof of detecting vehicle and lane position
KR102170689B1 (en) 2014-01-14 2020-10-27 한화테크윈 주식회사 Method for sampling of feature points for image alignment
KR102456626B1 (en) 2016-01-15 2022-10-18 현대자동차주식회사 Apparatus and method for traffic lane recognition in automatic steering control of vehilcles
CN106778605B (en) * 2016-12-14 2020-05-05 武汉大学 Automatic remote sensing image road network extraction method under assistance of navigation data
CN109084782B (en) * 2017-06-13 2024-03-12 蔚来(安徽)控股有限公司 Lane line map construction method and construction system based on camera sensor
KR102499398B1 (en) 2017-08-09 2023-02-13 삼성전자 주식회사 Lane detection method and apparatus
CN110248861B (en) 2018-01-07 2023-05-30 辉达公司 Guiding a vehicle using a machine learning model during vehicle maneuvers
CN110352153A (en) 2018-02-02 2019-10-18 辉达公司 It is analyzed in autonomous vehicle for the security procedure of Obstacle avoidance
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
CN111095291B (en) * 2018-02-27 2024-04-09 辉达公司 Real-time detection of lanes and boundaries by autonomous vehicles
DE102018202970A1 (en) * 2018-02-28 2019-08-29 Robert Bosch Gmbh Method for determining topological information of a road intersection
CN110494863B (en) 2018-03-15 2024-02-09 辉达公司 Determining drivable free space of an autonomous vehicle
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
WO2019191306A1 (en) 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US10262214B1 (en) * 2018-09-05 2019-04-16 StradVision, Inc. Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
US10275667B1 (en) * 2018-09-05 2019-04-30 StradVision, Inc. Learning method, learning device for detecting lane through lane model and testing method, testing device using the same
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
KR102475042B1 (en) * 2018-09-28 2022-12-06 현대오토에버 주식회사 Apparatus and method for establishing a hd map
WO2020102733A1 (en) 2018-11-16 2020-05-22 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11182916B2 (en) 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140047A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN110222658A (en) * 2019-06-11 2019-09-10 腾讯科技（深圳）有限公司 The acquisition methods and device of road vanishing point position
CN114667437A (en) 2019-08-31 2022-06-24 辉达公司 Map creation and localization for autonomous driving applications
CN111008600B (en) * 2019-12-06 2023-04-07 中国科学技术大学 Lane line detection method
CN111401251B (en) * 2020-03-17 2023-12-26 北京百度网讯科技有限公司 Lane line extraction method, lane line extraction device, electronic equipment and computer readable storage medium
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
CN112285734B (en) * 2020-10-30 2023-06-23 北京斯年智驾科技有限公司 Port unmanned set card high-precision alignment method and system based on spike
CN112613344B (en) * 2020-12-01 2024-04-16 浙江华锐捷技术有限公司 Vehicle track occupation detection method, device, computer equipment and readable storage medium
CN112597846B (en) * 2020-12-14 2022-11-11 合肥英睿系统技术有限公司 Lane line detection method, lane line detection device, computer device, and storage medium
CN112818804B (en) * 2021-01-26 2024-02-20 重庆长安汽车股份有限公司 Parallel processing method, system, vehicle and storage medium for target-level lane lines
CN116997940A (en) * 2021-03-29 2023-11-03 华为技术有限公司 Lane line detection method and device
CN113239733B (en) * 2021-04-14 2023-05-12 重庆利龙中宝智能技术有限公司 Multi-lane line detection method
KR102629639B1 (en) * 2021-04-21 2024-01-29 계명대학교 산학협력단 Apparatus and method for determining position of dual camera for vehicle
CN114120258B (en) * 2022-01-26 2022-05-03 深圳佑驾创新科技有限公司 Lane line identification method and device and storage medium
CN114889606B (en) * 2022-04-28 2023-04-07 吉林大学 Low-cost high-precision positioning method based on multi-sensor fusion
CN116630928B (en) * 2023-07-25 2023-11-17 广汽埃安新能源汽车股份有限公司 Lane line optimization method and device and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037541A (en) 2007-08-03 2009-02-19 Nissan Motor Co Ltd Lane marker recognition apparatus and method, and lane departure prevention apparatus
JP2009237706A (en) 2008-03-26 2009-10-15 Honda Motor Co Ltd Lane recognition device for vehicle, vehicle, and lane recognition program for vehicle
US20100002911A1 (en) 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof
US20100110193A1 (en) 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110193A1 (en) 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2009037541A (en) 2007-08-03 2009-02-19 Nissan Motor Co Ltd Lane marker recognition apparatus and method, and lane departure prevention apparatus
JP2009237706A (en) 2008-03-26 2009-10-15 Honda Motor Co Ltd Lane recognition device for vehicle, vehicle, and lane recognition program for vehicle
US20100002911A1 (en) 2008-07-06 2010-01-07 Jui-Hung Wu Method for detecting lane departure and apparatus thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483742B1 (en) 2013-06-21 2015-01-16 가천대학교 산학협력단 Lane Detection method for Advanced Vehicle
KR101878490B1 (en) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) System and method for recognizing a lane
US10460179B2 (en) 2017-03-10 2019-10-29 Mando Hella Electronics Corporation System and method for recognizing a lane
KR20190124113A (en) * 2018-04-25 2019-11-04 연세대학교 산학협력단 Deep Learning-based road area estimation apparatus and method using self-supervised learning
KR102097869B1 (en) 2018-04-25 2020-04-06 연세대학교 산학협력단 Deep Learning-based road area estimation apparatus and method using self-supervised learning

Also Published As

Publication number Publication date
KR20120009590A (en) 2012-02-02
WO2012011713A3 (en) 2012-05-10
WO2012011713A2 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101225626B1 (en) Vehicle Line Recognition System and Method
Bilal et al. Real-time lane detection and tracking for advanced driver assistance systems
Jung et al. A lane departure warning system using lateral offset with uncalibrated camera
US10074020B2 (en) Vehicular lane line data processing method, apparatus, storage medium, and device
US9245188B2 (en) Lane detection system and method
Gomez et al. Traffic lights detection and state estimation using hidden markov models
Berriel et al. Ego-lane analysis system (elas): Dataset and algorithms
Du et al. Vision-based approach towards lane line detection and vehicle localization
CN111753797B (en) Vehicle speed measuring method based on video analysis
WO2018101526A1 (en) Method for detecting road region and lane by using lidar data, and system therefor
CN108280840B (en) Road real-time segmentation method based on three-dimensional laser radar
Guo et al. Lane detection method based on improved RANSAC algorithm
Huang et al. Lane detection based on inverse perspective transformation and Kalman filter
JP2017223511A (en) Road structuring device, road structuring method and road structuring program
Dong et al. A completely non-contact recognition system for bridge unit influence line using portable cameras and computer vision
CN102592454A (en) Intersection vehicle movement parameter measuring method based on detection of vehicle side face and road intersection line
KR20110001427A (en) High speed road lane detection method based on extraction of roi-lb
KR101178508B1 (en) Vehicle Collision Alarm System and Method
Khan et al. Lane detection using lane boundary marker network with road geometry constraints
CN113835102A (en) Lane line generation method and device
US20200193184A1 (en) Image processing device and image processing method
Xuan et al. Robust lane-mark extraction for autonomous driving under complex real conditions
Liu et al. Notice of retraction: Sharp curve lane detection for autonomous driving
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
KR20180071552A (en) Lane Detection Method and System for Camera-based Road Curvature Estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 8