KR20090098167A - Method and system for detecting lane by using distance sensor - Google Patents

Method and system for detecting lane by using distance sensor Download PDF

Info

Publication number
KR20090098167A
KR20090098167A KR1020080023380A KR20080023380A KR20090098167A KR 20090098167 A KR20090098167 A KR 20090098167A KR 1020080023380 A KR1020080023380 A KR 1020080023380A KR 20080023380 A KR20080023380 A KR 20080023380A KR 20090098167 A KR20090098167 A KR 20090098167A
Authority
KR
South Korea
Prior art keywords
lane
interest
region
filter
roi
Prior art date
Application number
KR1020080023380A
Other languages
Korean (ko)
Other versions
KR101176693B1 (en
Inventor
이윤희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020080023380A priority Critical patent/KR101176693B1/en
Publication of KR20090098167A publication Critical patent/KR20090098167A/en
Application granted granted Critical
Publication of KR101176693B1 publication Critical patent/KR101176693B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

A road line recognizing method and the system using a distance sensor and a simple road line recognition algorithm are provided to receive obstacle information difficult to obtain by a camera. A method for recognizing a road line comprises the following steps of: receiving distance data and video frames(S202); filtering the video frames using a steerable filter and extracting the filtering result(S204); setting a free space using the distance data(S206); applying a template matching algorithm to the filtering result and searching for line components existing within the free space(S210); setting a region of interest(ROI)(S212); and performing a line-fitting to the line components and extracting road lines(S214).

Description

거리센서를 이용한 차선인식 방법 및 그 시스템{Method and System for Detecting Lane by Using Distance Sensor}Lane Recognition Method and System Using Distance Sensors {Method and System for Detecting Lane by Using Distance Sensor}

본 발명은 거리센서를 이용한 차선인식 방법 및 그 시스템에 관한 것이다. 더욱 상세하게는, 차선을 인식함에 있어서 카메라를 통한 영상정보만으로는 파악하기 어려운 장애물 정보를 파악하여 차선을 인식하고자 하는 차선인식 방법 및 그 시스템에 관한 것이다.The present invention relates to a lane recognition method and a system using a distance sensor. More particularly, the present invention relates to a lane recognition method and a system for recognizing lanes by identifying obstacle information that is difficult to grasp only by image information through a camera.

차선유지시스템(Lane Keeping System: LKS)은 카메라 후방에 달린 카메라의 영상을 화상처리하고 도로의 백색차선을 인식하여 차선의 중앙을 주행토록 주행을 보조하는 장치이다.Lane Keeping System (LKS) is a device that assists driving to the center of the lane by processing the image of the camera behind the camera and recognizing the white lane of the road.

기존의 차선유지시스템은 차량 후방에 장착된 카메라만을 이용하여 차량인식을 수행한다.The existing lane keeping system performs vehicle recognition using only a camera mounted at the rear of the vehicle.

도 1은 종래의 차선인식 시스템을 사용한 경우에 차선 인식을 예시한 도면이다.1 is a diagram illustrating lane recognition when a conventional lane recognition system is used.

도 1a와 같이 주행 중인 차량 전방에 다른 차량 등이 존재하는 경우에 카메라로만 차선을 인식하면 도 1b와 같이 옆차선의 버스로 인한 에지(Edge) 부분을 차 선으로 인식할 수 있으며, 따라서 도 1c의 빨간색 라인과 같은 차선이 존재하는 것으로 잘못 인식할 수 있다.If another vehicle or the like exists in front of the driving vehicle as shown in FIG. 1A, when the lane is recognized only by the camera, the edge portion caused by the bus of the side lane as shown in FIG. 1B may be recognized as the lane, and thus, FIG. 1C. You may be mistaken that there is a lane like the red line of.

이와 같이 차선인식에 카메라만을 이용하는 경우, 주변 노이즈에 의해 잘못된 차선을 인식할 가능성이 있다. 특히, 전방차량, 끼어드는 차량에 의해서 차선이 가려지는 경우에는 차선인식을 수행하기 어렵다. 또한, 카메라로 촬영한 영상에 전방을 주행하는 차량이 촬영된 경우 그 차량에 의해서 생기는 에지(Edge) 영상을 차선으로 잘못 인식하는 경우도 생길 수 있는 문제가 있다.In this way, when only a camera is used for lane recognition, there is a possibility of recognizing a wrong lane due to ambient noise. In particular, when the lane is blocked by the front vehicle and the interrupting vehicle, it is difficult to perform the lane recognition. In addition, when a vehicle traveling forward is photographed on an image captured by a camera, an edge image generated by the vehicle may be incorrectly recognized as a lane.

전술한 문제점을 해결하기 위해 본 발명은, 차선을 인식함에 있어서 카메라를 통한 영상정보만으로는 파악하기 어려운 장애물 정보를 파악하여 차선을 인식하고자 하는 데 목적이 있다.In order to solve the above problems, an object of the present invention is to identify lanes by identifying obstacle information that is difficult to grasp only by image information through a camera.

전술한 목적을 달성하기 위해 본 발명은, 거리센서를 이용한 차선인식 시스템에 있어서, 자차 주변을 촬영하여 영상프레임을 생성하는 카메라; 상기 자차 주변의 장애물을 감지하는 데이터를 생성하는 거리센서; 상기 영상프레임을 수신하는 영상수신부; 상기 거리데이터를 수신하는 거리데이터수신부; 상기 영상프레임에 스티어러블 필터를 사용하여 필터결과를 추출하는 필터부; 상기 거리센서로부터의 거리 데이터를 이용하여 프리스페이스를 설정하는 프리스페이스설정부; 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 선성분추출부; 관심영역(Region Of Interest: ROI)을 설정하는 관심영역설정부; 및 상기 관심영역에서 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 차선추출부를 포함하는 것을 특징으로 하는 차선인식 시스템 제공한다.In order to achieve the above object, the present invention provides a lane recognition system using a distance sensor, comprising: a camera for photographing the surrounding vehicle to generate an image frame; A distance sensor for generating data for detecting obstacles around the host vehicle; An image receiver which receives the image frame; A distance data receiver for receiving the distance data; A filter unit which extracts a filter result by using a steerable filter on the image frame; A prespace setting unit for setting a prespace using distance data from the distance sensor; A line component extracting unit which finds a line component existing in the prespace by applying a template matching algorithm to the filter result; A region of interest setting unit for setting a region of interest (ROI); And a lane extracting unit performing line fitting to the line component in the region of interest and extracting a lane.

또한, 전술한 목적을 달성하기 위해 본 발명은, 거리센서를 이용한 차선인식 방법에 있어서, (a) 자차주변을 촬영한 영상프레임 및 거리데이터를 수신하는 단계; (b) 상기 영상프레임으로부터 스티어러블 필터를 사용하여 필터결과를 추출하는 단계; (c) 상기 거리 데이터를 이용하여 프리스페이스를 설정하는 단계; (d) 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 단계; (e) 관심영역(Region Of Interest: ROI)을 설정하는 단계; 및 (f) 상기 관심영역에서 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 단계를 포함하는 것을 특징으로 하는 차선인식 방법을 제공한다.In addition, the present invention to achieve the above object, the lane recognition method using a distance sensor, (a) receiving the image frame and the distance data photographed around the host vehicle; (b) extracting filter results from the image frame using a steerable filter; (c) setting a prespace using the distance data; (d) applying a template matching algorithm to the filter result to find a line component present in the prespace; (e) establishing a Region Of Interest (ROI); And (f) performing line fitting on the line components in the region of interest and extracting lanes.

본 발명에 의하면, 카메라 정보만으로는 알기 어려운 장애물 정보를 거리센서를 사용하여 입수하여 차선을 인식하고, 카메라에서 입력되는 영상에서 장애물 정보를 이용하여 장애물이 제거된 ROI(Region of Interest, 관심 영역)를 설정함으로 장애물로 인한 차선 인식에 방해가 되는 노이즈(전방 차량에 의해 생기는 에지 정보), 차선이 가려지는 유무 등을 거리센서의 정보를 이용하여 단순한 차선 인식 알고리즘 이용하여 차선을 인식을 수행하는 효과가 있다.According to the present invention, by using the distance sensor to obtain obstacle information that is difficult to know only by the camera information, the lane is recognized, and ROI (Region of Interest, ROI) from which the obstacle is removed using the obstacle information from the image input from the camera By setting it, it is effective to recognize lanes using simple lane recognition algorithms using distance sensor information such as noise (edge information generated by the front vehicle) that obstructs lane recognition due to obstacles, and whether lanes are covered. have.

또한, 일반적으로 거리센서는 자동순항시스템(Adaptive Cruise Control: ACC)를 위해서 차량에 이미 장착되어 있는 것을 사용할 수 있기 때문에 추가적인 비용의 증가 없이 한대의 카메라만을 이용하여 도로상의 장애물 정보를 이용한 차선인식이 가능하다.In addition, since the distance sensor can be used already installed in the vehicle for the adaptive cruise control (ACC), lane recognition using the obstacle information on the road using only one camera without additional cost increases. It is possible.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function is obvious to those skilled in the art or may obscure the gist of the present invention, the detailed description thereof will be omitted.

도 2는 본 발명의 일 실시예에 따른 차선인식 방법을 도시한 흐름도이다.2 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 거리센서를 이용한 차선인식 방법은 자차주변을 촬영한 영상프레임 및 거리데이터를 수신하는 단계(S202), 상기 영상프레임으로부터 스티어러블 필터를 사용하여 필터결과를 추출하는 단계(S204), 일정값 이상의 픽셀만 유효한 필터결과로 인식하는 이진화단계(S206), 상기 거리데이터를 이용하여 프리스페이스를 설정하는 단계(S208), 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 단계(S210), 관심영역(Region Of Interest: ROI)을 설정하는 단계(S212) 및 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 단계(S214)를 포함하는 것을 특징으로 하는 차선인식 방법을 제공한다.In the lane recognition method using a distance sensor according to an embodiment of the present invention, the method comprises: receiving an image frame and distance data photographing the periphery of a vehicle (S202), extracting a filter result from the image frame using a steerable filter; (S204), a binarization step (S206) of recognizing only a predetermined value or more pixels as a valid filter result, setting a prespace using the distance data (S208), and applying a template matching algorithm to the filter result A step (S210) of finding a line component present in the image, a step of setting a region of interest (ROI) (S212), and performing a line fitting on the line component and extracting a lane (S214). It provides a lane recognition method characterized in that.

경우에 따라서 이진화단계(S206)는 생략될 수도 있다.In some cases, the binarization step S206 may be omitted.

본 발명은 차선 인식을 위해서 거리센서를 이용하여 차선을 인식하는 방법을 제공한다. 한 대의 카메라만을 이용하면 도로상의 장애물에 대한 정보를 알기 어렵다. 제안하는 방법에서는 차선 인식을 위한 장애물 정보를 알아내기 위해서 거리센서로부터의 정보를 이용한다. 일반적으로 거리센서는 자동순항시스템(Adaptive Cruise Control: ACC)를 위해서 차량에 이미 장착되어 있는 것을 사용할 수 있기 때문에 추가적인 비용의 증가 없이 한대의 카메라만을 이용하여 도로상의 장애물 정보를 이용한 차선인식이 가능하다.The present invention provides a method for recognizing a lane using a distance sensor for lane recognition. With only one camera, it is difficult to know information about obstacles on the road. The proposed method uses information from the distance sensor to find out obstacle information for lane recognition. In general, the distance sensor can use the one already installed in the vehicle for the adaptive cruise control (ACC), so it is possible to recognize the lane using the obstacle information on the road using only one camera without any additional cost increase. .

본 발명의 일 실시예에 따른 차선인식 방법은, 먼저 자차주변을 촬영한 영상프레임을 수신하는 단계(S202)를 수행한다.In the lane recognition method according to the exemplary embodiment of the present invention, first, an operation (S202) of receiving an image frame photographing the surrounding vehicle is performed.

한편, S202단계 이후에는 관심영역(Region Of Interest: ROI)이 설정될 수 있으며, 본 실시예에서는 라인피팅하여 차선을 찾는 단계(S214) 이전에 설정된다.On the other hand, a region of interest (ROI) may be set after the step S202. In the present embodiment, the region of interest (ROI) may be set before the step S214 of finding a lane by line fitting.

이후의 설명을 위하여 여기서는 관심영역에 대하여 간단히 설명하고, 보다 상세한 설명은 관심영역설정단계(S212) 설명시 상술한다.For the following description, the region of interest will be briefly described herein, and more detailed description will be given in the description of the region of interest setting step S212.

영상프레임에 나타난 차선은 길의 모양에 따라서 직선 혹은 곡선의 모습을 할 수 있다. 차선인식에 필요한 관심영역(Region Of Interest: ROI)은 탐색해야 하는 범위가 최소화되되, 차선의 형상을 포함할 수 있도록 설정된다.The lanes shown in the video frame may be straight or curved depending on the shape of the road. The region of interest (ROI) required for lane recognition is set to include the shape of the lane while minimizing the range to be searched.

바람직한 차선의 형상은 차선만 포함될 수 있도록 하고 다른 물체는 제외할 수 있어야 한다. 차선은 멀어질수록 작게 보이는 점을 고려하여 차선이 작게 보임에 따라 ROI도 점점 작아지도록 3단계로 나누며 또한 좌측차선과 우측차선으로 나눈다. 따라서 6개의 서브 ROI가 3단계로 나뉘어 단계적으로 설정될 수 있다.The preferred lane shape should be such that only lanes can be included and other objects can be excluded. The lane is divided into three stages so that the ROI becomes smaller as the lane looks smaller, considering that the lane looks smaller as it moves further away. The lane is divided into a left lane and a right lane. Therefore, six sub ROIs may be set in three stages.

도 3은 관심영역설정단계(S212)에서 단계적으로 3단계 ROI가 설정된 것을 예시한 도면이다.3 is a diagram illustrating that a three-step ROI is set step by step in the region of interest setting step S212.

도 3에 도시하듯이, 좌 우 각 3개씩으로 총 6개의 ROI가 존재한다. 즉, 1단계 관심영역은 서브 ROI I, IV이고, 2단계 관심영역은 서브 ROI II, V이고, 3단계 관심영역은 서브 ROI III, VI 등이 되도록 나눌 수 있다.As shown in FIG. 3, there are six ROIs, three each on the left and right sides. That is, the first-level ROI may be divided into sub-ROI I and IV, the second-ROI may be sub-ROI II and V, and the third-ROI may be sub-ROI III and VI.

차량에 근접한 서브 ROI I, IV는 고정될 수 있고, 나머지 서브 ROI는 차선인식결과에 따라 달라질 수 있다. 즉, 1단계 관심영역에 따라서 2단계 관심영역이 달라질 수 있으며, 2단계 관심영역에 따라서 3단계 관심영역이 달라질 수 있다.Sub-ROIs I and IV close to the vehicle may be fixed, and the remaining sub-ROIs may vary according to lane recognition results. That is, the second-level ROI may vary according to the first-level ROI, and the three-step ROI may vary according to the second-ROI.

S202단계가 끝난 이후에는, 상기 영상프레임으로부터 스티어러블 필터를 사용하여 필터결과를 추출하는 단계(S204)를 수행한다.After the step S202 is finished, the filter result is extracted using the steerable filter from the image frame (S204).

차선은 카메라 영상프레임 내에서 기울어진 형태를 띠며 차선의 기울기를 알 수 있으므로 스티어러블 필터(Steerable Filter)가 효율적으로 차선을 인식하는데 사용될 수 있다.Since the lanes are inclined in the camera image frame and the slopes of the lanes are known, a steerable filter can be used to efficiently recognize the lanes.

스티어러블 필터는 [수학식 1]의 2D(2 Dimension) 가우스 함수를 이용하여 정의될 수 있다. 만일, 차선의 안쪽 에지만을 탐지하는 경우에는 가우스 함수의 일차 미분만을 사용할 수 있다. [수학식 2]는 x축(θ = 0°)에 대한 미분값을 갖고, [수학식 3]은 y축(θ = 90°)에 대한 미분값을 갖는 필터를 얻을 수 있다.The steerable filter may be defined using a 2D (2D) Gaussian function of [Equation 1]. If only the inner edge of the lane is detected, only the first derivative of the Gaussian function can be used. Equation 2 has a derivative with respect to the x-axis (θ = 0 °), and Equation 3 can obtain a filter having a derivative with respect to the y-axis (θ = 90 °).

Figure 112008018371451-PAT00001
Figure 112008018371451-PAT00001

Figure 112008018371451-PAT00002
Figure 112008018371451-PAT00002

Figure 112008018371451-PAT00003
Figure 112008018371451-PAT00003

임의의 각도에 대한 필터를 설계하면 [수학식 4]가 된다. 즉, θ에 대한 응답을 알 수 있는 필터를 설계할 수 있다.Designing a filter for any angle gives Equation 4. That is, it is possible to design a filter that knows the response to θ.

Figure 112008018371451-PAT00004
Figure 112008018371451-PAT00004

도 4는 필터결과추출단계(S204)에서 카메라 영상에 스티어러블 필터 결과를 도시한 도면이다.4 is a diagram illustrating a stiffable filter result in a camera image in the filter result extraction step (S204).

도 4a의 영상에 대하여 θ가 45도에 대한 스티어러블 필터 결과는 도 4b이며, θ가 -45도에 대한 스티어러블 필터 결과는 도 4c가 된다.For the image of FIG. 4A, the stiffable filter result for θ of 45 degrees is FIG. 4B, and the stiffable filter result for θ of −45 degrees is FIG. 4C.

한편, 상기 스티어러블 필터를 적용할 때 사용하는 차선기울기는, 초기 영상프레임인 경우에는 EDF(Edge Distribution Function)를 사용하여 추출한 각도이고, 이후의 영상프레임인 경우에는 이전 영상프레임에서 추출한 차선의 기울기를 사용할 수 있다.Meanwhile, the lane slope used when the steerable filter is applied is an angle extracted using an edge distribution function (EDF) for an initial image frame, and a slope of a lane extracted from a previous image frame for a subsequent image frame. Can be used.

차선표시와 도로를 구별하기 위해서 사용하는 스티어러블 필터는 각도에 따른 각 픽셀의 응답을 나타낸다. 따라서, 차선표시와 도로를 구별하기 위한 스티어러블 필터를 생성하기 위해서는 차선표시와 도로가 이루는 각도를 입력으로 주어야 한다. 본 실시예의 시스템에서 카메라 영상의 초기 프레임에서는 EDF(Edge Distribution Function)를 이용하여 나타나는 값을 사용하며 이후 프레임에서는 이전 프레임에서 검출된 차선의 피팅(Fitting) 결과를 이용한다. 초기 프레임에서만 EDF를 연산하기 때문에 연산량이 줄어드는 장점이 있으며 스티어러블 필터에서 알기 어려운 초기값을 줄 수 있는 장점이 있다.The steerable filter used to distinguish the lane marking from the road represents the response of each pixel according to the angle. Therefore, in order to generate a stiffable filter for distinguishing a lane marking from a road, an angle formed between the lane marking and the road must be given as an input. In the system of the present embodiment, the initial frame of the camera image uses a value displayed by using an edge distribution function (EDF), and the subsequent frame uses a fitting result of the lane detected in the previous frame. Since the EDF is calculated only in the initial frame, the amount of computation is reduced, and there is an advantage in that the stirrable filter can give an unknown initial value.

EDF는 스티어러블 필터의 방향성 파라미터를 초기화하는 데 사용될 수 있다. EDF는 각도에 대한 에지 픽셀 방향의 히스토그램이다. EDF가 각 픽셀이 가지는 방향성을 계산하기 위해서는 그레이디언트(Gradient)를 이용한다. [수학식 5]는 카메라 영상에서 픽셀 (x, y)의 그레이디언트를 정의하는 식이다. Dx는 x축에 대한 강도 변화를 나타낸 것이며 Dy는 y축에 대한 강도 변화를 나타낸 것이다.The EDF can be used to initialize the directional parameters of the steerable filter. EDF is a histogram in the edge pixel direction versus angle. Gradients are used by the EDF to calculate the directionality of each pixel. Equation 5 defines a gradient of pixels (x, y) in the camera image. D x represents the change in intensity with respect to the x axis and D y represents the change in intensity with respect to the y axis.

[수학식 5]의 그레이디언트를 구하기 위해서 소벨 연산자(Sobel Operator)를 이용한다.To calculate the gradient of Equation 5, Sobel Operator is used.

Figure 112008018371451-PAT00005
Figure 112008018371451-PAT00005

Figure 112008018371451-PAT00006
Figure 112008018371451-PAT00006

[수학식 5]에서 추출된 Dx, Dy를 값을 이용하여 각 픽셀의 에지 방향이 [수학식 6]에 정의되었다.The edge direction of each pixel was defined in [Equation 6] by using the values of D x and D y extracted in [Equation 5].

Figure 112008018371451-PAT00007
Figure 112008018371451-PAT00007

EDF는 에지 방향에 대하여 픽셀을 누적시킴으로써 형성될 수 있다.The EDF can be formed by accumulating pixels with respect to the edge direction.

도 5는 필터결과추출단계(S204)에서 도 4a의 입력영상에 대하여 소벨 연산자를 이용하여 결과를 도시한 도면이고, 도 6은 필터결과추출단계(S204)에서 도 4a의 입력영상에 대한 EDF를 도시한 그래프이다.FIG. 5 is a diagram illustrating a result using a Sobel operator with respect to the input image of FIG. 4A in the filter result extraction step (S204), and FIG. 6 illustrates an EDF for the input image of FIG. 4A in the filter result extraction step (S204). It is a graph shown.

도 6에서 왼쪽의 피크값과 오른쪽의 피크값은 각각 좌우의 차선을 나타낸다.In FIG. 6, the peak value on the left side and the peak value on the right side represent left and right lanes, respectively.

도 6에 도시하듯이, 실험 결과 90도를 기준으로 두 영역으로 나누어 각 영역의 피크값을 오른쪽 차선의 각도 및 왼쪽 차선의 각도로 설정된다. 도 6의 왼쪽 영 역이 서브 ROI I의 차선에 해당하고 오른쪽 영역이 서브 ROI IV의 차선에 해당한다.As shown in FIG. 6, the test result is divided into two regions based on 90 degrees, and the peak values of each region are set to the angle of the right lane and the angle of the left lane. The left region of FIG. 6 corresponds to the lane of the sub ROI I and the right region corresponds to the lane of the sub ROI IV.

차에서 가까운 영역인 1단계 관심영역인 서브 ROI I, IV의 차선은 직선으로 근사될 수 있으며 추출된 피크값의 각도는 각 서브 ROI의 차선 방향을 나타내므로 추출된 피크값에 해당하는 각도는 스티어러블 필터의 초기 파라미터로 사용될 수 있다.The lanes of the sub ROI I and IV, which are the 1st region of interest, which is the area close to the car, can be approximated by a straight line, and the angle of the extracted peak value represents the lane direction of each sub ROI, so the angle corresponding to the extracted peak value is steered. Can be used as an initial parameter of the flexible filter.

이와 같이 S204 단계가 끝난 이후에는, 일정값 이상의 픽셀만 유효한 필터결과로 인식하는 이진화단계(S206)가 수행될 수 있다.After the step S204 is completed, the binarization step S206 may be performed in which only pixels having a predetermined value or more are recognized as valid filter results.

즉, 이진화단계(S206)가 수행됨으로써, 필터결과에서 일정값 이하의 값을갖는 픽셀은 유효하지 않은 결과로 인식하여 제외할 수 있다.That is, since the binarization step S206 is performed, pixels having a predetermined value or less in the filter result may be recognized as an invalid result and excluded.

이진화단계(S206) 이후에는 거리센서로부터 입수한 거리데이터를 이용하여 프리스페이스를 설정하는 단계(S208)가 수행될 수 있다. 거리센서로는 스캐닝 레이저 레이더가 사용될 수 있다.After the binarization step S206, a step of setting a prespace using the distance data obtained from the distance sensor may be performed (S208). Scanning laser radar may be used as the distance sensor.

프리스페이스는 필터결과에서 장애물 등을 제거한 영역을 의미한다. 따라서 필터결과에서 거리센서를 이용하여 불필요한 장애물 등이 있는 영역은 무시하고 프리스페이스 내의 영역으로만 한정하여 차선을 추출함으로써 장애물 등이 포함되지 않은 차선을 제대로 인식할 수 있게 해줌으로써 본 발명의 목적이 달성될 수 있다.Prespace means an area where obstacles and the like are removed from the filter result. Therefore, by using a distance sensor in the filter result, it is possible to disregard the areas with unnecessary obstacles and to extract only the areas within the free space so that the lanes without obstacles can be properly recognized. Can be achieved.

카메라로 들어오는 입력 영상프레임에 더하여 거리센서를 통해 들어오는 데이터를 이용하여 프리스페이스를 설정하기 위해서는 먼저 거리센서의 좌표와 입력 영상 좌표의 관계식을 알아야 한다. 입력 영상의 픽셀 좌표를 (xi, yi)라고 하고 거리센서의 좌표를 (Xw, Yw, Zw)라고 하면 두 좌표의 관계식은 [수학식 7], [수학식 8]과 같이 나타낼 수 있다. 여기서 H는 두 좌표를 관련시키는 호모그래피이다.In order to set the prespace using the data input from the distance sensor in addition to the input image frame coming into the camera, the relationship between the coordinates of the distance sensor and the input image coordinate must be known. If the pixel coordinate of the input image is (x i , y i ) and the coordinate of the distance sensor is (Xw, Yw, Zw), the relationship between the two coordinates can be expressed as [Equation 7] and [Equation 8]. . Where H is the homography that relates the two coordinates.

Figure 112008018371451-PAT00008
Figure 112008018371451-PAT00008

Figure 112008018371451-PAT00009
Figure 112008018371451-PAT00009

영상에서 차량이 존재하는 부분은 도로 면, 즉, Yw가 0이 되는 점부터 시작하기 때문에 Yw가 0인 영상의 좌표를 알아야 한다. 그렇기 때문에 Yw가 0이 되는 영상에서의 좌표를 알아야 한다. Yw가 0이 되는 영상 좌표를 구하기 위한 [수학식 7]의 H는 [수학식 9]와 같다.Since the part of the vehicle in the image starts from the road surface, that is, the point where Yw becomes zero, it is necessary to know the coordinates of the image in which Yw is zero. So we need to know the coordinates in the image where Yw is zero. H of [Equation 7] for obtaining image coordinates where Yw becomes 0 is equal to [Equation 9].

Figure 112008018371451-PAT00010
Figure 112008018371451-PAT00010

여기서, Hc는 카메라의 높이이며, θ는 카메라의 요각(Yaw Angle),

Figure 112008018371451-PAT00011
는 카메라의 틸트각(Tilt Angle)이다.Where Hc is the height of the camera, θ is the yaw angle of the camera,
Figure 112008018371451-PAT00011
Is the tilt angle of the camera.

도 7은 프리스페이스설정단계(S208)에서 스캐닝 레이저 레이더 같은 거리센서로부터 획득한 데이터의 좌표를 나타낸 도면이고, 도 8은 프리스페이스설정단계(S208)에서 거리센서로부터의 데이터 좌표를 영상좌표로 변환한 결과를 나타낸 도면이다.FIG. 7 is a diagram showing coordinates of data obtained from a distance sensor such as a scanning laser radar in a prespace setting step S208, and FIG. 8 is a diagram of data coordinates converted from an image sensor into image coordinates in a prespace setting step S208. It is a figure which shows one result.

좌표 변환된 결과를 통해서 거리 센서를 이용한 입력영상에서의 프리스페이스를 설정할 수 있다. 거리센서를 통해서 입력되는 값은 도 7에서 보는 것과 같이 점들을 이룬다. 거리센서로부터의 데이터 값을 영상좌표로 변환하면 도 8과 같이 영상에서의 좌표가 연속적이지 않기 때문에 연속된 값처럼 이용해야 입력영상에서 장애물 부분을 정확히 제거할 수 있다.Based on the coordinate transformation result, the prespace in the input image using the distance sensor can be set. Values input through the distance sensor form points as shown in FIG. If the data value from the distance sensor is converted into image coordinates, the coordinates in the image are not continuous as shown in FIG.

따라서, 데이터 클러스터링(Data Clustering) 과정을 거쳐 거리센서에서 입력되는 값을 하나의 물체에 대해서 연속된 값을 가지도록 설정한다. 거리센서로부터 입력되는 거리 데이터의 좌표를 극좌표계(Polar Coordinate)에서 직교좌표계(Cartesian Coordinate)로 변환한 후, x축 좌표의 변화량과 y축 좌표의 변화량이 임계값, 예를 들어, 50cm 이하일 경우 하나의 클러스터로 분류한다.Therefore, the value input from the distance sensor is set to have a continuous value for one object through a data clustering process. When the coordinates of the distance data input from the distance sensor are converted from the polar coordinate system to the Cartesian coordinate system, and the change amount of the x-axis coordinate and the change amount of the y-axis coordinate are below a threshold value, for example, 50 cm or less. Classify into one cluster.

위와 같이 인식된 데이터 클러스터의 경계선 아래와 지평선 라인(또는 후술되는 3단계 관심영역의 윗쪽선) 아래가 프리스페이스가 된다. 이와 같이 클러스터의 경계선 아래를 프리스페이스로 한정함으로써 클러스터를 형성하는 장애물을 제거할 수 있어서 본 발명의 목적이 달성될 수 있다.The free space is below the boundary line of the recognized data cluster and below the horizon line (or the top line of the region of interest of the third stage described later). As such, by limiting the space below the cluster boundary to the free space, obstacles forming the cluster can be eliminated, thereby achieving the object of the present invention.

도 9는 프리스페이스설정단계(S208)에서 도 7 및 도 8의 입력값을 이용하여 추출한 프리스페이스를 예시한 도면이다. 프리스페이스는 픽셀 값이 '1'로 설정되 어, 도 9에 도시하듯이 하얗게 보이는 영역이 된다. 이와 같이 프리스페이스를 설정함으로써 차량 등의 주변 장애물에 의해 차선이 잘못 인식되는 것을 방지해줄 수 있다.FIG. 9 is a diagram illustrating a prespace extracted by using the input values of FIGS. 7 and 8 in the prespace setting step (S208). In the prespace, the pixel value is set to '1', and thus the white space is shown as shown in FIG. By setting the prespace in this way, it is possible to prevent the lane from being erroneously recognized by an obstacle such as a vehicle.

이와 같이 S208단계가 끝난 이후에는, 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 단계(S210)를 수행한다. 여기서 탬플릿매칭 알고리즘으로는 허프변환이 사용될 수 있다.After the step S208 is completed, a template matching algorithm is applied to the filter result to find a line component existing in the prespace (S210). Here, the Hough transform may be used as the template matching algorithm.

스티어러블 필터로부터 추출된 필터영상으로부터 차선을 찾기 위해서는 먼저 허프변환이(Hough Transform)이 수행된다. 허프변환은 영상에서 직선 성분을 찾는데 사용된다. 허프변환은 각 픽셀에서 가능한 직선성분을 추출한다. [수학식 10]은 허프변환을 위한 x-y 좌표의 변환 식이다.Hough transform is first performed to find a lane from the filter image extracted from the steerable filter. Hough transform is used to find the linear components in the image. Hough transform extracts possible linear components at each pixel. Equation 10 is a conversion equation of x-y coordinates for the Hough transform.

Figure 112008018371451-PAT00012
Figure 112008018371451-PAT00012

각 픽셀의 위치에 따라 변하는 ρ, θ가 가장 많은 점을 검출하면 그 영상에서 직선 성분이 가장 많은 부분 픽셀들을 찾을 수 있게 된다.Detecting the point where ρ and θ varying according to the position of each pixel can find the partial pixel having the largest linear component in the image.

도 10은 선성분추출단계(S210)에서 필터영상을 허프변환한 결과를 도시한 도면이다.FIG. 10 is a diagram illustrating a result of the Hough transform of the filter image in the linear component extraction step (S210).

도 10a는 필터영상이며 도 10b는 필터영상을 허프변환한 결과이며, 도 10c는 허프변환결과를 영상에 매핑(빨간색 선)한 도면이다.FIG. 10A is a filter image, and FIG. 10B is a result of Hough transforming the filter image, and FIG. 10C is a diagram in which the Hough transform result is mapped (red line) to the image.

위와 같이 허프변환 결과를 이용하여 차선 표시 후보군을 생성한다. 특히 자 차선 영역은 차선 표시의 안쪽 선을 기준으로 생성되기에 안쪽 차선 표시 부분을 차선 표시 후보군 픽셀로 설정한다. 그러므로 허프변환 결과에서 나타난 직선을 기준으로 자차선 영역에서 가장 가까운 픽셀을 찾는다.As described above, the lane display candidate group is generated using the Hough transform result. In particular, since the own lane area is generated based on the inner line of the lane display, the inner lane display portion is set to the lane display candidate group pixel. Therefore, the nearest pixel in the lane line region is found based on the straight line shown in the Hough transform result.

도 11은 선성분추출단계(S210)에서 허프변환 결과에서 자차선에 가장 가까운 픽셀들을 표시한 도면이다.FIG. 11 is a diagram illustrating pixels closest to the own lane in the Hough transform result in the line component extraction step (S210).

선성분추출단계(S210)가 끝난 이후에 관심영역(Region Of Interest: ROI)을 설정(S212)할 수 있다.After the line component extraction step S210 is finished, a region of interest (ROI) may be set (S212).

전술하였듯이, 라인피팅하여 차선을 찾는 단계(S214) 이전에 설정될 수 있다.As described above, it may be set before the step S214 of finding a lane by line fitting.

영상프레임에 나타난 차선은 길의 모양에 따라서 직선 혹은 곡선의 모습을 할 수 있다. 차선인식에 필요한 관심영역(Region Of Interest: ROI)은 탐색해야 하는 범위가 최소화되되, 차선의 형상을 포함할 수 있도록 설정된다.The lanes shown in the video frame may be straight or curved depending on the shape of the road. The region of interest (ROI) required for lane recognition is set to include the shape of the lane while minimizing the range to be searched.

바람직한 차선의 형상은 차선만 포함될 수 있도록 하고 다른 물체는 제외할 수 있어야 한다. 차선은 멀어질수록 작게 보이는 점을 고려하여 차선이 작게 보임에 따라 ROI도 점점 작아지도록 3단계로 나누며 또한 좌측차선과 우측차선으로 나눈다. 따라서 6개의 서브 ROI가 3단계로 나뉘어 단계적으로 설정될 수 있다.The preferred lane shape should be such that only lanes can be included and other objects can be excluded. The lane is divided into three stages so that the ROI becomes smaller as the lane looks smaller, considering that the lane looks smaller as it moves further away. The lane is divided into a left lane and a right lane. Therefore, six sub ROIs may be set in three stages.

도 3에 도시하듯이, 좌 우 각 3개씩으로 총 6개의 ROI가 존재한다. 즉, 1단계 관심영역은 서브 ROI I, IV이고, 2단계 관심영역은 서브 ROI II, V이고, 3단계 관심영역은 서브 ROI III, VI 등이 되도록 나눌 수 있다.As shown in FIG. 3, there are six ROIs, three each on the left and right sides. That is, the first-level ROI may be divided into sub-ROI I and IV, the second-ROI may be sub-ROI II and V, and the third-ROI may be sub-ROI III and VI.

차량에 근접한 서브 ROI I, IV는 고정될 수 있고, 나머지 서브 ROI는 차선인 식결과에 따라 달라질 수 있다. 즉, 1단계 관심영역에 따라서 2단계 관심영역이 달라질 수 있으며, 2단계 관심영역에 따라서 3단계 관심영역이 달라질 수 있다.The sub-ROIs I and IV close to the vehicle may be fixed, and the remaining sub-ROIs may vary depending on the following equation. That is, the second-level ROI may vary according to the first-level ROI, and the three-step ROI may vary according to the second-ROI.

예를 들어, 카메라의 촬영영상의 아래로부터 1/3 지점까지를 좌우로 이등분하여 서브 ROI I, IV로 지정하여 1단계 관심영역을 지정하고, 그 이후 단계의 관심영역은 1단계 관심영역 내의 차선을 인식한 후에 인식한 차선정보를 이용하여 단계적으로 설정될 수 있다.For example, by dividing up and down 1/3 points from the bottom of the camera image to left and right, sub ROI I and IV are designated to designate the ROI stage 1, and the ROI of the subsequent stage is the lane within the ROI stage 1 After recognizing this, it may be set step by step using the recognized lane information.

ROI 설정은 1단계에서 차선 인식된 차선 정보를 통해서 2단계의 ROI를 설정하고 2단계에서 인식된 차선 정보를 이용하여 3단계 ROI를 설정한다. 단계적으로 ROI를 설정함으로 주변 노이즈에 의한 잘못된 차선 인식 확률을 제거할 수 있는 장점이 있다. 또한 1단계의 차선, 즉 가까운 차선은 직선으로 인식할 수 있다. 그러므로 1단계에서 쉽게 차선을 찾고 곡선이 심한 2, 3단계에서 ROI를 좁게 설정하여 차선을 찾을 확률을 높이는 장점도 있다. 그러나 전방 차량이나 끼어드는 차량에 의한 노이즈는 영상만을 이용한 ROI로는 제거하기 어렵다.In the ROI setting, the ROI of the second stage is set based on the lane information recognized in the first stage, and the ROI of the third stage is set using the lane information recognized in the second stage. By setting the ROI in stages, there is an advantage of eliminating false lane recognition probability due to ambient noise. In addition, the lane of the first stage, that is, the near lane, can be recognized as a straight line. Therefore, there is an advantage that it is easy to find lanes in the first stage and narrow the ROI in the second and third stages of the curve, which increases the probability of finding the lane. However, the noise caused by the front vehicle or the interrupting vehicle is difficult to remove by ROI using only the image.

카메라로부터의 입력영상에서 차선은 임의의 각도 성분을 가지는 에지(Edge)로 나타난다. 임의의 각도에 대한 에지 응답성을 추출할 때 차선을 가장 정확하게 찾을 수 있다. 특히 방해가 되는 전방이나 옆 차선의 그림자 등은 차선과 다른 각도를 가지기 때문에 입력영상에서의 차선 각도를 알고 있으면 입력영상에서 차선이 이루는 에지성분을 쉽게 추출하고 주변에 노이즈가 되는 성분을 제외할 수 있다.In the input image from the camera, the lanes appear as edges with arbitrary angle components. The best way to find the lane is to extract the edge responsiveness for any angle. In particular, the obstructing shadows of the front and side lanes have different angles from the lanes, so if you know the lane angle in the input image, you can easily extract the edge components of the input image from the input image and exclude the components that make noise around you. have.

관심영역설정단계(S212) 이후에, 설정된 관심영역 내의 선성분에 라인피팅을 수행하고 차선을 추출하는 단계(S214)를 수행한다.After the region of interest setting step S212, line fitting is performed on the line components within the set region of interest and step S214 is performed.

허프변환 결과로 찾은 차선 표시 후보군 픽셀들은 라인 피팅(Line Fitting)함으로써 차선 영역을 찾을 수 있다. 라인 피팅은 직선피팅(Linear Fitting)과 커브피팅(Curve Fitting) 두 가지로 이루어질 수 있다.The lane marking candidate group pixels found as a result of the Hough transform may be found by performing line fitting. The line fitting may be made of two types: linear fitting and curve fitting.

[수학식 11]은 직선피팅을, [수학식 12]는 커브피팅을 나타낸다. Equation (11) represents a straight line fitting, and Equation 12 represents a curve fitting.

Figure 112008018371451-PAT00013
Figure 112008018371451-PAT00013

1단계 관심영역은 직선으로 근사될 수 있으므로 직선피팅으로 라인 피팅을 수행할 수 있으며, 이와 같이 라인 피팅한 결과를 이용하여 얻은 직선이 2단계 관심 영역과 1단계 관심 영역의 경계선과 만나는 점이 2단계 관심영역의 x 좌표 중심이 된다.Since the first-stage ROI can be approximated by a straight line, line fitting can be performed with a straight fitting, and the point where the straight line obtained by using the line fitting result meets the boundary of the second-stage ROI and the first-stage ROI It is the x coordinate center of the ROI.

Figure 112008018371451-PAT00014
Figure 112008018371451-PAT00014

이와 같이 1단계 관심영역의 차선을 추출하면 그 이후에 2단계 관심영역 및 3단계 관심영역으로 단계적으로 차선을 추출하는 과정을 수행함으로써 카메라 영상프레임의 차선을 추출할 수 있다.As described above, when the lane of the first-level ROI is extracted, the lane of the camera image frame may be extracted by performing the step-by-step process of extracting the lane into the second-phase ROI and the three-step ROI.

또한, 1단계 관심 영역에서 이루어진 결과를 바탕으로 2단계 관심 영역에서 수행할 수 있다. In addition, it may be performed in the second region of interest based on the result of the first region of interest.

2단계 관심영역은 직선 또는 곡선으로 근사될 수 있으므로 직선피팅 또는 커브피팅으로 라인 피팅을 수행할 수 있으며, 라인 피팅 결과를 이용하여 얻은 라인이 2단계 관심 영역과 3단계 관심 영역의 경계선과 만나는 점이 3단계 관심영역의 x 좌표 중심이 된다.Since the second-stage ROI can be approximated by a straight line or a curve, line fitting can be performed by linear or curve fitting. The line obtained using the line fitting result meets the boundary line between the two-stage ROI and the three-stage ROI. Step 3 becomes the center of the x coordinate of the ROI.

1단계 관심영역에서의 라인피팅이 끝나면 2단계 관심 영역에서의 라인 피팅은 1단계 관심영역에서와 같은 방법으로 수행된다. 이때의 2단계 관심영역은 전술하였듯이 1단계 관심영역에서 차선을 추출한 후에 설정될 수 있다.After the line fitting in the first stage of interest region is finished, the line fitting in the second stage of interest region is performed in the same manner as in the first stage of interest region. In this case, the second-stage ROI may be set after extracting a lane from the first-stage ROI.

2단계 관심영역에서는 1단계 관심영역에서 차선 표시 후보군 픽셀을 선택하기 위해서 수행했던 스티어러블 필터 사용(S204), 이진화단계(S206), 프리스페이스 설정(S208) 및 허프변환(S210)을 수행하지 않고, 1단계 관심 영역에서 획득했던 피팅 정보를 이용하여 피팅 라인과 자차선 영역을 기준으로 차선 표시 후보군 픽셀을 선택한다. 2단계 관심 영역에서 3단계 관심 영역을 설정하는 방법은 1단계 관심 영역에서 2단계 관심 영역을 설정하는 방법과 동일하다.In the second-level ROI, without using the steerable filter (S204), the binarization step (S206), the pre-space setting (S208), and the hough transform (S210), which were performed to select the lane-display candidate group pixels in the first-step ROI. Next, the lane display candidate group pixels are selected based on the fitting line and the own lane area using the fitting information acquired in the first region of interest. The method of setting the third-level ROI in the second-level ROI is the same as the method of setting the second-ROI in the first-ROI.

도 12는 관심영역설정단계(S212)에서 2단계 관심 영역 및 3단계 관심영역을 설정한 예를 도시한 도면이다.FIG. 12 is a diagram illustrating an example of setting a two-step ROI and a three-step ROI in the ROI setting step S212.

차선 인식은 1단계에서 3단계로 설정된 영역의 차선 표시 후보군을 함께 직선 피팅을 수행하여 얻어진다. 또한 차선 트래킹(Tracking)을 위해서는 Kalman 필터를 사용할 수 있다. Kalman 필터의 측정 매트릭스로는 좌차선 각도, 좌차선 오프셋, 우차선 각도, 우차선 오프셋을 사용하였다. 즉, 입력되는 좌차선과 우차선에 대한 기울기와 오프셋을 이용하여 트래킹을 수행한다.Lane recognition is obtained by performing a straight line fitting of the lane display candidate groups of the areas set in steps 1 to 3 together. You can also use Kalman filters for lane tracking. As the measurement matrix of the Kalman filter, left lane angle, left lane offset, right lane angle, and right lane offset were used. That is, tracking is performed by using slopes and offsets of the input left and right lanes.

그리고 다음 프레임의 차선 표시의 각도는 직선 피팅 결과를 이용하여 피팅결과에서 나타나는 차선 표시의 각도를 사용한다. 찾아진 각도는 다음 프레임에서의 스티어러블 필터의 입력각도로 사용된다. 그러므로 각 정보를 이전 프레임의 정 보를 이용하기 때문에 첫 프레임에서 EDF를 이용하여 스티어러블 필터의 입력 각도를 구했지만 이후 프레임에서는 이전 프레임에서 구한 각도를 입력으로 하기 때문에 계산량을 줄일 수 있다.The angle of the lane marking of the next frame uses the angle of the lane marking that appears in the fitting result using the straight fitting result. The found angle is used as the input angle of the steerable filter in the next frame. Therefore, since each piece of information uses the information of the previous frame, the input angle of the steerable filter was obtained by using EDF in the first frame, but the calculation amount can be reduced because the angle obtained in the previous frame is input in the subsequent frame.

도 13은 차선추출단계(S214)에서 직선 피팅하여 차선성분(빨간색 선)을 인식한 결과를 나타낸 도면이다.FIG. 13 is a diagram illustrating a result of recognizing a lane component (red line) by fitting a straight line in the lane extraction step (S214).

도 14는 본 발명의 일 실시예에 따른 차선인식 시스템을 도시한 도면이다.14 is a diagram illustrating a lane recognition system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 거리센서를 이용한 차선인식 시스템은, 자차 주변을 촬영하여 영상프레임을 생성하는 카메라(1402); 상기 영상프레임을 수신하는 영상수신부(1403); 상기 자차 주변의 장애물을 감지하는 거리데이터를 생성하는 거리센서(1404); 상기 거리데이터를 수신하는 거리데이터수신부(1405); 상기 영상프레임에 스티어러블 필터를 사용하여 필터결과를 추출하는 필터부(1406); 상기 거리데이터를 이용하여 프리스페이스를 설정하는 프리스페이스설정부(1408); 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 선성분추출부(1410); 관심영역(Region Of Interest: ROI)을 설정하는 관심영역설정부(1411) 상기 관심영역에서 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 차선추출부(1412) 및 일정값 이상의 픽셀만 유효한 필터결과로 인식하는 이진화를 수행하는 이진화부(1414)를 포함한다.Lane recognition system using a distance sensor according to an embodiment of the present invention, the camera 1402 for generating a video frame by photographing the surrounding vehicle; An image receiver 1403 which receives the image frame; A distance sensor 1404 for generating distance data for detecting obstacles around the host vehicle; A distance data receiver 1405 for receiving the distance data; A filter unit 1406 for extracting a filter result by using a steerable filter on the image frame; A prespace setting unit 1408 for setting a prespace using the distance data; A line component extractor 1410 which finds a line component existing in the prespace by applying a template matching algorithm to the filter result; A region of interest setting unit 1411 for setting a region of interest (ROI) and a lane extracting unit 1412 that performs line fitting on the line component in the region of interest and extracts a lane, and a filter valid only for pixels having a predetermined value or more. And a binarization unit 1414 that performs binarization to recognize the result.

경우에 따라서 이진화부(1414)는 생략될 수 있다.In some cases, the binarization unit 1414 may be omitted.

도 2 내지 도 13과, 도 14를 같이 놓고 보면 본 발명의 일 실시예에 따른 차 선인식 시스템이 설명된다.2 to 13 and FIG. 14 together illustrate a lane recognition system according to an embodiment of the present invention.

카메라(1402)는 자차 주변을 촬영하여 영상프레임을 생성하고, 거리센서(1404)는 상기 자차 주변의 장애물을 감지하는 데이터를 생성한다.The camera 1402 generates an image frame by photographing the surrounding vehicle, and the distance sensor 1404 generates data for detecting an obstacle around the vehicle.

영상수신부(1403) 및 거리데이터수신부(1405)는 영상프레임 및 거리데이터 수신단계(S202)를 수행한다.The image receiver 1403 and the distance data receiver 1405 perform an image frame and distance data receiving step S202.

필터부(1406)는 필터결과 추출단계(S204)를 수행하고, 프리스페이스설정부(1408)는 이진화부(1414)는 이진화단계(S206)를 수행하고, 프리스페이스 설정단계(S208)를 수행한다.The filter unit 1406 performs the filter result extraction step (S204), the prespace setting unit 1408, the binarization unit 1414 performs the binarization step (S206), and performs the prespace setting step (S208). .

선성분추출부(1410)는 선성분 추출단계(S210)를 수행하고, 관심영역설정부(1411)는 관심영역설정단계(S212)를 수행하고, 차선추출부(1412)는 차선추출단계(S214)를 수행함으로써 본 발명의 목적이 달성될 수 있다.The line component extractor 1410 performs the line component extraction step S210, the ROI setting unit 1411 performs the ROI setting step S212, and the lane extractor 1412 performs the lane extracting step S214. The object of the present invention can be achieved by

한편, 선성분추출부(1410)는 탬플릿매칭 알고리즘을 사용하여 허프변환을 할 수 있다.Meanwhile, the line component extractor 1410 may perform a Hough transform using a template matching algorithm.

또한, 상기 관심영역은, 복수의 단계로 나뉘되, 1단계의 관심영역은 고정되고 이후의 관심영역은 직전 단계의 관심영역의 차선에 대한 정보를 이용하여 설정될 수 있다.The region of interest may be divided into a plurality of stages, in which the region of interest of the first stage is fixed, and subsequent regions of interest may be set using information on lanes of the region of interest of the previous stage.

한편, 필터부(1406)가 상기 스티어러블 필터를 적용할 때 사용하는 차선기울기는, 초기 영상프레임인 경우에는 EDF(Edge Distribution Function)를 사용하여 추출한 각도이고, 이후의 영상프레임인 경우에는 이전 영상프레임에서 추출한 상기 차선의 기울기를 사용할 수 있다.Meanwhile, the lane slope used when the filter unit 1406 applies the steerable filter is an angle extracted using an edge distribution function (EDF) in the case of an initial image frame, and the previous image in the case of a subsequent image frame. The slope of the lane extracted from the frame may be used.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

본 발명에 의하면, 카메라 정보만으로는 알기 어려운 장애물 정보를 거리센서를 사용하여 입수하여 차선을 인식하고, 카메라에서 입력되는 영상에서 장애물 정보를 이용하여 장애물이 제거된 ROI(Region of Interest, 관심 영역)를 설정함으로 장애물로 인한 차선 인식에 방해가 되는 노이즈(전방 차량에 의해 생기는 에지 정보), 차선이 가려지는 유무 등을 거리센서의 정보를 이용하여 단순한 차선 인식 알고리즘 이용하여 차선을 인식을 수행하는 효과가 있다.According to the present invention, by using the distance sensor to obtain obstacle information that is difficult to know only by the camera information, the lane is recognized, and ROI (Region of Interest, ROI) from which the obstacle is removed using the obstacle information from the image input from the camera By setting it, it is effective to recognize lanes using simple lane recognition algorithms using distance sensor information such as noise (edge information generated by the front vehicle) that obstructs lane recognition due to obstacles, and whether lanes are covered. have.

또한, 일반적으로 거리센서는 자동순항시스템(Adaptive Cruise Control: ACC)를 위해서 차량에 이미 장착되어 있는 것을 사용할 수 있기 때문에 추가적인 비용의 증가 없이 한대의 카메라만을 이용하여 도로상의 장애물 정보를 이용한 차선인식이 가능하다.In addition, since the distance sensor can be used already installed in the vehicle for the adaptive cruise control (ACC), lane recognition using the obstacle information on the road using only one camera without additional cost increases. It is possible.

도 1은 종래의 차선인식 시스템을 사용한 경우에 차선 인식을 예시한 도면이다.1 is a diagram illustrating lane recognition when a conventional lane recognition system is used.

도 2는 본 발명의 일 실시예에 따른 차선인식 방법을 도시한 흐름도이다.2 is a flowchart illustrating a lane recognition method according to an embodiment of the present invention.

도 3은 관심영역설정단계(S212)에서 단계적으로 3단계 ROI가 설정된 것을 예시한 도면이다.3 is a diagram illustrating that a three-step ROI is set step by step in the region of interest setting step S212.

도 4는 필터결과추출단계(S204)에서 카메라 영상에 스티어러블 필터 결과를 도시한 도면이다.4 is a diagram illustrating a stiffable filter result in a camera image in the filter result extraction step (S204).

도 5는 필터결과추출단계(S204)에서 도 4a의 입력영상에 대하여 소벨 연산자를 이용하여 결과를 도시한 도면이다.FIG. 5 is a diagram illustrating a result using a Sobel operator on the input image of FIG. 4A in the filter result extraction step (S204).

도 6은 필터결과추출단계(S204)에서 도 4a의 입력영상에 대한 EDF를 도시한 그래프이다.FIG. 6 is a graph illustrating an EDF for the input image of FIG. 4A in the filter result extraction step S204.

도 7은 프리스페이스설정단계(S208)에서 스캐닝 레이저 레이더 같은 거리센서로부터 획득한 데이터의 좌표를 나타낸 도면이고,FIG. 7 is a diagram illustrating coordinates of data obtained from a distance sensor such as a scanning laser radar in a prespace setting step (S208).

도 8은 프리스페이스설정단계(S208)에서 거리센서로부터의 데이터 좌표를 영상좌표로 변환한 결과를 나타낸 도면이다.FIG. 8 is a diagram illustrating a result of converting data coordinates from a distance sensor into image coordinates in the prespace setting step (S208).

도 9는 프리스페이스설정단계(S208)에서 도 7 및 도 8의 입력값을 이용하여 추출한 프리스페이스를 예시한 도면이다.FIG. 9 is a diagram illustrating a prespace extracted by using the input values of FIGS. 7 and 8 in the prespace setting step (S208).

도 10은 선성분추출단계(S210)에서 필터영상을 허프변환한 결과를 도시한 도면이다.FIG. 10 is a diagram illustrating a result of the Hough transform of the filter image in the linear component extraction step (S210).

도 11은 선성분추출단계(S210)에서 허프변환 결과에서 자차선에 가장 가까운 픽셀들을 표시한 도면이다.FIG. 11 is a diagram illustrating pixels closest to the own lane in the Hough transform result in the line component extraction step (S210).

도 12는 관심영역설정단계(S212)에서 2단계 관심 영역 및 3단계 관심영역을 설정한 예를 도시한 도면이다.FIG. 12 is a diagram illustrating an example of setting a two-step ROI and a three-step ROI in the ROI setting step S212.

도 13은 차선추출단계(S214)에서 직선 피팅하여 차선성분(빨간색 선)을 인식한 결과를 나타낸 도면이다.FIG. 13 is a diagram illustrating a result of recognizing a lane component (red line) by fitting a straight line in the lane extraction step (S214).

도 14는 본 발명의 일 실시예에 따른 차선인식 시스템을 도시한 도면이다.14 is a diagram illustrating a lane recognition system according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

1402: 카메라 1403: 영상수신부1402: camera 1403: video receiver

1404: 거리센서 1405: 거리데이터수신부1404: distance sensor 1405: distance data receiver

1406: 필터부 1408: 프리스페이스 설정부1406: filter unit 1408: free space setting unit

1410: 선성분추출부 1411: 관심영역설정부1410: line component extractor 1411: ROI setting unit

1412: 차선추출부 1414: 이진화부1412: lane extractor 1414: binarization

Claims (10)

거리센서를 이용한 차선인식 방법에 있어서,In the lane recognition method using a distance sensor, (a) 자차주변을 촬영한 영상프레임 및 거리데이터를 수신하는 단계;(a) receiving an image frame and distance data photographing the surrounding vehicle; (b) 상기 영상프레임으로부터 스티어러블 필터를 사용하여 필터결과를 추출하는 단계;(b) extracting filter results from the image frame using a steerable filter; (c) 상기 거리 데이터를 이용하여 프리스페이스를 설정하는 단계;(c) setting a prespace using the distance data; (d) 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 단계;(d) applying a template matching algorithm to the filter result to find a line component present in the prespace; (e) 관심영역(Region Of Interest: ROI)을 설정하는 단계; 및(e) establishing a Region Of Interest (ROI); And (f) 상기 관심영역에서 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 단계;(f) performing line fitting on the line components in the region of interest and extracting lanes; 를 포함하는 것을 특징으로 하는 차선인식 방법.Lane recognition method comprising a. 제 1 항에 있어서, 상기 단계 (b)에서,The method of claim 1, wherein in step (b), 상기 스티어러블 필터를 적용할 때 사용하는 차선기울기는,Lane gradient used when applying the steerable filter, 초기 영상프레임인 경우에는 EDF(Edge Distribution Function)를 사용하여 추출한 각도이고, 이후의 영상프레임인 경우에는 이전 영상프레임에서 추출한 상기 차선의 기울기인 것을 특징으로 하는 차선인식 방법.The first image frame is an angle extracted using an edge distribution function (EDF), and the subsequent image frame is a slope of the lane extracted from the previous image frame. 제 1 항에 있어서,The method of claim 1, 상기 단계 (b) 이후에,After step (b), 일정값 이상의 픽셀만 유효한 필터결과로 인식하는 이진화단계를 추가로 포함하는 것을 특징으로 하는 차선인식 방법.And further comprising a binarization step of recognizing only a pixel having a predetermined value or more as a valid filter result. 제 1 항에 있어서, 상기 관심영역은,The method of claim 1, wherein the region of interest is: 복수의 단계로 나뉘되, 1단계의 관심영역은 고정되고 이후의 관심영역은 직전 단계의 관심영역의 상기 차선에 대한 정보를 이용하여 설정되는 것을 특징으로 하는 차선인식 방법.The lane recognition method is divided into a plurality of stages, wherein the region of interest in the first stage is fixed and the subsequent region of interest is set using information on the lane of the region of interest in the previous stage. 제 1 항에 있어서, 상기 탬플릿매칭 알고리즘은,The method of claim 1, wherein the template matching algorithm, 허프변환인 것을 특징으로 하는 차선인식 방법.Lane recognition method characterized in that the Hough transform. 거리센서를 이용한 차선인식 시스템에 있어서,In lane detection system using a distance sensor, 자차 주변을 촬영하여 영상프레임을 생성하는 카메라;A camera for photographing the surrounding vehicle to generate an image frame; 상기 자차 주변의 장애물을 감지하는 거리데이터를 생성하는 거리센서;A distance sensor for generating distance data for detecting obstacles around the host vehicle; 상기 영상프레임을 수신하는 영상수신부;An image receiver which receives the image frame; 상기 거리데이터를 수신하는 거리데이터수신부;A distance data receiver for receiving the distance data; 상기 영상프레임에 스티어러블 필터를 사용하여 필터결과를 추출하는 필터부;A filter unit which extracts a filter result by using a steerable filter on the image frame; 상기 거리데이터를 이용하여 프리스페이스를 설정하는 프리스페이스설정부;A prespace setting unit configured to set a prespace using the distance data; 상기 필터결과에 탬플릿매칭 알고리즘을 적용하여 상기 프리스페이스 내에 존재하는 선성분을 찾는 선성분추출부;A line component extracting unit which finds a line component existing in the prespace by applying a template matching algorithm to the filter result; 관심영역(Region Of Interest: ROI)을 설정하는 관심영역설정부; 및A region of interest setting unit for setting a region of interest (ROI); And 상기 관심영역에서 상기 선성분에 라인피팅을 수행하고 차선을 추출하는 차선추출부;A lane extracting unit performing line fitting to the line component in the region of interest and extracting a lane; 를 포함하는 것을 특징으로 하는 차선인식 시스템.Lane recognition system comprising a. 제 6 항에 있어서,The method of claim 6, 상기 필터부가 상기 스티어러블 필터를 적용할 때 사용하는 차선기울기는,Lane gradient used when the filter unit applies the steerable filter, 초기 영상프레임인 경우에는 EDF(Edge Distribution Function)를 사용하여 추출한 각도이고, 이후의 영상프레임인 경우에는 이전 영상프레임에서 추출한 상기 차선의 기울기인 것을 특징으로 하는 차선인식 시스템.In the case of an initial image frame, the angle is extracted using an edge distribution function (EDF), and in the case of a subsequent image frame, the lane is an inclination of the lane extracted from a previous image frame. 제 6 항에 있어서,The method of claim 6, 상기 차선인식 시스템은,The lane recognition system, 일정값 이상의 픽셀만 유효한 필터결과로 인식하는 이진화를 수행하는 이진화부를 추가로 포함하는 것을 특징으로 하는 차선인식 시스템.And a binarization unit configured to perform binarization for recognizing only pixels having a predetermined value or more as valid filter results. 제 6 항에 있어서, 상기 관심영역은,The method of claim 6, wherein the region of interest is: 복수의 단계로 나뉘되, 1단계의 관심영역은 고정되고 이후의 관심영역은 직전 단계의 관심영역의 상기 차선에 대한 정보를 이용하여 설정되는 것을 특징으로 하는 차선인식 시스템.The lane recognition system of claim 1, wherein the region of interest of the first stage is fixed and the subsequent region of interest is set using information on the lane of the region of interest of the previous stage. 제 1 항에 있어서, 상기 탬플릿매칭 알고리즘은,The method of claim 1, wherein the template matching algorithm, 허프변환인 것을 특징으로 하는 차선인식 시스템.Lane recognition system, characterized in that the Hough transform.
KR1020080023380A 2008-03-13 2008-03-13 Method and System for Detecting Lane by Using Distance Sensor KR101176693B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080023380A KR101176693B1 (en) 2008-03-13 2008-03-13 Method and System for Detecting Lane by Using Distance Sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080023380A KR101176693B1 (en) 2008-03-13 2008-03-13 Method and System for Detecting Lane by Using Distance Sensor

Publications (2)

Publication Number Publication Date
KR20090098167A true KR20090098167A (en) 2009-09-17
KR101176693B1 KR101176693B1 (en) 2012-08-23

Family

ID=41357294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080023380A KR101176693B1 (en) 2008-03-13 2008-03-13 Method and System for Detecting Lane by Using Distance Sensor

Country Status (1)

Country Link
KR (1) KR101176693B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101067437B1 (en) * 2009-10-29 2011-09-27 한국기술교육대학교 산학협력단 Lane detection method and Detecting system using the same
KR20130015978A (en) * 2011-08-05 2013-02-14 엘지전자 주식회사 Apparatus for detecting lane and method thereof
KR20130015981A (en) * 2011-08-05 2013-02-14 엘지전자 주식회사 Apparatus for detecting lane and method thereof
KR101236234B1 (en) * 2010-07-29 2013-02-22 한국과학기술연구원 Detection system of road line using both laser sensor and camera
KR101336044B1 (en) * 2011-12-27 2013-12-03 전자부품연구원 Lane cognition device and method
KR101383467B1 (en) * 2013-02-14 2014-04-08 한국산업기술대학교산학협력단 Adapting lane trace system using trace modeling based vision
KR101511859B1 (en) * 2013-11-04 2015-04-13 현대오트론 주식회사 Lane recognition enhanced driver assistance systems and controlling method for the same
CN104608767A (en) * 2013-11-05 2015-05-13 现代摩比斯株式会社 Apparatus and method for controlling velocity of vehicle considering slope of road
KR101694347B1 (en) * 2015-08-31 2017-01-09 현대자동차주식회사 Vehicle and lane detection method for the vehicle
CN107284455A (en) * 2017-05-16 2017-10-24 浙江理工大学 A kind of ADAS systems based on image procossing
KR101868898B1 (en) * 2017-02-06 2018-06-20 국방과학연구소 Method and apparatus of identifying lane for self-driving car
US10279806B2 (en) 2016-10-20 2019-05-07 Hyundai Motor Company Lane estimating apparatus and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3352655B2 (en) * 1999-09-22 2002-12-03 富士重工業株式会社 Lane recognition device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101067437B1 (en) * 2009-10-29 2011-09-27 한국기술교육대학교 산학협력단 Lane detection method and Detecting system using the same
KR101236234B1 (en) * 2010-07-29 2013-02-22 한국과학기술연구원 Detection system of road line using both laser sensor and camera
KR20130015978A (en) * 2011-08-05 2013-02-14 엘지전자 주식회사 Apparatus for detecting lane and method thereof
KR20130015981A (en) * 2011-08-05 2013-02-14 엘지전자 주식회사 Apparatus for detecting lane and method thereof
KR101336044B1 (en) * 2011-12-27 2013-12-03 전자부품연구원 Lane cognition device and method
KR101383467B1 (en) * 2013-02-14 2014-04-08 한국산업기술대학교산학협력단 Adapting lane trace system using trace modeling based vision
KR101511859B1 (en) * 2013-11-04 2015-04-13 현대오트론 주식회사 Lane recognition enhanced driver assistance systems and controlling method for the same
CN104608767A (en) * 2013-11-05 2015-05-13 现代摩比斯株式会社 Apparatus and method for controlling velocity of vehicle considering slope of road
KR101694347B1 (en) * 2015-08-31 2017-01-09 현대자동차주식회사 Vehicle and lane detection method for the vehicle
US9910157B2 (en) 2015-08-31 2018-03-06 Hyundai Motor Company Vehicle and lane detection method for the vehicle
US10279806B2 (en) 2016-10-20 2019-05-07 Hyundai Motor Company Lane estimating apparatus and method
KR101868898B1 (en) * 2017-02-06 2018-06-20 국방과학연구소 Method and apparatus of identifying lane for self-driving car
CN107284455A (en) * 2017-05-16 2017-10-24 浙江理工大学 A kind of ADAS systems based on image procossing

Also Published As

Publication number Publication date
KR101176693B1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
KR101176693B1 (en) Method and System for Detecting Lane by Using Distance Sensor
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
EP3179445B1 (en) Outside environment recognition device for vehicles and vehicle behavior control device using same
US8867790B2 (en) Object detection device, object detection method, and program
KR100975749B1 (en) Method for recognizing lane and lane departure with Single Lane Extraction
KR101609303B1 (en) Method to calibrate camera and apparatus therefor
US11064177B2 (en) Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium
KR100818317B1 (en) Method for recognizing a vehicle using the difference image
EP2573708B1 (en) Method and System for Detecting Vehicle Position by Employing Polarization Image
JP6087858B2 (en) Traveling lane marking recognition device and traveling lane marking recognition program
JP2008158958A (en) Road surface determination method and road surface determination device
JP5894201B2 (en) Boundary line recognition device
KR102069843B1 (en) Apparatus amd method for tracking vehicle
KR20110001427A (en) High speed road lane detection method based on extraction of roi-lb
KR101342124B1 (en) A front vehicle detecting and tracking system using the image and detecting and tracking method using the same
WO2016059643A1 (en) System and method for pedestrian detection
JP6069938B2 (en) Pop-up detection device
JP4123138B2 (en) Vehicle detection method and vehicle detection device
JP2005157731A (en) Lane recognizing device and method
KR101333459B1 (en) Lane detecting method and apparatus thereof
Lee et al. Stereo vision-based obstacle detection using dense disparity map
CN109923586B (en) Parking frame recognition device
KR101976952B1 (en) System and method for detecting object using motion vector
KR20120116204A (en) Apparatus and method for recognizing lane using preceding vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 7