KR101868898B1 - Method and apparatus of identifying lane for self-driving car - Google Patents

Method and apparatus of identifying lane for self-driving car Download PDF

Info

Publication number
KR101868898B1
KR101868898B1 KR1020170016419A KR20170016419A KR101868898B1 KR 101868898 B1 KR101868898 B1 KR 101868898B1 KR 1020170016419 A KR1020170016419 A KR 1020170016419A KR 20170016419 A KR20170016419 A KR 20170016419A KR 101868898 B1 KR101868898 B1 KR 101868898B1
Authority
KR
South Korea
Prior art keywords
lane
distance information
information
straight line
road surface
Prior art date
Application number
KR1020170016419A
Other languages
Korean (ko)
Inventor
안성용
민지홍
이영일
곽기호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170016419A priority Critical patent/KR101868898B1/en
Application granted granted Critical
Publication of KR101868898B1 publication Critical patent/KR101868898B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

According to the present invention, a method for recognizing a lane for autonomous driving comprises: a three dimensional distance information receiving process to receive three dimensional distance information for a road including a lane, wherein the three dimensional distance information includes layer numbers corresponding to a plurality of layers having specific resolution in a horizontal direction, distance information (X, Y, Z), and reflectivity information; a data aligning process of aligning the received distance information and reflectivity information for each single layer; a road surface area recognition step of connecting points of distance information of the single layer to recognize a road surface area of the road; and a reflectivity peak point calculation step of calculating a reflectivity peak point in the road surface area by a filter reaction to the reflectivity information to estimate a position of a lane. Lanes can be effectively recognized by an autonomous vehicle regardless of surrounding environment effects.

Description

자율주행을 위한 차선 인식 방법 및 장치{Method and apparatus of identifying lane for self-driving car}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for identifying a lane for autonomous driving,

본 발명은 자율주행을 위한 차선 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 주야간 도로환경 자율주행을 위한 반사율정보 기반 차선인식 방법 및 장치에 관한 것이다.The present invention relates to a lane recognition method and apparatus for autonomous driving, and more particularly, to a method and apparatus for recognizing lane information based on reflectivity information for autonomous driving in day and night road environments.

지상차량의 무인자율화는 크게 환경을 인식하고, 경로를 계획하는 단계로 구성된다. 특히 차량에 장착된 각종 센서를 통하여 차량주변을 인지하고 구분함으로서 안전한 주행을 담보할 수 있도록 한다. 이러한 차량 주변 환경에 대한 인식의 기술은 무인차량이 주행을 목표하는 대상환경에 따라 필요한 기술이 달라지는데, 그 중에서 기존의 유인차량이 주행하도록 설계/시공된 도로환경에서의 자율주행은 도로에 존재하는 규칙을 인식하는 기술이 필수적으로 요구된다.Unmanned autonomous operation of ground vehicles consists of recognizing the environment and planning the route. Especially, various sensors attached to the vehicle recognize and distinguish the surroundings of the vehicle, thereby ensuring safe driving. The recognition technology of the environment around the vehicle is different according to the target environment in which the unmanned vehicle is intended to be driven. Among them, the autonomous driving in the road environment designed / constructed to drive the existing manned vehicle exists on the road Techniques to recognize rules are essential.

본 발명에서는 도로에 존재하는 규칙 중에서 다른 유무인의 차량과 함께 주행하기 위해 첫 번째로 지켜져야 하는 규칙인 차선을 인식하는 기술을 포함하고 있다. 차선을 인식하는 기술은 앞서 언급한 것과 같이 도로환경 자율주행에 요구되는 기본적인 사항이기 때문에 많은 연구가 이루어왔는데 기존의 대다수의 연구들은 카메라 센서로부터 획득된 영상을 기반으로 하고 있다. The present invention includes a technique of recognizing a lane, which is a rule to be firstly followed in order to travel with a vehicle existing or not present among the rules existing on the road. Many studies have been done because lane recognition technology is a basic requirement for autonomous road environment as mentioned above. Most existing studies are based on images acquired from camera sensors.

영상정보는 다른 환경인식 센서들로부터 획득되는 정보들에 비하여 정보의 밀도가 높기 때문에 정보를 획득하기 좋은 환경에서는 상대적으로 활용할 수 있는 정보가 많다는 장점이 있다. 또한, 영상정보는 사람이 눈으로 보는 색상정보를 그대로 활용할 수 있는 장점이 있기 때문에 정보획득에 좋은 환경에서는 높은 밀도의 색상정보를 활용하여 보다 정확한 차선을 인식할 수 있다. 하지만, 영상정보는 다른 환경인식 센서에 비하여 주변 환경과 상황에 영향이 매우 높은 센서이다. 다시 말해, 적정한 광량이 보장되는 환경에서는 앞서 언급한 센서의 장점을 모두 활용할 수 있지만 입사되는 빛이 너무 적거나 많은 경우 영상 내 차선의 특징이 모두 사라지거나, 다른 특징들이 더 강하게 발생하여 의미있는 정보를 제공하지 못한다. 또한, 같은 시간대와 같은 위치에서도 바라보는 방향과 주변 사물에 의한 그림자 등으로 얻을 수 있는 정보가 일정하지 않은 단점이 있다. Since the image information has a higher density of information than the information obtained from other environmental recognition sensors, the image information has an advantage that it can be relatively utilized in a good environment for acquiring information. Also, since the image information has an advantage of utilizing the color information seen by the human eye as it is, it can recognize the more accurate lane by utilizing the high density color information in a good environment for acquiring information. However, the image information is a sensor that is very influential on the surrounding environment and situation as compared with other environment recognition sensors. In other words, in an environment where proper light quantity is ensured, all the advantages of the above-mentioned sensors can be utilized, but when the incident light is too small or too large, all the features of the lane in the image disappear, . In addition, there is a disadvantage in that the information obtained by the direction of the observer and the shadow due to the surrounding objects are not constant even in the same time zone.

이러한 단점은 매우 다양한 환경과 주/야간을 포함한 모든 시간대에서 일정한 결과를 보장해야 하는 무인차량의 자율주행 성능에 치명적인 영향을 준다. 차선인식 장치가 운용자가 존재하고 단순히 주행을 보조하는 시스템이라면 운용자가 오동작할 경우 운용자가 인식결과를 인지하고 사고를 막을 수 있겠지만 인식결과에만 의존하여 주행하는 지상무인차량의 경우 한번의 오동작이 사고로 이어질 수 있기 때문에 인식의 정확도 뿐만 아니라 다양한 환경에서의 일정하고 강건한 결과를 보장할 수 있어야 한다. 따라서 좋은 환경에서 인식의 정확도를 높일 수 있지만 여러 악조건의 환경에서는 그 성능을 담보할 수 없는 영상기반의 차선인식 기법은 지상무인차량을 위한 환경인식 방법 및 장치로서 한계가 있다.These disadvantages have a serious impact on the autonomous driving performance of unmanned vehicles, which must guarantee consistent results at all times, including very diverse environments and day / night. If the lane recognition system is a system in which the operator exists and simply assists the driving, if the operator malfunctions, the operator may recognize the recognition result and prevent the accident. However, in the case of the ground unmanned vehicle, It should be able to guarantee constant and robust results in various environments as well as accuracy of recognition. Therefore, although it is possible to improve the recognition accuracy in a good environment, the image - based lane recognition technique, which can not guarantee the performance in various bad environments, is limited as an environmental recognition method and apparatus for ground unmanned vehicles.

따라서, 본 발명에서 해결하고자 하는 과제는, 자율 주행 차량에 있어서 노면 상의 차선의 3차원 좌표를 인식하는 데에 그 목적이 있다.Accordingly, an object to be solved by the present invention is to recognize three-dimensional coordinates of a lane on a road surface in an autonomous vehicle.

또한, 본 발명에서 해결하고자 하는 과제는, 주변 환경 영향에 관계없이 차선의 3차원 좌표를 인식함에 그 목적이 있다. It is another object of the present invention to recognize three-dimensional coordinates of a lane regardless of the influence of the surrounding environment.

상기와 같은 과제를 해결하기 위한 본 발명에 따른 자율주행을 위한 차선 인식 방법은, 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신 과정 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 － ; 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬 과정; 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식하는 노면 영역 인식 단계; 및 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 계산 단계를 포함하고, 자율 주행 차량에서 주변 환경 영향에 관계없이 효과적으로 차선을 인식할 수 있다.According to another aspect of the present invention, there is provided a method of recognizing a lane for autonomous driving, the method comprising: receiving a three-dimensional distance information on a road including a lane; A layer number, distance information (X, Y, Z) and reflectivity information corresponding to a plurality of layers having a specific resolution; A data alignment process for aligning the received distance information and reflectivity information for each single layer; A road surface area recognition step of recognizing a road surface area of the road by connecting the distance information points of the single layer; And a reflectance peak point calculation step of calculating a reflectance peak point in the road surface area through a filter reaction on the reflectivity information to estimate a position of a lane, and in the self-driving vehicle, The lane can be recognized.

일 실시예에 따르면, 상기 자율주행을 위한 차선 인식 방법은, 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 2차원 비 최대치 억제 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the lane recognition method for autonomous driving may further include a 2D non-maxima suppression process to the result of the filter reaction so as to minimize false positives occurring on the road surface with respect to the estimated lane, Dimensional non-maximum value suppression step for performing a two-dimensional non-maximum value suppression step.

일 실시예에 따르면, 상기 자율주행을 위한 차선 인식 방법은, 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하는 차선 위치 피팅 단계; 및 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 차선 인식 결과 출력 단계를 더 포함할 수 있다.According to an embodiment, the lane recognition method for autonomous driving may include a lane position fitting step of fitting the position of the lane along the running of the vehicle by accumulating the distance information points over time through the inter-frame position / ; And a lane recognition result output step of displaying the position of the lane fitted according to the running of the vehicle in a three-dimensional curve and outputting the lane recognition result.

일 실시예에 따르면, 상기 노면 영역 인식 단계는, 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하고, 그리고 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식하는 것을 특징으로 할 수 있다.According to an embodiment, the road surface area recognition step may include a step of representing the set of the distance information points sequentially obtained from the left side to the right side as one straight line, and if the distance between another straight line and the straight line neighboring the straight line is t And recognizing whether the straight line and the other straight line are the road portion or the lane portion by judging whether the spatial characteristics of the straight line and the other straight line are similar to the road surface characteristics.

일 실시예에 따르면, 상기 반사율 피크 지점 계산 단계는, 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하고, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태이고, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.According to an exemplary embodiment, the reflectivity peak point calculation step may include generating a window filter and sliding the reflectance graph on the reflectivity graph of the layer to calculate a reflection peak point in the road surface area, Wherein the ratio of the center area in the pulse shape is based on a distance between the straight line and the other straight line and a width of the lane, ≪ / RTI >

본 발명의 다른 양상에 따른 자율주행을 위한 차선 인식 장치는, 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신부 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 －; 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬부; 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정하는 노면 영역 추정부; 및 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 검출부를 포함할 수 있다.According to another aspect of the present invention, there is provided a lane recognition apparatus for autonomous driving, comprising: a three-dimensional distance information receiving unit for receiving three-dimensional distance information on a road including a lane, the three- (X, Y, Z), and reflectivity information corresponding to the layers of the layer; A data sorting unit for sorting the received distance information and reflectivity information for each single layer; A road surface area estimating unit for estimating a road surface area of the road by connecting the distance information points of the single layer; And a reflectivity peak point detector for estimating a position of a lane by calculating a reflectance peak point in the road surface region through a filter reaction on the reflectivity information.

일 실시예에 따르면, 상기 차선 인식 장치는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 비 최대치 억제부를 더 포함할 수 있다.According to one embodiment, the lane recognizing device is configured to perform a 2D non-maxima suppression on the result of the filter reaction so as to minimize false positives occurring on the road surface with respect to the estimated lane, And a suppression unit.

일 실시예에 따르면, 상기 차선 인식 장치는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하는 누적 저장부; 및 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 피팅 및 차선결과 생성부를 더 포함할 수 있다. According to an embodiment, the lane recognition device may include: an accumulation storage unit accumulating the distance information points according to time through inter-frame location / rotation movement information; And a fitting and lane-finding result generating unit for fitting the position of the lane along the running of the vehicle and displaying the position of the lane fitted according to the running of the vehicle in a three-dimensional curve and outputting the result.

일 실시예에 따르면, 상기 차선 인식 장치는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하는 노면 영역 추정부를 더 포함할 수 있다. 또한, 상기 노면 영역 추정부는 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.According to an embodiment of the present invention, the lane recognition device may represent a set of the distance information points sequentially obtained from left to right on one straight line, and the distance between another straight line and the straight line neighboring the straight line is t or less And a road surface area estimating unit that divides the straight line as much as possible. The road surface area estimating unit may determine whether the straight line and the other straight line are the road portion or the lane portion by judging whether the spatial characteristics of the straight line and the other straight line are similar to the road surface characteristics.

일 실시예에 따르면, 상기 차선 인식 장치는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하는 반사율 피크 지점 검출부를 더 포함할 수 있다. 여기서, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 또한, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.According to one embodiment, the lane recognizing device may further include a reflectance peak point detecting unit for generating a window filter, sliding the window filter on the reflectivity graph of the layer, and calculating a reflectance peak point in the road surface area. The window filter may have a first value in a left / right area and a pulse in a center area having a second value higher than the first value. Further, the ratio of the center area in the pulse shape can be determined based on the distance between the straight line and the other straight line and the width of the lane.

본 발명에 따르면, 3차원 레이저 거리센서의 경우 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다. According to the present invention, unlike a camera sensor, a three-dimensional laser distance sensor provides information that does not affect the amount of light that varies depending on the time zone and the surrounding environment, and can directly use three- have.

또한, 본 발명에 따르면, 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점이 있다. In addition, according to the present invention, there is an advantage that the recognized result has little influence on the surrounding environment and can be directly used without a separate calibration process.

또한, 본 발명에 따르면, 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점이 있다. According to the present invention, by estimating the area of the road surface using the distance information of the three-dimensional laser distance sensor, other unnecessary information is removed to reduce the false positives, and the recognition results are cumulatively accumulated over time, It has the advantage of increased robustness.

도 1은 본 발명에 따른 자율주행을 위한 차선 인식 방법의 흐름도를 도시한다.
도 2는 본 발명에 따른 3차원 레이저 거리센서를 통해 얻어지는 거리정보와 반사율 정보를 나타낸다.
도 3은 거리정보에 따른 지형의 형태를 직선으로 표현한 결과를 도시한다.
도 4는 본 발명의 일 실시예에 따라 하나의 프레임을 대상으로 하여 차선의 위치를 찾는 결과를 도시한다.
도 5는 본 발명에 따른 자율주행을 위한 차선 인식 장치의 세부 구성을 도시한다. 1 shows a flowchart of a lane recognition method for autonomous driving according to the present invention.
FIG. 2 shows distance information and reflectance information obtained through a three-dimensional laser distance sensor according to the present invention.
FIG. 3 shows the result of expressing the shape of the terrain according to the distance information as a straight line.
FIG. 4 illustrates a result of finding a position of a lane with respect to one frame according to an embodiment of the present invention.
5 shows a detailed configuration of a lane recognizing apparatus for autonomous driving according to the present invention.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It will be possible. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.Like reference numerals are used for similar elements in describing each drawing.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The term "and / or" includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Should not.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명은 고휘도의 도료로 도색되는 차선의 특성을 활용하여 3차원 레이저 거리센서에서 획득되는 반사율정보를 통해 차선을 인식하는 방법 및 장치를 포함한다. 이하, 본 발명에 따른 자율주행을 위한 차선 인식 방법 및 장치에 대해 살펴보기로 하자. The present invention includes a method and apparatus for recognizing a lane through reflectivity information obtained from a three-dimensional laser distance sensor utilizing the characteristics of a lane painted with a high-brightness paint. Hereinafter, a method and apparatus for recognizing a lane for autonomous driving according to the present invention will be described.

3차원 레이저 거리센서의 경우, 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다. 그러므로 본 발명에 포함된 방법과 장치를 사용할 경우 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점을 가질 수 있다. 또한, 본 발명은 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점을 가진다.Unlike the camera sensor, the 3D laser distance sensor provides information that does not affect the amount of light that varies depending on the time zone and the surrounding environment, and has a merit that three-dimensional coordinates without visual effects can be directly used. Therefore, when the method and apparatus included in the present invention are used, the recognition result has little influence on the surrounding environment and can be directly used without a separate calibration process. Also, according to the present invention, by estimating the area of the road surface using the distance information of the three-dimensional laser distance sensor, other unnecessary information is removed and the false detection probability is lowered and the robustness of recognition .

도 1은 본 발명에 따른 자율주행을 위한 차선 인식 방법의 흐름도를 도시한다. 도 1에 도시된 바와 같이, 차선 인식 방법은 3차원 거리 정보 수신 과정(S110), 데이터 정렬 과정(S120), 노면 영역 인식 단계(S130) 및 반사율 피크 지점 계산 단계(S140)를 포함한다. 또한, 상기 차선 인식 방법은 2차원 비 최대치 억제 단계(S150), 차선 위치 피팅 단계(S160) 및 차선 인식 결과 출력 단계(S170)를 더 포함할 수 있다. 1 shows a flowchart of a lane recognition method for autonomous driving according to the present invention. As shown in FIG. 1, the lane recognition method includes a three-dimensional distance information receiving step S110, a data sorting step S120, a road surface area recognizing step S130, and a reflectance peak point calculating step S140. The lane recognition method may further include a two dimensional non-maximum value suppression step S150, a lane position fitting step S160, and a lane recognition result output step S170.

먼저, 상기 3차원 거리 정보 수신 과정(S110)은 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신한다. 여기서, 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함한다.First, the 3D distance information receiving process (S110) receives three-dimensional distance information about a road including a lane. Here, the three-dimensional distance information includes a layer number, distance information (X, Y, Z), and reflectance information corresponding to a plurality of layers having a specific resolution in the horizontal direction.

다음으로, 상기 데이터 정렬 과정(S120)은 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬한다.Next, the data alignment process (S120) aligns the received distance information and reflectivity information for each single layer.

다음으로, 상기 노면 영역 인식 단계(S130)는 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식한다. 구체적으로, 상기 노면 영역 인식 단계(S130)는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현한다. 이후에, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할한다. 또한, 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.Next, the road surface area recognition step (S130) recognizes the road surface area by connecting the distance information points of the single layer. Specifically, the road surface area recognition step (S130) expresses the set of the distance information points sequentially obtained from the left side to the right side as one straight line. Thereafter, the straight line is divided such that the distance between the straight line adjacent to the straight line and the straight line is equal to or smaller than t. It is also possible to determine whether the straight line and the other straight line are the road portion or the lane portion by judging whether the spatial characteristics of the straight line and the other straight line are similar to the road surface characteristics.

다음으로, 상기 반사율 피크 지점 계산 단계(S140)는 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정한다. 구체적으로, 상기 반사율 피크 지점 계산 단계(S140)는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산한다. 이때, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 이와 관련하여, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.Next, the reflectivity peak point calculation step S140 estimates the position of the lane by calculating a reflectance peak point in the road surface region through a filter reaction on the reflectivity information. Specifically, the reflectance peak point calculation step (S140) generates a window filter and slides the reflectance graph of the corresponding layer to calculate a reflectance peak point in the road surface area. In this case, the window filter may have a first value in the left / right area and a pulse in the center area having a second value higher than the first value. In this regard, the ratio of the center area in the pulse shape can be determined based on the distance between the straight line and the other straight line and the width of the lane.

다음으로, 상기 2차원 비 최대치 억제 단계(S150)는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행한다. Next, the 2D non-maximum value suppression step (S150) performs 2D non-maxima suppression on the result of the filter reaction so as to minimize false positives occurring on the road surface with respect to the estimated lane do.

다음으로, 차선 위치 피팅 단계(S160)는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅한다. 마지막으로, 상기 차선 인식 결과 출력 단계(S170)는 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력한다.Next, in the lane-position fitting step S160, the distance information points are accumulated according to time through the inter-frame position / rotation movement information to fit the position of the lane along the running of the vehicle. Finally, the lane recognition result output step (S170) displays the position of the lane fitted according to the running of the vehicle in a three-dimensional curve and outputs it.

이와 관련하여, 전술된 각 단계에 대하여 그 구현 방법에 대해 구체적으로 살펴보면 아래와 같다.In this regard, the implementation method for each of the above-mentioned steps will be described in detail as follows.

(1) 차선 인식 방법은 3차원 거리 정보 수신 과정(S110): 본 발명에서 포함하는 방법은 3차원 거리센서의 정보를 입력으로 받는다. 본 발명에서 전제하는 3차원 거리센서는 360도로 회전하며 수평방향으로 특정 분해능을 가지는 단일 레이어가 n개로 구성된 센서이며 하나의 3차원 거리정보는 레이어 번호, 거리정보(X,Y,Z), 반사율 정보를 포함한다. (1) 3D lane information receiving process (S110): In the lane lane recognizing method, a method included in the present invention receives information of a 3D distance sensor. The three-dimensional distance sensor, which is assumed in the present invention, is a sensor composed of n single layers rotating 360 degrees and having a specific resolution in the horizontal direction. One three-dimensional distance information includes a layer number, distance information (X, Y, Z) Information.

(2) 데이터 정렬 과정(S120): 입력된 거리정보는 데이터 정렬과정을 통하게 되는데 본 발명에서는 각 레이어 별로 각각 차선의 위치를 찾는 과정을 수행하기 때문에 입력된 정보를 레이어 번호 별로 정렬하고 하나의 레이어 번호에 해당하는 정보들을 순차적으로 다음 과정에 제공한다. (2) Data Alignment Process (S120): The input distance information is passed through a data sorting process. In the present invention, since the process of finding the position of each lane for each layer is performed, And provides the information corresponding to the number sequentially to the next process.

이와 관련하여, 도 2는 본 발명에 따른 3차원 레이저 거리센서를 통해 얻어지는 거리정보와 반사율 정보를 나타낸다. 도 2의 (가)는 상기 거리정보를 나타내고, (나)는 반사율 정보를 나타낸다. 이와 관련하여, (가)에서 붉은색으로 표시된 레이어에 해당하는 반사율 정보의 예시는 (나)를 통하여 확인할 수 있다. In this regard, FIG. 2 shows distance information and reflectance information obtained through the three-dimensional laser distance sensor according to the present invention. Fig. 2 (A) shows the distance information, and Fig. 2 (B) shows reflectance information. In this regard, an example of reflectance information corresponding to a layer indicated by red in (a) can be confirmed through (b).

(3) 노면 영역 인식 단계(S130): 본 발명에서는 360도로 회전하여 획득된 모든 정보를 사용할 경우 도로 바깥의 비정형화된 반사율 특징을 가지는 물체들로 인한 오탐지를 최소화하기 위하여 3차원 레이저 거리센서의 거리정보를 활용하여 도로 노면 영역을 인식한다. 상기의 데이터 정렬 단계에서 제공하는 단일 레이어의 거리정보 포인트를 연결하면 센서가 바라보는 지형의 형태를 표현할 수 있는데 해당 형태 정보를 통하여 도로에 해당하는 부분과 그 외 부분으로 나눌 수 있고, 두 부분의 접점을 도로경계로 추정할 수 있다. 본 발명에서는 획득된 거리정보의 형태를 표현하기 위하여 단일 레이어의 거리정보를 한계치 t 안에 각 거리정보 포인트를 포함할 수 있는 직선들의 집합으로 표현하도록 하였다. 다시 말해, 왼편에서 오른편으로 순차적으로 획득된 거리정보의 포인트 집합을 하나의 직선으로 포함하고, 해당 직선으로부터 가장 먼 수선의 거리를 가진 포인트와 직선과의 거리를 t 이하가 되도록 직선을 분할하여 최종적으로 모든 포인트가 직선과의 거리가 t 이하에 위치하도록 한다. (3) Surface area recognition step (S130): In the present invention, in order to minimize false detection due to objects having irregular reflectance characteristics on the outside of the road when using all the information obtained by rotating 360 degrees, Of the road surface area. When connecting the distance information points of a single layer provided in the above data sorting step, it is possible to express the shape of the terrain viewed by the sensor, and it can be divided into the part corresponding to the road and the other part through the type information, The contact point can be estimated as a road boundary. In the present invention, the distance information of a single layer is represented by a set of straight lines that can include each distance information point within a limit value t in order to express the shape of the obtained distance information. In other words, the straight line is divided so that the distance between the straight line and the point having the distance of the waterline farthest from the straight line is less than or equal to t, by including a set of points of the distance information sequentially obtained from the left- So that all points are located at a distance of less than t from the straight line.

이와 관련하여, 도 3은 거리정보에 따른 지형의 형태를 직선으로 표현한 결과를 도시한다. 도 3의 (가)에서, 파란색 포인트가 획득된 거리정보이고, 붉은색 점을 연결한 녹색 직선이 지형의 형태를 직선으로 표현한 결과이다. 이렇게 계산된 직선은 3차원 공간의 직선으로 표현되고 해당 직선의 공간 특성(roll/pitch/yaw)가 노면 특성과 유사한지 판단하여 해당 직선이 도로부분에 해당하는 그 외 부분인지 판단한다. 즉, 도 3의 (나)는 추정된 차선의 공간 특성과 노면 특성을 비교하여 해당 부분이 도로부분인지 차선부분인지를 판단한 것이다.In this regard, FIG. 3 shows the result of expressing the shape of the terrain according to the distance information as a straight line. In FIG. 3 (a), the blue point is the obtained distance information, and the green straight line connecting the red points is the result of expressing the shape of the topography in a straight line. The calculated straight line is expressed by a straight line of the three-dimensional space and it is judged whether the straight line is the other portion corresponding to the road portion by judging whether the spatial characteristic (roll / pitch / yaw) of the straight line is similar to the road surface characteristic. That is, FIG. 3 (B) compares the estimated spatial characteristics of the lane with the road surface characteristics and determines whether the corresponding portion is a road portion or a lane portion.

(4) 반사율 피크 지점 계산 단계(S140): 상기의 단계에서 추정된 도로 노면 영역 내에서 반사율 Peak Point 계산을 통한 차선 위치 추정을 수행한다. 도로에 도색된 차선에 대한 반사율 값은 도로 마다, 도색의 상태에 따라 반사율의 절대적인 값은 변하지만 도색된 차선에 비하여 낮은 값을 고르게 가진 노면 중앙에 상대적으로 높은 반사율을 존재하는 패턴을 가질 것이다. 따라서 반사율 정보를 활용하여 차선의 위치를 찾으려면 일정하며 상대적으로 낮은 값이 있는 영역 사이에 높은 값을 가진 부분을 찾음으로서 차선의 위치를 추정할 수 있다. 본 발명에서는 해당 패턴에 기초하여 차선의 위치를 추정하기 위하여 좌/우에 일정한 낮은 값과 중심의 높은 값에 반응하는 윈도우 필터를 생성하여 대상 레이어의 반사율 정보에 슬라이딩시킨다. 특히 도로 중앙의 도색된 차선은 상대적으로 넓은 도로 위에 좁은 영역만을 포함하고 있기 때문에 노면에 해당하는 낮은 반사율 값의 영역은 차선을 기준으로 좌/우로 넓게 위치하고, 차선에 해당하는 높은 반사율 값의 영역은 좁게 존재한다. 그러므로 단순히 반사율이 높기만 한 곳을 찾는 것이 아니라 펄스 형태의 위치를 찾아야 하므로 필터의 양의 영역은 좁고, 좌우로 넓은 양의 영역을 가지도록 윈도우 필터를 적용한다. 생성되는 윈도우 필터의 크기는 대상 도로 환경(도색된 차선의 폭 등)에 따라 변경될 수 있다. (4) Reflectivity Peak Point Calculation Step (S140): The lane position estimation is performed by calculating the reflectance peak point within the road surface area estimated in the above step. The reflectance value for the painted lane will have a pattern with a relatively high reflectance at the center of the road surface even though the absolute value of the reflectance changes depending on the road and the state of the painting, but is lower than the painted lane. Therefore, in order to find the position of the lane by using the reflectivity information, the position of the lane can be estimated by finding a portion having a high value between the constant and relatively low value regions. In the present invention, in order to estimate the position of a lane based on the pattern, a window filter that is responsive to a constant low value and a high center value in a left / right direction is generated and is slid to reflectance information of a target layer. In particular, since the painted lane at the center of the road includes only a narrow area on a relatively wide road, the area of low reflectance value corresponding to the road surface is located broadly to the left and right with respect to the lane and the area of high reflectance value corresponding to the lane It exists narrowly. Therefore, the window filter is applied so that the positive area of the filter is narrow and the area of the left and right is wide. The size of the generated window filter can be changed according to the target road environment (the width of the painted lane, etc.).

(5) 2차원 비 최대치 억제 단계(S150): 상기 반사율 피크 지점 계산 단계(S140)에서, 노면의 색상이 바래거나 흙과 같은 이물질에 의해 일부 약한 필터 반응이 발생할 수 있기 때문에 제안하는 방법은 필터 반응 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 적용할 수 있다. 따라서, 노면에서 발생하는 오탐지를 최소화 한다. 또한 해당 기법을 적용함으로서 하나의 차선에서 발생할 수 있는 두 개 이상의 필터 반응을 하나로 판단할 수 있다.(5) Suppressing the two-dimensional non-maximum value (S150): In the step of calculating the reflectance peak point (S140), since the color of the road surface may be faded or some weak filter reaction may occur due to foreign matter such as earth, 2D non-maxima suppression can be applied to the reaction result. Therefore, it minimizes false positives occurring on the road surface. Also, by applying this technique, two or more filter responses that can occur in one lane can be judged as one.

(6) 차선 위치 피팅 단계(S160): 본 발명에서 전제하는 3차원 레이저 거리센서는 다중의 레이어를 가지고 있으므로 앞선 단계(S130, S140)를 레이어 별로 적용함으로서 한 프레임에서 획득된 전체 센서정보에서 차선의 위치를 찾을 수 있다. (6) Lane Position Fitting Step (S160): Since the 3D laser distance sensor assuming the present invention has a plurality of layers, the preceding steps S130 and S140 are applied layer by layer, Can be found.

이와 관련하여, 도 4는 본 발명의 일 실시예에 따라 하나의 프레임을 대상으로 하여 차선의 위치를 찾는 결과를 도시한다. 도 4의 (가)는 단일 프레임의 차량 기준의 좌우(x), 레이어 번호(y)에 대한 반사율 정보(z)에 대하여 차선의 위치(붉은점)을 표시한 결과이다. 도로 중앙에 나타는 반사율이 높은 차선의 위치를 찾아내고 있음을 확인할 수 있다. 그리고 도면 4의 (나)는 반사율 정보를 통해 찾아진 결과를 좌우(x), 전방(y)에 대한 거리정보에 표시한 결과이다. In this regard, FIG. 4 shows a result of locating a lane by targeting one frame according to an embodiment of the present invention. 4A shows the result of displaying the lane position (red dot) with respect to the reflectance information z with respect to the left and right (x) and the layer number (y) of the vehicle reference of a single frame. It can be seen that the location of the lane with high reflectance appears at the center of the road. 4 (B) is a result of displaying the result found through the reflectance information on the distance information about the left and right (x) and the front (y).

상기 단계(S130 내지 S150)를 통하여 단일 프레임의 반사율 정보를 활용한 차선인식 결과를 확인하였다. 하지만, 3차원 거리센서는 카메라에 비하여 정보의 밀도가 낮아 얻을 수 있는 결과 또한 적은 단점이 있다. 따라서 본 발명에서는 이러한 단점을 극복하기 위하여 차선의 위치에 해당하는 거리정보 포인트를 GPS/IMU 정보로부터 계산한 프레임 간 위치/회전이동 정보를 통하여 단위 프레임의 결과를 시간에 따라 누적한다. 거리센서가 전방으로 지향하는 위치는 레이어 별로 일정한데 반하여 차량은 시간에 따라 움직이기 때문에 매 프레임의 결과를 시간에 따라 누적한 후 현재 프레임의 위치로 옮겨 현재 프레임의 결과와 합치게 되면, 단일 프레임에서 얻어진 결과 사이의 빈 공간이 누적된 이전 프레임 결과로 채워져 좀 더 조밀한 결과를 얻을 수 있다.Through the above steps (S130 to S150), the lane recognition result using the reflectivity information of a single frame was confirmed. However, the 3D distance sensor has a disadvantage in that the density of information is lower than that of the camera, and the result that can be obtained is also small. Accordingly, in order to overcome such disadvantages, the present invention accumulates the results of the unit frames over time through the inter-frame position / rotation movement information calculated from the GPS / IMU information as distance information points corresponding to the lane positions. Since the position of the distance sensor toward the forward direction is constant for each layer, the vehicle moves according to time. Therefore, when the result of each frame is accumulated according to time and then moved to the position of the current frame and combined with the result of the current frame, The empty space between the results obtained in the previous step is filled with the accumulated previous frame result, and a more compact result can be obtained.

(7) 차선 인식 결과 출력 단계(S170): 상기 단계(S160)을 통하여 시간에 따라 누적된 결과는 2차원 이상의 피팅 기법을 통하여 차선으로 인식된다. 일반적으로 15m 이내의 경우 도로의 곡선 또한 직선으로 표현될 수 있기 때문에 2차원의 RANSAC 기법 등을 통하여 피팅함으로서 차선인식 결과를 생성할 수 있다. 3차원 레이저 거리센서로부터 유효한 반사율 정보를 그 이상의 거리로부터 획득하여 차선의 위치를 추정할 수 있다면 3차원 이상의 곡선으로 피팅하여 차선 결과를 생성할 수 있다.(7) Outputting the lane recognition result (S170): Through the step (S160), the result accumulated over time is recognized as a lane through the two-dimensional fitting technique. Generally, the curve of the road can also be expressed as a straight line when the distance is less than 15m, so the lane recognition result can be generated by fitting through the two-dimensional RANSAC technique. If the effective reflectivity information from the 3D laser distance sensor can be obtained from the distances further and the position of the lane can be estimated, the lane result can be generated by fitting to the curve of three or more dimensions.

이상에서는 본 발명에 따른 자율주행을 위한 차선 인식 방법에 대해 기술하였다. 이하에서는, 본 발명의 다른 양상에 따른 자율주행을 위한 차선 인식 장치에 대해 살펴보기로 하자. 한편, 전술된 차선 인식 방법에 대한 내용은 차선 인식 장치에도 결합되어 이용될 수 있다.In the foregoing, a lane recognition method for autonomous driving according to the present invention has been described. Hereinafter, a lane recognition apparatus for autonomous driving according to another aspect of the present invention will be described. On the other hand, the contents of the above-described lane recognition method can also be used in combination with the lane recognition device.

이와 관련하여, 도 5는 본 발명에 따른 자율주행을 위한 차선 인식 장치의 세부 구성을 도시한다. 상기 차선 인식 장치(200)는 3차원 거리 센서로부터 거리 정보를 수신하고, 자율 운행 장치로 추정된 차선 결과를 표시한다. 구체적으로, 상기 차선 인식 장치(200)는 3차원 레이저 거리센서로부터 거리정보와 반사율정보를 수신하는 수신부, 수신된 정보를 레이어 별로 정렬하여 제공하는 데이터 정렬부, 레이어 별로 제공된 거리정보를 기반으로 노면 영역을 추정하는 노면 영역 추정부, 반사율 정보에서 차선위치를 찾기 위한 필터를 생성하는 필터 생성부, 레이어 별로 제공된 반사율 정보와 추정된 노면 영역 정보, 그리고 생성된 필터 정보를 통하여 반사율기반 차선 위치를 찾는 반사율 peak point 검출부, 검출된 결과를 입력으로 받고 시간에 따라 결과를 누적하는 결과 입력 및 누적 저장 공간, 누적된 결과를 미리 정해진 n차원의 피팅을 수행함으로서 최종적으로 자율 운행 장치로 차선정보를 전달하는 피팅 및 차선결과 생성부로 구성이 된다.In this regard, Fig. 5 shows a detailed configuration of a lane recognizing device for autonomous driving according to the present invention. The lane recognizing device 200 receives the distance information from the three-dimensional distance sensor and displays the lane result estimated by the autonomous driving device. Specifically, the lane recognizing apparatus 200 includes a receiver for receiving distance information and reflectivity information from the 3D laser distance sensor, a data aligning unit for aligning received information by layers, A filter generating unit for generating a filter for finding a lane position in the reflectivity information, reflectivity information provided for each layer, estimated road surface area information, and generated filter information to find a reflectance-based lane position The reflectance peak point detection unit receives the detected result as input, accumulates the results of accumulating the result according to time, accumulates the accumulated result, and carries lane information to the autonomous driving apparatus by finally performing predetermined n-dimensional fitting Fitting and lane-result generating unit.

이와 관련하여, 도 5를 참조하여 상기 차선 인식 장치(200)에 대해 살펴보면 다음과 같다. 즉, 도 5에 도시된 바와 같이, 상기 차선 인식 장치(200)는 3차원 거리 정보 수신부(210), 데이터 정렬부(220), 노면 영역 추정부(230) 및 반사율 피크 지점 검출부(240)를 포함한다. 또한, 상기 차선 인식 장치(200)는 비 최대치 억제부(245), 누적 저장부(250) 및 피팅 및 차선결과 생성부(260)를 더 포함할 수 있다. In this regard, referring to FIG. 5, the lane recognition device 200 will be described as follows. 5, the lane recognizing apparatus 200 includes a three-dimensional distance information receiving unit 210, a data arranging unit 220, a road surface area estimating unit 230, and a reflectance peak point detecting unit 240 . The lane recognizing apparatus 200 may further include a non-maximum value suppressing unit 245, an accumulating storage unit 250, and a fitting and lane finding result generating unit 260. [

상기 3차원 거리 정보 수신부(210)는 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신한다. 이때, 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함한다.The three-dimensional distance information receiving unit 210 receives the three-dimensional distance information on the road including the lane. At this time, the three-dimensional distance information includes a layer number, distance information (X, Y, Z), and reflectance information corresponding to a plurality of layers having a specific resolution in the horizontal direction.

상기 데이터 정렬부(220)는 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬한다. 또한, 상기 노면 영역 추정부(230)는 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정한다. 이때, 상기 노면 영역 추정부(230)는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할할 수 있다. 또한, 상기 노면 영역 추정부(230)는 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.The data sorting unit 220 arranges the received distance information and reflectivity information into each single layer. The road surface area estimating unit 230 estimates the road surface area of the road by connecting the distance information points of the single layer. In this case, the road surface area estimating unit 230 expresses the set of the distance information points sequentially obtained from the left side to the right side as one straight line, and when the distance between the straight line adjacent to the straight line and the straight line is t or less So that the straight line can be divided. The road surface area estimating unit 230 may determine whether the straight line and the other straight line are the road portion or the lane portion by determining whether the spatial characteristics of the straight line and the other straight line are similar to the road surface characteristics.

한편, 상기 반사율 피크 지점 검출부(240)는 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정할 수 있다. 이때, 상기 반사율 피크 지점 검출부(240)는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산할 수 있다. 여기서, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 또한, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.Meanwhile, the reflectivity peak point detector 240 may estimate the position of the lane by calculating a reflectance peak point within the road surface area through a filter reaction on the reflectivity information. At this time, the reflectivity peak point detector 240 may generate a window filter and slide it on the reflectivity graph of the corresponding layer to calculate a reflectance peak point in the road surface area. The window filter may have a first value in a left / right area and a pulse in a center area having a second value higher than the first value. Further, the ratio of the center area in the pulse shape can be determined based on the distance between the straight line and the other straight line and the width of the lane.

또한, 상기 비 최대치 억제부(245)는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행한다. In addition, the non-maximum value suppression unit 245 performs 2D non-maxima suppression on the result of the filter reaction so as to minimize false positives occurring on the road surface with respect to the estimated lane.

또한, 상기 누적 저장부(250)는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적한다. 이때, 상기 피팅 및 차선결과 생성부(260)는 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력한다.Also, the accumulation storage unit 250 accumulates the distance information points according to time through inter-frame position / rotation movement information. At this time, the fitting and lane-finding result generating unit 260 fits the position of the lane along which the vehicle travels and displays the position of the lane fitted according to the running of the vehicle in a three-dimensional curve and outputs it.

본 발명의 적어도 일 실시예에 따르면, 3차원 레이저 거리센서의 경우 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다. According to at least one embodiment of the present invention, in the case of a three-dimensional laser distance sensor, unlike a camera sensor, information that does not affect the amount of light varying according to time zone and surrounding environment is provided, There are advantages to use.

또한, 본 발명의 적어도 일 실시예에 따르면, 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점이 있다. Also, according to at least one embodiment of the present invention, the recognized result has little effect on the surrounding environment and can be directly used without a separate calibration process.

또한, 본 발명의 적어도 일 실시예에 따르면, 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점이 있다. Also, according to at least one embodiment of the present invention, by estimating the area of the road surface using the distance information of the three-dimensional laser distance sensor, other unnecessary information is removed and the false detection probability is lowered and the recognition result is accumulated And it is advantageous to enhance the robustness of recognition by fitting.

본 발명의 효과에 대해 좀 더 구체적으로 살펴보면 다음과 같다. 본 발명은 카메라 센서로부터 획득되는 영상정보를 기반으로 한 차선인식 방법이 다양한 환경에서 일정하고 강건한 결과를 제공하지 못하는 한계를 극복하기 위한 방법 및 장치에 대한 발명이다. 이러한 한계를 극복하기 위하여 본 발명은 환경에 비교적 강인한 3차원 레이저 거리센서의 반사율 정보를 활용하여 차선을 인식하는 방법 및 장치를 포함한다. 이러한 방법 및 장치는 기존의 여러 영상정보 기반의 차선인식 방법에 비하여 야간 환경을 포함한 여러 어려운 환경에서도 차선을 인식할 수 있도록 함으로서 자율주행의 성능 및 강건성을 높이는 효과가 있다. 또한 본 발명은 반사율정보를 활용함에 있어 도로 외의 비정형화된 반사율 특성을 가지는 구조물 및 물체들의 정보를 도로 노면 영역 추정을 통하여 제거함으로서 인식의 정확도를 높이므로 차선기반의 자율주행 안정성을 향상시킬 수 있는 효과가 있다.The effects of the present invention will be described in more detail as follows. The present invention relates to a method and apparatus for overcoming the limitation that a lane recognition method based on image information obtained from a camera sensor can not provide a constant and robust result in various environments. In order to overcome these limitations, the present invention includes a method and apparatus for recognizing a lane by using reflectivity information of a three-dimensional laser distance sensor relatively strong in the environment. This method and apparatus have the effect of enhancing the performance and robustness of the autonomous driving by making it possible to recognize the lane in various difficult environments including the nighttime environment, compared with the existing lane recognition methods based on the image information. Further, in utilizing reflectivity information, the present invention improves recognition accuracy by eliminating information on structures and objects having irregular reflectance characteristics other than roads through road surface area estimation, thereby improving autonomous driving stability based on lanes It is effective.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들은 별도의 소프트웨어 모듈로도 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.According to a software implementation, not only the procedures and functions described herein, but also each component may be implemented as a separate software module. Each of the software modules may perform one or more of the functions and operations described herein. Software code can be implemented in a software application written in a suitable programming language. The software code is stored in a memory and can be executed by a controller or a processor.

200: 차선 인식 장치
210: 3차원 거리 정보 수신부 220: 데이터 정렬부
230: 노면 영역 추정부 240: 반사율 피크 지점 검출부
245: 비 최대치 억제부 250누적 저장부
260: 피팅 및 차선결과 생성부200: lane recognition device
210: three-dimensional distance information receiving unit 220:
230: road surface area estimating unit 240: reflectance peak point detecting unit
245: non-maximum value suppression unit 250 cumulative storage unit
260: Fitting and lane result generating unit

Claims (6)

자율주행을 위한 차선 인식 방법에 있어서,
차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신 과정 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 － ;
상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬 과정;
상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식하는 노면 영역 인식 단계;
상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 계산 단계;
상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하는 차선 위치 피팅 단계; 및
상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 차선 인식 결과 출력 단계를 포함하는, 자율주행을 위한 차선 인식 방법.
In a lane recognition method for autonomous driving,
A three-dimensional distance information reception process for receiving three-dimensional distance information on a road including a lane, the three-dimensional distance information including a layer number corresponding to a plurality of layers having a specific resolution in the horizontal direction, distance information (X, Y , Z), and reflectance information;
A data alignment process for aligning the received distance information and reflectivity information for each single layer;
A road surface area recognition step of recognizing a road surface area of the road by connecting the distance information points of the single layer;
A reflectance peak point calculation step of calculating a reflectance peak point within the road surface area through a filter reaction to the reflectivity information to estimate a position of a lane;
A lane position fitting step of fitting the position of the lane along the running of the vehicle by accumulating the distance information points according to time through inter-frame position / rotation movement information; And
And outputting a lane recognition result indicating that the position of the lane fitted in accordance with the running of the vehicle is indicated by a three-dimensional curve and outputting the lane recognition result.
제1항에 있어서,
상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 2차원 비 최대치 억제 단계를 더 포함하는, 자율주행을 위한 차선 인식 방법.
The method according to claim 1,
Further comprising a two-dimensional non-maximal suppression step of performing a two-dimensional non-maxima suppression on the result of the filter reaction so that false positives occurring on the road surface with respect to the estimated lane are minimized. A method for recognizing a lane for a vehicle.
삭제delete 제1항에 있어서,
상기 노면 영역 인식 단계는,
왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 그리고
상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하고, 그리고
상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식하는 것을 특징으로 하는, 자율주행을 위한 차선 인식 방법.
The method according to claim 1,
The road surface area recognition step may include:
Expressing a set of the distance information points sequentially obtained from the left side to the right side as one straight line, and
Dividing the straight line so that the distance between the straight line adjacent to the straight line and the straight line is equal to or less than t, and
And recognizing whether the straight line and the other straight line are the road portion or the lane portion, by judging whether the spatial characteristics of the straight line and the other straight line are similar to the road surface characteristics.
제4항에 있어서,
상기 반사율 피크 지점 계산 단계는,
윈도우 필터를 생성하여 해당 레이어의 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하고,
상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태이고,
상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정되는, 자율주행을 위한 차선 인식 방법.
5. The method of claim 4,
The reflectance peak point calculation step may include:
A window filter is created and slid to a reflectivity graph of the layer to calculate a reflectance peak point in the road surface area,
Wherein the window filter has a first value in a left / right region and a second value in a central region that is higher than the first value,
Wherein the ratio of the center area in the pulse shape is determined based on the distance between the straight line and the other straight line and the width of the lane.
자율주행을 위한 차선 인식 장치에 있어서,
차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신부 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 －;
상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬부;
상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정하는 노면 영역 추정부; 및
상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 검출부; 및
상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 피팅 및 차선결과 생성부를 포함하는, 자율주행을 위한 차선 인식 장치.A lane recognition apparatus for autonomous driving, comprising:
A three-dimensional distance information receiver for receiving three-dimensional distance information on a road including a lane, the three-dimensional distance information including a layer number corresponding to a plurality of layers having a specific resolution in the horizontal direction, distance information (X, Y, Z), and reflectance information;
A data sorting unit for sorting the received distance information and reflectivity information for each single layer;
A road surface area estimating unit for estimating a road surface area of the road by connecting the distance information points of the single layer; And
A reflectance peak point detector for estimating a position of a lane by calculating a reflectance peak point in the road surface region through a filter reaction with the reflectivity information; And
The distance information points are accumulated according to time through the inter-frame position / rotation movement information to fit the position of the lane along the running of the vehicle, and the position of the lane fitted according to the running of the vehicle is displayed as a three- And a lane-finding result generating unit for outputting the lane recognition result.
KR1020170016419A 2017-02-06 2017-02-06 Method and apparatus of identifying lane for self-driving car KR101868898B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170016419A KR101868898B1 (en) 2017-02-06 2017-02-06 Method and apparatus of identifying lane for self-driving car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170016419A KR101868898B1 (en) 2017-02-06 2017-02-06 Method and apparatus of identifying lane for self-driving car

Publications (1)

Publication Number Publication Date
KR101868898B1 true KR101868898B1 (en) 2018-06-20

Family

ID=62769587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170016419A KR101868898B1 (en) 2017-02-06 2017-02-06 Method and apparatus of identifying lane for self-driving car

Country Status (1)

Country Link
KR (1) KR101868898B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001410A (en) * 2021-06-28 2023-01-04 (주)뷰런테크놀로지 Method of detecting lane using lidar sensor and a traffic lane detection device performing method
CN116385397A (en) * 2023-04-04 2023-07-04 北京中科东信科技有限公司 Road information identification method and system based on camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090098167A (en) * 2008-03-13 2009-09-17 주식회사 만도 Method and system for detecting lane by using distance sensor
KR20120044495A (en) * 2010-10-28 2012-05-08 주식회사 만도 Lane recognizing system of vehicle
KR20130051681A (en) * 2011-11-10 2013-05-21 한국전자통신연구원 System and method for recognizing road sign
KR101348944B1 (en) * 2011-12-30 2014-01-16 한국과학기술연구원 Crossroad Detecting Method for Auto-Driving Robot and Auto-Driving Robot Using The Same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090098167A (en) * 2008-03-13 2009-09-17 주식회사 만도 Method and system for detecting lane by using distance sensor
KR20120044495A (en) * 2010-10-28 2012-05-08 주식회사 만도 Lane recognizing system of vehicle
KR20130051681A (en) * 2011-11-10 2013-05-21 한국전자통신연구원 System and method for recognizing road sign
KR101348944B1 (en) * 2011-12-30 2014-01-16 한국과학기술연구원 Crossroad Detecting Method for Auto-Driving Robot and Auto-Driving Robot Using The Same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001410A (en) * 2021-06-28 2023-01-04 (주)뷰런테크놀로지 Method of detecting lane using lidar sensor and a traffic lane detection device performing method
KR102499334B1 (en) * 2021-06-28 2023-02-14 (주)뷰런테크놀로지 Method of detecting lane using lidar sensor and a traffic lane detection device performing method
CN116385397A (en) * 2023-04-04 2023-07-04 北京中科东信科技有限公司 Road information identification method and system based on camera
CN116385397B (en) * 2023-04-04 2023-10-03 北京中科东信科技有限公司 Road information identification method and system based on camera

Similar Documents

Publication Publication Date Title
CN112292711B (en) Associating LIDAR data and image data
EP3732657B1 (en) Vehicle localization
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
US10634793B1 (en) Lidar detection device of detecting close-distance obstacle and method thereof
US10155506B2 (en) Systems and methods for braking a vehicle based on a detected object
EP3598074B1 (en) Controlling host vehicle based on the detection of a vehicle moving towards the host vehicle's lane.
US20200217950A1 (en) Resolution of elevation ambiguity in one-dimensional radar processing
CN109017570B (en) Vehicle surrounding scene presenting method and device and vehicle
CN107272021B (en) Object detection using radar and visually defined image detection areas
US9619719B2 (en) Systems and methods for detecting traffic signs
US10024965B2 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
US10402665B2 (en) Systems and methods for detecting traffic signs
US20180068459A1 (en) Object Distance Estimation Using Data From A Single Camera
CN1963867A (en) Monitoring apparatus
Levinson Automatic laser calibration, mapping, and localization for autonomous vehicles
AU2017302833A1 (en) Database construction system for machine-learning
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
US20200218909A1 (en) Lane marker detection and lane instance recognition
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
EP3899778A1 (en) A method for multi-modal sensor fusion using object trajectories for cross-domain correspondence
KR101030317B1 (en) Apparatus for tracking obstacle using stereo vision and method thereof
Bansal et al. Radsegnet: A reliable approach to radar camera fusion
KR101868898B1 (en) Method and apparatus of identifying lane for self-driving car
Badino et al. Stereo-based free space computation in complex traffic scenarios

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant