KR20180131154A - Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle - Google Patents

Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle Download PDF

Info

Publication number
KR20180131154A
KR20180131154A KR1020170067800A KR20170067800A KR20180131154A KR 20180131154 A KR20180131154 A KR 20180131154A KR 1020170067800 A KR1020170067800 A KR 1020170067800A KR 20170067800 A KR20170067800 A KR 20170067800A KR 20180131154 A KR20180131154 A KR 20180131154A
Authority
KR
South Korea
Prior art keywords
lane
trajectory
precision
map
image
Prior art date
Application number
KR1020170067800A
Other languages
Korean (ko)
Other versions
KR102384430B1 (en
Inventor
전영재
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020170067800A priority Critical patent/KR102384430B1/en
Publication of KR20180131154A publication Critical patent/KR20180131154A/en
Application granted granted Critical
Publication of KR102384430B1 publication Critical patent/KR102384430B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H04N9/07—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

The present invention relates to a method for filtering a lane using a high precision running trajectory of a mobile mapping system (MMS) vehicle, and to a method for constructing a lane map, and specifically, to a method for constructing a precise map of a lane level by improving the accuracy of lane detection and reducing unnecessary computation by filtering a drift net lane candidate using the high precision running trajectory obtained from the MMS vehicle.

Description

MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법{Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle}FIELD OF THE INVENTION [0001] The present invention relates to a method and a system for constructing a lane-based filtering and lane map using a high-precision driving trajectory of an MMS vehicle,

본 발명은 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법에 관한 것으로서, MMS(Mobile Mapping System) 차량으로부터 얻어지는 고정밀 주행 궤적을 사용하여 유망 차선 후보로 필터링함으로써 차선 검출의 정확도를 높이고 불필요한 연산을 줄여 차선 레벨의 정밀지도를 구축하는 것에 관한 것이다.The present invention relates to a lane-filtering and lane-map building method using a high-precision traveling trajectory of an MMS vehicle, and more particularly, to a lane guidance method and a lane guidance method for improving the accuracy of lane detection by filtering a candidate lane candidate using a high-precision driving trajectory obtained from an MMS (Mobile Mapping System) And to construct a precise map of the lane level by reducing computation.

최근 자율주행을 통하여 목적지까지 보다 편리하고 안정적이며 효율적으로 도착하도록 지원하기 위하여, 정밀지도로부터 인지된 전방의 도로 형상, 도로간의 연결 관계, 차선 수 등을 고려하여 차선 변경이 필요한지를 자동으로 결정하고 차선 변경이 필요한 경우 차선 변경의 타이밍을 효과적으로 결정할 수 있도록 하기 위해서는 정밀지도의 필요성이 높아지고 있으며, 이를 위하여 정밀지도의 차선 지도를 효율적으로 구축하기 위한 방안들이 요구되고 있는 실정이다.In order to provide convenient, stable and efficient arrival to the destination through autonomous driving, it is automatically determined whether the lane change is necessary considering the front road shape recognized from the precision map, the connection relation between the roads, In order to effectively determine the timing of lane change when a lane change is necessary, the need for accurate map is increasing, and there is a need for measures to effectively construct a lane map of the precise map.

이러한 요구에 맞추어 대한민국 공개특허 제2015-0146374호의 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법에서는 도 1에 도시한 바와 같이 차선 인식 시스템의 전처리 모듈(100)은 차선 후보 선택부(110), 에지 추출부(130) 및 세선화부(150)를 포함하여 구성되고, 관심영역 설정 모듈(200)은 동적 이미지 관심영역 설정부(210), 고정이미지 관심영역 설정부(230) 및 카메라 관심영역 설정부(250)를 포함하여 구성되고, V-ROI(Video Region of Interest) 설정부를 더 포함하여 구성될 수 있다. 오류 검출 모듈(400)은 탑뷰 변환부(410)및 허프 변환부(430)을 포함하여 구성함으로써, 네비게이션으로부터 획득한 차량의 위치정보와 차량에서 획득한 이미지 정보를 연동하여 차선 인식을 위한 관심영역을 필터링함으로써, 차선 인식 수행에 필요한 연산량을 감소시킨다. 이를 통해, 전체 시스템의 응답 성능을 향상시키고자 하였다.In accordance with this demand, in a lane recognition system using peripheral environment information of Korean Patent Laid-Open Publication No. 2015-0146374 and its method, as shown in FIG. 1, a preprocessing module 100 of a lane recognition system includes a lane candidate selecting unit 110, The interest area setting module 200 includes a dynamic image interest area setting part 210, a fixed image interest area setting part 230 and a camera interest area setting part 230. [ And a V-ROI (Video Region of Interest) setting unit. The error detection module 400 includes the top view conversion unit 410 and the Huff transform unit 430 so that the position information of the vehicle obtained from the navigation and the image information acquired in the vehicle are interlocked with each other, Thereby reducing the amount of calculation required for performing lane recognition. Through this, we tried to improve the response performance of the whole system.

그러나, 이러한 종래의 기술은 내비게이션으로부터 획득한 차량의 위치정보와 차량에서 획득한 이미지 정보를 연동하여 차선 인식을 위한 관심 영역을 필터링함으로써 차선 인식 수행에 필요한 연산량을 감소시킴으로써 전체 시스템의 응답 성능을 향상시키는 것으로 정밀지도에 포함되는 차선 정보를 구축하는 것과의 관련성은 낮다.However, according to this conventional technique, by matching the position information of the vehicle obtained from the navigation device with the image information acquired by the vehicle, the ROI for the lane recognition is filtered to reduce the calculation amount required for performing the lane recognition, thereby improving the response performance of the entire system And thus the relevance to constructing the lane information included in the precision map is low.

또한, 일반적인 차선인식 기술은 영상 기반의 차선 인식 및 차선 객체 추출을 영상으로부터 주변과 색상 차이가 큰 화소들의 연결성을 찾아내어 차선으로 추정하는 것이어서, 영상의 품질에 따라 차선의 검출 품질이 달라진다는 단점이 존재한다.In addition, the general lane recognition technique is to detect the lane recognition and the lane object extraction of the image based on the connectivity of the surrounding pixels and the lane of the color difference between the images, so that the lane detection quality is changed according to the quality of the image Lt; / RTI >

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 MMS(Mobile Mapping System) 차량으로부터 얻어지는 고정밀 주행 궤적을 사용하여 유망 차선 후보로 필터링함으로써 차선 검출의 정확도를 높이고 불필요한 연산을 줄여 차선 지도 구축의 속도를 개선하고자 하는 것에 목적이 있다.In order to solve the above problems, the present invention has been developed to improve the accuracy of lane detection by filtering a candidate lane candidate using a high-precision driving trajectory obtained from an MMS (Mobile Mapping System) vehicle, In order to improve the speed of the vehicle.

또한, 상대적으로 차선 지도 구축의 어려움이 상대적으로 낮은 직선 구간뿐만 아니라, 곡선 구간 혹은 다양한 밝기의 화소들이 영상에 존재하는 경우 차선 추출의 어려움을 해결하기 위하여 고정밀 주행 궤적을 활용함으로써 정확성을 확보하는 동시에 수행 시간에 대한 비용을 절감하고자 하는 것에 또 다른 목적이 있다.In addition, in order to solve the difficulty of extracting lanes when there are pixels of curvilinear range or various brightness in the image as well as a relatively low straight line section, Another goal is to reduce the cost of execution time.

또한, MMS 차량의 주행 궤적을 활용하여 추출한 차선 객체를 레이저 스캔 장치로부터 얻어진 3차원 점군으로의 좌표 참조를 통해 지도 좌표계 상에 정의함으로써, 차선 레벨의 고정밀 지도를 구축하고자 하는 것에 또 다른 목적이 있다.Another object of the present invention is to establish a lane-level high-precision map by defining a lane object extracted by utilizing a trajectory of an MMS vehicle on a map coordinate system through coordinate reference to a three-dimensional point cloud obtained from a laser scanning apparatus .

본 발명의 상기 목적은 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법에 있어서, MMS 차량의 고정밀 주행 궤적, RGB 영상 및 지도 좌표 3차원 점군을 획득하는 제1 단계; 상기 고정밀 주행 궤적을 상기 RGB 영상에 투영하여 맵핑 이미지를 생성하는 제2 단계; 상기 맵핑 이미지를 정사 영상으로 변환하는 제3 단계; 상기 정사 영상에 포함된 상기 고정밀 주행 궤적을 비선형 방적식으로 근사하여 대표 선형을 도출하고, 상기 정사 영상에서 관심 영역에 대하여 차선 후보를 검출하여 선형을 도출하는 제4 단계; 상기 제4 단계에서 상기 고정밀 주행 궤적의 대표 선형과 상기 차선 후보의 선형의 유사성 비교에 의하여 유망 차선 후보를 도출하는 제5 단계; 상기 유망 차선 후보에서 차선 객체를 추출하는 제6 단계; 및 상기 지도 좌표 3차원 점군으로부터 획득되는 지도 좌표를 추출된 상기 차선 객체에 부여하여 지도 좌표 차선을 생성하는 제7 단계로 이루어지는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법에 의해 달성된다.The object of the present invention is to provide a lane-filtering and lane-map building method using a high-precision travel trajectory of an MMS vehicle, comprising: a first step of acquiring a high-precision travel trajectory, an RGB image and a map coordinate three- A second step of projecting the high-precision trajectory on the RGB image to generate a mapping image; A third step of converting the mapping image into an orthoimage image; A fourth step of deriving a representative linear shape by approximating the high-precision driving trajectory included in the orthoimage by a nonlinear spinning method, and detecting a lane candidate for the region of interest in the orthoimage image to derive a linear shape; A fifth step of deriving a prospective lane candidate by comparing the similarity of the typical linearity of the high-precision driving trajectory and the linearity of the lane candidate in the fourth step; A sixth step of extracting a lane object from the prospective lane candidate; And a seventh step of providing a map coordinate obtained from the map coordinate three-dimensional point group to the extracted lane object to generate a map coordinate lane. The lane filtering and lane map construction using the high-precision driving trajectory of the MMS vehicle ≪ / RTI >

따라서, 본 발명의 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법은 MMS(Mobile Mapping System) 차량으로부터 얻어지는 고정밀 주행 궤적을 사용하여 유망 차선 후보로 필터링함으로써 차선 검출의 정확도를 높이고 불필요한 연산을 줄여 차선 지도 구축의 속도를 개선할 수 있는 효과가 있다.Therefore, the lane-filtering and lane-map building method using the high-precision trajectory of the MMS vehicle of the present invention can improve the accuracy of the lane detection by filtering the candidate lane candidates using the high-precision trajectory obtained from the MMS (Mobile Mapping System) It is possible to improve the speed of lane map construction.

또한, 곡선 구간 혹은 다양한 밝기의 화소들이 영상에 존재하는 경우 차선 추출의 어려움을 해결하기 위하여 고정밀 주행 궤적을 활용함으로써 정확성을 확보하는 동시에 수행 시간에 대한 비용을 절감할 수 있는 또 다른 효과가 있다.In addition, in order to solve the difficulty of extracting lanes when the pixels of the curve section or the various brightness are present in the image, there is another effect of securing the accuracy and reducing the cost for the execution time by utilizing the high-precision driving trajectory.

또한, MMS 차량의 주행 궤적을 활용하여 추출한 차선 객체를 레이저 스캔 장치로부터 얻어진 3차원 점군으로의 좌표 참조를 통해 지도 좌표계 상에 정의함으로써, 차선 레벨의 고정밀 지도를 구축할 수 있는 또 다른 효과가 있다.Further, there is another effect that a lane-level object with high accuracy can be constructed by defining a lane object extracted using the trajectory of the MMS vehicle on a map coordinate system through coordinate reference to a three-dimensional point cloud obtained from a laser scanning apparatus .

도 1은 종래의 기술에 따른 주변 환경 정보를 이용한 차선 인식 시스템 구성도,
도 2는 본 발명에 따른 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법의 순서도,
도 3은 본 발명에 따른 RGB 영상 맵핑 및 정사 영상 변환 예시도이다.1 is a block diagram of a lane recognition system using surrounding information according to a related art;
FIG. 2 is a flowchart of a lane-filtering and lane-map building method using a high-precision travel trajectory of an MMS vehicle according to the present invention;
3 is a diagram illustrating RGB image mapping and orthoimage image conversion according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may appropriately define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법의 순서도이다. 도 2에 도시된 바와 같이, MMS 차량에 구비되는 고정밀 주행 궤적 검출장치, 후방 카메라 장치 및 레이저 스캔장치로부터 MMS 차량의 고정밀 주행 궤적, RGB 영상 및 지도 좌표 3차원 점군을 획득한다.FIG. 2 is a flowchart of a lane-based filtering and lane-map building method using a high-precision driving trajectory of an MMS vehicle according to the present invention. As shown in FIG. 2, the high-precision travel trajectory, the RGB image, and the map coordinate three-dimensional point cloud of the MMS vehicle are obtained from the high-precision trajectory detection device, the rear camera device, and the laser scanning device provided in the MMS vehicle.

여기서, 동일한 GPS 시간에 고정밀 주행 궤적 및 RGB 영상을 대응되도록 취득되며, RGB 영상은 MMS 차량의 후방 카메라 장치에 의하여 획득된다.Here, the high-precision driving trajectory and the RGB image are corresponded to the same GPS time, and the RGB image is acquired by the rear camera device of the MMS vehicle.

획득된 MMS 차량의 고정밀 주행 궤적은 후방 카메라 장치의 투영 행렬을 이용하여 고정밀 주행 궤적의 선형을 RGB 영상에 투영하여 맵핑 이미지를 생성하며, 이는 도 3(a)에 차선과 다른 실선으로 표현되어 있다.The obtained high-precision driving trajectory of the MMS vehicle is generated by projecting the linearity of the high-precision driving trajectory on the RGB image by using the projection matrix of the rear camera device, and this is represented by a solid line different from the lane in Fig. 3 (a) .

이러한 맵핑 이미지는 역투영 변환(Inverse Perspective Mapping)에 의하여 정사 영상으로 변환되며, 이는 도 3(b)에 정상 영상으로 변환된 이미지를 예시하였다.This mapping image is converted into an orthoimage image by inverse perspective mapping, which illustrates an image converted into a normal image in FIG. 3 (b).

이러한 정사 영상으로의 변환은 정사 영상 공간에서의 주행궤적이 주변 주행 차선과 평행하다는 특징 및 주행 궤적은 정지선과는 직교한다는 특징을 이용하기 위한 것이다.The transformation into orthoimage is to utilize the characteristic that the trajectory of the driving in the orthoimage space is parallel to the surrounding driving lane and that the driving trajectory is orthogonal to the stop line.

이후 정사 영상에 포함된 상기 고정밀 주행 궤적을 선형 방적식으로 근사하여 대표 선형을 도출하고, 정사 영상에서 관심 영역(Region of Interest, ROI)에 대하여 차선 후보를 검출하여 선형을 도출한다.Thereafter, the high-precision driving trajectory included in the orthoimage is linearly approximated to obtain a representative linear shape, and a lane candidate is detected for a region of interest (ROI) in the orthoimage to derive a linear shape.

여기서, 관심 영역은 원근 변환의 오차 때문에 MMS 차량이 주행한 5 내지 20미터의 과거 주행 궤적으로서 설정하는 것이 바람직하다.Here, it is preferable that the ROI is set as a past trajectory of 5 to 20 meters in which the MMS vehicle traveled due to the error of the perspective transformation.

여기서, 관심 영역에서 검출되는 차선 후보는 직선뿐만 아니라 곡선에 대해서도 선형 검출이 가능한 GHT(Generalized Hough Transform) 또는 B-Snake법을 이용하여 검출된다.Here, the lane candidate detected in the region of interest is detected not only for a straight line but also for a curve by using GHT (Generalized Hough Transform) or B-Snake method capable of linear detection.

이후 고정밀 주행 궤적의 대표 선형과 차선 후보의 선형의 유사성 비교에 의하여 유망 차선 후보를 도출하며, 유사성 비교는 선형 길이, 방향, 곡률 및 교차 여부중 어느 하나 이상의 유사성을 비교한다.Then, the prospective lane candidate is derived by comparing the similarity of the representative linearity of the high-precision driving trajectory with the linearity of the lane candidate, and the similarity comparison compares the similarity of at least one of linear length, direction, curvature and intersection.

이후 유사성 비교에 의하여 도출된 유망 차선 후보에서 차선 객체를 추출하고, 레이저 스캔 장치에 의하여 취득된 지도 좌표 3차원 점군으로부터 획득되는 지도 좌표를 추출된 차선 객체에 부여하여 지도 좌표 차선을 생성하여 차선지도를 구축한다.Then, the lane object is extracted from the prospective lane candidate derived by the similarity comparison, the map coordinate obtained from the map coordinate three-dimensional point group acquired by the laser scanning device is given to the extracted lane object to generate the map coordinate lane, .

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, Various changes and modifications will be possible.

Claims (7)

MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법에 있어서,
MMS 차량의 고정밀 주행 궤적, RGB 영상 및 지도 좌표 3차원 점군을 획득하는 제1 단계;
상기 고정밀 주행 궤적을 상기 RGB 영상에 투영하여 맵핑 이미지를 생성하는 제2 단계;
상기 맵핑 이미지를 정사 영상으로 변환하는 제3 단계;
상기 정사 영상에 포함된 상기 고정밀 주행 궤적을 비선형 방적식으로 근사하여 대표 선형을 도출하고, 상기 정사 영상에서 관심 영역에 대하여 차선 후보를 검출하여 선형을 도출하는 제4 단계;
상기 제4 단계에서 상기 고정밀 주행 궤적의 대표 선형과 상기 차선 후보의 선형의 유사성 비교에 의하여 유망 차선 후보를 도출하는 제5 단계;
상기 유망 차선 후보에서 차선 객체를 추출하는 제6 단계; 및
상기 지도 좌표 3차원 점군으로부터 획득되는 지도 좌표를 추출된 상기 차선 객체에 부여하여 지도 좌표 차선을 생성하는 제7 단계로 이루어지는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
A method of constructing a lane filtering and lane map using a high-precision driving trajectory of an MMS vehicle,
A first step of acquiring a high-precision driving trajectory, an RGB image and a map coordinate three-dimensional point cloud of the MMS vehicle;
A second step of projecting the high-precision trajectory on the RGB image to generate a mapping image;
A third step of converting the mapping image into an orthoimage image;
A fourth step of deriving a representative linear shape by approximating the high-precision driving trajectory included in the orthoimage by a nonlinear spinning method, and detecting a lane candidate for the region of interest in the orthoimage image to derive a linear shape;
A fifth step of deriving a prospective lane candidate by comparing the similarity of the typical linearity of the high-precision driving trajectory and the linearity of the lane candidate in the fourth step;
A sixth step of extracting a lane object from the prospective lane candidate; And
And generating a map coordinate lane by applying the map coordinates obtained from the map coordinate three-dimensional point cloud group to the extracted lane object, and a seventh step of generating a map coordinate lane by using the high-precision travel trajectory of the MMS vehicle .
제1항에 있어서,
상기 고정밀 주행 궤적 및 상기 RGB 영상은 동일 GPS 시간에 취득되는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
The method according to claim 1,
Wherein the high-precision driving trajectory and the RGB image are acquired at the same GPS time. 2. The method of claim 1, wherein the high-precision driving trajectory and the RGB image are acquired at the same GPS time.
제1항에 있어서,
상기 RGB 영상은 MMS 차량의 후방 카메라 장치에 의하여 획득되는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
The method according to claim 1,
Wherein the RGB image is acquired by a rear camera device of an MMS vehicle.
제1항에 있어서,
상기 제3 단계에서 생성되는 상기 정사 영상은 역투영 변환에 의하여 생성되는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
The method according to claim 1,
Wherein the orthoimage generated in the third step is generated by a reverse projection transformation.
제3항에 있어서,
상기 MMS 차량의 고정밀 주행 궤적은 상기 MMS 차량이 주행한 5 내지 20미터의 과거 주행 궤적인 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
The method of claim 3,
Wherein the high-precision travel trajectory of the MMS vehicle is a past trajectory of 5 to 20 meters that the MMS vehicle traveled.
제1항에 있어서,
상기 관심 영역에서 검출되는 차선 후보는 GHT(Generalized Hough Transform) 또는 B-Snake법을 이용하여 검출되는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.
The method according to claim 1,
Wherein the lane candidate detected in the area of interest is detected using GHT (Generalized Hough Transform) or B-Snake method.
제1항에 있어서,
상기 유사성 비교는 선형 길이, 방향, 곡률 및 교차 여부중 어느 하나 이상의 유사성을 비교하는 것을 특징으로 하는 MMS 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법.The method according to claim 1,
Wherein the similarity comparison compares the similarities of at least one of a linear length, a direction, a curvature, and an intersection or absence.
KR1020170067800A 2017-05-31 2017-05-31 Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle KR102384430B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170067800A KR102384430B1 (en) 2017-05-31 2017-05-31 Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170067800A KR102384430B1 (en) 2017-05-31 2017-05-31 Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle

Publications (2)

Publication Number Publication Date
KR20180131154A true KR20180131154A (en) 2018-12-10
KR102384430B1 KR102384430B1 (en) 2022-04-07

Family

ID=64670947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067800A KR102384430B1 (en) 2017-05-31 2017-05-31 Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle

Country Status (1)

Country Link
KR (1) KR102384430B1 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996623B1 (en) * 2018-12-11 2019-07-04 주식회사 맵퍼스 Method and system for constructing high-precision map data using gps tracking quality indicator
CN110646824A (en) * 2019-09-30 2020-01-03 郑州威科姆华大北斗导航科技有限公司 Method for realizing motion trail drift point filtering calculation in multiple positioning modes
KR102091580B1 (en) * 2019-07-09 2020-03-20 주식회사 모빌테크 Method for collecting road signs information using MMS
KR102244300B1 (en) 2021-02-22 2021-04-27 네이버시스템(주) MMS camera fixing system for map production with precision autonomous driving
KR102258708B1 (en) 2021-02-22 2021-06-01 네이버시스템(주) MMS camera fixing system for map production with precision autonomous driving
KR20210063720A (en) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 Precision map generation system
KR102280846B1 (en) 2020-09-07 2021-07-23 주식회사 뉴비전네트웍스 Self-driving precision map production system based on MMS
KR102293627B1 (en) 2020-09-24 2021-08-26 주식회사 뉴비전네트웍스 Map system with precision autonomous driving based on various MMS data
KR102293614B1 (en) 2020-09-28 2021-08-26 주식회사 뉴비전네트웍스 MMS image processing system for map production with precision autonomous driving
KR102293618B1 (en) 2020-09-28 2021-08-26 주식회사 뉴비전네트웍스 MMS image processing system for map production with precision autonomous driving
KR102296596B1 (en) 2021-02-22 2021-09-03 네이버시스템(주) MMS data update system for map production with precision autonomous driving
KR102326817B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 Map update system with precision of autonomous driving through MMS shooting
KR102327068B1 (en) 2020-09-28 2021-11-17 (주)스페이스 MMS image processing system for map production with precision autonomous driving
KR102326821B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 Map update system with precision of autonomous driving through MMS shooting
KR102327064B1 (en) 2020-09-28 2021-11-17 (주)스페이스 High-precision road map lane filtering construction system through MMS vehicle
KR102327073B1 (en) 2020-09-28 2021-11-17 (주)스페이스 High-precision road mapping system for MMS vehicles
KR102326823B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 MMS data processing system for accurate map production
KR102356162B1 (en) 2021-06-11 2022-02-08 주식회사 새한지앤아이 Mobile mapping system transformating layer automatically according to collecting information of specific zone
KR102358547B1 (en) 2021-09-09 2022-02-08 동아항업 주식회사 Output system for real-time correcting the data collected by moving mms
CN114312824A (en) * 2020-09-30 2022-04-12 通用汽车环球科技运作有限责任公司 Behavior planning in autonomous vehicles
KR102562031B1 (en) * 2022-12-02 2023-08-02 주식회사 라이드플럭스 Autonomous vehicle localization method, apparatus and computer program using traffic lane information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130076108A (en) * 2011-12-28 2013-07-08 전자부품연구원 Lane departure warning system
KR20160083410A (en) * 2014-12-31 2016-07-12 가천대학교 산학협력단 System and method for detecting lane using lane variation vector and cardinal spline
JP2017500595A (en) * 2013-10-31 2017-01-05 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド How to generate an accurate lane level map
KR101738425B1 (en) * 2016-02-15 2017-05-23 (주)한양정보통신 Apparatus and method for setting region of interest for detecting traffic lanes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130076108A (en) * 2011-12-28 2013-07-08 전자부품연구원 Lane departure warning system
JP2017500595A (en) * 2013-10-31 2017-01-05 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド How to generate an accurate lane level map
KR20160083410A (en) * 2014-12-31 2016-07-12 가천대학교 산학협력단 System and method for detecting lane using lane variation vector and cardinal spline
KR101738425B1 (en) * 2016-02-15 2017-05-23 (주)한양정보통신 Apparatus and method for setting region of interest for detecting traffic lanes

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996623B1 (en) * 2018-12-11 2019-07-04 주식회사 맵퍼스 Method and system for constructing high-precision map data using gps tracking quality indicator
KR102091580B1 (en) * 2019-07-09 2020-03-20 주식회사 모빌테크 Method for collecting road signs information using MMS
WO2021006441A1 (en) * 2019-07-09 2021-01-14 주식회사 모빌테크 Road sign information collection method using mobile mapping system
US11288526B2 (en) 2019-07-09 2022-03-29 Mobiltech Method of collecting road sign information using mobile mapping system
CN110646824A (en) * 2019-09-30 2020-01-03 郑州威科姆华大北斗导航科技有限公司 Method for realizing motion trail drift point filtering calculation in multiple positioning modes
CN110646824B (en) * 2019-09-30 2023-09-05 郑州威科姆华大北斗导航科技有限公司 Method for realizing motion trail drift point filtering calculation in multiple positioning modes
KR20210063720A (en) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 Precision map generation system
KR102280846B1 (en) 2020-09-07 2021-07-23 주식회사 뉴비전네트웍스 Self-driving precision map production system based on MMS
KR102293627B1 (en) 2020-09-24 2021-08-26 주식회사 뉴비전네트웍스 Map system with precision autonomous driving based on various MMS data
KR102326817B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 Map update system with precision of autonomous driving through MMS shooting
KR102327073B1 (en) 2020-09-28 2021-11-17 (주)스페이스 High-precision road mapping system for MMS vehicles
KR102326823B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 MMS data processing system for accurate map production
KR102293614B1 (en) 2020-09-28 2021-08-26 주식회사 뉴비전네트웍스 MMS image processing system for map production with precision autonomous driving
KR102327068B1 (en) 2020-09-28 2021-11-17 (주)스페이스 MMS image processing system for map production with precision autonomous driving
KR102326821B1 (en) 2020-09-28 2021-11-17 주식회사 첨단공간정보 Map update system with precision of autonomous driving through MMS shooting
KR102327064B1 (en) 2020-09-28 2021-11-17 (주)스페이스 High-precision road map lane filtering construction system through MMS vehicle
KR102293618B1 (en) 2020-09-28 2021-08-26 주식회사 뉴비전네트웍스 MMS image processing system for map production with precision autonomous driving
CN114312824A (en) * 2020-09-30 2022-04-12 通用汽车环球科技运作有限责任公司 Behavior planning in autonomous vehicles
US11912300B2 (en) 2020-09-30 2024-02-27 GM Global Technology Operations LLC Behavioral planning in autonomus vehicle
KR102296596B1 (en) 2021-02-22 2021-09-03 네이버시스템(주) MMS data update system for map production with precision autonomous driving
KR102258708B1 (en) 2021-02-22 2021-06-01 네이버시스템(주) MMS camera fixing system for map production with precision autonomous driving
KR102244300B1 (en) 2021-02-22 2021-04-27 네이버시스템(주) MMS camera fixing system for map production with precision autonomous driving
KR102356162B1 (en) 2021-06-11 2022-02-08 주식회사 새한지앤아이 Mobile mapping system transformating layer automatically according to collecting information of specific zone
KR102358547B1 (en) 2021-09-09 2022-02-08 동아항업 주식회사 Output system for real-time correcting the data collected by moving mms
KR102562031B1 (en) * 2022-12-02 2023-08-02 주식회사 라이드플럭스 Autonomous vehicle localization method, apparatus and computer program using traffic lane information

Also Published As

Publication number Publication date
KR102384430B1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
KR20180131154A (en) Method for filtering the lane and generating the lane map using high precision running trajectory of MMS vehicle
US11055986B2 (en) Matching observational points to road segments represented as edges in graphs
WO2018227980A1 (en) Camera sensor based lane line map construction method and construction system
WO2017124901A1 (en) Information processing method, device, and terminal
CN111912416B (en) Method, device and equipment for positioning equipment
KR102091580B1 (en) Method for collecting road signs information using MMS
Poggenhans et al. Precise localization in high-definition road maps for urban regions
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
US20190005667A1 (en) Ground Surface Estimation
KR20200042760A (en) Vehicle localization method and vehicle localization apparatus
CN112667837A (en) Automatic image data labeling method and device
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
CN104700414A (en) Rapid distance-measuring method for pedestrian on road ahead on the basis of on-board binocular camera
CN102208019A (en) Method for detecting lane change of vehicle based on vehicle-mounted camera
CN109325390B (en) Positioning method and system based on combination of map and multi-sensor detection
CN103424112A (en) Vision navigating method for movement carrier based on laser plane assistance
Cao et al. Camera to map alignment for accurate low-cost lane-level scene interpretation
KR102280846B1 (en) Self-driving precision map production system based on MMS
KR102475039B1 (en) Apparatus, method and system for updating map database
KR102480972B1 (en) Apparatus and method for generating High Definition Map
JP4760274B2 (en) Map update device
CN109115232B (en) Navigation method and device
CN114509065B (en) Map construction method, system, vehicle terminal, server and storage medium
KR20160053201A (en) Method for matching map of high-precision with navigation link
CN111427373B (en) Pose determining method, pose determining device, medium and pose determining equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant