KR20240002268A - system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof - Google Patents

system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof Download PDF

Info

Publication number
KR20240002268A
KR20240002268A KR1020220078982A KR20220078982A KR20240002268A KR 20240002268 A KR20240002268 A KR 20240002268A KR 1020220078982 A KR1020220078982 A KR 1020220078982A KR 20220078982 A KR20220078982 A KR 20220078982A KR 20240002268 A KR20240002268 A KR 20240002268A
Authority
KR
South Korea
Prior art keywords
road surface
road
precision
surface object
image
Prior art date
Application number
KR1020220078982A
Other languages
Korean (ko)
Inventor
최인구
김성환
박철현
김기창
김덕중
Original Assignee
한국도로공사
주식회사유원지리정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사, 주식회사유원지리정보시스템 filed Critical 한국도로공사
Priority to KR1020220078982A priority Critical patent/KR20240002268A/en
Publication of KR20240002268A publication Critical patent/KR20240002268A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Abstract

본 발명은 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법에 관한 것으로, 해결하고자 하는 과제는 특정 객체의 위치가 정밀도로지도의 객체 위치와 달라 매칭이 되지 않는 경우, 정밀도로지도의 노면 객체와 버드뷰 이미지에서 인식된 노면 객체 간의 RGB, HSV, 픽셀의 흑백 변화율의 매칭 비교를 통해 노면 객체 갱신 여부를 판단함으로써, 미세한 수준의 변화에 대한 노면 객체 갱신 여부를 정확히 판단하는데 있다.
일례로, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 촬영부; 상기 노면 촬영부의 노면 영상으로부터 노면 객체를 인식하는 노면 객체 인식부; 및 상기 노면 객체 인식부를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단하는 노면 객체 갱신 판단부를 포함하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템을 개시한다.The present invention relates to a system and method for determining changes in road surface objects on a high-precision road map through marking status evaluation. The problem to be solved is that when the location of a specific object is different from the location of the object on the high-precision road map and does not match, By determining whether or not road objects are updated through a matching comparison of the RGB, HSV, and black and white change rates of pixels between road objects on the map and road objects recognized in the Bird View image, it is possible to accurately determine whether or not road objects are updated for minute-level changes. .
For example, a road surface imaging unit that generates a road surface image by photographing the road surface while driving on the road; a road surface object recognition unit that recognizes a road surface object from the road surface image of the road surface photographing unit; And changes in the road object through matching comparison of at least one of location information, brightness information, color information, and filling rate for the same color inside the object between the road surface object recognized through the road object recognition unit and the object on the precision road map. Disclosed is a system for determining changes in road objects on a road map with precision through marking state evaluation, including a road object update determination unit that determines whether the road surface object has been updated according to the present invention.

Description

마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법{system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof} System for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof}

본 발명의 실시예는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법에 관한 것이다.Embodiments of the present invention relate to a system and method for determining changes in road surface objects on a high-precision road map through marking state evaluation.

일반적으로 정밀도로지도는 자율주행 등에 필요한 규제선, 도로경계선, 정지선, 차로중심선 등을 포함하는 차선정보를 3차원으로 제작한 전자지도로서, 다양한 센서가 결합된 MMS 측량과 최첨단 측량기법 및 데이터 구축 기술의 결합을 통해 고정밀 데이터로 제작된다.In general, a high-precision road map is an electronic map produced in 3D with lane information including regulation lines, road boundaries, stop lines, and lane center lines necessary for autonomous driving, etc., and is comprised of MMS surveying combining various sensors and cutting-edge surveying techniques and data construction. It is produced with high-precision data through a combination of technologies.

이러한 정밀도로지도는 차량이 인식한 노면의 객체 정보와 지도 상의 동일 객체 정보를 비교하여 갱신 판단에 활용될 수 있다. 정밀도로지도와 비교할 때 인접한 다른 객체들은 매칭이 되지만 특정 객체의 위치가 지도의 위치와 달라 매칭이 되지 않는 경우 해당 객체에 대한 변화가 있는 것으로 판단 가능하다.This high-precision road map can be used to make an update decision by comparing object information on the road surface recognized by the vehicle with information on the same object on the map. When compared to a map with high precision, other adjacent objects are matched, but if the location of a specific object is different from the location on the map and does not match, it can be determined that there has been a change in the object.

그러나, 이러한 방법을 통해 노면 객체에 대한 변화가 있다고 판단하기에는 그 변화량이 수십 cm 수준으로 적은 경우 정확하게 변화를 판단하기에는 곤란한 점이 있다. 예를 들어, 노면에 새롭게 페인트를 칠한 차선의 경우 기존과 유사한 위치에 새롭게 도장하는 경우가 많고, 이러한 경우 기존 노면 객체와의 위치 차이가 10-20cm 수준 이하로 매우 작아 정확한 변화 판단이 곤란하다.However, it is difficult to accurately determine the change in the road surface object using this method when the amount of change is small, at the level of several tens of centimeters. For example, in the case of lanes newly painted on the road surface, the new paint is often done in a similar position to the existing one, and in these cases, the difference in position from the existing road surface object is very small, less than 10-20 cm, making it difficult to accurately judge the change.

이러한 경우 시간이 지남에 따라 지도 전체의 정확도가 떨어지게 되고, 필연적으로 자율차의 측위(자기 위치를 결정하는 것) 오차가 증가함에도 지도에 오류가 있다고 판단하기에 어려움이 있으며, 버드뷰 이미지와 지도 간을 비교하는 방식이 갖는 오차가 존재하며, 이러한 오차는 특정된 오차범위 내에서 그 변화를 정확히 판단하기가 어렵다.In this case, the accuracy of the entire map decreases over time, and it is difficult to determine that there is an error in the map even though the error in the autonomous vehicle's positioning (determining its own location) inevitably increases. Bird View images and maps There are errors in the method of comparing livers, and these errors make it difficult to accurately judge the changes within a specified error range.

공개특허공보 제10-2017-0128913호(공개일자: 2017년11월24일)Public Patent Publication No. 10-2017-0128913 (Publication Date: November 24, 2017) 등록특허공보 제10-2264265호(등록일자: 2021년06월07일)Registered Patent Publication No. 10-2264265 (Registration Date: June 7, 2021)

본 발명의 실시예는, 특정 객체의 위치가 정밀도로지도의 객체 위치와 달라 매칭이 되지 않는 경우, 정밀도로지도의 노면 객체와 버드뷰 이미지에서 인식된 노면 객체 간의 RGB, HSV, 픽셀의 흑백 변화율의 매칭 비교를 통해 노면 객체 갱신 여부를 판단함으로써, 미세한 수준의 변화에 대한 노면 객체 갱신 여부를 정확히 판단할 수 있는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법을 제공한다.In an embodiment of the present invention, when the location of a specific object is different from the object location on the high-precision map and does not match, the RGB, HSV, and black-and-white change rate of the pixel between the road surface object on the high-precision map and the road surface object recognized in the Bird View image By determining whether road surface objects are updated through matching comparison, we provide a system and method for determining changes in road objects on a road map with precision through marking status evaluation that can accurately determine whether road surface objects are updated for minute-level changes.

본 발명의 일 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템은, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 촬영부; 상기 노면 촬영부의 노면 영상으로부터 노면 객체를 인식하는 노면 객체 인식부; 및 상기 노면 객체 인식부를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단하는 노면 객체 갱신 판단부를 포함한다.A system for determining road surface object changes on a high-precision road map through marking state evaluation according to an embodiment of the present invention includes a road surface photographing unit that generates a road surface image by photographing the road surface while driving on the road; a road surface object recognition unit that recognizes a road surface object from the road surface image of the road surface photographing unit; And changes in the road object through matching comparison of at least one of location information, brightness information, color information, and filling rate for the same color inside the object between the road surface object recognized through the road object recognition unit and the object on the precision road map. It includes a road surface object update determination unit that determines whether or not the road surface object is updated.

또한, 상기 노면 촬영부는, 차량의 전, 후, 좌, 우에 각각 설치되어 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 카메라부를 포함할 수 있다.In addition, the road surface photographing unit may include a camera unit installed on the front, rear, left, and right sides of the vehicle, respectively, to capture the road surface while driving on the road and generate a road surface image.

또한, 상기 노면 객체 인식부는, 객체 인식 기술을 이용하여 상기 노면 영상으로부터 노면 객체가 포함된 노면 객체 계산 영역과, 상기 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성하는 노면 객체 이미지 생성부; 및 상기 카메라부와 차량에 설치된 GPS 및 IMU 센서와 동기화되어 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하는 객체 위치 데이터 적용부를 포함할 수 있다.In addition, the road surface object recognition unit detects a road surface object calculation area containing a road surface object from the road surface image and a polygon area formed along the shape of the road surface object within the road surface object calculation area from the road surface image using object recognition technology, thereby detecting the road surface object. A road object image generator that recognizes objects and generates road object data; And an object location data application unit that is synchronized with the camera unit and the GPS and IMU sensors installed in the vehicle and adds location sensing data obtained from the GPS and IMU sensors to the road surface object data generated through the road object image generator. .

또한, 상기 노면 촬영부는, 역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 상기 카메라부를 통해 생성된 노면 영상을 버드뷰 이미지로 생성하는 버드뷰 이미지 생성부를 더 포함하고, 상기 객체 위치 데이터 적용부는, 상기 버드뷰 이미지에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하고, 상기 노면 객체 갱신 판단부는, 상기 위치 센싱 데이터에 기초하여 상기 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 객체 위치 데이터 적용부를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 위치 변화 판단부를 포함할 수 있다.In addition, the road surface photographing unit further includes a bird view image generator that generates a bird view image from the road surface image generated through the camera unit using Inverse Perspective Mapping (IPM) technology, and applies the object location data. The unit adds location sensing data acquired from GPS and IMU sensors to the bird view image, and the road surface object update determination unit retrieves precision road map data corresponding to the bird view image based on the location sensing data, A road surface object that compares the location information between the road object data included in the loaded precision road map data and the Bird View image to which the location sensing data is applied through the object location data application unit to determine whether or not the object is updated according to the location change of the road surface object. It may include a position change determination unit.

또한, 상기 노면 객체 갱신 판단부는, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 RGB 히스토그램 변화 판단부를 포함할 수 있다.In addition, the road surface object update determination unit retrieves precision road map data corresponding to the road surface image based on the location sensing data, and generates the road surface object data included in the precision road map data and the road surface object image generator. It may include a road object RGB histogram change determination unit that extracts RGB histogram values for each road surface object data, compares the extracted RGB values, and determines whether the object is updated according to the change in RGB values.

또한, 상기 노면 객체 갱신 판단부는, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 HSV 히스토그램 변화 판단부를 포함할 수 있다.In addition, the road surface object update determination unit retrieves precision road map data corresponding to the road surface image based on the location sensing data, and generates the road surface object data included in the precision road map data and the road surface object image generator. It may include a road object HSV histogram change determination unit that extracts HSV histogram values for each road surface object data, compares the extracted HSV values, and determines whether the object is updated according to the change in the HSV value.

또한, 상기 노면 객체 갱신 판단부는, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 상기 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 픽셀 흑백 비율 변화 판단부를 포함할 수 있다.In addition, the road surface object update determination unit loads precision road map data corresponding to the road surface image based on the location sensing data, and generates a polygon area for the road surface object included in the precision road map data and an image of the road surface object. Includes a road surface object pixel black-and-white ratio change determination unit that generates binarized black-and-white images for the polygon areas detected through the unit and compares the pixel black-and-white ratio of the generated black-and-white images to determine whether the object is updated according to the change in the pixel black-and-white ratio. can do.

본 발명의 다른 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법은, 노면 촬영부가, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 촬영 단계; 노면 객체 인식부가, 상기 노면 촬영부의 노면 영상으로부터 노면 객체를 인식하는 노면 객체 인식 단계; 및 노면 객체 갱신 판단부가, 상기 노면 객체 인식부를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단하는 노면 객체 갱신 판단 단계를 포함한다.A method of determining changes in road surface objects on a high-precision road map through marking state evaluation according to another embodiment of the present invention includes a road surface imaging step in which a road surface imaging unit generates a road surface image by photographing the road surface while driving on the road; A road surface object recognition step in which a road surface object recognition unit recognizes a road surface object from the road surface image of the road surface photographing unit; And a road object update determination unit performs a matching comparison for at least one of location information, brightness information, color information, and filling rate for the same color inside the object between the road surface object recognized through the road object recognition unit and the object on the precision road map. It includes a road surface object update determination step of determining whether or not the road surface object is updated according to changes in the road surface object.

또한, 상기 노면 촬영 단계는, 차량의 전, 후, 좌, 우에 각각 설치된 카메라부가, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 영상 생성 단계를 포함할 수 있다.Additionally, the road surface photographing step may include a road surface image generating step in which camera units installed on the front, rear, left, and right sides of the vehicle capture the road surface while driving on the road and generate a road surface image.

또한, 상기 노면 객체 인식 단계는, 노면 객체 이미지 생성부가, 객체 인식 기술을 이용하여 상기 노면 영상으로부터 노면 객체가 포함된 노면 객체 계산 영역과, 상기 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성하는 노면 객체 이미지 생성 단계; 및 서로 동기화된 상기 카메라부와 차량에 설치된 GPS 및 IMU 센서를 이용하여 객체 위치 데이터 적용부가, 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하는 객체 위치 데이터 적용 단계를 포함할 수 있다.In addition, in the road surface object recognition step, the road surface object image generating unit forms a road surface object calculation area containing a road surface object from the road surface image using object recognition technology, and a shape of the road surface object within the road surface object calculation area. A road surface object image generation step of detecting each polygon area and recognizing the road surface object to generate road surface object data; And an object location data application unit uses the camera unit and the GPS and IMU sensors installed in the vehicle, which are synchronized with each other, to add location sensing data obtained from the GPS and IMU sensors to the road surface object data generated through the road object image generation unit. It may include a step of applying object location data.

또한, 상기 노면 영상 생성 단계는, 버드뷰 이미지 생성부가, 역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 상기 카메라부를 통해 생성된 노면 영상을 버드뷰 이미지로 생성하는 버드뷰 이미지 생성 단계를 더 포함하고, 상기 객체 위치 데이터 적용 단계는, 객체 위치 데이터 적용부가, 상기 버드뷰 이미지에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하고, 상기 노면 객체 갱신 판단 단계는, 노면 객체 위치 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 객체 위치 데이터 적용부를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 위치 변화 판단 단계를 포함할 수 있다.In addition, the road surface image generation step includes a bird view image generation step in which the bird view image generation unit generates the road surface image generated through the camera unit as a bird view image using inverse perspective mapping (IPM) technology. Further comprising, in the object location data application step, the object location data application unit adds location sensing data obtained from GPS and IMU sensors to the Bird View image, and the road object update determination step includes determining a change in the road object location. Additionally, based on the location sensing data, map data with a precision corresponding to the bird view image is loaded, and the location sensing data is applied through the road surface object data included in the loaded precision map data and the object location data application unit. It may include a road object location change determination step of comparing location information between bird view images to determine whether the object is updated according to the location change of the road object.

또한, 상기 노면 객체 갱신 판단 단계는, 노면 객체 RGB 히스토그램 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 RGB 히스토그램 변화 판단 단계를 포함할 수 있다.In addition, in the road surface object update determination step, the road surface object RGB histogram change determination unit retrieves precision road map data corresponding to the road surface image based on the location sensing data, and road surface object data included in the precision road map data. and a road object RGB histogram change determination step of extracting RGB histogram values for the road object data generated through the road object image generator and comparing the extracted RGB values to determine whether the object is updated according to the change in the RGB value. It can be included.

또한, 상기 노면 객체 갱신 판단 단계는, 노면 객체 HSV 히스토그램 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 HSV 히스토그램 변화 판단 단계를 포함할 수 있다.In addition, in the road surface object update determination step, the road surface object HSV histogram change determination unit retrieves precision road map data corresponding to the road surface image based on the location sensing data, and road surface object data included in the precision road map data. and a road object HSV histogram change determination step of extracting HSV histogram values for the road object data generated through the road object image generator and comparing the extracted HSV values to determine whether the object is updated according to the change in the HSV value. It can be included.

또한, 상기 노면 객체 갱신 판단 단계는, 노면 객체 흑백 비율 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 상기 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 픽셀 흑백 비율 변화 판단 단계를 포함할 수 있다.In addition, in the road surface object update determination step, the road surface object black-and-white ratio change determination unit retrieves map data with a precision corresponding to the road surface image based on the location sensing data, and updates the road surface object included in the precision map data. Generate a binarized black and white image for the polygon area and the polygon area detected through the road surface object image generator, respectively, and compare the pixel black and white ratio of the generated black and white image to determine whether the object is updated according to the change in the pixel black and white ratio. It may include a step of determining changes in the black-and-white ratio of road surface object pixels.

본 발명에 따르면, 특정 객체의 위치가 정밀도로지도의 객체 위치와 달라 매칭이 되지 않는 경우, 정밀도로지도의 노면 객체와 버드뷰 이미지에서 인식된 노면 객체 간의 RGB, HSV, 픽셀의 흑백 변화율의 매칭 비교를 통해 노면 객체 갱신 여부를 판단함으로써, 미세한 수준의 변화에 대한 노면 객체 갱신 여부를 정확히 판단할 수 있는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법을 제공할 수 있다.According to the present invention, when matching is not possible because the location of a specific object is different from the object location on the high-precision map, matching of the RGB, HSV, and black-and-white change rate of pixels between the road surface object on the high-precision map and the road surface object recognized in the Bird View image By determining whether the road surface object has been updated through comparison, it is possible to provide a system and method for determining changes in road objects on a road map with precision through marking state evaluation that can accurately determine whether the road surface object has been updated for minute-level changes.

도 1은 본 발명의 일 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 노면 촬영부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 버드뷰 이미지 생성부의 IPM(Inverse Perspective Mapping) 기술을 이용한 차선 이미지 획득 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 노면 객체 인식부의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 노면 객체 인식부의 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역과 노면 객체 계산 영역을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 노면 객체 갱신 판단부의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따라 노면 객체에 적용되는 RGB 히스토그램의 특성을 설명하기 위해 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 노면 객체 RGB 히스토그램 변화 판단부의 기능을 설명하기 위해 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 노면 객체 HSV 히스토그램 변화 판단부의 기능을 설명하기 위해 나타낸 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 노면 객체 픽셀 흑백 변화 판단부의 기능을 설명하기 위해 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 데이터 셋의 예시를 나타낸 도면이다.
도 13 내지 도 15는 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 RGB 히스토그램 데이터셋의 예시를 나타낸 도면이다.
도 16 내지 도 18은 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 픽셀 흑백 비율 데이터셋의 예시를 나타낸 도면이다.
도 19는 본 발명의 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법의 전체 구성을 나타낸 흐름도이다.
도 20은 본 발명의 실시예에 따른 노면 촬영 단계의 구성을 나타낸 흐름도이다.
도 21은 본 발명의 실시예에 따른 노면 객체 인식 단계의 구성을 나타낸 흐름도이다.
도 22는 본 발명의 실시예에 따른 노면 객체 갱신 판단 단계의 구성을 나타낸 흐름도이다.Figure 1 is a block diagram showing the overall configuration of a system for determining changes in road objects on a high-precision road map through marking state evaluation according to an embodiment of the present invention.
Figure 2 is a block diagram showing the configuration of a road surface photographing unit according to an embodiment of the present invention.
Figure 3 is a diagram illustrating the process of acquiring a lane image using IPM (Inverse Perspective Mapping) technology of the Bird View image generator according to an embodiment of the present invention.
Figure 4 is a block diagram showing the configuration of a road object recognition unit according to an embodiment of the present invention.
Figure 5 is a diagram illustrating the polygon area and road object calculation area detected through the road object image generation unit of the road object recognition unit according to an embodiment of the present invention.
Figure 6 is a block diagram showing the configuration of a road object update determination unit according to an embodiment of the present invention.
Figure 7 is a diagram illustrating the characteristics of an RGB histogram applied to a road surface object according to an embodiment of the present invention.
Figure 8 is a diagram illustrating the function of the road surface object RGB histogram change determination unit according to an embodiment of the present invention.
Figure 9 is a diagram illustrating the function of the road object HSV histogram change determination unit according to an embodiment of the present invention.
10 and 11 are diagrams illustrating the function of the road surface object pixel black and white change determination unit according to an embodiment of the present invention.
Figure 12 is a diagram showing an example of a data set for evaluating highway lane conditions according to an embodiment of the present invention.
Figures 13 to 15 are diagrams showing examples of RGB histogram datasets for evaluating highway lane conditions according to an embodiment of the present invention.
Figures 16 to 18 are diagrams showing examples of pixel black-and-white ratio datasets for evaluating highway lane conditions according to an embodiment of the present invention.
Figure 19 is a flowchart showing the overall configuration of a method for determining changes in road objects on a high-precision road map through marking state evaluation according to an embodiment of the present invention.
Figure 20 is a flowchart showing the configuration of the road surface photographing step according to an embodiment of the present invention.
Figure 21 is a flowchart showing the configuration of the road object recognition step according to an embodiment of the present invention.
Figure 22 is a flowchart showing the configuration of the road object update determination step according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly explained, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are general terms that are currently widely used as much as possible while considering the function in the present invention, but this may vary depending on the intention or precedent of a person working in the art, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a part "includes" a certain element throughout the specification, this means that, unless specifically stated to the contrary, it does not exclude other elements but may further include other elements. In addition, terms such as "... unit" and "module" used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

도 1은 본 발명의 일 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템의 전체 구성을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 노면 촬영부의 구성을 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 버드뷰 이미지 생성부의 IPM(Inverse Perspective Mapping) 기술을 이용한 차선 이미지 획득 과정을 설명하기 위해 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 노면 객체 인식부의 구성을 나타낸 블록도이고, 도 5는 본 발명의 일 실시예에 따른 노면 객체 인식부의 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역과 노면 객체 계산 영역을 설명하기 위해 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 노면 객체 갱신 판단부의 구성을 나타낸 블록도이고, 도 7은 본 발명의 일 실시예에 따라 노면 객체에 적용되는 RGB 히스토그램의 특성을 설명하기 위해 나타낸 도면이고, 도 8은 본 발명의 일 실시예에 따른 노면 객체 RGB 히스토그램 변화 판단부의 기능을 설명하기 위해 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 노면 객체 HSV 히스토그램 변화 판단부의 기능을 설명하기 위해 나타낸 도면이며, 도 10 및 도 11은 본 발명의 일 실시예에 따른 노면 객체 픽셀 흑백 변화 판단부의 기능을 설명하기 위해 나타낸 도면이다.Figure 1 is a block diagram showing the overall configuration of a system for determining changes in road objects on a high-precision road map through marking state evaluation according to an embodiment of the present invention, and Figure 2 shows the configuration of a road surface photographing unit according to an embodiment of the present invention. It is a block diagram, and FIG. 3 is a diagram illustrating the process of acquiring a lane image using IPM (Inverse Perspective Mapping) technology of the Bird View image generator according to an embodiment of the present invention, and FIG. 4 is an embodiment of the present invention. It is a block diagram showing the configuration of the road object recognition unit according to an example, and FIG. 5 is a diagram illustrating the polygon area and road object calculation area detected through the road object image generation unit of the road object recognition unit according to an embodiment of the present invention. , FIG. 6 is a block diagram showing the configuration of a road object update determination unit according to an embodiment of the present invention, and FIG. 7 is a diagram illustrating the characteristics of an RGB histogram applied to a road object according to an embodiment of the present invention. Figure 8 is a diagram showing the function of the road object RGB histogram change determination unit according to an embodiment of the present invention, and Figure 9 is a diagram showing the function of the road object HSV histogram change determination unit according to an embodiment of the present invention. These are drawings shown for explanation, and FIGS. 10 and 11 are drawings shown to explain the function of the road surface object pixel black and white change determination unit according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템(1000)은 노면 촬영부(100), 노면 객체 인식부(200), 노면 객체 갱신 판단부(300) 및 노면 객체 속성 정보 업데이트부(400) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 1, the system 1000 for determining road surface object changes on a high-precision road map through marking state evaluation according to an embodiment of the present invention includes a road surface photographing unit 100, a road surface object recognition unit 200, and road surface object update determination. It may include at least one of the unit 300 and the road surface object attribute information update unit 400.

상기 노면 촬영부(100)는 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성할 수 있다.The road surface photographing unit 100 can generate a road surface image by photographing the road surface while driving on the road.

이를 위해 노면 촬영부(100)는 도 2에 도시된 바와 같이 카메라부(110)와 버드뷰 이미지 생성부(120) 중 적어도 하나를 포함할 수 있다.To this end, the road surface photographing unit 100 may include at least one of a camera unit 110 and a bird view image generating unit 120, as shown in FIG. 2 .

상기 카메라부(110)는, 차량의 상부에 설치되며 차량의 전, 후, 좌, 우를 향해 각각 설치되어 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성할 수 있다. 이러한 카메라부(110)는 차량의 전, 후, 좌, 우에 각각 최소 하나씩 설치될 수 있으나, 본 실시예에서는 카메라부(110)의 설치 개수를 이와 같이 한정하는 것은 아니며, 전, 후, 좌, 우에 각각 다수의 카메라부(110)가 설치되는 것도 가능하다. The camera unit 110 is installed on the top of the vehicle and is installed toward the front, rear, left, and right sides of the vehicle, and can capture the road surface while driving on the road to generate a road surface image. At least one camera unit 110 may be installed on the front, rear, left, and right sides of the vehicle, but in this embodiment, the number of camera units 110 installed is not limited to this, and the number of camera units 110 installed in the front, rear, left, and right sides is not limited to this. It is also possible to install a plurality of camera units 110 on each side.

상기 버드뷰 이미지 생성부(120)는, 역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 카메라부(110)를 통해 생성된 노면 영상을 버드뷰 이미지(탑-뷰 이미지)로 생성할 수 있다. 이러한 버드뷰 이미지 생성부(120)는 카메라부(110)로부터 촬영된 노면 영상에서 카메라부(110)의 각도에 따른 시각적 관점에서 오는 왜곡을 제거하기 위해 역원근 매핑(또는 역 투영 사상이라고 함)(IPM) 방법을 이용하여 프런트 뷰의 노면 영상에 대한 IPM을 수행하여 도 3에 도시된 바와 같이 버드뷰(Bird-view) 또는 탑-뷰(Top-view) 형태로 변환할 수 있으며, 'Fitting'은 차선 상태 평가를 위해 IPM이 수행하여 평가 대상 차선에 맞게 편집된 이미지를 의미한다. 일반적인 정지영상과 마찬가지로 차량에 설치된 카메라부(110)에서 획득한 노면 영상의 차선 등은 중앙부의 소실점을 향하여 모이는 형태로 촬영되는데, 이는 카메라 렌즈의 화각에 비례한 원근법에 의한 자연스러운 현상이다. 따라서 차량의 모션을 정확히 인식하기 위해서는 이러한 왜곡을 제거하는 것이 필수적이다. 이러한 버드뷰 이미지(탑-뷰 이미지)는 노면 객체 위치 변화 판단부(310)에서만 사용되며, 노면 객체 RGB 히스토그램 변화 판단부(320), 노면 객체 HSV 히스토그램 변화 판단부(330) 및 노면 객체 픽셀 흑백 변화 판단부(340)에서는 노면 영상이 사용될 수 있다.The bird view image generator 120 can generate the road surface image generated through the camera unit 110 as a bird view image (top-view image) using inverse perspective mapping (IPM) technology. there is. The bird view image generator 120 uses reverse perspective mapping (or reverse projection mapping) to remove distortion from the visual perspective depending on the angle of the camera unit 110 from the road surface image captured by the camera unit 110. Using the (IPM) method, IPM can be performed on the road surface image of the front view and converted into a bird-view or top-view format as shown in Figure 3, and 'Fitting' ' refers to an image performed by IPM to evaluate lane condition and edited to suit the lane being evaluated. Like general still images, the lanes of the road surface image acquired by the camera unit 110 installed in the vehicle are photographed in a form that gathers toward the vanishing point in the center, which is a natural phenomenon caused by perspective proportional to the angle of view of the camera lens. Therefore, it is essential to eliminate these distortions in order to accurately recognize the vehicle's motion. This bird view image (top-view image) is used only by the road surface object position change determination unit 310, the road surface object RGB histogram change determination unit 320, the road surface object HSV histogram change determination unit 330, and the road surface object pixel black and white The change determination unit 340 may use a road surface image.

상기 노면 객체 인식부(200)는 딥러닝 등의 객체 인식 기술을 이용하여 노면 촬영부(100)의 노면 영상(버드뷰 또는 탑-뷰 이미지)으로부터 노면 객체를 인식할 수 있다. 여기서, 노면 객체는 도로의 규제선, 도로경계선, 정지선, 차로중심선 등으로 페인트 마커일 수 있으나, 본 실시예에서는 노면 객체에 대하여 이와 같이 한정하는 것은 아니며, 도로교통법에 따라 도로 상에 마련된 모든 객체를 포함할 수도 있다.The road surface object recognition unit 200 can recognize road surface objects from the road surface image (bird view or top-view image) of the road surface photographing unit 100 using object recognition technology such as deep learning. Here, the road surface object may be a paint marker such as a road regulation line, road boundary line, stop line, lane center line, etc. However, in this embodiment, the road surface object is not limited to this, and all objects prepared on the road in accordance with the Road Traffic Act It may also include .

이를 위해 노면 객체 인식부(200)는 도 4에 도시된 바와 같이 노면 객체 이미지 생성부(210) 및 객체 위치 데이터 적용부(220) 중 적어도 하나를 포함할 수 있다.To this end, the road object recognition unit 200 may include at least one of a road object image creation unit 210 and an object location data application unit 220, as shown in FIG. 4 .

상기 노면 객체 이미지 생성부(210)는, 딥러닝 등의 객체 인식 기술을 이용하여 노면 촬영부(100)를 통해 변환된 노면 영상으로부터 노면 객체(규제선, 도로경계선, 정지선, 차로중심선 등)가 포함된 노면 객체 계산 영역과, 해당 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤(Polygon) 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성할 수 있다.The road surface object image generator 210 uses object recognition technology such as deep learning to create road surface objects (regulation lines, road boundary lines, stop lines, lane center lines, etc.) from the road surface image converted through the road surface photographing unit 100. Road surface object data can be generated by recognizing the road surface object by detecting the included road surface object calculation area and the polygon area formed along the shape of the road object within the road surface object calculation area, respectively.

도 6에는 본 실시예에 따라 사용된 데이터 셋을 나타낸 영상으로, 두 데이터셋의 촬영 기간 사이에 도로 상태에 대한 노화가 발생하여 비교 군으로 사용한 것이며, 동일 구간과 동일 객체를 비교한 내용을 도시하고 있다. 도 6에 도시된 바와 같이 노면 객체 이미지 생성부(210)는 노면 영상의 차선의 영역을 직사각형 형태로 포함시켜 형성되는 노면 객체 계산 영역(붉은색 박스)과, 노면 객체 계산 영역 내에 실제 판단 대상인 노면 객체의 외곽선을 따라 형성되는 폴리곤 영역(검은색 박스)을 인식 및 검출하고, 폴리곤 영역을 통해 노면 객체를 인식함으로써, 폴리곤 영역으로서 인식된 노면 객체에 대한 노면 객체 데이터를 생성할 수 있다.Figure 6 is an image showing the data set used according to this embodiment. It was used as a comparison group because aging of the road condition occurred between the shooting periods of the two data sets, and shows comparison of the same section and the same object. I'm doing it. As shown in FIG. 6, the road surface object image generator 210 includes a road surface object calculation area (red box) formed by including the lane area of the road surface image in a rectangular shape, and a road surface that is the actual judgment target within the road surface object calculation area. By recognizing and detecting a polygon area (black box) formed along the outline of an object and recognizing a road surface object through the polygon area, road surface object data for the road surface object recognized as a polygon area can be generated.

상기 객체 위치 데이터 적용부(220)는, 카메라부(110)와 차량에 설치된 GPS 및 IMU 센서(10)와 동기화되어 노면 객체 이미지 생성부(210)를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가할 수 있다. 즉, 카메라부(110)와 GPS 및 IMU 센서(10)가 동기화되어 카메라부(110)에서 촬영된 노면 영상에 대한 GPS 위치정보(위도, 경도 등의 좌표정보)와 함께 IMU(Inertial Measurement Unit)로부터 획득되는 가속도 및 각속도, 지자기, 고도 등의 측정 값을 추가해 노면 영상의 각 노면 객체에 대한 상세 위치 정보를 추가함으로써 위치 정보가 포함된 노면 객체 데이터를 생성할 수 있다.The object location data application unit 220 is synchronized with the camera unit 110 and the GPS and IMU sensors 10 installed in the vehicle and applies the road surface object data generated through the road object image generation unit 210 to the GPS and IMU sensors. Location sensing data obtained from can be added. That is, the camera unit 110 and the GPS and IMU sensors 10 are synchronized to provide GPS location information (coordinate information such as latitude and longitude) for the road surface image captured by the camera unit 110 and an IMU (Inertial Measurement Unit). By adding detailed location information for each road object in the road image by adding measurement values such as acceleration, angular velocity, geomagnetism, and altitude obtained from , road object data containing location information can be created.

상기 노면 객체 갱신 판단부(300)는, 노면 객체 인식부(200)를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부 즉, 도로 위의 차선이 새롭게 페인팅된 것인지 여부를 판단할 수 있다.The road object update determination unit 300 determines the location information between the road surface object recognized through the road object recognition unit 200 and the object on the precision map, brightness information, color information, and the filling rate for the same color inside the object. Through matching comparison for at least one, it can be determined whether the road surface object is updated according to a change in the road surface object, that is, whether the lane on the road has been newly painted.

이를 위해 노면 객체 갱신 판단부(300)는 도 6에 도시된 바와 같이, 노면 객체 위치 변화 판단부(310), 노면 객체 RGB 히스토그램 변화 판단부(320), 노면 객체 HSV 히스토그램 변화 판단부(330) 및 노면 객체 픽셀 흑백 변화 판단부(340) 중 적어도 하나를 포함할 수 있다.To this end, as shown in FIG. 6, the road object update determination unit 300 includes a road object position change determination unit 310, a road object RGB histogram change determination unit 320, and a road object HSV histogram change determination unit 330. and a road surface object pixel black and white change determination unit 340.

상기 노면 객체 위치 변화 판단부(310)는, 위치 센싱 데이터(GPS, IMU)에 기초하여 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 정밀도로지도 데이터에 포함되어 있는 노면 객체 데이터와 객체 위치 데이터 적용부(220)를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 또는 탑-뷰 이미지 데이터 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부 즉, 도로 위의 해당 차선(노면 객체)이 새롭게 페인팅된 것인지 여부 또는 새롭게 페인팅이 필요한지에 대하여 여부를 판단할 수 있다. The road surface object location change determination unit 310 loads precision road map data corresponding to the bird view image based on location sensing data (GPS, IMU), and road surface object data included in the loaded precision road map data. and the object location data application unit 220 to compare the location information between the bird view image or top-view image data to which the location sensing data is applied to determine whether or not the object is updated or needs to be updated according to the location change of the road surface object. It can be determined whether the lane (road surface object) has been newly painted or whether new painting is needed.

이러한 노면 객체 위치 변화 판단부(310)의 노면 객체의 위치 변화 비교 또는 검출을 통한 객체 갱신 여부 또는 갱신 필요 여부 판단 방법은, 시간이 지남에 따라 전체적인 정확도가 떨어지고 필연적으로 자율차의 측위(자기 위치를 결정하는 것) 오차가 증가함으로써 지도에 오류가 있다고 판단하기에 어려움이 있다. 또한, 변화량이 수십 cm 수준으로 적은 경우 변화 판단이 곤란하고, 노면에 새로 칠한 차선 등 페인트의 경우 기존과 유사한 위치에 새로 도장하는 경우가 많고 기존 객체와의 차이가 10-20cm 수준 이하로 매우 작아 정확한 변화 판단이 곤란하며, 버드뷰 이미지와 정밀도로지도 간을 비교하는 방식이 갖는 오차가 존재하기 때문에 오차범위 내에서는 정확한 변화를 판단하기 곤란하다. 이 때문에, 위치 변화에 대한 판단이 곤란한 경우, 후술하는 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단할 수 있다.This method of determining whether or not an object is updated or whether an update is necessary through comparing or detecting a change in the position of a road object by the road object position change determination unit 310 reduces the overall accuracy over time and inevitably results in the positioning of the autonomous vehicle (self-position). ) As the error increases, it becomes difficult to determine that there is an error in the map. In addition, when the amount of change is small, at the level of tens of centimeters, it is difficult to judge the change, and in the case of paint such as newly painted lanes on the road surface, it is often repainted in a similar position to the existing object, and the difference from the existing object is very small, less than 10-20cm. It is difficult to determine accurate changes, and since there is an error in the method of comparing Bird View images and precision maps, it is difficult to determine accurate changes within the error range. For this reason, when it is difficult to determine a change in location, it is determined whether or not the road object is updated according to a change in the road surface object through a matching comparison of at least one of brightness information, color information, and the filling rate for the same color inside the object, which will be described later. can do.

상기 노면 객체 RGB 히스토그램 변화 판단부(320)는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 정밀도로지도 데이터에 포함된 노면 객체 데이터와 노면 객체 이미지 생성부(210)를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.The road surface object RGB histogram change determination unit 320 retrieves precision road map data corresponding to the road surface image based on the location sensing data, and road surface object data included in the precision road map data and the road surface object image generator 210 ), the RGB histogram values for the generated road object data can be extracted, and the extracted RGB values can be compared to determine whether the object is updated or needs to be updated according to changes in RGB values.

본 실시예에 따른 RGB 히스토그램은 도 7을 참조하면 다음과 같다. 디지털 이미지의 각 픽셀은 색상을 결정하는 3 가지 관련 값 즉 빨간색 값(R), 녹색 값(G) 및 파란색 값(B)으로 구성될 수 있다. 이러한 RGB 값의 범위는 0에서 255까지이며 0은 없음이고 255는 최대 값을 의미한다. 도 7에서 X축(가로축)은 밝기의 정도를 나타내는 것으로 0~255까지 값(RGB 각각 1 byte)을 의미하고, Y축(세로축)은 RGB 각각의 밝기 정보의 양을 나타내는 것으로 0~100%의 상대적 비율이 적용된다(이미지상 픽셀 수가 많기 때문임). 해당 그래프에서, RGB 값이 모두 0이면 픽셀은 검은 색, 모두가 255이면 픽셀이 흰색을 의미한다. 이와 같이 RGB 히스토그램은 이미지에 각 색상의 픽셀 수를 결정하여 또한 색상으로 얼마나 많은 픽셀이 존재하는지를 보여줄 수 있다. 이에 따라, 도 8에 도시된 바와 같이, 양호한 상태의 노면 객체(차선)에 대한 RGB 값은 대부분 255 값 부근에서 나타나고, 노화된 상태의 노면 객체(차선)에 대한 RGB 값은 255 값이 아닌 중 0과 255 사이의 중간 두 지점에서 값을 나타낼 수 있다. Referring to FIG. 7, the RGB histogram according to this embodiment is as follows. Each pixel in a digital image can consist of three associated values that determine its color: a red value (R), a green value (G), and a blue value (B). These RGB values range from 0 to 255, with 0 being none and 255 being the maximum value. In Figure 7, the A relative ratio of is applied (due to the large number of pixels in the image). In the graph, if the RGB values are all 0, the pixel is black, and if all RGB values are 255, the pixel is white. In this way, an RGB histogram can determine the number of pixels of each color in an image and also show how many pixels exist for each color. Accordingly, as shown in Figure 8, the RGB values for road surface objects (lanes) in good condition mostly appear around the value of 255, and the RGB values for road surface objects (lanes) in an aged state are not around the value of 255. It can represent values at two points between 0 and 255.

좀 더 구체적으로, 상태가 양호한 차선의 경우 대부분 흰색을 나타내어 RGB 값이 모두 255에 가깝게 나타나고, 노화된 차선의 경우 하부의 도로 색(검정색)이 노출됨으로써 0 내지 255 사이의 중간 값들에 대한 RGB 값을 나타내므로, 이전과 현재 데이터 간의 RGB 값을 비교해 RGB 값이 이전보다 255에 가까운 높은 값을 나타내는 경우 해당 노면 객체(차선)에 대한 갱신이 필요 없는 것(또는 새롭게 페인팅된 것)으로 판단하고, RGB 값이 이전보다 낮은 수준의 값을 나타내는 경우 해당 노면 객체(차선)이 노후화되어 갱신(페인팅)이 필요한 것으로 판단할 수 있다. 물론, 본 실시예에서는 양호한 상태와 노화된 상태에 대한 RGB 히스토그램 값에 대한 기준은 설정될 수 있으나, 양호한 상태나 노화된 상태는 임의적이므로 분포 범위로서 한정하여 노면 객체에 대한 갱신이 필요한지(노화된 상태) 여부를 판단할 수 있다. More specifically, in the case of lanes in good condition, most of them are white, so the RGB values are all close to 255. In the case of aged lanes, the color of the road (black) below is exposed, so the RGB values are intermediate values between 0 and 255. Therefore, by comparing the RGB values between the previous and current data, if the RGB value shows a higher value closer to 255 than before, it is determined that the relevant road surface object (lane) does not need updating (or has been newly painted), If the RGB value shows a lower level than before, it can be determined that the road surface object (lane) is deteriorated and needs updating (painting). Of course, in this embodiment, the standard for the RGB histogram values for the good state and the aged state can be set, but since the good state or the aged state is arbitrary, it is limited to the distribution range and whether update to the road surface object is required (aged state status) can be determined.

상기 노면 객체 HSV 히스토그램 변화 판단부(330)는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 노면 객체 이미지 생성부(210)를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다. The road surface object HSV histogram change determination unit 330 loads precision road map data corresponding to the road surface image based on the location sensing data, and road surface object data included in the precision road map data and a road surface object image generator ( 210), the HSV histogram values for the generated road surface object data can be extracted, and the extracted HSV values can be compared to determine whether the object needs to be updated or updated according to changes in the HSV value.

도 9에서는 본 실시예에 따른 HSV 히스토그램을 설명하기 위하여 노면 객체(차선) 양호한 상태와 노화된 상태에 대한 HSV 히스토그램을 비교하여 도시하였다. 도 9의 HSV 히스토그램에서 X축은 색상(Hue) 값을 의미하고, Y축은 채도(Saturation) 값을 의미한다.In FIG. 9, in order to explain the HSV histogram according to this embodiment, the HSV histogram for a road object (lane) in a good state and an aged state are compared and shown. In the HSV histogram of Figure 9, the X-axis represents the Hue value, and the Y-axis represents the Saturation value.

상기 노면 객체 픽셀 흑백 변화 판단부(340)는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 노면 객체 이미지 생성부(210)를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백(Black & White) 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.The road surface object pixel black and white change determination unit 340 loads precision map data corresponding to the road surface image based on the location sensing data, and generates a polygon area and road surface object image for the road surface object included in the precision road map data. Each of the polygon areas detected through the unit 210 is generated as a binarized black and white image, and the pixel black and white ratio of the generated black and white image is compared to determine whether the object is updated or needs to be updated according to the change in the pixel black and white ratio. You can judge whether or not.

예를 들어, 도 10에 도시된 바와 같이 검출된 노면 객체의 폴리곤 영역에 대한 이미지를 이진화 처리하여 흑백의 이미지로 생성하고, 도 11에 도시된 바와 같이 흑백 이미지의 픽셀에 대한 흑백 비율을 산출하고, 정밀도로지도 데이터(이전 데이터)에서 산출된 흑백 비율과 현재 촬영을 통해 획득된 흑백 이미지(현재 데이터)에서의 흑백 비율을 비교하여 백색의 비율이 이전 보다 상승한 경우 해당 노면 객체(차선)에 대한 갱신이 필요 없는 것(또는 새롭게 페인팅된 것)으로 판단하고, 백색의 비율이 이전 보다 떨어진 경우 해당 노면 객체(차선)이 노후화되어 갱신(페인팅)이 필요한 것으로 판단할 수 있다.For example, as shown in Figure 10, the image of the polygon area of the detected road object is binarized to create a black and white image, and as shown in Figure 11, the black and white ratio for the pixels of the black and white image is calculated. , Compare the black-and-white ratio calculated from the map data (previous data) with the black-and-white ratio from the black-and-white image (current data) acquired through current shooting, and if the white ratio is higher than before, the corresponding road surface object (lane) It may be determined that it does not need updating (or has been newly painted), and if the white ratio is lower than before, it may be determined that the road surface object (lane) is deteriorated and needs updating (painting).

이상에서 설명한 바와 같이, 노면 객체 갱신 판단부(300)는 기본적으로 노면 객체에 대한 위치 변화를 기준으로 갱신 여부 또는 갱신 필요 여부를 판단하되, 위치 변화에 대한 판단 방법은 생략 가능하며, 다만 노면 객체에 대한 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison) 비교 방식 중 어느 하나 또는 둘 이상의 조합을 통한 방식을 이용함으로써, 노면 영상에 기반한 노면 객체의 현재 상태와 정밀도로지도 데이터를 이용한 이전 상태를 비교하여 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.As described above, the road surface object update determination unit 300 basically determines whether or not an update is necessary based on the change in position of the road surface object. However, the method of determining the change in position can be omitted, provided that the road surface object By using any one or a combination of two or more of the brightness information (RGB histogram), color information (HSV histogram), and filling rate (Black & White comparison) for the same color inside the object, the road surface image It is possible to determine whether or not an update is necessary by comparing the current state of the road surface object based on the previous state using map data with high precision.

상기 노면 객체 속성 정보 업데이트부(400)는, 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부를 판단 효율성을 높이기 위하여 노면 객체 갱신 판단부(300)의 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison)을 이용하는 방식 중 일정 수준 이상의 정보만을 속성 정보로 추가함으로써 노면 객체에 대한 속성 정보를 업데이트 할 수 있다. 즉, 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison) 비교 방식에 있어서, 노면 객체에 대한 양호 상태와 노후 상태를 명확히 구분할 수 있는 기준 정보를 노면 객체의 양호 상태에 대한 속성 정보와 노후 상태에 대한 속성 정보로서 추가하여 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부를 판단 효율성을 높일 수 있다.The road object attribute information update unit 400 updates the brightness information (RGB histogram) and color information (HSV histogram) of the road object update determination unit 300 in order to increase efficiency in determining whether or not the road surface object needs to be updated. , and a method using the filling rate (black & white comparison) for the same color inside the object, the attribute information for the road surface object can be updated by adding only information above a certain level as attribute information. In other words, in the comparison method of brightness information (RGB histogram), color information (HSV histogram), and filling rate for the same color inside the object (Black & White comparison), it is possible to clearly distinguish between the good state and the aged state of the road surface object. By adding standard information as attribute information about the good state of the road surface object and attribute information about the deteriorated state, the efficiency of determining whether or not the road surface object needs to be updated can be increased.

도 12는 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 데이터 셋의 예시를 나타낸 도면이고, 도 13 내지 도 15는 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 RGB 히스토그램 데이터셋의 예시를 나타낸 도면이며, 도 16 내지 도 18은 본 발명의 일 실시예에 따른 고속도로 차선 상태 평가를 위한 픽셀 흑백 비율 데이터셋의 예시를 나타낸 도면이다.Figure 12 is a diagram showing an example of a data set for evaluating highway lane conditions according to an embodiment of the present invention, and Figures 13 to 15 are RGB histogram datasets for evaluating highway lane conditions according to an embodiment of the present invention. This is a diagram showing an example, and Figures 16 to 18 are diagrams showing an example of a pixel black-and-white ratio dataset for evaluating highway lane conditions according to an embodiment of the present invention.

도 12에 도시된 적용된 데이터 셋(data set)은 용인-서울 고속도로 구간에 대한 데이터 셋이며, 두 데이터 셋의 촬영 기간 사이에 도로 재마킹 작업이 이루어졌으며, 동일 구간의 동일 차선을 비교한 것이다.The applied data set shown in Figure 12 is a data set for the Yongin-Seoul Expressway section. Road remarking work was performed between the shooting periods of the two data sets, and the same lanes in the same section were compared.

도 13 내지 도 15에 도시된 바와 같이 차선의 재마킹 전(노후 상태)과 재마킹 후(갱신된 상태-양호 상태) 간의 RGB 히스토그램을 비교하여 보면, 재마킹 전에는 RGB 값이 255보다 작은 대략 100~225 사이에 분포된 값을 나타내고 있으나, 재마킹 후에는 255까지 RGB 값이 상승한 것으로 나타나고 있으므로, RGB 히스토그램의 비교를 통해 노면 객체에 대한 양호 상태와 노화 상태가 명확히 구분될 수 있으며, 이에 따라 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부 판단의 정확성 또한 향상될 수 있다.13 to 15, comparing the RGB histograms between suboptimal remarking before (old state) and after remarking (updated state - good state), the RGB value before remarking is approximately 100, which is less than 255. It shows values distributed between ~225, but after remarking, the RGB value appears to have risen to 255. Therefore, the good state and aging state of road surface objects can be clearly distinguished through comparison of RGB histograms, and accordingly, the road surface object's good state and aging state can be clearly distinguished. The accuracy of determining whether or not an object needs to be updated can also be improved.

도 16 내지 도 18에 도시된 바와 같이 재마킹 전(노후 상태)과 재마킹 후(갱신된 상태-양호 상태) 간의 픽셀의 백색 비율 비교하여 보면, 재마킹 전에는 백색 비율이 대략 50%, 48%, 0%로 나타났으나, 재마킹 후에는 65%, 58%, 50%로 나타남으로써 각 위치 별 노면 객체에 대한 전후의 백색 비율 상대적으로 명확한 변화가 있다. 이에 따라, 객체 내부의 동일색상에 대한 충진율(Black & White comparison) 비교를 통해 노면 객체에 대한 양호 상태와 노화 상태가 명확히 구분될 수 있으며, 이에 따라 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부 판단의 정확성 또한 향상될 수 있다.As shown in Figures 16 to 18, comparing the white ratio of pixels before remarking (old state) and after remarking (updated state - good state), the white ratio before remarking is approximately 50% and 48%. , it appeared as 0%, but after remarking, it appeared as 65%, 58%, and 50%, showing a relatively clear change in the white ratio before and after for road objects at each location. Accordingly, by comparing the filling rate (Black & White comparison) for the same color inside the object, the good state and aging state of the road surface object can be clearly distinguished, and accordingly, it is possible to determine whether or not the road surface object needs to be renewed. Accuracy can also be improved.

도 19는 본 발명의 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법의 전체 구성을 나타낸 흐름도이고, 도 20은 본 발명의 실시예에 따른 노면 촬영 단계의 구성을 나타낸 흐름도이고, 도 21은 본 발명의 실시예에 따른 노면 객체 인식 단계의 구성을 나타낸 흐름도이며, 도 22는 본 발명의 실시예에 따른 노면 객체 갱신 판단 단계의 구성을 나타낸 흐름도이다.FIG. 19 is a flowchart showing the overall configuration of a method for determining changes in road surface objects on a high-precision road map through marking state evaluation according to an embodiment of the present invention, and FIG. 20 is a flowchart showing the configuration of the road surface photographing step according to an embodiment of the present invention. 21 is a flowchart showing the configuration of the road object recognition step according to an embodiment of the present invention, and FIG. 22 is a flowchart showing the configuration of the road object update determination step according to an embodiment of the present invention.

도 19를 참조하면, 본 발명의 실시예에 따른 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템(1000)은 노면 촬영 단계(S100), 노면 객체 인식 단계(S200), 노면 객체 갱신 판단 단계(S300) 및 노면 객체 속성 정보 업데이트 단계(S400) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 19, the road surface object change determination system 1000 on the precision road map through marking state evaluation according to an embodiment of the present invention includes a road surface photographing step (S100), a road surface object recognition step (S200), and a road surface object update determination. It may include at least one of step S300 and road surface object attribute information update step S400.

상기 노면 촬영 단계(S100)에서는 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성할 수 있다.In the road surface photographing step (S100), a road surface image can be generated by photographing the road surface while driving on the road.

이를 위해 노면 촬영 단계(S100)는 도 20에 도시된 바와 같이 노면 영상 생성 단계(S110)와 버드뷰 이미지 생성 단계(S120) 중 적어도 하나를 포함할 수 있다.To this end, the road surface photographing step (S100) may include at least one of a road surface image generating step (S110) and a bird view image generating step (S120) as shown in FIG. 20.

상기 노면 영상 생성 단계(S110)에서는, 차량의 상부에 설치되며 차량의 전, 후, 좌, 우를 향해 각각 설치된 카메라를 통해 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성할 수 있다. 이러한 카메라는 차량의 전, 후, 좌, 우에 각각 최소 하나씩 설치될 수 있으나, 본 실시예에서는 카메라의 설치 개수를 이와 같이 한정하는 것은 아니며, 전, 후, 좌, 우에 각각 다수의 카메라가 설치되는 것도 가능하다. In the road surface image generation step (S110), a road surface image can be generated by photographing the road surface while driving on the road through cameras installed on the top of the vehicle and facing each of the front, rear, left, and right sides of the vehicle. At least one such camera may be installed on the front, rear, left, and right sides of the vehicle, but in this embodiment, the number of cameras installed is not limited to this, and multiple cameras are installed on the front, rear, left, and right sides, respectively. It is also possible.

상기 버드뷰 이미지 생성 단계(S120)에서는, 역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 노면 영상 생성 단계(S110)를 통해 생성된 노면 영상을 버드뷰 이미지(탑-뷰 이미지)로 생성할 수 있다. 이러한 버드뷰 이미지 생성 단계(S120)는 노면 영상 생성 단계(S110)로부터 촬영된 노면 영상에서 카메라의 각도에 따른 시각적 관점에서 오는 왜곡을 제거하기 위해 역원근 매핑(또는 역 투영 사상이라고 함)(IPM) 방법을 이용하여 프런트 뷰의 노면 영상에 대한 IPM을 수행하여 도 3에 도시된 바와 같이 버드뷰(Bird-view) 또는 탑-뷰(Top-view) 형태로 변환할 수 있으며, 'Fitting'은 차선 상태 평가를 위해 IPM이 수행하여 평가 대상 차선에 맞게 편집된 이미지를 의미한다. 일반적인 정지영상과 마찬가지로 차량에 설치된 노면 영상 생성 단계(S110)에서 획득한 노면 영상의 차선 등은 중앙부의 소실점을 향하여 모이는 형태로 촬영되는데, 이는 카메라 렌즈의 화각에 비례한 원근법에 의한 자연스러운 현상이다. 따라서 차량의 모션을 정확히 인식하기 위해서는 이러한 왜곡을 제거하는 것이 필수적이다. 이러한 버드뷰 이미지(탑-뷰 이미지)는 노면 객체 위치 변화 판단 단계(S310)에서만 사용되며, 노면 객체 RGB 히스토그램 변화 판단 단계(S320), 노면 객체 HSV 히스토그램 변화 판단 단계(S330) 및 노면 객체 픽셀 흑백 변화 판단 단계(S340)에서는 노면 영상이 사용될 수 있다.In the bird view image generation step (S120), the road surface image generated through the road surface image generation step (S110) is generated as a bird view image (top-view image) using inverse perspective mapping (IPM) technology. can do. This bird view image generation step (S120) uses inverse perspective mapping (or inverse projection mapping) (IPM) to remove distortion from the visual perspective depending on the angle of the camera in the road surface image captured from the road image generation step (S110). ) method can be used to perform IPM on the road surface image of the front view and convert it into a bird-view or top-view format as shown in Figure 3, and 'Fitting' is This refers to an image performed by IPM to evaluate lane condition and edited to suit the lane being evaluated. Like general still images, the lanes of the road image acquired in the road image generation step (S110) installed on the vehicle are photographed in a form that gathers toward the vanishing point in the center, which is a natural phenomenon caused by perspective proportional to the angle of view of the camera lens. Therefore, it is essential to eliminate these distortions in order to accurately recognize the vehicle's motion. This bird view image (top-view image) is used only in the road surface object position change determination step (S310), the road surface object RGB histogram change determination step (S320), the road surface object HSV histogram change determination step (S330), and the road surface object pixel black and white In the change determination step (S340), a road surface image may be used.

상기 노면 객체 인식 단계(S200)에서는 딥러닝 등의 객체 인식 기술을 이용하여 노면 촬영 단계(S100)에서의 노면 영상(버드뷰 또는 탑-뷰 이미지)으로부터 노면 객체를 인식할 수 있다. 여기서, 노면 객체는 도로의 규제선, 도로경계선, 정지선, 차로중심선 등으로 페인트 마커일 수 있으나, 본 실시예에서는 노면 객체에 대하여 이와 같이 한정하는 것은 아니며, 도로교통법에 따라 도로 상에 마련된 모든 객체를 포함할 수도 있다.In the road surface object recognition step (S200), the road surface object can be recognized from the road surface image (bird view or top-view image) in the road surface photographing step (S100) using object recognition technology such as deep learning. Here, the road surface object may be a paint marker such as a road regulation line, road boundary line, stop line, lane center line, etc. However, in this embodiment, the road surface object is not limited to this, and all objects prepared on the road in accordance with the Road Traffic Act It may also include .

이를 위해 노면 객체 인식 단계(S200)는 도 21에 도시된 바와 같이 노면 객체 이미지 생성 단계(S210) 및 객체 위치 데이터 적용 단계(S220) 중 적어도 하나를 포함할 수 있다.To this end, the road surface object recognition step (S200) may include at least one of a road surface object image generation step (S210) and an object location data application step (S220), as shown in FIG. 21.

상기 노면 객체 이미지 생성 단계(S210)에서는, 딥러닝 등의 객체 인식 기술을 이용하여 노면 촬영 단계(S100)를 통해 변환된 노면 영상으로부터 노면 객체(규제선, 도로경계선, 정지선, 차로중심선 등)가 포함된 노면 객체 계산 영역과, 해당 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤(Polygon) 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성할 수 있다.In the road surface object image generation step (S210), road surface objects (regulation lines, road boundary lines, stop lines, lane center lines, etc.) are created from the road surface image converted through the road surface photographing step (S100) using object recognition technology such as deep learning. Road surface object data can be generated by recognizing the road surface object by detecting the included road surface object calculation area and the polygon area formed along the shape of the road object within the road surface object calculation area, respectively.

도 6에는 본 실시예에 따라 사용된 데이터 셋을 나타낸 영상으로, 두 데이터셋의 촬영 기간 사이에 도로 상태에 대한 노화가 발생하여 비교 군으로 사용한 것이며, 동일 구간과 동일 객체를 비교한 내용을 도시하고 있다. 도 6에 도시된 바와 같이 노면 객체 이미지 생성 단계(S210)에서는 노면 영상의 차선의 영역을 직사각형 형태로 포함시켜 형성되는 노면 객체 계산 영역(붉은색 박스)과, 노면 객체 계산 영역 내에 실제 판단 대상인 노면 객체의 외곽선을 따라 형성되는 폴리곤 영역(검은색 박스)을 인식 및 검출하고, 폴리곤 영역을 통해 노면 객체를 인식함으로써, 폴리곤 영역으로서 인식된 노면 객체에 대한 노면 객체 데이터를 생성할 수 있다.Figure 6 is an image showing the data set used according to this embodiment. It was used as a comparison group because aging of the road condition occurred between the shooting periods of the two data sets, and shows comparison of the same section and the same object. I'm doing it. As shown in FIG. 6, in the road surface object image generation step (S210), a road surface object calculation area (red box) formed by including the lane area of the road surface image in a rectangular shape, and a road surface that is the actual judgment target within the road surface object calculation area By recognizing and detecting a polygon area (black box) formed along the outline of an object and recognizing a road surface object through the polygon area, road surface object data for the road surface object recognized as a polygon area can be generated.

상기 객체 위치 데이터 적용 단계(S220)에서는, 와 차량에 설치된 카메라가 GPS/IMU 센서(10)와 동기화되어 노면 객체 이미지 생성 단계(S210)를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가할 수 있다. 즉, 카메라와 GPS/IMU 센서(10)가 동기화되어 노면 영상 생성 단계(S110)에서 촬영된 노면 영상에 대한 GPS 위치정보(위도, 경도 등의 좌표정보)와 함께 IMU(Inertial Measurement Unit)로부터 획득되는 가속도 및 각속도, 지자기, 고도 등의 측정 값을 추가해 노면 영상의 각 노면 객체에 대한 상세 위치 정보를 추가함으로써 위치 정보가 포함된 노면 객체 데이터를 생성할 수 있다.In the object location data application step (S220), the camera installed in the vehicle is synchronized with the GPS/IMU sensor 10 and the road surface object data generated through the road object image generation step (S210) is added to the road surface object data obtained from the GPS and IMU sensors. Location sensing data can be added. That is, the camera and the GPS/IMU sensor 10 are synchronized and GPS location information (coordinate information such as latitude and longitude) for the road surface image captured in the road surface image generation step (S110) is obtained from the IMU (Inertial Measurement Unit). By adding detailed location information for each road object in the road image by adding measurement values such as acceleration, angular velocity, geomagnetism, and altitude, road object data containing location information can be created.

상기 노면 객체 갱신 판단 단계(S300)에서는, 노면 객체 인식 단계(S200)를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부 즉, 도로 위의 차선이 새롭게 페인팅된 것인지 여부를 판단할 수 있다.In the road object update determination step (S300), among the location information, brightness information, color information, and filling rate for the same color inside the object between the road object recognized through the road object recognition step (S200) and the object on the precision map. Through matching comparison for at least one, it can be determined whether the road surface object is updated according to a change in the road surface object, that is, whether the lane on the road has been newly painted.

이를 위해 노면 객체 갱신 판단 단계(S300)는 도 22에 도시된 바와 같이, 노면 객체 위치 변화 판단 단계(S310), 노면 객체 RGB 히스토그램 변화 판단 단계(S320), 노면 객체 HSV 히스토그램 변화 판단 단계(S330) 및 노면 객체 픽셀 흑백 변화 판단 단계(S340) 중 적어도 하나를 포함할 수 있다.For this purpose, the road object update determination step (S300) includes a road object position change determination step (S310), a road object RGB histogram change determination step (S320), and a road object HSV histogram change determination step (S330), as shown in FIG. 22. and a road surface object pixel black-and-white change determination step (S340).

상기 노면 객체 위치 변화 판단 단계(S310)에서는, 위치 센싱 데이터(GPS, IMU)에 기초하여 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 정밀도로지도 데이터에 포함되어 있는 노면 객체 데이터와 객체 위치 데이터 적용 단계(S220)를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 또는 탑-뷰 이미지 데이터 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부 즉, 도로 위의 해당 차선(노면 객체)이 새롭게 페인팅된 것인지 여부 또는 새롭게 페인팅이 필요한지에 대하여 여부를 판단할 수 있다. In the road object location change determination step (S310), precision road map data corresponding to the bird view image is loaded based on location sensing data (GPS, IMU), and road surface object data included in the loaded precision road map data is retrieved. And through the object location data application step (S220), the location information between the bird view image or top-view image data to which the location sensing data is applied is compared to determine whether or not the object is updated or needs to be updated according to the location change of the road surface object. It can be determined whether the lane (road surface object) has been newly painted or whether new painting is needed.

이러한 노면 객체 위치 변화 판단 단계(S310)를 통한 노면 객체의 위치 변화 비교 또는 검출을 통한 객체 갱신 여부 또는 갱신 필요 여부 판단 방법은, 시간이 지남에 따라 전체적인 정확도가 떨어지고 필연적으로 자율차의 측위(자기 위치를 결정하는 것) 오차가 증가함으로써 지도에 오류가 있다고 판단하기에 어려움이 있다. 또한, 변화량이 수십 cm 수준으로 적은 경우 변화 판단이 곤란하고, 노면에 새로 칠한 차선 등 페인트의 경우 기존과 유사한 위치에 새로 도장하는 경우가 많고 기존 객체와의 차이가 10-20cm 수준 이하로 매우 작아 정확한 변화 판단이 곤란하며, 버드뷰 이미지와 정밀도로지도 간을 비교하는 방식이 갖는 오차가 존재하기 때문에 오차범위 내에서는 정확한 변화를 판단하기 곤란하다. 이 때문에, 위치 변화에 대한 판단이 곤란한 경우, 후술하는 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단할 수 있다.This method of determining whether an object is updated or whether an update is necessary by comparing or detecting a change in the position of a road object through the road object position change determination step (S310) has its overall accuracy deteriorating over time and inevitably results in the positioning of the autonomous vehicle (self- As the error increases, it becomes difficult to determine that there is an error in the map. In addition, when the amount of change is small, at the level of tens of centimeters, it is difficult to judge the change, and in the case of paint such as newly painted lanes on the road surface, it is often repainted in a similar position to the existing object, and the difference from the existing object is very small, less than 10-20cm. It is difficult to determine accurate changes, and since there is an error in the method of comparing Bird View images and precision maps, it is difficult to determine accurate changes within the error range. For this reason, when it is difficult to determine a change in location, it is determined whether or not the road object is updated according to a change in the road surface object through a matching comparison of at least one of brightness information, color information, and the filling rate for the same color inside the object, which will be described later. can do.

상기 노면 객체 RGB 히스토그램 변화 판단 단계(S320)에서는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 정밀도로지도 데이터에 포함된 노면 객체 데이터와 노면 객체 이미지 생성 단계(S210)를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.In the road surface object RGB histogram change determination step (S320), precision map data corresponding to the road surface image is loaded based on the location sensing data, and road surface object data and road surface object image generation step (S210) included in the precision road map data. ), the RGB histogram values for the generated road object data can be extracted, and the extracted RGB values can be compared to determine whether the object is updated or needs to be updated according to changes in RGB values.

본 실시예에 따른 RGB 히스토그램은 도 7을 참조하면 다음과 같다. 디지털 이미지의 각 픽셀은 색상을 결정하는 3 가지 관련 값 즉 빨간색 값(R), 녹색 값(G) 및 파란색 값(B)으로 구성될 수 있다. 이러한 RGB 값의 범위는 0에서 255까지이며 0은 없음이고 255는 최대 값을 의미한다. 도 7에서 X축(가로축)은 밝기의 정도를 나타내는 것으로 0~255까지 값(RGB 각각 1 byte)을 의미하고, Y축(세로축)은 RGB 각각의 밝기 정보의 양을 나타내는 것으로 0~100%의 상대적 비율이 적용된다(이미지상 픽셀 수가 많기 때문임). 해당 그래프에서, RGB 값이 모두 0이면 픽셀은 검은 색, 모두가 255이면 픽셀이 흰색을 의미한다. 이와 같이 RGB 히스토그램은 이미지에 각 색상의 픽셀 수를 결정하여 또한 색상으로 얼마나 많은 픽셀이 존재하는지를 보여줄 수 있다. 이에 따라, 도 8에 도시된 바와 같이, 양호한 상태의 노면 객체(차선)에 대한 RGB 값은 대부분 255 값 부근에서 나타나고, 노화된 상태의 노면 객체(차선)에 대한 RGB 값은 255 값이 아닌 중 0과 255 사이의 중간 두 지점에서 값을 나타낼 수 있다. Referring to FIG. 7, the RGB histogram according to this embodiment is as follows. Each pixel in a digital image can consist of three associated values that determine its color: a red value (R), a green value (G), and a blue value (B). These RGB values range from 0 to 255, with 0 being none and 255 being the maximum value. In Figure 7, the A relative ratio of is applied (due to the large number of pixels in the image). In the graph, if the RGB values are all 0, the pixel is black, and if all RGB values are 255, the pixel is white. In this way, an RGB histogram can determine the number of pixels of each color in an image and also show how many pixels exist for each color. Accordingly, as shown in Figure 8, the RGB values for road surface objects (lanes) in good condition mostly appear around the value of 255, and the RGB values for road surface objects (lanes) in an aged state are not around the value of 255. It can represent values at two points between 0 and 255.

좀 더 구체적으로, 상태가 양호한 차선의 경우 대부분 흰색을 나타내어 RGB 값이 모두 255에 가깝게 나타나고, 노화된 차선의 경우 하부의 도로 색(검정색)이 노출됨으로써 0 내지 255 사이의 중간 값들에 대한 RGB 값을 나타내므로, 이전과 현재 데이터 간의 RGB 값을 비교해 RGB 값이 이전보다 255에 가까운 높은 값을 나타내는 경우 해당 노면 객체(차선)에 대한 갱신이 필요 없는 것(또는 새롭게 페인팅된 것)으로 판단하고, RGB 값이 이전보다 낮은 수준의 값을 나타내는 경우 해당 노면 객체(차선)이 노후화되어 갱신(페인팅)이 필요한 것으로 판단할 수 있다. 물론, 본 실시예에서는 양호한 상태와 노화된 상태에 대한 RGB 히스토그램 값에 대한 기준은 설정될 수 있으나, 양호한 상태나 노화된 상태는 임의적이므로 분포 범위로서 한정하여 노면 객체에 대한 갱신이 필요한지(노화된 상태) 여부를 판단할 수 있다. More specifically, in the case of lanes in good condition, most of them are white, so the RGB values are all close to 255. In the case of aged lanes, the color of the road (black) below is exposed, so the RGB values are intermediate values between 0 and 255. Therefore, by comparing the RGB values between the previous and current data, if the RGB value shows a higher value closer to 255 than before, it is determined that the relevant road surface object (lane) does not need updating (or has been newly painted), If the RGB value shows a lower level than before, it can be determined that the road surface object (lane) is deteriorated and needs updating (painting). Of course, in this embodiment, the standard for the RGB histogram values for the good state and the aged state can be set, but since the good state or the aged state is arbitrary, it is limited to the distribution range and whether update to the road surface object is required (aged state status) can be determined.

상기 노면 객체 HSV 히스토그램 변화 판단 단계(S330)에서는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 노면 객체 이미지 생성 단계(S210)를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다. In the road object HSV histogram change determination step (S330), the precision map data corresponding to the road surface image is loaded based on the location sensing data, and the road surface object data and road surface object image generation step included in the precision road map data ( The HSV histogram values for the road surface object data generated through (S210) can be extracted, and the extracted HSV values can be compared to determine whether the object needs to be updated or needs to be updated according to changes in the HSV value.

도 9에서는 본 실시예에 따른 HSV 히스토그램을 설명하기 위하여 노면 객체(차선) 양호한 상태와 노화된 상태에 대한 HSV 히스토그램을 비교하여 도시하였다. 도 9의 HSV 히스토그램에서 X축은 색상(Hue) 값을 의미하고, Y축은 채도(Saturation) 값을 의미한다.In FIG. 9, in order to explain the HSV histogram according to this embodiment, the HSV histogram for a road object (lane) in a good state and an aged state are compared and shown. In the HSV histogram of Figure 9, the X-axis represents the Hue value, and the Y-axis represents the Saturation value.

상기 노면 객체 픽셀 흑백 변화 판단 단계(S340)에서는, 위치 센싱 데이터에 기초하여 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 노면 객체 이미지 생성 단계(S210)를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백(Black & White) 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.In the road surface object pixel black and white change determination step (S340), precision map data corresponding to the road surface image is loaded based on the location sensing data, and a polygon area and road surface object image for the road surface object included in the precision road map data are generated. Each of the polygon areas detected through step S210 is generated as a binarized black and white image, and the pixel black and white ratio of the generated black and white image is compared to determine whether the object is updated or needs to be updated according to the change in the pixel black and white ratio. You can judge whether or not.

예를 들어, 도 10에 도시된 바와 같이 검출된 노면 객체의 폴리곤 영역에 대한 이미지를 이진화 처리하여 흑백의 이미지로 생성하고, 도 11에 도시된 바와 같이 흑백 이미지의 픽셀에 대한 흑백 비율을 산출하고, 정밀도로지도 데이터(이전 데이터)에서 산출된 흑백 비율과 현재 촬영을 통해 획득된 흑백 이미지(현재 데이터)에서의 흑백 비율을 비교하여 백색의 비율이 이전 보다 상승한 경우 해당 노면 객체(차선)에 대한 갱신이 필요 없는 것(또는 새롭게 페인팅된 것)으로 판단하고, 백색의 비율이 이전 보다 떨어진 경우 해당 노면 객체(차선)이 노후화되어 갱신(페인팅)이 필요한 것으로 판단할 수 있다.For example, as shown in FIG. 10, the image of the polygon area of the detected road object is binarized to create a black-and-white image, and as shown in FIG. 11, the black-and-white ratio for the pixels of the black-and-white image is calculated. , Compare the black-and-white ratio calculated from map data (previous data) with the black-and-white ratio from the black-and-white image (current data) acquired through current shooting, and if the white ratio is higher than before, the corresponding road surface object (lane) It may be determined that it does not need updating (or has been newly painted), and if the white ratio is lower than before, it may be determined that the relevant road surface object (lane) is deteriorated and needs updating (painting).

이상에서 설명한 바와 같이, 노면 객체 갱신 판단 단계(S300)에서는 기본적으로 노면 객체에 대한 위치 변화를 기준으로 갱신 여부 또는 갱신 필요 여부를 판단하되, 위치 변화에 대한 판단 방법은 생략 가능하며, 다만 노면 객체에 대한 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison) 비교 방식 중 어느 하나 또는 둘 이상의 조합을 통한 방식을 이용함으로써, 노면 영상에 기반한 노면 객체의 현재 상태와 정밀도로지도 데이터를 이용한 이전 상태를 비교하여 갱신 여부 또는 갱신 필요 여부를 판단할 수 있다.As described above, in the road surface object update determination step (S300), it is basically determined whether or not an update is necessary based on the change in position of the road surface object. However, the method of determining the change in position can be omitted, but the road surface object By using any one or a combination of two or more of the brightness information (RGB histogram), color information (HSV histogram), and filling rate (Black & White comparison) for the same color inside the object, the road surface image It is possible to determine whether or not an update is necessary by comparing the current state of the road surface object based on the previous state using map data with high precision.

상기 노면 객체 속성 정보 업데이트 단계(S400)에서는, 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부를 판단 효율성을 높이기 위하여 노면 객체 갱신 판단 단계(S300)에서 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison)을 이용하는 방식 중 일정 수준 이상의 정보만을 속성 정보로 추가함으로써 노면 객체에 대한 속성 정보를 업데이트 할 수 있다. 즉, 밝기정보(RGB histogram), 색채정보(HSV histogram), 및 객체 내부의 동일색상에 대한 충진율(Black & White comparison) 비교 방식에 있어서, 노면 객체에 대한 양호 상태와 노후 상태를 명확히 구분할 수 있는 기준 정보를 노면 객체의 양호 상태에 대한 속성 정보와 노후 상태에 대한 속성 정보로서 추가하여 노면 객체에 대한 갱신 여부 또는 갱신 필요 여부를 판단 효율성을 높일 수 있다.In the road surface object attribute information update step (S400), brightness information (RGB histogram) and color information (HSV histogram) are used in the road surface object update determination step (S300) to increase the efficiency of determining whether or not the road surface object needs to be updated. , and a method using the filling rate (black & white comparison) for the same color inside the object, the attribute information for the road surface object can be updated by adding only information above a certain level as attribute information. In other words, in the comparison method of brightness information (RGB histogram), color information (HSV histogram), and filling rate for the same color inside the object (Black & White comparison), it is possible to clearly distinguish between the good state and the aged state of the road surface object. By adding standard information as attribute information about the good state of the road surface object and attribute information about the deteriorated state, the efficiency of determining whether or not the road surface object needs to be updated can be increased.

이상에서 설명한 것은 본 발명에 의한 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템 및 그 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the system and method for determining road surface object changes on a high-precision road map through marking state evaluation according to the present invention, and the present invention is not limited to the above embodiments, and is as follows. As claimed in the patent claims, it will be said that the technical spirit of the present invention exists to the extent that anyone skilled in the art can make various changes and implementations without departing from the gist of the present invention.

1000: 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템
100: 노면 촬영부
110: 카메라부
120: 버드뷰 이미지 생성부
200: 노면 객체 인식부
210: 노면 객체 이미지 생성부
220: 객체 위치 데이터 적용부
300: 노면 객체 갱신 판단부
310: 노면 객체 위치 변화 판단부
320: 노면 객체 RGB 히스토그램 변화 판단부
330: 노면 객체 HSV 히스토그램 변화 판단부
340: 노면 객체 픽셀 흑백 변화 판단부
400: 노면 객체 속성 정보 업데이트부
S1000: 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법
S100: 노면 촬영 단계
S110: 노면 영상 생성 단계
S120: 버드뷰 이미지 생성 단계
S200: 노면 객체 인식 단계
S210: 노면 객체 이미지 생성 단계
S220: 객체 위치 데이터 적용 단계
S300: 노면 객체 갱신 판단 단계
S310: 노면 객체 위치 변화 판단 단계
S320: 노면 객체 RGB 히스토그램 변화 판단 단계
S330: 노면 객체 HSV 히스토그램 변화 판단 단계
S340: 노면 객체 픽셀 흑백 변화 판단 단계
S400: 노면 객체 속성 정보 업데이트 단계1000: System for determining changes in road surface objects on a road map with precision through marking status evaluation
100: Road surface photography unit
110: Camera unit
120: Bird View image generation unit
200: Road object recognition unit
210: Road surface object image creation unit
220: Object location data application unit
300: Road object update determination unit
310: Road surface object location change determination unit
320: Road surface object RGB histogram change determination unit
330: Road surface object HSV histogram change determination unit
340: Road surface object pixel black and white change determination unit
400: Road surface object attribute information update unit
S1000: Method for determining changes in road surface objects on a precision road map through marking status evaluation
S100: Road surface shooting stage
S110: Road surface image generation step
S120: Bird View image creation step
S200: Road surface object recognition step
S210: Road surface object image generation step
S220: Object location data application step
S300: Road surface object update determination step
S310: Determination step of road surface object location change
S320: Road surface object RGB histogram change determination step
S330: Road surface object HSV histogram change determination step
S340: Road surface object pixel black and white change determination step
S400: Road surface object attribute information update step

Claims (14)

도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 촬영부;
상기 노면 촬영부의 노면 영상으로부터 노면 객체를 인식하는 노면 객체 인식부; 및
상기 노면 객체 인식부를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단하는 노면 객체 갱신 판단부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
A road surface imaging unit that captures the road surface while driving on the road and generates a road surface image;
a road surface object recognition unit that recognizes a road surface object from the road surface image of the road surface photographing unit; and
Depending on the change in the road object through matching comparison of at least one of location information, brightness information, color information, and filling rate for the same color inside the object between the road surface object recognized through the road surface object recognition unit and the object on the precision road map. A road surface object change determination system on a precision road map through marking state evaluation, comprising a road surface object update determination unit that determines whether the road surface object has been updated.
 제1 항에 있어서,
상기 노면 촬영부는,
차량의 전, 후, 좌, 우에 각각 설치되어 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 카메라부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to claim 1,
The road surface photography unit,
A system for determining changes in road objects on a high-precision road map through marking state evaluation, which includes a camera unit installed on the front, rear, left, and right sides of the vehicle to capture the road surface while driving and generate a road surface image.
 제2 항에 있어서,
상기 노면 객체 인식부는,
객체 인식 기술을 이용하여 상기 노면 영상으로부터 노면 객체가 포함된 노면 객체 계산 영역과, 상기 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성하는 노면 객체 이미지 생성부; 및
상기 카메라부와 차량에 설치된 GPS 및 IMU 센서와 동기화되어 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하는 객체 위치 데이터 적용부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to clause 2,
The road surface object recognition unit,
Using object recognition technology, a road surface object calculation area containing a road surface object and a polygon area formed along the shape of the road surface object within the road surface object calculation area are respectively detected from the road surface image to recognize the road surface object and generate road surface object data. A road surface object image generating unit; and
Characterized by an object location data application unit that is synchronized with the camera unit and the GPS and IMU sensors installed in the vehicle and adds location sensing data obtained from the GPS and IMU sensors to the road surface object data generated through the road object image generator. A system for determining changes in road surface objects on a high-precision road map through marking status evaluation.
 제3 항에 있어서,
상기 노면 촬영부는,
역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 상기 카메라부를 통해 생성된 노면 영상을 버드뷰 이미지로 생성하는 버드뷰 이미지 생성부를 더 포함하고,
상기 객체 위치 데이터 적용부는,
상기 버드뷰 이미지에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하고,
상기 노면 객체 갱신 판단부는,
상기 위치 센싱 데이터에 기초하여 상기 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 객체 위치 데이터 적용부를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 위치 변화 판단부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to clause 3,
The road surface photography unit,
It further includes a bird view image generator that generates a bird view image from the road surface image generated by the camera unit using Inverse Perspective Mapping (IPM) technology,
The object location data application unit,
Add location sensing data obtained from GPS and IMU sensors to the Bird View image,
The road surface object update determination unit,
Based on the location sensing data, precision map data corresponding to the Bird View image is loaded, and road surface object data included in the retrieved precision map data and location sensing data are applied through the object location data application unit. A road surface object change determination system on a precision road map through marking state evaluation, comprising a road object position change determination unit that compares position information between images to determine whether the object is updated according to a change in the position of the road surface object.
 제3 항에 있어서,
상기 노면 객체 갱신 판단부는,
상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 RGB 히스토그램 변화 판단부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to clause 3,
The road surface object update determination unit,
Based on the location sensing data, precision road map data corresponding to the road surface image is loaded, and RGB histogram values for road surface object data included in the precision road map data and road surface object data generated through the road surface object image generator Determination of changes in road objects on the road map with precision through marking state evaluation, comprising a road surface object RGB histogram change determination unit that extracts each and compares the extracted RGB values to determine whether the object is updated according to the change in RGB values. system.
 제3 항에 있어서,
상기 노면 객체 갱신 판단부는,
상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 HSV 히스토그램 변화 판단부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to clause 3,
The road surface object update determination unit,
Based on the location sensing data, precision road map data corresponding to the road surface image is loaded, and HSV histogram values for road surface object data included in the precision road map data and road surface object data generated through the road surface object image generator Determination of changes in road objects on a road map with precision through marking state evaluation, comprising a road surface object HSV histogram change determination unit that extracts each and compares the extracted HSV values to determine whether the object is updated according to the change in the HSV value. system.
 제3 항에 있어서,
상기 노면 객체 갱신 판단부는,
상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 상기 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 픽셀 흑백 비율 변화 판단부를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 시스템.
According to clause 3,
The road surface object update determination unit,
Based on the location sensing data, load precision road map data corresponding to the road surface image, and binarize the polygon area for the road object included in the precision road map data and the polygon area detected through the road object image generator. Marking state evaluation comprising a road surface object pixel black-and-white ratio change determination unit that generates each black-and-white image and compares the pixel black-and-white ratio of the generated black-and-white images to determine whether the object is updated according to the change in the pixel black-and-white ratio. A system for determining changes in road objects on a high-precision road map.
 노면 촬영부가, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 촬영 단계;
노면 객체 인식부가, 상기 노면 촬영부의 노면 영상으로부터 노면 객체를 인식하는 노면 객체 인식 단계; 및
노면 객체 갱신 판단부가, 상기 노면 객체 인식부를 통해 인식된 노면 객체와 정밀도로지도 상의 객체 간의 위치정보, 밝기정보, 색채정보, 및 객체 내부의 동일색상에 대한 충진율 중 적어도 하나에 대한 매칭 비교를 통해 노면 객체의 변화에 따른 노면 객체 갱신 여부를 판단하는 노면 객체 갱신 판단 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
A road surface photographing step in which a road surface photographing unit captures the road surface while driving on the road to generate a road surface image;
A road surface object recognition step in which a road surface object recognition unit recognizes a road surface object from the road surface image of the road surface photographing unit; and
The road surface object update determination unit performs a matching comparison on at least one of location information, brightness information, color information, and filling rate for the same color inside the object between the road surface object recognized through the road object recognition unit and the object on the precision road map. A method for determining changes in road objects on a precision road map through marking state evaluation, comprising a road surface object update determination step of determining whether or not the road surface objects are updated according to changes in the road surface objects.
 제8 항에 있어서,
상기 노면 촬영 단계는,
차량의 전, 후, 좌, 우에 각각 설치된 카메라부가, 도로 주행 중에 도로 노면을 촬영하여 노면 영상을 생성하는 노면 영상 생성 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
According to clause 8,
The road surface photography step is,
A road surface image generation step in which a camera unit installed on the front, rear, left, and right sides of the vehicle captures the road surface while driving on the road and generates a road surface image. Changes in road surface objects on the precision road map through marking status evaluation. How to judge.
 제9 항에 있어서,
상기 노면 객체 인식 단계는,
노면 객체 이미지 생성부가, 객체 인식 기술을 이용하여 상기 노면 영상으로부터 노면 객체가 포함된 노면 객체 계산 영역과, 상기 노면 객체 계산 영역 내의 노면 객체의 형상을 따라 형성되는 폴리곤 영역을 각각 검출하여 노면 객체를 인식하여 노면 객체 데이터를 생성하는 노면 객체 이미지 생성 단계; 및
서로 동기화된 상기 카메라부와 차량에 설치된 GPS 및 IMU 센서를 이용하여 객체 위치 데이터 적용부가, 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하는 객체 위치 데이터 적용 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
According to clause 9,
The road surface object recognition step is,
The road surface object image generator detects a road surface object calculation area containing the road surface object from the road surface image using object recognition technology, and a polygon area formed along the shape of the road surface object within the road surface object calculation area to identify the road surface object. A road surface object image generation step of recognizing and generating road surface object data; and
An object in which an object location data application unit uses the camera unit and the GPS and IMU sensors installed in the vehicle, which are synchronized with each other, to add location sensing data obtained from the GPS and IMU sensors to the road surface object data generated through the road surface object image generation unit. A method for determining changes in road surface objects on a precision road map through marking state evaluation, comprising the step of applying location data.
 제10 항에 있어서,
상기 노면 영상 생성 단계는,
버드뷰 이미지 생성부가, 역원근 매핑(Inverse Perspective Mapping: IPM) 기술을 이용하여 상기 카메라부를 통해 생성된 노면 영상을 버드뷰 이미지로 생성하는 버드뷰 이미지 생성 단계를 더 포함하고,
상기 객체 위치 데이터 적용 단계는,
객체 위치 데이터 적용부가, 상기 버드뷰 이미지에 GPS 및 IMU 센서로부터 획득된 위치 센싱 데이터를 추가하고,
상기 노면 객체 갱신 판단 단계는,
노면 객체 위치 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 버드뷰 이미지에 해당하는 정밀도로지도 데이터를 불러오고, 불러온 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 객체 위치 데이터 적용부를 통해 위치 센싱 데이터가 적용된 버드뷰 이미지 간의 위치정보를 비교하여 노면 객체의 위치 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 위치 변화 판단 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
According to claim 10,
The road surface image generation step is,
It further includes a bird view image generation step in which the bird view image generation unit generates a bird view image from the road surface image generated through the camera unit using inverse perspective mapping (IPM) technology,
The object location data application step is,
The object location data application unit adds location sensing data obtained from GPS and IMU sensors to the Bird View image,
The road surface object update determination step is,
A road surface object location change determination unit retrieves map data with a precision corresponding to the bird view image based on the location sensing data, and through the road surface object data included in the loaded precision map data and the object location data application unit. Road surface on a precision road map through marking status evaluation, comprising a step of determining whether the object is updated according to the change in the position of the road surface object by comparing the position information between the Bird View images to which the position sensing data is applied. How to determine object change.
 제10 항에 있어서,
상기 노면 객체 갱신 판단 단계는,
노면 객체 RGB 히스토그램 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 RGB 히스토그램 값을 각각 추출하고, 추출된 RGB 값을 비교하여 RGB 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 RGB 히스토그램 변화 판단 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
According to claim 10,
The road surface object update determination step is,
A road surface object RGB histogram change determination unit retrieves precision road map data corresponding to the road surface image based on the location sensing data, and generates road surface object data included in the precision road map data and the road surface object image generator. Marking status evaluation comprising a road object RGB histogram change determination step of extracting RGB histogram values for each road surface object data and comparing the extracted RGB values to determine whether the object is updated according to the change in RGB values. A method of determining changes in road surface objects on a high-precision road map.
 제10 항에 있어서,
상기 노면 객체 갱신 판단 단계는,
노면 객체 HSV 히스토그램 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체 데이터와 상기 노면 객체 이미지 생성부를 통해 생성된 노면 객체 데이터에 대한 HSV 히스토그램 값을 각각 추출하고, 추출된 HSV 값을 비교하여 HSV 값의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 HSV 히스토그램 변화 판단 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.
According to claim 10,
The road surface object update determination step is,
A road surface object HSV histogram change determination unit retrieves precision map data corresponding to the road surface image based on the location sensing data, and generates road surface object data included in the precision road map data and the road surface object image generator. Marking status evaluation comprising a road object HSV histogram change determination step of extracting HSV histogram values for each road surface object data and comparing the extracted HSV values to determine whether the object is updated according to the change in the HSV value. A method of determining changes in road surface objects on a high-precision road map.
 제10 항에 있어서,
상기 노면 객체 갱신 판단 단계는,
노면 객체 흑백 비율 변화 판단부가, 상기 위치 센싱 데이터에 기초하여 상기 노면 영상에 해당하는 정밀도로지도 데이터를 불러오고, 상기 정밀도로지도 데이터에 포함된 노면 객체에 대한 폴리곤 영역과 상기 노면 객체 이미지 생성부를 통해 검출된 폴리곤 영역에 대한 이진화된 흑백 이미지로 각각 생성하고, 생성된 흑백 이미지의 픽셀 흑백 비율을 비교하여 픽셀 흑백 비율의 변화에 따른 객체 갱신 여부를 판단하는 노면 객체 픽셀 흑백 비율 변화 판단 단계를 포함하는 것을 특징으로 하는 마킹 상태 평가를 통한 정밀도로지도 상의 노면객체 변화 판단 방법.According to claim 10,
The road surface object update determination step is,
A road surface object black-and-white ratio change determination unit retrieves map data with a precision corresponding to the road surface image based on the location sensing data, and a polygon area for the road surface object included in the precision map data and a road surface object image generation unit. Includes a step of determining changes in the pixel black-and-white ratio of road surface objects, which generates binarized black-and-white images for the polygon areas detected through each, and compares the pixel black-and-white ratio of the generated black-and-white images to determine whether the object is updated according to the change in the pixel black-and-white ratio. A method for determining changes in road surface objects on a road map with high precision through evaluation of marking conditions.
KR1020220078982A 2022-06-28 2022-06-28 system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof KR20240002268A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220078982A KR20240002268A (en) 2022-06-28 2022-06-28 system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220078982A KR20240002268A (en) 2022-06-28 2022-06-28 system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof

Publications (1)

Publication Number Publication Date
KR20240002268A true KR20240002268A (en) 2024-01-05

Family

ID=89541454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078982A KR20240002268A (en) 2022-06-28 2022-06-28 system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof

Country Status (1)

Country Link
KR (1) KR20240002268A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170128913A (en) 2016-05-16 2017-11-24 한국건설기술연구원 Apparatus for automatically extracting unique information of road and method thereof
KR102264265B1 (en) 2019-01-30 2021-06-14 한국자동차연구원 Method for road lane management based on vehicle-road infrastructure information fusion and apparatus for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170128913A (en) 2016-05-16 2017-11-24 한국건설기술연구원 Apparatus for automatically extracting unique information of road and method thereof
KR102264265B1 (en) 2019-01-30 2021-06-14 한국자동차연구원 Method for road lane management based on vehicle-road infrastructure information fusion and apparatus for the same

Similar Documents

Publication Publication Date Title
CN107463918B (en) Lane line extraction method based on fusion of laser point cloud and image data
US8218853B2 (en) Change discrimination device, change discrimination method and change discrimination program
US20200082179A1 (en) Map points-of-change detection device
JP6560355B2 (en) Landmark recognition apparatus and recognition method
CN106871906B (en) Navigation method and device for blind person and terminal equipment
JP6278791B2 (en) Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system
GB2557398A (en) Method and system for creating images
JP6822427B2 (en) Map change point detector
KR102204037B1 (en) Alignment error correction system for collected location information by triangle mesh composed rand-mark and specified object
CN113847930A (en) Multi-sensor calibration system
CN114120283A (en) Method for distinguishing unknown obstacles in road scene three-dimensional semantic segmentation
JP4762026B2 (en) Road sign database construction device
CN112861748A (en) Traffic light detection system and method in automatic driving
CN110501021B (en) Odometer estimation method and system based on camera and laser radar fusion
CN116152342A (en) Guideboard registration positioning method based on gradient
CN114719873A (en) Low-cost fine map automatic generation method and device and readable medium
Chaloeivoot et al. Building detection from terrestrial images
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN113808004A (en) Image conversion device, image conversion method, and computer program for image conversion
CN111380503B (en) Monocular camera ranging method adopting laser-assisted calibration
KR20240002268A (en) system for change detection of pavement marking objects on HD map through evaluation of marking status and method thereof
CN114659513B (en) Unstructured road-oriented point cloud map construction and maintenance method
CN115131360A (en) Road pit detection method and device based on 3D point cloud semantic segmentation
CN115235493A (en) Method and device for automatic driving positioning based on vector map
NL2016718B1 (en) A method for improving position information associated with a collection of images.