WO2021006441A1 - 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 - Google Patents

이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 Download PDF

Info

Publication number
WO2021006441A1
WO2021006441A1 PCT/KR2019/018466 KR2019018466W WO2021006441A1 WO 2021006441 A1 WO2021006441 A1 WO 2021006441A1 KR 2019018466 W KR2019018466 W KR 2019018466W WO 2021006441 A1 WO2021006441 A1 WO 2021006441A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image data
bounding box
box
boundary
Prior art date
Application number
PCT/KR2019/018466
Other languages
English (en)
French (fr)
Inventor
김재승
김지성
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Publication of WO2021006441A1 publication Critical patent/WO2021006441A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • the present invention relates to a method for collecting road sign information using a mobile drawing system, and more particularly, by using a mobile mapping system including a remote sensing device and a navigation device, the sign information on the road is It can be collected in real time and mapped onto a map with precision.
  • the present invention extracts objects and attributes from continuous images based on deep learning, so that accurate road marking information can be collected in real time and mapped to a map with precision, and the accuracy of recognition of road marking information can be greatly improved. It relates to a method of collecting road sign information using a mobile drawing system that can be used.
  • the unmanned autonomous vehicle can be largely composed of a step of recognizing the surrounding environment, a step of planning a driving route from the recognized environment, and a step of driving along the planned path.
  • the most basic What is required is a high definition map (HD-Map).
  • the HD-Map is a map in which information on the surrounding environment such as roads, terrain elevations, curvatures, etc. is implemented in 3D, and particularly includes various information necessary for driving on a road.
  • the HD-Map includes various types of information necessary to drive the road, such as lanes, driving directions, intersections, signs, traffic lights, and speed limits.
  • the autonomous vehicle uses technologies such as Korean Patent Publication No. 10-1348941'Road Information Detection Method for Unmanned Vehicles and Unmanned Vehicles Using the Same' based on HD-Map. , You drive on the road while recognizing the surrounding environment.
  • HD-Map is the most basic in the field of autonomous driving, and it can be said that the most accurate and rapid update is required for safe autonomous driving.
  • an HD-Map is produced largely through four steps: work planning, data acquisition, point cloud data generation, object drawing and editing.
  • data acquisition for roads is mainly collected using a driving device (vehicle, etc.) equipped with LiDAR, etc., and the 3D point cloud data of the road is collected by the collected data. Can be generated.
  • the generated 3D point cloud data simply has information on the shape of the road, so in order to use the data as a map (HD-Map) with the precision required for driving, general drivers such as road markings, signs, traffic lights, etc. Information that can be obtained while driving on the road should be included.
  • map HD-Map
  • the present invention uses a mobile mapping system including a remote sensing device and a navigation device to collect road sign information in real time and map it to a map with precision (The purpose is to provide a method of collecting road sign information using a mobile drawing system capable of mapping).
  • the present invention extracts objects and attributes from continuous images based on deep learning, so that accurate road marking information can be collected in real time and mapped to a map with precision, and the accuracy of recognition of road marking information can be greatly improved. It is an object to provide a method of collecting road sign information using a mobile drawing system that can be used.
  • the present invention is a mobile drawing system that can greatly improve the recall and precision of the recognition of object and attribute information through the process of refining the recognition result for an object into a single result.
  • the purpose is to provide a method of collecting road sign information using
  • the method of collecting road sign information using a mobile drawing system collects road data including image data and point cloud data using a mobile mapping system. Collecting road data; An object recognition step of detecting a bounding box for each object included in the continuous image data and checking the object and properties of the object; And an object mapping step of calculating a spatial coordinate value on the map with precision for a corresponding object from the point cloud data.
  • the object recognition step may include a process of checking bounding box information including the number of bounding boxes included in the image data, object attribute information of the bounding box, and bounding box information including position coordinates of the bounding box; A process of collecting boundary box information in which information of a corresponding boundary box is collected for each image data by tracking position coordinates for each image data for any one boundary box; And an object property determination process of selecting an object having the largest number of objects having the same property information among the tracked boundary boxes as the object of the corresponding boundary box.
  • information of a boundary box for each image data that is sequentially collected may be stored on a 2D vector.
  • the process of checking the position coordinates of the boundary box in the current image data and checking the boundary box adjacent to the corresponding position coordinates in the next image data is sequentially performed, and each image data Each of the corresponding bounding boxes and adjacent bounding boxes can be sequentially tracked.
  • the boundary box is You can choose.
  • the process of assembling the boundary box information is, if at least two boundary boxes exist within the tracking set distance from the corresponding position in the next order of image data based on the position coordinate of the corresponding boundary box in the current image data, the closest boundary You can choose a box.
  • the corresponding boundary box is tracked. Can be stopped.
  • the object mapping step may include a point cloud data extraction process of extracting point cloud data for an inner area of a bounding box for each object among the point cloud data; A coordinate system conversion process of converting the three-dimensional coordinates of the point cloud data into a map coordinate system of a map with precision; And an object coordinate calculation process of calculating coordinates of an object included in a corresponding bounding box from the converted map coordinates.
  • a median value is calculated for each coordinate axis of the converted point of the point group data included in the corresponding bounding box, and the coordinates of the object included in the corresponding bounding box are calculated based on this. I can.
  • MMS mobile mapping system
  • Map data with precision can compensate for the physical limitations of various sensors, such as cameras and lidars of autonomous vehicles to which the absolute coordinates of GPS are applied, and reduce the area to be calculated to a minimum.
  • the map is based with precision, the accuracy of the location information of the autonomous vehicle can be improved, and errors that may occur in the process of recognizing various information of the driving environment through fast real-time analysis can be prevented.
  • the marks on the actual road play an important function of providing guidance and information to drivers and non-drivers, such as guiding traffic routes, controlling driving behavior, and maintaining traffic safety. Included.
  • the map with precision enables accurate and quick classification and extraction of a number of embedded road information (traffic lights, lanes, roads, curbs, signs, etc.), and autonomous vehicles in various and complex environments, such as recognition errors, It can significantly reduce the possibility of causing problems directly related to safety.
  • embedded road information traffic lights, lanes, roads, curbs, signs, etc.
  • the present invention has the advantage of being able to accurately map a map by collecting road sign information in real time using a mobile mapping system including a remote sensing device and a navigation device. have.
  • the present invention has the advantage of being able to register efficient and accurate information on a map (HD-Map) with precision compared to the conventional drawing method that has been carried out manually.
  • the present invention extracts objects and attributes from continuous images based on deep learning, so that accurate road marking information can be collected in real time and mapped to a map with precision, and the accuracy of recognition of road marking information can be greatly improved. There is an advantage to be able to.
  • the present invention recognizes the types of objects such as road markings or traffic signs using deep learning, so the properties of objects can also be quickly registered on a map (HD-Map) with precision without individual manual work. There is an advantage to be able to.
  • the present invention has the advantage of being able to greatly improve recall and precision for recognition of object and attribute information through a process of refining the recognition result for an object into one result.
  • the present invention has the advantage of enabling a map (HD-Map) to be efficiently updated in real time with the most basic precision for autonomous driving.
  • FIG. 1 is a flow chart showing an embodiment of a method for collecting road sign information using a mobile drawing system according to the present invention.
  • step'S200' shown in FIG. 1.
  • 3 to 6 are views for explaining FIG. 2.
  • step'S300' shown in FIG. 1.
  • FIG. 8 is a view for explaining FIG. 7.
  • FIG. 1 is a flow chart showing an embodiment of a method for collecting road sign information using a mobile drawing system according to the present invention.
  • a method of collecting road sign information using a mobile drawing system includes a road data collection step (S100), an object recognition step (S200), and an object mapping step (S300).
  • the road data collection step (S100) is a step of collecting road data including image data and point cloud data using a mobile mapping system, and collects three-dimensional information of a driving road in real time.
  • the Mobile Mapping System uses various remote sensing systems such as cameras, radars, lasers, LiDAR, and moving objects such as drones and vehicles equipped with navigation sensors (GPS, INS, etc.). It is a system that collects geospatial data including roads and surroundings.
  • the image data may include visual image information photographed using a camera or the like.
  • the object recognition step (S200) is a step of detecting a bounding box for each object included in the continuous image data, and confirming the object and the properties of the object, and sequentially analyzes the image data collected in real time by linking the object. More improved reproducibility and precision (accuracy) can be obtained through the purification process.
  • the object mapping step S300 is a step of calculating a spatial coordinate value on a map with precision for a corresponding object from point cloud data, and minimizes data required for calculation to enable real-time processing.
  • the spatial coordinate value for the object is accurate by matching the coordinate system for only the point cloud data of the required part (boundary box). It can be registered on the HD-Map.
  • FIG. 2 is a flowchart illustrating a specific embodiment of step'S200' shown in FIG. 1, and FIGS. 3 to 6 are diagrams for explaining FIG. 2.
  • the object recognition step (S200) includes a boundary box information confirmation process (S210), a boundary box information collection process (S220), and an object attribute determination process (S230).
  • Boundary box information confirmation process for a number of consecutive image data (Image 0 to Image 10) as shown in Figure 3, the position of the object (road surface mark, sign, etc.) included in the image data (on the image data). 2D position) can be detected in the form of a bounding box.
  • information of a bounding box for each image data that is sequentially collected may be stored on a 2D vector.
  • bounding boxes detected for each image data are displayed in the form of a box with numbers.
  • bounding box information such as the number of bounding boxes included in the image data, object attribute information of the bounding box, and position coordinates of the bounding box may be checked.
  • position coordinates are tracked for each image data, and information of the corresponding boundary box may be collected for each image data.
  • the position coordinates for each image data are two-dimensional coordinates on the image data.
  • the process of checking the position coordinates of the bounding box in the current image data (Image 0), and checking the bounding box adjacent to the position coordinates in the image data (Image 1) of the next sequence. May be sequentially performed, and through this process, a corresponding bounding box and adjacent bounding boxes may be sequentially tracked (straight arrow in FIG. 4) for each image data.
  • the tracking setting distance includes the maximum distance of the difference between the position of the same object included in the temporal neighboring two image data, such as the shaking of the camera or the movement of the moving object, and various conditions and values according to the needs of those skilled in the art. Can be set to
  • a corresponding bounding box and adjacent bounding boxes may be sequentially tracked (straight arrow in FIG. 5) for each image data.
  • the camera installed in the moving object may shake due to movement of the moving object, and in this case, the photographing direction of the image changes instantaneously and the position of the object in some image data may be excessively moved.
  • bounding boxes tracked for each object may be checked.
  • an object (Object 0) having the largest number of objects having the same property information among the tracked boundary boxes may be selected as the object of the corresponding boundary box.
  • the reason for selecting multiple objects as objects is incorrect attribute information in situations such as when the position of an object in the image is moved due to camera shake, or when it is not instantly recognized by sunlight or lighting in a specific image. This is to prevent being selected.
  • a different sign may appear at the same position (two-dimensional position) in the image due to camera shake or the like.
  • the triangular sign that appears at the same position in two neighboring images may be changed to the lower one or the upper one.
  • the object to be recognized and information on the properties of the object can be more accurately recognized.
  • FIG. 7 is a flowchart illustrating a specific embodiment of step'S300' shown in FIG. 1, and FIG. 8 is a view for explaining FIG. 7.
  • the object mapping step (S300) may include a point cloud data extraction process (S310 ), a coordinate system conversion process (S320 ), and an object coordinate calculation process (S330 ).
  • FIG. 8 is a state in which 3D point cloud data is projected onto an image using the positional relationship between the camera and the lidar and camera internal parameters.
  • point cloud data for the inner area of the bounding box for each object is extracted from the point cloud data shown in FIG. 8.
  • the three-dimensional coordinates of the point cloud data are converted to the map coordinate system of the map with precision.
  • the converted point of point group data (point group data of the object excluding the background) included in the corresponding bounding box for each coordinate axis (one of the X axis, Y axis, and Z axis)
  • the median of is calculated, and the coordinates of the object included in the corresponding bounding box may be calculated based on this.
  • the present invention can be used in an autonomous driving field, a road recognition field, a high-precision road map field for self-driving, as well as similar or related fields, and can improve the reliability and competitiveness of the system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것으로, 보다 상세하게는 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있도록 한 것이다. 특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있다. 또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있다. 따라서, 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
본 발명은 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것으로서, 보다 상세하게는 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있도록 한 것이다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계와, 인식된 환경으로부터 주행경로를 계획하는 단계, 그리고 계획된 경로를 따라 주행하는 단계로 구성될 수 있으며, 이 과정에서 가장 기본적으로 요구되는 것이 정밀도로지도(High Definition Map, HD-Map)이다.
정밀도로지도(HD-Map)는 도로, 지형의 고저, 곡률 등과 같은 주변환경에 대한 정보가 3D로 구현된 지도로서, 특히 도로의 주행시 필요한 다양한 정보들을 포함하고 있다.
예를 들어, 정밀도로지도(HD-Map)에는 도로의 차선, 주행방향, 교차로, 표지판, 신호등, 제한속도 등과 같이 해당 도로를 주행하는데 필요한 각종 정보들을 포함하고 있다.
이에, 자율주행차량은 정밀도로지도(HD-Map)를 바탕으로, 대한민국 등록특허공보 제10-1348941호 '무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량'와 같은 기술을 이용하여, 주위환경을 인식하면서 도로를 주행하게 된다.
이와 같이, 정밀도로지도(HD-Map)는 자율주행분야에 있어서 가장 기본이 될 뿐만 아니라, 안전한 자율주행을 위하여 가장 정확하고 신속한 업데이트가 요구된다고 할 수 있다.
일반적으로, 정밀도로지도(HD-Map)는 크게 작업계획, 데이터획득, 점군데이터 생성, 객체도화 및 편집의 네 단계를 거쳐 제작된다.
이와 같은 네 단계 중, 도로에 대한 데이터획득은 주로, 라이다(LiDAR) 등이 탑재된 주행장치(차량 등)를 이용하여 수집되며, 이와 같이 수집된 데이터에 의해 해당 도로의 3차원 점군데이터를 생성할 수 있다.
이때, 생성된 3차원 점군데이터는 단순히 도로의 형상에 대한 정보만을 가지고 있으므로, 해당 데이터가 주행에 필요한 정밀도로지도(HD-Map)로서 활용되기 위해서는 도로의 노면표시, 표지판, 신호등과 같이 일반운전자가 해당 도로를 주행하면서 획득할 수 있는 정보들이 포함되어야 한다.
그러나, 이러한 정보들은 대부분 수작업에 의해 정밀도로지도(HD-Map)에 매핑(Mapping)되므로, 정밀도로지도(HD-Map)의 제작에 많은 시간과 비용이 요구된다는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위해서, 본 발명은 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법은, 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 도로데이터 수집단계; 연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 객체인식단계; 및 점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 객체매핑단계;를 포함한다.
또한, 상기 객체인식단계는, 상기 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표를 포함하는 경계상자정보를 확인하는 경계상자정보 확인과정; 어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합하는 경계상자정보 취합과정; 및 추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체를 해당 경계상자의 객체로 선택하는 객체속성 결정과정;을 포함할 수 있다.
또한, 상기 경계상자정보 추출과정은, 순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행하여, 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 하나의 경계상자가 존재하는 경우, 해당 경계상자를 선택할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 적어도 두 개의 경계상자가 존재하는 경우, 가장 가까운 경계상자를 선택할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지할 수 있다.
또한, 상기 경계상자정보 취합과정은, 현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수 누적되면, 해당 경계상자의 추적을 중지할 수 있다.
또한, 상기 객체매핑단계는, 상기 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하는 점군데이터 추출과정; 상기 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하는 좌표계 변환과정; 및 변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하는 객체좌표 산출과정;을 포함할 수 있다.
또한, 상기 객체좌표 산출과정은, 해당 경계상자에 포함된 점군데이터의 변환된 점의 각 좌표축에 대하여, 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출할 수 있다.
현재, 자율주행 자동차의 안전한 운용과 기술 보완을 위해 모바일 맵핑 시스템(MMS, mobile mapping system)을 이용하여 수집한 정밀도로지도(HD-map)의 필요성이 중요한 이슈로 주목받고 있다.
정밀도로지도 데이터는, GPS의 절대좌표가 적용되어있는 자율 주행 차량의 카메라, 라이다 등 각종 센서들이 가지고 있는 물리적인 한계를 보완하고, 연산해야 하는 영역을 최소한으로 축소해 줄 수 있다.
따라서, 정밀도로지도를 기반으로 하면 자율주행차량의 위치 정보 정확도를 높여주며 빠른 실시간 분석을 통해 주행환경의 다양한 정보들을 인식하는 과정에서 발생할 수 있는 오류를 방지해 줄 수 있다.
한편, 실제 도로 위에 있는 표식들은 운전자 및 비운전자에게 교통 경로를 안내하고 운전의 행동을 제어하며 교통 안전을 유지하는 등 안내와 정보를 제공하는 중요한 기능을 하는 바, 이러한 정보들 또한 정밀도로지도에 포함되어 있다.
이에, 정밀도로지도는, 내포되어 있는 수많은 도로 정보(신호등, 차선, 도로, 연석, 표지판 등)들의 정확하고 빠른 분류 및 추출할 수 있도록 하며, 다양하고 복잡한 환경에서 자율주행 차량이 인식오류 등과 같이 안전에 직결되는 문제들의 유발 가능성을 현저히 감소시켜줄 수 있다.
이러한, 도로에서의 주변 환경 정보는 매우 필수적이며 높은 정확도의 데이터를 필요로 할 뿐만 아니라, 빠르게 변화하고 새로 생겨나는 도로에 대해서 정확한 정보의 신속한 업데이트는 필수적이라고 할 수 있다.
이에, 본 발명은 원격감지장치와 항법장치 등을 포함하는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여, 도로상의 표지정보를 실시간으로 수집하여 정밀도로지도에 매핑(Mapping)할 수 있는 장점이 있다.
다시 말해, 본 발명은 기존에 수작업으로 진행해오던 도화방식에 비하여, 효율적이고 정확한 정보를 정밀도로지도(HD-Map)상에 등록할 수 있는 장점이 있다.
특히, 본 발명은 딥러닝 기반으로 연속된 이미지로부터 객체와 속성을 추출함으로써, 정확한 도로 표시 정보를 실시간으로 수집하여 정밀도로지도에 매핑할 수 있으며, 도로 표시 정보에 대한 인식의 정확도를 크게 향상시킬 수 있는 장점이 있다.
다시 말해, 본 발명은 딥러닝을 이용하여 도로의 노면표시나 교통 표지판 등과 같은 객체의 종류를 인식하므로, 객체의 속성 또한 개별적인 수작업을 통하지 않고 신속하게 정밀도로지도(HD-Map)상에 등록할 수 있는 장점이 있다.
또한, 본 발명은 객체에 대한 인식결과를 하나의 결과로 정제하는 과정을 통해, 객체 및 속성정보의 인식에 대한 재현율(Recall) 및 정밀도(Precision, 정확도)를 크게 향상시킬 수 있는 장점이 있다.
이를 통해, 본 발명은 자율주행에 가장 기본이 되는 정밀도로지도(HD-Map)가, 효율적으로 실시간 업데이트가 될 수 있도록 할 수 있는 장점이 있다.
도 1은 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3 내지 도 6은 도 2를 설명하기 위한 도면이다.
도 7은 도 1에 나타난 단계 'S300'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 8은 도 7을 설명하기 위한 도면이다.
본 발명에 따른 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법은 도로데이터 수집단계(S100), 객체인식단계(S200) 및 객체매핑단계(S300)를 포함한다.
도로데이터 수집단계(S100)는 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 단계로, 주행하는 도로의 3차원 정보를 실시간으로 수집한다.
여기서, 이동식 도면화 시스템(Mobile Mapping System)은 카메라, 레이더, 레이저, 라이다(LiDAR) 등의 다양한 원격 감지 시스템과, 항법센서(GPS, INS 등)를 갖춘 드론, 차량 등의 이동체를 이용하여 도로와 주변환경을 포함하는 지리공간데이터를 수집하는 시스템이다.
특히, 라이다의 경우 도로를 포함한 주변환경에 대하여 정밀한 3차원 점군데이터를 수집할 수 있다.
또한, 이미지데이터는 카메라 등을 이용하여 촬영되는 시각적 영상정보를 포함할 수 있다.
객체인식단계(S200)는 연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 단계로, 실시간으로 수집되는 이미지데이터를 연계하여 순차적으로 분석하고, 객체에 대한 정제과정을 통해 보다 향상된 재현율 및 정밀도(정확도)를 얻을 수 있다.
이러한 정제과정에 대해서는 하기에서 구체적인 실시예를 통해 보다 상세히 설명하기로 한다.
객체매핑단계(S300)는 점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 단계로, 연산에 요구되는 데이터를 최소화하여 실시간 처리가 가능하도록 할 수 있다.
구체적으로, 객체매핑단계(S300)에서 객체에 대한 공간좌표값은 이미지데이터와 라이다데이터를 정합한 후, 필요한 부분(경계상자)의 점군데이터만을 대상으로 좌표계의 매칭을 수행하여 해당 객체를 정밀도로지도(HD-Map)상에 등록시킬 수 있다.
이하에서는, 이러한 본 발명의 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대하여, 단계별로 보다 구체적으로 설명하기로 한다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이고, 도 3 내지 도 6은 도 2를 설명하기 위한 도면이다.
도 2를 참조하면, 객체인식단계(S200)는 경계상자정보 확인과정(S210), 경계상자정보 취합과정(S220) 및 객체속성 결정과정(S230)을 포함한다.
경계상자정보 확인과정(S210)은 도 3에 나타난 바와 같이 연속되는 다수의 이미지데이터(Image 0 내지 Image 10)에 대하여, 이미지데이터에 포함된 객체(노면표시, 표지판 등)의 위치(이미지데이터 상의 2차원 위치)를 경계상자(Bounding box) 형식으로 검출할 수 있다.
이때, 순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장할 수 있다. 도 3에서는, 각 이미지데이터별로 검출된 경계상자들을 숫자가 부여된 박스형태로 표시하였다.
그리고, 경계상자정보 확인과정(S210)은 해당 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표와 같은 경계상자정보를 확인할 수 있다.
경계상자정보 취합과정(S220)은 도 3에 나타난 경계상자들 중 어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합할 수 있다. 여기서, 이미지데이터별 위치좌표는 이미지데이터 상에서의 2차원좌표이다.
예를 들어, 도 4에 나타난 바와 같이, 현재 이미지데이터(Image 0)에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터(Image 1)에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행할 수 있으며, 이러한 과정을 통해 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적(도 4에서 직선 화살표)할 수 있다.
이때, 현재 이미지데이터(Image 0)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터(Image 1)에서, 해당 위치(bbox 0001)에서 추적설정거리 이내에 하나의 경계상자(bbox 0011)가 존재하는 경우, 해당 경계상자(bbox 0011)를 선택할 수 있다.
만약, 현재 이미지데이터(Image 2)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터(Image 3)에서, 해당 위치(bbox 0021)에서 추적설정거리 이내에 적어도 두 개의 경계상자(bbox 0031, 0032)가 존재하는 경우, 도 4의 아래와 같이 가장 가까운 경계상자를 선택(bbox 0032)할 수 있다.
이때, 추적설정거리는 시간적으로 이웃하는 두 이미지데이터에 포함된 동일한 객체의 위치가, 카메라의 흔들림이나 이동체의 움직임 등에 의해 발생되는 차이의 최대거리를 포함하는 것으로, 당업자의 요구에 따라 다양한 조건과 값으로 설정될 수 있다.
이와 같은 과정을 통해, 도 5에 나타난 바와 같이 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적(도 5에서 직선 화살표)할 수 있다.
그리고, 현재 이미지데이터(Image 10)에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서, 해당 위치(bbox 0102)에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지(탐색 종료)할 수 있다.
한편, 이동체에 설치된 카메라는 이동체의 움직임 등에 의해 흔들리는 경우가 발생할 수 있으며, 이 경우 순간적으로 영상의 촬영방향이 바뀌면서, 일부 이미지데이터에서 객체의 위치가 과도하게 이동되는 경우가 발생할 수 있다.
예를 들어, 특정 객체가 촬영되는 연속된 이미지데이터들 중 소수의 이미지데이터 상에서의 객체 위치가 과도하게 이동된 후, 다시 원래의 위치로 돌아오는 경우가 발생할 수 있다.
이러한 상황을 고려하여, 본 발명에서는 해당 위치(bbox 0102)에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수(예를 들어, 5개) 누적되면, 해당 경계상자의 추적을 중지할 수 있다.
따라서, 특정 객체가 3개의 이미지데이터에서 나타나지 않다가, 4번째 이미지데이터에서 다시 나타나는 경우에는, 해당 객체의 추적을 계속 진행할 수 있다.
객체속성 결정과정(S230)은, 먼저 도 6의 (a)에 나타난 바와 같이 각 객체(Object)별로 추적한 경계상자들을 확인할 수 있다.
그리고, 도 6의 (b)에 나타난 바와 같이 추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체(Object 0)를 해당 경계상자의 객체로 선택할 수 있다.
이와 같이, 다수의 것을 객체로 선택하는 이유는 카메라의 흔들림으로 영상내 객체의 위치가 이동하는 경우나, 특정 영상에서 햇빛이나 조명 등에 의해 순간적으로 인식이 안 되는 경우 등과 같은 상황에서, 잘못된 속성정보가 선택되는 것을 방지하기 위한 것이다.
예를 들어, 이동체에 구성된 카메라로 촬영되는 영상은, 카메라의 흔들림 등에 의해 영상 내의 동일한 위치(2차원위치)에 다른 표지판이 나타나 있을 수 있다. 도 8을 참조하면, 카메라가 상하방향으로 흔들리게 되면 영상의 오른쪽에 있는 삼각표지판의 위치가 변화되므로, 이웃하는 두 영상에서 동일한 위치에 나타나는 삼각표지판이 아래의 것 또는 위의 것으로 바뀔 수 있다.
이와 같은 정제과정을 거치게 되면, 인식하고자 하는 객체와 그 객체의 속성에 대한 정보를 보다 정확하게 인식할 수 있다.
예를 들어, 0.1초 주기로 사진(이미지데이터)과 라이다데이터가 수집되고, 0.005초 주기로 차량의 속도와 방향(INS 데이터)과 GPS 데이터가 기록되는 시스템이, 총 95개의 표지판이 존재하는 구간에서 85.26%의 재현율과 72.97%의 정밀도(정확도)를 얻을 수 있는 경우, 앞서 설명한 정제과정을 거치게 되면 재현율 및 정밀도(정확도)가 각각 92.63%와 89.80%로 향상되는 결과를 얻을 수 있었다.
도 7은 도 1에 나타난 단계 'S300'의 구체적인 일 실시예를 나타내는 흐름도이고, 도 8은 도 7을 설명하기 위한 도면이다.
도 7을 참조하면, 객체매핑단계(S300)는 점군데이터 추출과정(S310), 좌표계 변환과정(S320) 및 객체좌표 산출과정(S330)을 포함할 수 있다.
먼저, 도 8은 카메라와 라이다의 위치관계와 카메라 내부파라미터를 이용하여 3차원 점군데이터를 이미지상에 투영한 상태이다.
점군데이터 추출과정(S310)에서는 도 8과 같이 나타나는 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하게 된다.
그리고, 좌표계 변환과정(S320)에서는, 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하게 된다.
이와 같이, 경계상자 내부영역의 모든 3차원 점들에 대하여 좌표변환이 완료되면, 객체좌표 산출과정(S330)에서 변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하게 된다.
예를 들어, 객체좌표 산출과정(S330)은, 각 좌표축(X축, Y축, Z축 중 하나)에 대하여 해당 경계상자에 포함된 점군데이터(배경을 제외한 객체의 점군데이터)의 변환된 점의 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출할 수 있다.
이상에서 본 발명에 의한 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.
본 발명은 자율주행 분야, 도로 인식 분야, 자율주행용 고정밀 도로 지도 분야는 물론 이와 유사 내지 연관된 분야에서 이용될 수 있으며, 시스템에 대한 신뢰성 및 경쟁력을 향상시킬 수 있다.

Claims (10)

  1. 이동식 도면화 시스템(Mobile Mapping System)을 이용하여 이미지데이터 및 점군데이터를 포함하는 도로데이터를 수집하는 도로데이터 수집단계;
    연속된 이미지데이터에 포함된 객체별로 경계상자를 검출하고, 객체 및 해당 객체의 속성을 확인하는 객체인식단계; 및
    점군데이터로부터 해당 객체에 대한 정밀도로지도상의 공간좌표값을 산출하는 객체매핑단계;를 포함하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  2. 제 1항에 있어서,
    상기 객체인식단계는,
    상기 이미지데이터에 포함된 경계상자의 개수, 해당 경계상자의 객체 속성정보, 해당 경계상자의 위치좌표를 포함하는 경계상자정보를 확인하는 경계상자정보 확인과정;
    어느 하나의 경계상자에 대하여, 이미지데이터별로 위치좌표를 추적하여 각 이미지데이터별로 해당 경계상자의 정보를 취합하는 경계상자정보 취합과정; 및
    추적한 경계상자들 중 속성정보가 동일한 객체들 중 그 개수가 가장 많은 객체를 해당 경계상자의 객체로 선택하는 객체속성 결정과정;을 포함하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  3. 제 2항에 있어서,
    상기 경계상자정보 추출과정은,
    순차적으로 수집한 이미지데이터별 경계상자의 정보를 2차원 벡터 상에 저장하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  4. 제 2항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 확인하고, 다음 순서의 이미지데이터에서 해당 위치좌표와 인접한 경계상자를 확인하는 과정을 순차적으로 진행하여, 각 이미지데이터별로 해당 경계상자와 인접한 경계상자들을 순차적으로 추적하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  5. 제 4항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 하나의 경계상자가 존재하는 경우, 해당 경계상자를 선택하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  6. 제 4항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 적어도 두 개의 경계상자가 존재하는 경우, 가장 가까운 경계상자를 선택하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  7. 제 4항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우, 해당 경계상자의 추적을 중지하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  8. 제 4항에 있어서,
    상기 경계상자정보 취합과정은,
    현재 이미지데이터에서 해당 경계상자의 위치좌표를 기준으로 다음 순서의 이미지데이터에서,
    해당 위치에서 추적설정거리 이내에 경계상자가 존재하지 않는 경우의 이미지데이터가 일정 개수 누적되면, 해당 경계상자의 추적을 중지하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  9. 제 1항에 있어서,
    상기 객체매핑단계는,
    상기 점군데이터 중 객체별 경계상자의 내부영역에 대한 점군데이터를 추출하는 점군데이터 추출과정;
    상기 점군데이터의 3차원좌표를 정밀도로지도의 맵좌표계로 변환하는 좌표계 변환과정; 및
    변환된 맵좌표들로부터 해당 경계상자에 포함된 객체의 좌표를 산출하는 객체좌표 산출과정;을 포함하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
  10. 제 9항에 있어서,
    상기 객체좌표 산출과정은,
    해당 경계상자에 포함된 점군데이터의 변환된 점의 각 좌표축에 대하여, 중앙값(Median)을 계산하고, 이에 기초하여 해당 경계상자에 포함된 객체의 좌표를 산출하는 것을 특징으로 하는 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법.
PCT/KR2019/018466 2019-07-09 2019-12-26 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 WO2021006441A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0082445 2019-07-09
KR1020190082445A KR102091580B1 (ko) 2019-07-09 2019-07-09 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법

Publications (1)

Publication Number Publication Date
WO2021006441A1 true WO2021006441A1 (ko) 2021-01-14

Family

ID=69958174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018466 WO2021006441A1 (ko) 2019-07-09 2019-12-26 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법

Country Status (3)

Country Link
US (1) US11288526B2 (ko)
KR (1) KR102091580B1 (ko)
WO (1) WO2021006441A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061277B (zh) * 2019-12-31 2022-04-05 歌尔股份有限公司 一种无人车全局路径规划方法和装置
KR102331217B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 구간별 현장정보의 실시간 수집을 통한 mms 기반의 수치지도 업데이팅 시스템
KR102331215B1 (ko) * 2020-07-30 2021-12-01 (주)동광지엔티 Mms 기반 수치지도의 편집환경에 맞춘 데이터 오류 자동확인 시스템
KR102204431B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 Mms 전용 수치데이터의 정밀성 추가를 위한 데이터 보정시스템
KR102204430B1 (ko) * 2020-08-11 2021-01-19 (주)신한항업 현장위치별 수치좌표를 비교해서 mms 수치지도 정보의 오류를 자동 검색하는 수치데이터 시스템
CN112733800B (zh) * 2021-01-22 2021-10-22 中国科学院地理科学与资源研究所 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN113029185B (zh) * 2021-03-04 2023-01-03 清华大学 众包式高精度地图更新中道路标线变化检测方法及系统
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113705669A (zh) * 2021-08-27 2021-11-26 上海商汤临港智能科技有限公司 一种数据匹配方法、装置、电子设备以及存储介质
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160027735A (ko) * 2014-09-02 2016-03-10 네이버비즈니스플랫폼 주식회사 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
KR20180131154A (ko) * 2017-05-31 2018-12-10 현대엠엔소프트 주식회사 Mms 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템
KR101996623B1 (ko) * 2018-12-11 2019-07-04 주식회사 맵퍼스 Gps 궤적 품질 지표를 이용한 고정밀 지도 데이터 구축 방법 및 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10065593A1 (de) * 2000-12-28 2002-07-04 Bosch Gmbh Robert Verfahren und Vorrichtung zum Erzeugen von Straßenabschnittdaten für eine digitale Landkarte
EP2583263B1 (de) * 2010-06-15 2014-03-19 Conti Temic Microelectronic GmbH Verfahren zur fusion eines verkehrszeichenerkennungssystems und eines spurerkennungssystems eines kraftfahrzeugs
KR101348941B1 (ko) 2011-12-30 2014-01-16 한국과학기술연구원 무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량
EP4254383A3 (en) * 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US10387298B2 (en) * 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
CN109791615B (zh) * 2017-05-05 2023-07-28 京东方科技集团股份有限公司 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品
US11023707B2 (en) * 2017-10-27 2021-06-01 Avigilon Corporation System and method for selecting a part of a video image for a face detection operation
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
US10275689B1 (en) * 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10963706B2 (en) * 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
WO2020085540A1 (en) * 2018-10-25 2020-04-30 Samsung Electronics Co., Ltd. Augmented reality method and apparatus for driving assistance
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
US11249984B2 (en) * 2019-05-22 2022-02-15 Here Global B.V. System and method for updating map data in a map database
US10949982B1 (en) * 2019-06-21 2021-03-16 Amazon Technologies, Inc. Moving object recognition, speed estimation, and tagging
US11521371B2 (en) * 2019-12-26 2022-12-06 Woven Planet North America, Inc. Systems and methods for semantic map-based adaptive auto-exposure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160027735A (ko) * 2014-09-02 2016-03-10 네이버비즈니스플랫폼 주식회사 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
KR20180131154A (ko) * 2017-05-31 2018-12-10 현대엠엔소프트 주식회사 Mms 차량의 고정밀 주행 궤적을 이용한 차선 필터링 및 차선 지도 구축 방법
KR20190003884A (ko) * 2017-06-30 2019-01-10 현대엠엔소프트 주식회사 지도 정보 갱신 장치, 방법 및 시스템
KR101996623B1 (ko) * 2018-12-11 2019-07-04 주식회사 맵퍼스 Gps 궤적 품질 지표를 이용한 고정밀 지도 데이터 구축 방법 및 시스템

Also Published As

Publication number Publication date
US20210012124A1 (en) 2021-01-14
US11288526B2 (en) 2022-03-29
KR102091580B1 (ko) 2020-03-20

Similar Documents

Publication Publication Date Title
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
CN112991791B (zh) 交通信息识别和智能行驶方法、装置、设备及存储介质
JP6984379B2 (ja) 道路構造データ生成装置
CN112667837A (zh) 图像数据自动标注方法及装置
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
WO2018135852A1 (ko) 경도선/위도선을 기반으로 교통로를 구성하고, 지도 검색을 수행하는 방법 및 장치
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN113358125B (zh) 一种基于环境目标检测和环境目标地图的导航方法及系统
WO2021015435A1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
CN113008247B (zh) 用于矿区的高精地图构建方法及装置
JPH11272328A (ja) 色標識，移動ロボットおよび移動ロボットの誘導方法
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
TWI725681B (zh) 無人載具語意地圖建置系統及其建置方法
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2021158062A1 (ko) 이동수단의 위치인식방법 및 위치인식시스템
WO2018161278A1 (zh) 无人驾驶汽车系统及其控制方法、汽车
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN112651991A (zh) 视觉定位方法、装置及计算机系统
CN109978953A (zh) 用于目标三维定位的方法及系统
CN112880692B (zh) 地图数据标注方法及装置、存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19936887

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19936887

Country of ref document: EP

Kind code of ref document: A1