WO2018153304A1 - 基于adas系统的地图道路标记及道路质量采集装置及方法 - Google Patents

基于adas系统的地图道路标记及道路质量采集装置及方法 Download PDF

Info

Publication number
WO2018153304A1
WO2018153304A1 PCT/CN2018/076440 CN2018076440W WO2018153304A1 WO 2018153304 A1 WO2018153304 A1 WO 2018153304A1 CN 2018076440 W CN2018076440 W CN 2018076440W WO 2018153304 A1 WO2018153304 A1 WO 2018153304A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
road
image
defect
module
Prior art date
Application number
PCT/CN2018/076440
Other languages
English (en)
French (fr)
Inventor
刘国虎
王述良
许端
程建伟
Original Assignee
武汉极目智能技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉极目智能技术有限公司 filed Critical 武汉极目智能技术有限公司
Priority to US16/488,032 priority Critical patent/US20200041284A1/en
Publication of WO2018153304A1 publication Critical patent/WO2018153304A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to the field of automotive electronic technology, in particular to a map road marking and road quality collecting device and method based on an ADAS system.
  • ADAS Advanced Driving Assistant System
  • LDW latitude and low-latency
  • FCW front vehicle collision
  • PCW pedestrian detection
  • the road data collection work for high precision is basically the use of a dedicated map collection vehicle, and the installation of laser radar and other equipment on the collection vehicle, the cost is in the millions to 10 million, and requires specialized personnel and time.
  • the collection of road quality, such as defects and flatness, is also achieved by using a special collection vehicle, which is equipped with multiple laser instruments and gratings. The cost is high and the operation efficiency of the person is low.
  • the technical problem to be solved by the present invention is to provide a map road marking and road quality collecting device and method based on the ADAS system, in view of the defects of high quality and low efficiency in identifying road quality by devices such as laser radar and the like in the prior art.
  • the invention provides a map road marking and road quality collecting device based on an ADAS system, which comprises the following modules:
  • An image acquisition module for acquiring a color image in front of the traveling vehicle in real time
  • An image preprocessing module for converting a color image into a grayscale image
  • the ADAS module is used to identify the vehicle, pedestrian and obstacle areas in the grayscale image, and to perform lane line detection on the grayscale image, to output the feature point set of the lane line in the image, the line equation and its lane region in the image. ;
  • the lane line position calculation module is configured to inversely transform the feature point set of the lane line to the physical world coordinate system coordinate centered on the camera, perform curve fitting on the feature point after transforming the coordinate system, and calculate lane line position information;
  • a lane indicator detection module for detecting a lane direction function mark in the lane area, including a straight line, a left turn, a right turn, a turn head, and a straight left turn mark;
  • the lane defect detection module is configured to exclude the identified vehicle, pedestrian and obstacle regions in each lane region, obtain a defect detection ROI region, and detect whether the defect detection ROI region exists in the ROI region according to the gray image in the defect detection ROI region.
  • the data processing module is configured to extract corresponding road defect information, including defect type, road quality, position information, and original image information, in the region where the road defect exists, and extract the identified lane direction function mark and corresponding position information thereof, and pass the data processing module
  • the wireless communication method sends the road defect information and the lane direction function flag to the remote server, and dynamically updates and supplements the map data in real time.
  • a sensor module is further included for detecting acceleration in three orthogonal directions during running of the vehicle, and judging the degree of bumpiness of the road by the magnitude of the acceleration, obtaining road bump data; and transmitting road bump data to the lane
  • the defect detecting module, the lane defect detecting module outputs the road defect information according to the road bump data and the grayscale image in the defect detection ROI region.
  • the device further includes a positioning module for acquiring latitude and longitude information of the vehicle position in real time.
  • the device further includes a storage module for buffering data of each module and road image data, and a transmission module for communicating with the remote server.
  • the invention provides a map road marking and road quality collecting method based on an ADAS system, which comprises the following steps:
  • the area that does not conform to the normal road surface texture is selected as the lane area with defects, and sample training is performed on these areas to identify road defects;
  • step S4 further includes: acquiring acceleration information of three forward directions of the vehicle as lane bump information in real time, evaluating the lane quality by combining the result of the road defect recognition and the lane bump information, and outputting the lane quality evaluation and the position information thereof;
  • step S1 is:
  • S15 Perform primary selection on the lane line according to a priori condition of the lane line, including a length, a width, a color of the lane line, a turning radius and a width of the lane curve;
  • step S2 is:
  • step S3 is:
  • step S4 is:
  • S42 Perform sample training on the defective lane area, obtain a classifier, and identify a road defect
  • step S45 Select a feature point in the region according to the lane region where the quality defect is determined according to step S44, calculate coordinates of the region in combination with the positioning data, and determine position information in the world coordinate;
  • the beneficial effects produced by the invention are: the ADAS system-based map road marking and road quality collecting device and method, the popularized, low-cost, timely and updated map road marking collection scheme; the replacement laser scanning vehicle contour
  • the cost and update data are not timely, the cost is relatively low, and the update is timely, and there is no need for special collection vehicles and special operations; the road marking and road quality are collected at the same time, greatly improving efficiency and reducing costs.
  • FIG. 1 is a schematic structural view of a device according to an embodiment of the present invention.
  • FIG. 3 is a flow chart of lane line detection according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of lane indication mark detection according to an embodiment of the present invention.
  • FIG. 6 is a block diagram of lane defect detection according to an embodiment of the present invention.
  • A1-visual image module A2-high-precision positioning module, A3-multi-axis accelerometer, A4- arithmetic unit, A41-multi-thread processor CPU, A42-parallel acceleration unit, A6-communication module, A7-storage Module, A8-display output module, 101-image acquisition module, 102-image pre-processing module, 103-ADAS module, 13A-other ADAS function module, 13B-lane line detection module, 104-sensor module, 105-lane indicator Detection module, 106-lane line position calculation module, 107-lane defect detection module, 108-data processing module, 109-storage module, 110-transmission module.
  • the map road marking and road quality collecting device based on the ADAS system of the embodiment of the present invention includes the following modules:
  • the image acquisition module is configured to acquire a color image in front of the traveling vehicle in real time; the image acquisition module is a monocular camera.
  • An image preprocessing module for converting a color image into a grayscale image
  • the ADAS module is used to identify the vehicle, pedestrian and obstacle areas in the grayscale image, and to perform lane line detection on the grayscale image, to output the feature point set of the lane line in the image, the line equation and its lane region in the image. ;
  • the lane line position calculation module is configured to inversely transform the feature point set of the lane line to the physical world coordinate system coordinate centered on the camera, perform curve fitting on the feature point after transforming the coordinate system, and calculate lane line position information;
  • a lane indicator detection module for detecting a lane direction function mark in the lane area, including a straight line, a left turn, a right turn, a turn head, and a straight left turn mark;
  • the sensor module is configured to detect the acceleration in three orthogonal directions during the running of the vehicle, and determine the degree of bumpiness of the road by the magnitude of the acceleration to obtain road bump data;
  • the lane defect detection module is configured to exclude the identified vehicle, pedestrian and obstacle areas in each lane area, obtain a defect detection ROI area, and detect a defect detection ROI according to the road bump data and the gray image in the defect detection ROI area. Whether there are road defects in the area, identifying the type of defects and evaluating the quality of the road;
  • the data processing module is configured to extract corresponding road defect information, including defect type, road quality, position information, and original image information, in the region where the road defect exists, and extract the identified lane direction function mark and corresponding position information thereof, and pass the data processing module
  • the wireless communication method sends the road defect information and the lane direction function flag to the remote server, and dynamically updates and supplements the map data in real time.
  • the apparatus of the invention is implemented by the following components:
  • Visual image module A1 real-time acquisition of image sequences by a monocular camera
  • High-precision positioning module A2 for real-time and accurate acquisition of latitude and longitude information of vehicle position
  • Multi-axis acceleration sensor A3 used to determine the motion data of the vehicle including the traveling direction and the driving acceleration (speed);
  • Arithmetic unit A4 Input for comprehensively processing image information and motion information, and obtaining road markings and road quality outputs for high-precision maps.
  • the component of the arithmetic unit A4 is multi-threaded by the CPU A41: the core arithmetic processing unit;
  • the component parallel expansion unit A42 of the arithmetic unit A4 accelerates the operation of the multi-thread processing CPU A41 to improve the operation efficiency to meet the real-time performance of the high-precision map output;
  • Communication module A6 The output result of each function module is transmitted to the server, and the data can be obtained from the server to supplement the lack and deficiency of the high-precision map output result information;
  • Storage module A7 used for cache of high-precision map data
  • Display output module A8 The collected lane line position information, lane indication mark, road defect and other information are transmitted to the remote server through the 2G/3G/4G signal.
  • the present invention can realize functions including lane markings and positions, road defects, and the like, and the functional modules are composed as shown in FIG. 2 .
  • the image acquisition module 101 is a monocular vision camera, and acquires a visual color picture in front of the vehicle in real time.
  • the image preprocessing module 102 converts the color picture acquired by the image acquisition module 101 into a gray image to reduce the calculation dimension to improve the real-time efficiency of the operation.
  • ADAS module 103 Other ADAS function module 13A recognizes obstacles such as vehicles and pedestrians in front, and the module outputs an area where obstacles are in the image. This part is not the focus of the present invention and will not be described in detail.
  • the lane line detection module 13B detects the lane line, outputs a feature point set of the lane line in the image, a straight line equation, and its lane area in the image.
  • the sensor module 104 a three-axis acceleration sensor detects the acceleration in three orthogonal directions during the running of the vehicle, and can determine the degree of bumpiness of the road surface.
  • the lane indicator detecting module 105 detects a lane direction function and the like in the lane, such as a straight line, a left turn, a right turn, a U-turn, a straight turn, and the like.
  • the lane line position calculation module 106 transforms the lane line feature points output by the lane line detection module 13B into a physical world coordinate system coordinate centered on the camera, and performs curve fitting on the feature points after the transformation coordinate system, and can calculate The physical distance of the lane line.
  • the lane defect detection module 107 in the lane area output by the lane line detection module 13B, excludes the vehicle, the obstacle, and the like detected by the other ADAS function module 13A, and obtains the defect detection ROI area, and detects whether or not the defect detection ROI area is in the picture.
  • There are road defects detecting grayscale images in the ROI area based on road bump data and defect detection, detecting whether there are road defects in the ROI area of the defect detection, identifying the defect type and evaluating the road quality.
  • the data processing module 108 synthesizes and filters information such as lane line position information, lane indication marks, road defects, and the like, and performs transmission or buffering.
  • the storage module 109 caches each module data; image video and the like.
  • the transmission module 110 transmits the collected lane line position information, the lane indication mark, the road defect and the like to the remote server through the 2G/3G/4G signal, and exchanges other data.
  • step S1 The specific method of step S1 is:
  • S15 Perform primary selection on the lane line according to a priori condition of the lane line, including a length, a width, a color of the lane line, a turning radius and a width of the lane curve;
  • step S2 The specific method of step S2 is:
  • step S3 The specific method of step S3 is:
  • the area that does not conform to the normal road surface texture is selected as the lane area with defects, and sample training is performed on these areas to identify road defects; the three-axis acceleration information of the vehicle is acquired in real time as the lane bump.
  • step S4 The specific method of step S4 is:
  • S42 Perform sample training on the defective lane area, obtain a classifier, and identify a road defect
  • step S45 Select a feature point in the region according to the lane region where the quality defect is determined according to step S44, calculate coordinates of the region in combination with the positioning data, and determine position information in the world coordinate;
  • the method includes the following steps:
  • Step 01 Acquire an image sequence containing road information in real time
  • Step 02 performing grayscale processing on the color image
  • Step 03 Perform binarization processing on the grayscale image to obtain a binarization map including rich lane line information
  • Step 04 Perform image segmentation on the binarization map, such as a hough transform to extract a line, and extract a lane line pixel point;
  • Step 05 According to the a priori condition of the lane line, the length, the width, the color of the straight line, the curve turning radius, the width, etc., the lane line is initially selected;
  • Step 06 Calculate the gradient value of the lane line edge (the gray level difference between the foreground pixel and the road background), the edge uniformity, the number of pixels, etc. as the lane line confidence parameter, and further refine the processing of the lane line based on the confidence level. As a result, a more accurate lane line extraction result is obtained;
  • Step 07 The detection result of the output lane line and the area where it is located provide data support for the lane line related functions, lane coordinates, and road defects.
  • the implementation steps of implementing the lane GPS position output function are as follows:
  • Step 08 The pixel coordinates of the feature points of the lane line are converted to the world coordinates by a perspective transformation method
  • Step 09 performing curve fitting on the feature points of the lane lines in the world coordinates to obtain a curve equation of the lane lines;
  • Step 10 According to the world coordinates and curve equation, give the position of the lane in the world coordinates;
  • Step 11 Combine GPS data to locate the lane position.
  • the steps of implementing lane marking detection are as follows:
  • Step 12 Extract road marking texture features according to the image sequence
  • Step 13 Determine the lane area according to step 7, and combine the texture feature of step 12 to initially identify the indicator mark;
  • Step 14 selecting a recognition result that is a final indicator mark with a higher weight according to the preliminary selection result of the lane indication mark of step 13;
  • Step 15 Based on the lane indication mark determined in step 14, selecting a feature point and calculating coordinates of the lane indication mark in combination with the positioning data, thereby determining a position of the indication mark in world coordinates;
  • Step 16 Output lane indication mark position information.
  • the detection of the lane quality can be realized, and the specific implementation steps are as follows:
  • Step 17 According to step 12 and step 7, the area that does not conform to the normal road surface texture is selected as the lane area with defects;
  • Step 18 Based on the possible result of the road defect area in step 17, the resulting sample trainer is used to identify the road defect;
  • Step 19 synchronously collect the vertical component data of the acceleration sensor A3, and record the acceleration moment where the large jitter occurs, as the judgment basis of the lane bump;
  • Step 20 comprehensively consider the recognition results of steps 18 and 19 to determine whether there is a quality defect in the lane;
  • Step 21 selecting a feature point in the region based on the region with the quality defect determined in step 20, and calculating coordinates of the region in combination with the positioning data to determine position information in the world coordinate;
  • Step 22 Output the defect result, which is sent to the server through the transmission module 110 for driving navigation.
  • This solution is integrated with the ADAS function.
  • the cost of the ADAS device is relatively low, and the popularity is higher and higher. It can be installed and used in any ordinary vehicle. Realize the dynamic real-time update of map data while enhancing driving safety during daily normal driving process, and simultaneously collect map data data and lane quality collection, greatly improve efficiency and reduce efficiency under the premise of ensuring accuracy and quality. cost.
  • the basic algorithm of the high-precision positioning system used at present is the pattern recognition algorithm, but with the improvement of computer computing performance and the improvement of the deep learning algorithm, the functions involved in the present invention can all pass the deep learning algorithm, namely CNN (convolution neural network). ), identification of lane indication marks, lane lines, street signs (speed limit cards, forbidden signs, and other road information indication marks, etc.).
  • CNN convolution neural network
  • identification of lane indication marks, lane lines, street signs speed limit cards, forbidden signs, and other road information indication marks, etc.
  • High-precision road marking data acquisition method that is easy to popularize, low-cost, and timely update data, used to update high-precision map data in real time.
  • the road position accuracy can be achieved to reach the 10CM level.
  • Width lane marking width
  • Type single solid line, dotted line, double line
  • Lane driving direction straight line, left turn, right turn, turn around and other identification classification and quality evaluation.
  • Guidance information for road maintenance can also be used as a supplement to map data to provide user-friendly forecasting tips.
  • a scene such as a pre-alert may be pre-empted before entering a road with poor road quality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于ADAS系统的地图道路标记及道路质量采集装置及方法，该方法包括：S1、实时获取车辆行进中的道路彩色图像，提取车道线和车道区域；S2、提取车道线的特征点图像坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；S3、输出车道指示标记及其位置信息；S4、输出车道质量评价及其位置信息；S5、根据步骤S3和步骤S4的输出结果，实时更新和补充地图数据。本发明提供一种易普及的、低成本的、数据更新及时的道路质量评价方案，用于道路维护保养的指导信息，也可做为地图数据的补充，提供人性化的预报提示，用于导航车载设备中，能够更新和补充道路质量信息。

Description

基于ADAS系统的地图道路标记及道路质量采集装置及方法 技术领域
本发明涉及汽车电子技术领域，尤其涉及一种基于ADAS系统的地图道路标记及道路质量采集装置及方法。
背景技术
高级驾驶辅助系统ADAS(Advanced Driving Assistant System)，基于视觉的ADAS系统在驾车过程中提供LDW(车道偏离)，FCW(前车碰撞)以及PCW(行人检测)等报警功能。近年来ADAS市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，应用会越来越来广泛。
目前用于高精度的道路数据采集工作基本都是使用专用地图采集车，采集车上安装激光雷达等设备，成本在数百万至千万，且需要专门人员及时间。而道路质量，如缺陷，平整度等的采集，也是使用专用采集车，采集车上安装多个激光仪器及光栅等设备来实现，成本较高，需要专人操作效率低。
发明内容
本发明要解决的技术问题在于针对现有技术中通过激光雷达等设备识别道路质量，成本高、效率低的缺陷，提供一种基于ADAS系统的地图道路标记及道路质量采集装置及方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供了一种基于ADAS系统的地图道路标记及道路质量采集装置，其特征在于，包括以下模块：
图像采集模块，用于实时获取行驶车辆前方的彩色图像；
图像预处理模块，用于将彩色图像转换为灰度图像；
ADAS模块，用于识别灰度图像中的车辆、行人和障碍物区域，并对灰度图像进行车道线检测，输出车道线在图像中的特征点集合、直线方程以及其在图像中的车道区域；
车道线位置计算模块，用于将车道线的特征点集合进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，计算出车道线位置信息；
车道指示标记检测模块，用于检测车道区域内的车道方向功能标记，包括直行、左转、右转、调头和直行左转标记；
车道缺陷检测模块，用于在各车道区域内，排除识别出的车辆、行人和障碍物区域，得到缺陷检测ROI区域，根据缺陷检测ROI区域内的灰度图像，检测缺陷检测ROI区域内是否存在道路缺陷，识别缺陷类型并评价道路质量；
数据处理模块，用于对存在道路缺陷的区域，提取出对应的道路缺陷信息，包括缺陷类型、道路质量、位置信息以及原始图像信息；提取识别到的车道方向功能标记及其对应位置信息，通过无线通信的方式将道路缺陷信息和车道方向功能标记发送至远程服务器，对地图数据进行实时动态更新和补充。
进一步的，还包括传感器模块，用于检测车辆行驶过程中的在三个正交方向的加速度大小，并通过加速度大小对路面颠簸程度进行判断，得到道路颠簸数据；并将道路颠簸数据发送给车道缺陷检测模块，车道缺陷检测模块根据道路颠簸数据和缺陷检测ROI区域内的灰度图像，输出道路缺陷信息。
进一步的，该装置还包括定位模块，用于实时获取车辆位置的经纬度信息。
进一步的，该装置还包括存储模块和传输模块，存储模块用于缓存各个模块的数据以及道路图像数据；传输模块用于与远程服务器进行通信。
本发明提供了一种基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于,包括以下步骤：
S1、实时获取车辆行进中的道路彩色图像，将其处理为灰度图像，车载ADAS系统根据灰度图像提取车道线和车道区域；
S2、提取车道线的特征点图像坐标，将其转换为世界坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；
S3、提取灰度图像中的道路纹理特征，对车道区域内的车道指示标记进行纹理识别，输出车道指示标记及其位置信息；
S4、根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域 作为存在缺陷的车道区域，对这些区域进行样本训练，识别道路缺陷；
S5、根据步骤S3和步骤S4的输出结果，实时更新和补充地图数据。
进一步的，步骤S4还包括：实时获取车辆的三个正向方向的加速度信息作为车道颠簸信息，结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，输出车道质量评价及其位置信息；
进一步的，步骤S1的具体方法为：
S11、实时获取车辆行进中的道路彩色图像；
S12、将彩色图像处理为灰度图像；
S13、将灰度图像进行二值化处理得到包含车道线信息的二值化图；
S14、对二值化图进行图像分割，采用hough变换提取直线的方法，提取车道线像素点；
S15、根据车道线先验条件，包括车道直线的长度、宽度、颜色，车道曲线转弯半径、宽度，对车道线进行初选；
S16、计算车道线边缘梯度值，即前景像素与道路背景的灰度差值，边缘整齐度以及像素数，综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；
S17、输出车道线以及车道区域。
进一步的，步骤S2的具体方法为：
S21、提取车道线的特征点图像坐标，通过透视变换方法，转换到世界坐标；
S22、对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；
S23、根据世界坐标及曲线方程，给出车道线在世界坐标下的位置；
S24、实时获取车辆行驶的位置信息，定位车道位置。
进一步的，步骤S3的具体方法为：
S31、提取车道灰度图像中的道路纹理特征；
S32、根据车道区域和道路纹理特征，初步识别指示标记；
S33、根据车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；
S34、根据车道的最终指示标记的识别结果，选取特征点并结合定位数据计 算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；
S35、输出车道指示标记及其位置信息。
进一步的，步骤S4的具体方法为：
S41、提取车道灰度图像中的道路纹理特征，根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；
S42、对存在缺陷的车道区域进行样本训练，得到分类器，识别道路缺陷；
S43、实时采集车辆的三轴加速度信息，将竖向加速度分量作为车道颠簸信息，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；
S44、结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，确定存在质量缺陷的车道区域；
S45、根据步骤S44确定的存在质量缺陷的车道区域，选择区域中的特征点，结合定位数据计算该区域的坐标，确定其在世界坐标下的位置信息；
S46、输出车道缺陷结果及其位置信息。
本发明产生的有益效果是：本发明的基于ADAS系统的地图道路标记及道路质量采集装置及方法，易普及的、低成本的、数据更新及时的地图道路标记采集方案；替代激光扫描车等高成本、更新数据不及时的方案，较大程度较低成本，且更新较及时，且不需要专用采集车及专人操作；将道路标记及道路质量同时采集，大大提高效率降低成本。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的装置组成结构示意图；
图2是本发明实施例的实现功能图；
图3是本发明实施例的车道线检测流程图；
图4是本发明实施例的车道坐标计算流程图；
图5是本发明实施例的车道指示标记检测流程图；
图6是本发明实施例的车道缺陷检测框图；
图中：A1-视觉图像模块，A2-高精度定位模块，A3-多轴加速度传感器，A4- 运算单元，A41-多线程处理器CPU，A42-并行加速单元，A6-通讯模块，A7-存储模块，A8-显示输出模块，101-图像采集模块，102-图像预处理模块，103-ADAS模块，13A-其他ADAS功能模块，13B-车道线检测模块，104-传感器模块，105-车道指示标记检测模块，106-车道线位置计算模块，107-车道缺陷检测模块，108-数据处理模块，109-存储模块，110-传输模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1和图2所示，本发明实施例的基于ADAS系统的地图道路标记及道路质量采集装置，包括以下模块：
图像采集模块，用于实时获取行驶车辆前方的彩色图像；图像采集模块为单目摄像头。
图像预处理模块，用于将彩色图像转换为灰度图像；
ADAS模块，用于识别灰度图像中的车辆、行人和障碍物区域，并对灰度图像进行车道线检测，输出车道线在图像中的特征点集合、直线方程以及其在图像中的车道区域；
车道线位置计算模块，用于将车道线的特征点集合进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，计算出车道线位置信息；
车道指示标记检测模块，用于检测车道区域内的车道方向功能标记，包括直行、左转、右转、调头和直行左转标记；
传感器模块，用于检测车辆行驶过程中的在三个正交方向的加速度大小，并通过加速度大小对路面颠簸程度进行判断，得到道路颠簸数据；
车道缺陷检测模块，用于在各车道区域内，排除识别出的车辆、行人和障碍物区域，得到缺陷检测ROI区域，根据道路颠簸数据和缺陷检测ROI区域内的灰度图像，检测缺陷检测ROI区域内是否存在道路缺陷，识别缺陷类型并评 价道路质量；
数据处理模块，用于对存在道路缺陷的区域，提取出对应的道路缺陷信息，包括缺陷类型、道路质量、位置信息以及原始图像信息；提取识别到的车道方向功能标记及其对应位置信息，通过无线通信的方式将道路缺陷信息和车道方向功能标记发送至远程服务器，对地图数据进行实时动态更新和补充。
在本发明的另一个具体实施例中，通过以下组成部分实现本发明的装置：
1.视觉图像模块A1：用单目摄像头实时采集图像序列；
2.高精度定位模块A2：用于实时、精准的获取车辆位置的经纬度信息
3.多轴加速度传感器A3：用于确定车辆的包括行驶方向、行驶加速度(速度)在内的运动数据；
4.运算单元A4：用于综合处理图像信息及运动信息在内的输入，得到用于高精度地图的道路标记及道路质量输出。
5.运算单元A4的组成部分多线程处理CPU A41：核心的运算处理单元；
6.运算单元A4的组成部分并行加速单元A42:对多线程处理CPU A41进行运算加速，提高运算效率，以满足高精度地图输出的实时性；
7.通讯模块A6:将各功能模块的输出结果传输给服务器，并可以从服务器中获取数据以补充高精度地图输出结果信息的缺失和不足；
8.存储模块A7：用于高精度地图数据的缓存；
9.显示输出模块A8：通过2G/3G/4G信号将采集到的车道线位置信息、车道指示标记、道路缺陷等信息传输至远程服务器。
基于上述模块，本发明可实现包括车道标记及位置、道路缺陷等功能，功能模块组成如图2所示。
图像采集模块101：为单目视觉摄像机，实时获取车辆前方视觉彩色图片。
图像预处理模块102：将图像采集模块101获取到的彩色图片转变为灰度图像，以降低计算维度，以提高运算效率实时性。
ADAS模块103：其它ADAS功能模块13A，识别前方车辆、行人等障碍物，本模块输出障碍物在图像中的区域，此部分不是本发明重点，将不做详细说明。车道线检测模块13B，检测车道线，输出车道线在图像中的特征点集合、直线方 程、以及其在图像中的车道区域。
传感器模块104：三轴加速度传感器，检测车辆行驶过程中的在三个正交方向的加速度大小，可实现对路面颠簸程度的判断。
车道指示标记检测模块105：检测车道内的车道方向功能等标记，如：直行、左转、右转、调头、直行左转等标记。
车道线位置计算模块106：将车道线检测模块13B输出的车道线特征点，进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，可算出车道线的物理距离。
车道缺陷检测模块107：在车道线检测模块13B输出的各车道区域，排除其它ADAS功能模块13A检测出的车辆、障碍物等区域，得到缺陷检测ROI区域，在图片中缺陷检测ROI区域内检测是否存在道路缺陷，根据道路颠簸数据和缺陷检测ROI区域内的灰度图像，检测缺陷检测ROI区域内是否存在道路缺陷，识别缺陷类型并评价道路质量。
数据处理模块108：综合、筛选车道线位置信息、车道指示标记、道路缺陷等信息，进行传输或缓存。
存储模块109：缓存各模块数据；图像视频等。
传输模块110：通过2G/3G/4G信号将采集到的车道线位置信息、车道指示标记、道路缺陷等信息传输至远程服务器，并交换其它数据。
本发明实施例的基于ADAS系统的地图道路标记及道路质量采集方法，包括以下步骤：
S1、实时获取车辆行进中的道路彩色图像，将其处理为灰度图像，车载ADAS系统根据灰度图像提取车道线和车道区域；
步骤S1的具体方法为：
S11、实时获取车辆行进中的道路彩色图像；
S12、将彩色图像处理为灰度图像；
S13、将灰度图像进行二值化处理得到包含车道线信息的二值化图；
S14、对二值化图进行图像分割，采用hough变换提取直线的方法，提取车道线像素点；
S15、根据车道线先验条件，包括车道直线的长度、宽度、颜色，车道曲线转弯半径、宽度，对车道线进行初选；
S16、计算车道线边缘梯度值，即前景像素与道路背景的灰度差值，边缘整齐度以及像素数，综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；
S17、输出车道线以及车道区域。
S2、提取车道线的特征点图像坐标，将其转换为世界坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；
步骤S2的具体方法为：
S21、提取车道线的特征点图像坐标，通过透视变换方法，转换到世界坐标；
S22、对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；
S23、根据世界坐标及曲线方程，给出车道线在世界坐标下的位置；
S24、实时获取车辆行驶的位置信息，定位车道位置。
S3、提取灰度图像中的道路纹理特征，对车道区域内的车道指示标记进行纹理识别，输出车道指示标记及其位置信息；
步骤S3的具体方法为：
S31、提取车道灰度图像中的道路纹理特征；
S32、根据车道区域和道路纹理特征，初步识别指示标记；
S33、根据车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；
S34、根据车道的最终指示标记的识别结果，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；
S35、输出车道指示标记及其位置信息。
S4、根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域，对这些区域进行样本训练，识别道路缺陷；实时获取车辆的三轴加速度信息作为车道颠簸信息，结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，输出车道质量评价及其位置信息；
步骤S4的具体方法为：
S41、提取车道灰度图像中的道路纹理特征，根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；
S42、对存在缺陷的车道区域进行样本训练，得到分类器，识别道路缺陷；
S43、实时采集车辆的三轴加速度信息，将竖向加速度分量作为车道颠簸信息，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；
S44、结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，确定存在质量缺陷的车道区域；
S45、根据步骤S44确定的存在质量缺陷的车道区域，选择区域中的特征点，结合定位数据计算该区域的坐标，确定其在世界坐标下的位置信息；
S46、输出车道缺陷结果及其位置信息。
S5、根据步骤S3和步骤S4的输出结果，实时更新和补充地图数据。
如图3所示，在本发明的另一个具体实施例中，该方法包括以下步骤：
步骤01：实时采集包含道路信息的图像序列；
步骤02：对彩色图像进行灰度处理；
步骤03：将灰度图像进行二值化处理得到包含丰富车道线信息的二值化图；
步骤04：对二值化图进行图像分割，如hough变换提取直线等方法，提取车道线像素点；
步骤05：根据车道线先验条件，直线的长度、宽度、颜色等，曲线转弯半径、宽度等，对车道线进行初选；
步骤06：计算车道线边缘梯度值(前景像素与道路背景的灰度差值)，边缘整齐度，像素数等综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；
步骤07：输出车道线的检测结果及其所在的区域为车道线相关的功能及车道坐标、道路缺陷提供数据支撑。
如图4所示，基于车道线检测结果，实现车道GPS位置输出功能实现步骤如下：
步骤08：车道线特征点的像素坐标，通过透视变换方法，转换到世界坐标；
步骤09：对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线 方程；
步骤10：根据世界坐标及曲线方程，给出车道在世界坐标下的位置；
步骤11：结合GPS数据，定位车道位置。
如图5所示，基于道路检测结果，实现车道标记检测的步骤如下：
步骤12：根据图像序列提取道路标记纹理特征；
步骤13：根据步骤7确定车道区域，并结合步骤12纹理特征，初步识别指示标记；
步骤14：根据步骤13车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；
步骤15：基于步骤14所确定的车道指示标记，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；
步骤16：输出车道指示标记位置信息。
如图6所示，根据车道图像数据及加速度传感器数据，可实现车道质量的检测，具体实现步骤如下：
步骤17：根据步骤12和步骤7，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；
步骤18：基于步骤17道路缺陷区域的可能结果，结果样本训练得到的分类器，识别道路缺陷；
步骤19：同步采集加速度传感器A3的竖向分量数据，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；
步骤20：综合考虑步骤18和步骤19的识别结果，判断车道是否存在质量缺陷；
步骤21：基于步骤20所确定的存在质量缺陷的区域，选择区域中的特征点，结合定位数据计算该区域的坐标，以确定其在世界坐标下的位置信息；
步骤22：输出缺陷结果，通过传输模块110发送至服务器，以用于行车导航。
本方案与ADAS功能融合，ADAS设备相对采集车成本较低，且普及程度越来越高，可在任何普通车辆较简单安装使用。在日常正常行驶过程增强行车安全 的同时实现地图数据的动态实时更新补充，且将地图数据数据采集及车道质量采集同时进行，在保证精度和质量的前提下，极大的提高了效率，降低了成本。
目前所用的高精度定位系统的基本算法为模式识别算法，但随着计算机运算性能的提升及深度学习算法的改进，本发明所涉及的功能均可通过深度学习算法，即CNN(卷积神经网络)，实现车道指示标记、车道线、路牌(限速牌，禁行标记及其他道路信息指示标记等)的识别等。因此，算法本身是本发明可替代的方案，而不在于本发明所涵盖的内容。
本发明的优点如下：
1、易普及的、低成本的、数据更新及时的高精度道路标记数据采集方法，用于实时更新高精度地图数据。道路位置精度实现能到达10CM级别。
实现如下信息的采集：
(1)车道标线(车道线)：
位置：转换为精纬度表示，可精确至10CM级；
宽度：车道标线宽度；
类型：单实线、虚线、双线；
颜色：白色、黄色；
质量：对比度，残缺程度；
(2)车道指示标志：
车道行驶方向：直行、左转、右转、调头等识别分类及其质量评价。
2、易普及的、低成本的、数据更新及时的道路质量评价方案。用于道路维护保养的指导信息，也可做为地图数据的补充，提供人性化的预报提示。如用于导航等车载设备中，驶入道路质量较差的路之前可预先提醒等场景。
道路质量：平整度；
道路缺陷：裂缝类、松散、车辙、沉陷、拥包等。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

  1. 一种基于ADAS系统的地图道路标记及道路质量采集装置，其特征在于，包括以下模块：
    图像采集模块，用于实时获取行驶车辆前方的彩色图像；
    图像预处理模块，用于将彩色图像转换为灰度图像；
    ADAS模块，用于识别灰度图像中的车辆、行人和障碍物区域，并对灰度图像进行车道线检测，输出车道线在图像中的特征点集合、直线方程以及其在图像中的车道区域；
    车道线位置计算模块，用于将车道线的特征点集合进行逆透视变换至以摄像机为中心的物理世界坐标系坐标，对变换坐标系后特征点进行曲线拟合，计算出车道线位置信息；
    车道指示标记检测模块，用于检测车道区域内的车道方向功能标记，包括直行、左转、右转、调头和直行左转标记；
    车道缺陷检测模块，用于在各车道区域内，排除识别出的车辆、行人和障碍物区域，得到缺陷检测ROI区域，根据缺陷检测ROI区域内的灰度图像，检测缺陷检测ROI区域内是否存在道路缺陷，识别缺陷类型并评价道路质量；
    数据处理模块，用于对存在道路缺陷的区域，提取出对应的道路缺陷信息，包括缺陷类型、道路质量、位置信息以及原始图像信息；提取识别到的车道方向功能标记及其对应位置信息，通过无线通信的方式将道路缺陷信息和车道方向功能标记发送至远程服务器，对地图数据进行实时动态更新和补充。
  2. 根据权利要求1所述的基于ADAS系统的地图道路标记及道路质量采集装置，其特征在于，还包括传感器模块，用于检测车辆行驶过程中的在三个正交方向的加速度大小，并通过加速度大小对路面颠簸程度进行判断，得到道路颠簸数据；并将道路颠簸数据发送给车道缺陷检测模块，车道缺陷检测模块根据道路颠簸数据和缺陷检测ROI区域内的灰度图像，输出道路缺陷信息。
  3. 根据权利要求1或2所述的基于ADAS系统的地图道路标记及道路质量采集装置，其特征在于，该装置还包括定位模块，用于实时获取车辆位置的经纬度信息。
  4. 根据权利要求1或2所述的基于ADAS系统的地图道路标记及道路质量采集装置，其特征在于，该装置还包括存储模块和传输模块，存储模块用于缓存各个模块的数据以及道路图像数据；传输模块用于与远程服务器进行通信。
  5. 一种基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于,包括以下步骤：
    S1、实时获取车辆行进中的道路彩色图像，将其处理为灰度图像，车载ADAS系统根据灰度图像提取车道线和车道区域；
    S2、提取车道线的特征点图像坐标，将其转换为世界坐标，并实时获取车辆行驶的位置信息，得到车道线的位置信息；
    S3、提取灰度图像中的道路纹理特征，对车道区域内的车道指示标记进行纹理识别，输出车道指示标记及其位置信息；
    S4、根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域，对这些区域进行样本训练，识别道路缺陷；
    S5、根据步骤S3和步骤S4的输出结果，实时更新和补充地图数据。
  6. 根据权利要求5所述的基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于，步骤S4还包括：实时获取车辆的三个正向方向的加速度信息作为车道颠簸信息，结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，输出车道质量评价及其位置信息；
  7. 根据权利要求5或6所述的基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于，步骤S1的具体方法为：
    S11、实时获取车辆行进中的道路彩色图像；
    S12、将彩色图像处理为灰度图像；
    S13、将灰度图像进行二值化处理得到包含车道线信息的二值化图；
    S14、对二值化图进行图像分割，采用hough变换提取直线的方法，提取车道线像素点；
    S15、根据车道线先验条件，包括车道直线的长度、宽度、颜色，车道曲线转弯半径、宽度，对车道线进行初选；
    S16、计算车道线边缘梯度值，即前景像素与道路背景的灰度差值，边缘整齐度以及像素数，综合做为车道线置信度参数，根据置信度进一步精细化处理车道线的初选结果，得到更为精确的车道线提取结果；
    S17、输出车道线以及车道区域。
  8. 根据权利要求5或6所述的基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于，步骤S2的具体方法为：
    S21、提取车道线的特征点图像坐标，通过透视变换方法，转换到世界坐标；
    S22、对世界坐标下车道线的特征点进行曲线拟合，得到车道线的曲线方程；
    S23、根据世界坐标及曲线方程，给出车道线在世界坐标下的位置；
    S24、实时获取车辆行驶的位置信息，定位车道位置。
  9. 根据权利要求5或6所述的基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于，步骤S3的具体方法为：
    S31、提取车道灰度图像中的道路纹理特征；
    S32、根据车道区域和道路纹理特征，初步识别指示标记；
    S33、根据车道指示标记的初选结果，选择权重较高的作为最终指示标记的识别结果；
    S34、根据车道的最终指示标记的识别结果，选取特征点并结合定位数据计算车道指示标记的坐标，从而确定指示标记在世界坐标下的位置；
    S35、输出车道指示标记及其位置信息。
  10. 根据权利要求6所述的基于ADAS系统的地图道路标记及道路质量采集方法，其特征在于，步骤S4的具体方法为：
    S41、提取车道灰度图像中的道路纹理特征，根据车道区域内的道路纹理特征，初选出不符合正常路面纹理的区域作为存在缺陷的车道区域；
    S42、对存在缺陷的车道区域进行样本训练，得到分类器，识别道路缺陷；
    S43、实时采集车辆的三轴加速度信息，将竖向加速度分量作为车道颠簸信息，记录出现较大跳动的加速度时刻，作为车道颠簸的判断依据；
    S44、结合道路缺陷识别的结果和车道颠簸信息对车道质量进行评价，确定存在质量缺陷的车道区域；
    S45、根据步骤S44确定的存在质量缺陷的车道区域，选择区域中的特征点，结合定位数据计算该区域的坐标，确定其在世界坐标下的位置信息；
    S46、输出车道缺陷结果及其位置信息。
PCT/CN2018/076440 2017-02-22 2018-02-12 基于adas系统的地图道路标记及道路质量采集装置及方法 WO2018153304A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/488,032 US20200041284A1 (en) 2017-02-22 2018-02-12 Map road marking and road quality collecting apparatus and method based on adas system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710097560.7A CN106919915B (zh) 2017-02-22 2017-02-22 基于adas系统的地图道路标记及道路质量采集装置及方法
CN201710097560.7 2017-02-22

Publications (1)

Publication Number Publication Date
WO2018153304A1 true WO2018153304A1 (zh) 2018-08-30

Family

ID=59454514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/076440 WO2018153304A1 (zh) 2017-02-22 2018-02-12 基于adas系统的地图道路标记及道路质量采集装置及方法

Country Status (3)

Country Link
US (1) US20200041284A1 (zh)
CN (1) CN106919915B (zh)
WO (1) WO2018153304A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705527A (zh) * 2019-11-25 2020-01-17 甘肃建投重工科技有限公司 一种基于机器视觉自动识别的洗扫车路面高压预清洗装置
CN111311710A (zh) * 2020-03-20 2020-06-19 北京四维图新科技股份有限公司 一种高精地图的制作方法和装置、电子设备、存储介质
CN111400537A (zh) * 2020-03-19 2020-07-10 北京百度网讯科技有限公司 一种道路元素信息获取方法、装置和电子设备
CN112257724A (zh) * 2020-10-26 2021-01-22 武汉中海庭数据技术有限公司 一种道路外侧线置信度评估方法及系统
CN112817006A (zh) * 2020-12-29 2021-05-18 深圳市广宁股份有限公司 一种车载智能道路病害检测方法及系统
CN112837393A (zh) * 2019-11-22 2021-05-25 中国航天系统工程有限公司 基于车辆位置数据的特大城市矢量路网的生成方法及系统
CN113496182A (zh) * 2020-04-08 2021-10-12 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN114355946A (zh) * 2022-01-07 2022-04-15 哈尔滨工业大学 一种车辆驾驶引导系统
CN115457041A (zh) * 2022-11-14 2022-12-09 安徽乾劲企业管理有限公司 一种道路质量识别检测方法
CN117169121A (zh) * 2023-09-05 2023-12-05 南京交科数智科技发展有限公司 一种基于云边端架构的交通道路病害检测系统及方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919915B (zh) * 2017-02-22 2020-06-12 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107424150A (zh) * 2017-07-27 2017-12-01 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的道路破损检测方法及装置
CN107578002B (zh) * 2017-08-28 2021-01-05 沈阳中科创达软件有限公司 一种车道线识别结果的监测方法、装置、设备和介质
CN107463927A (zh) * 2017-09-21 2017-12-12 广东工业大学 一种基于卷积神经网络的道路减速带检测方法及装置
CN107704837A (zh) * 2017-10-19 2018-02-16 千寻位置网络有限公司 道路网拓扑和几何信息的提取方法
US11761783B2 (en) 2017-12-21 2023-09-19 Bayerische Motoren Werke Aktiengesellschaft Method, device and system for displaying augmented reality navigation information
CN108407864A (zh) * 2018-05-04 2018-08-17 中汽中心盐城汽车试验场有限公司 车道线采集装置及系统
CN110490032A (zh) * 2018-05-15 2019-11-22 武汉小狮科技有限公司 一种基于深度学习的路面环境感知方法及装置
CN108764465B (zh) * 2018-05-18 2021-09-24 中国科学院计算技术研究所 一种进行神经网络运算的处理装置
US20190362159A1 (en) * 2018-05-23 2019-11-28 GM Global Technology Operations LLC Crowd sourced construction zone detection for autonomous vehicle map maintenance
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
CN109063540B (zh) * 2018-06-08 2022-05-06 上海寰钛教育科技有限公司 一种图像处理方法和图像处理装置
CN109145718A (zh) * 2018-07-04 2019-01-04 国交空间信息技术（北京）有限公司 基于拓扑感知的遥感影像的路网提取方法及装置
CN110160542B (zh) * 2018-08-20 2022-12-20 腾讯科技（深圳）有限公司 车道线的定位方法和装置、存储介质、电子装置
CN110879943B (zh) * 2018-09-05 2022-08-19 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及系统
CN109584706B (zh) * 2018-10-31 2021-08-03 百度在线网络技术（北京）有限公司 电子地图车道线处理方法、设备及计算机可读存储介质
CN109374008A (zh) * 2018-11-21 2019-02-22 深动科技（北京）有限公司 一种基于三目摄像头的图像采集系统及方法
CN111256725A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 一种指示信息展示方法、装置、导航设备及存储介质
CN109635737B (zh) * 2018-12-12 2021-03-26 中国地质大学（武汉） 基于道路标记线视觉识别辅助车辆导航定位方法
CN113748315B (zh) * 2018-12-27 2024-06-07 北京嘀嘀无限科技发展有限公司 用于自动车道标记的系统
CN111380544A (zh) * 2018-12-29 2020-07-07 沈阳美行科技有限公司 车道线的地图数据生成方法及装置
CN109784234B (zh) * 2018-12-29 2022-01-07 阿波罗智能技术(北京)有限公司 一种基于前向鱼眼镜头的直角弯识别方法及车载设备
CN109740502B (zh) * 2018-12-29 2021-01-26 斑马网络技术有限公司 道路质量检测方法及装置
CN111402424A (zh) * 2019-01-02 2020-07-10 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN111428538B (zh) * 2019-01-09 2023-06-27 阿里巴巴集团控股有限公司 一种车道线提取方法、装置和设备
CN112026630A (zh) * 2019-03-04 2020-12-04 福州市长乐区三互信息科技有限公司 一种用于挂壁式冷藏集装箱的发电机组
CN110176000B (zh) * 2019-06-03 2022-04-05 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN110415299B (zh) * 2019-08-02 2023-02-24 山东大学 一种运动约束下基于设定路牌的车辆位置估计方法
CN112396051B (zh) * 2019-08-15 2024-05-03 纳恩博（北京）科技有限公司 可通行区域的确定方法及装置、存储介质、电子装置
CN112446234B (zh) * 2019-08-28 2024-07-19 北京初速度科技有限公司 一种基于数据关联的位置确定方法及装置
CN112711967A (zh) * 2019-10-24 2021-04-27 比亚迪股份有限公司 崎岖路面检测方法、装置、存储介质、电子设备和车辆
CN110906954A (zh) * 2019-12-02 2020-03-24 武汉中海庭数据技术有限公司 一种基于自动驾驶平台的高精度地图测试评估方法和装置
CN111080582B (zh) * 2019-12-02 2023-06-02 易思维（杭州）科技有限公司 工件内外表面缺陷检测方法
CN111144301A (zh) * 2019-12-26 2020-05-12 江西交通职业技术学院 一种基于深度学习的道路路面缺陷快速预警装置
FR3107763B1 (fr) * 2020-02-28 2022-01-28 Continental Automotive Procédé de cartographie tri-dimensionnelle et calculateur associé
CN111611862B (zh) * 2020-04-22 2022-09-09 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
CN111523606B (zh) * 2020-04-28 2023-04-28 中交信息技术国家工程实验室有限公司 一种道路信息的更新方法
CN111539363A (zh) * 2020-04-28 2020-08-14 中交信息技术国家工程实验室有限公司 一种公路落石识别分析方法
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111767874B (zh) * 2020-07-06 2024-02-13 中兴飞流信息科技有限公司 一种基于深度学习的路面病害检测方法
CN114518094A (zh) * 2020-11-16 2022-05-20 阿里巴巴集团控股有限公司 道路检测方法及系统
CN112726350B (zh) * 2020-12-25 2022-08-26 城云科技（中国）有限公司 道路平整检测方法及装置、设备
CN112833891B (zh) * 2020-12-31 2023-06-27 武汉光庭信息技术股份有限公司 基于卫片识别的道路数据与车道级地图数据的融合方法
CN113029185B (zh) * 2021-03-04 2023-01-03 清华大学 众包式高精度地图更新中道路标线变化检测方法及系统
WO2022190274A1 (ja) * 2021-03-10 2022-09-15 日本電気株式会社 模擬道路生成システム、模擬道路生成方法及び模擬道路生成処理をコンピュータに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体
CN113092495A (zh) * 2021-03-19 2021-07-09 成都国铁电气设备有限公司 一种车地协同的地铁隧道缺陷智能巡检系统及方法
CN113029187A (zh) * 2021-03-30 2021-06-25 武汉理工大学 融合adas精细感知数据的车道级导航方法与系统
CN113942522A (zh) * 2021-05-31 2022-01-18 重庆工程职业技术学院 一种智能驾驶行车安全保护系统
CN113537093B (zh) * 2021-07-22 2023-06-16 成都圭目机器人有限公司 一种道面图像波浪拥包的轮廓线提取方法
CN113701773B (zh) * 2021-08-16 2023-07-18 深蓝汽车科技有限公司 基于车道线方程的arhud导航弯道指示方法及系统
CN113516127B (zh) * 2021-09-14 2021-12-07 南通辑兴紧固件科技有限公司 基于人工智能的智慧城市公路养护方法及系统
CN113936259B (zh) * 2021-10-29 2024-06-11 江苏大学 一种基于视觉感知的智能汽车车身姿态控制方法及系统
CN114216471A (zh) * 2021-12-01 2022-03-22 北京百度网讯科技有限公司 电子地图确定方法、装置、电子设备及存储介质
US11543245B1 (en) * 2022-04-14 2023-01-03 ALMA Technologies Ltd. System and method for estimating a location of a vehicle using inertial sensors
CN114758322B (zh) * 2022-05-13 2022-11-22 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统
CN116630813B (zh) * 2023-07-24 2023-09-26 青岛奥维特智能科技有限公司 一种公路路面施工质量智能检测系统
CN117274843B (zh) * 2023-11-15 2024-04-19 安徽继远软件有限公司 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN117437229B (zh) * 2023-12-20 2024-03-15 山东晨光胶带有限公司 基于图像分析高强阻燃转弯输送带缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN102509291A (zh) * 2011-10-31 2012-06-20 东南大学 基于无线网络视频传感器的公路路面病害检测及识别方法
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486875B (zh) * 2010-12-06 2014-02-26 深圳市赛格导航科技股份有限公司 道路质量记录仪及其方法
CN103389733A (zh) * 2013-08-02 2013-11-13 重庆市科学技术研究院 一种基于机器视觉的车辆巡线方法及系统
EP3059129B1 (en) * 2015-02-17 2020-04-15 Hexagon Technology Center GmbH Method and system for determining a road condition
CN105740793B (zh) * 2016-01-26 2019-12-20 哈尔滨工业大学深圳研究生院 基于路面颠簸情况和道路类型识别的自动调速方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
CN102509291A (zh) * 2011-10-31 2012-06-20 东南大学 基于无线网络视频传感器的公路路面病害检测及识别方法
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837393B (zh) * 2019-11-22 2024-04-09 中国航天系统工程有限公司 基于车辆位置数据的特大城市矢量路网的生成方法及系统
CN112837393A (zh) * 2019-11-22 2021-05-25 中国航天系统工程有限公司 基于车辆位置数据的特大城市矢量路网的生成方法及系统
CN110705527B (zh) * 2019-11-25 2023-03-03 甘肃建投重工科技有限公司 一种基于机器视觉自动识别的洗扫车路面高压预清洗装置
CN110705527A (zh) * 2019-11-25 2020-01-17 甘肃建投重工科技有限公司 一种基于机器视觉自动识别的洗扫车路面高压预清洗装置
CN111400537A (zh) * 2020-03-19 2020-07-10 北京百度网讯科技有限公司 一种道路元素信息获取方法、装置和电子设备
CN111400537B (zh) * 2020-03-19 2023-04-28 北京百度网讯科技有限公司 一种道路元素信息获取方法、装置和电子设备
CN111311710A (zh) * 2020-03-20 2020-06-19 北京四维图新科技股份有限公司 一种高精地图的制作方法和装置、电子设备、存储介质
CN111311710B (zh) * 2020-03-20 2023-09-19 北京四维图新科技股份有限公司 一种高精地图的制作方法和装置、电子设备、存储介质
CN113496182B (zh) * 2020-04-08 2024-05-21 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN113496182A (zh) * 2020-04-08 2021-10-12 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN112257724B (zh) * 2020-10-26 2022-09-20 武汉中海庭数据技术有限公司 一种道路外侧线置信度评估方法及系统
CN112257724A (zh) * 2020-10-26 2021-01-22 武汉中海庭数据技术有限公司 一种道路外侧线置信度评估方法及系统
CN112817006B (zh) * 2020-12-29 2024-02-09 深圳市广宁股份有限公司 一种车载智能道路病害检测方法及系统
CN112817006A (zh) * 2020-12-29 2021-05-18 深圳市广宁股份有限公司 一种车载智能道路病害检测方法及系统
CN114355946A (zh) * 2022-01-07 2022-04-15 哈尔滨工业大学 一种车辆驾驶引导系统
CN115457041B (zh) * 2022-11-14 2023-02-14 安徽乾劲企业管理有限公司 一种道路质量识别检测方法
CN115457041A (zh) * 2022-11-14 2022-12-09 安徽乾劲企业管理有限公司 一种道路质量识别检测方法
CN117169121A (zh) * 2023-09-05 2023-12-05 南京交科数智科技发展有限公司 一种基于云边端架构的交通道路病害检测系统及方法
CN117169121B (zh) * 2023-09-05 2024-01-30 南京交科数智科技发展有限公司 一种基于云边端架构的交通道路病害检测系统及方法

Also Published As

Publication number Publication date
CN106919915B (zh) 2020-06-12
CN106919915A (zh) 2017-07-04
US20200041284A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
WO2018153304A1 (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
US11604076B2 (en) Vision augmented navigation
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN109635737B (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN102208035A (zh) 图像处理系统及位置测量系统
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN104616502A (zh) 基于组合式车路视频网络的车牌识别与定位系统
CN106918312B (zh) 基于机械视觉的路面标线剥落面积检测装置及方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN106960591A (zh) 一种基于路面指纹的车辆高精度定位装置及方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
JP4852905B2 (ja) 画像処理装置、画像処理方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN112883778A (zh) 一种基于计算机视觉的道路井盖高差识别方法及设备
Arshad et al. Lane detection with moving vehicles using color information
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
Novais et al. Community based repository for georeferenced traffic signs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18758326

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18758326

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/12/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 18758326

Country of ref document: EP

Kind code of ref document: A1