WO2023083059A1 - 一种路面缺陷检测方法、装置、电子设备和可读存储介质 - Google Patents

一种路面缺陷检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
WO2023083059A1
WO2023083059A1 PCT/CN2022/129036 CN2022129036W WO2023083059A1 WO 2023083059 A1 WO2023083059 A1 WO 2023083059A1 CN 2022129036 W CN2022129036 W CN 2022129036W WO 2023083059 A1 WO2023083059 A1 WO 2023083059A1
Authority
WO
WIPO (PCT)
Prior art keywords
superpixel
depth
feature
road surface
pixel
Prior art date
Application number
PCT/CN2022/129036
Other languages
English (en)
French (fr)
Inventor
纪雅琪
王健
程博文
Original Assignee
中移(上海)信息通信科技有限公司
中移智行网络科技有限公司
中国移动通信集团有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中移(上海)信息通信科技有限公司, 中移智行网络科技有限公司, 中国移动通信集团有限公司 filed Critical 中移(上海)信息通信科技有限公司
Publication of WO2023083059A1 publication Critical patent/WO2023083059A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Definitions

  • the present invention is based on a Chinese patent application with application number 202111345530.6 and an application date of November 15, 2021.
  • the applicants are: China Mobile (Shanghai) Information and Communication Technology Co., Ltd., China Mobile Zhixing Network Technology Co., Ltd., and China Mobile Communications Group Co., Ltd. company, applied for a technical solution titled "A Method, Device, Electronic Device, and Readable Storage Medium for Road Surface Defect Detection", and claimed the priority of the Chinese patent application, and the entire content of the Chinese patent application is hereby incorporated into the present invention as refer to.
  • the present invention relates to the technical field of detection, and relates to but not limited to a road surface defect detection method, device, electronic equipment and readable storage medium.
  • Embodiments of the present invention provide a road surface defect detection method, device, electronic equipment, and readable storage medium to solve the problem of poor detection accuracy of road surface defects in existing methods.
  • An embodiment of the present invention provides a road surface defect detection method, comprising the following steps:
  • the feature vectors are classified according to the degree of similarity between the feature vectors, and the road surface defect information determined according to the classification result is obtained.
  • the extracting multiple feature vectors of the depth image through superpixel segmentation includes:
  • a feature vector of each superpixel is constructed according to the depth feature, texture feature and shape feature of each superpixel.
  • the determining the shape feature of each superpixel according to the depth average value of each superpixel and the shape index of each pixel corresponding to each superpixel includes:
  • the average shape index of each pixel corresponding to the superpixel is calculated as the shape feature of the superpixel.
  • the shape index SI of the pixel is calculated by the following formula:
  • k 2 and k 1 are respectively the two principal curvatures of the region corresponding to the superpixel, and k 2 >k 1 .
  • the extracting a plurality of superpixels included in the depth image includes:
  • the classifying the feature vectors according to the degree of similarity between the feature vectors includes:
  • the category label corresponding to each superpixel is determined according to the loss value corresponding to each category label.
  • An embodiment of the present invention provides a road surface defect detection device, including:
  • An acquisition module configured to acquire a depth image of the road surface
  • An extraction module configured to extract multiple feature vectors of the depth image through superpixel segmentation
  • the classification module is configured to classify the feature vectors according to the degree of similarity between the feature vectors, and obtain road surface defect information determined according to the classification results.
  • the extraction module includes:
  • An extraction submodule configured to extract a plurality of superpixels included in the depth image
  • the depth feature acquisition sub-module is configured to separately count the depth values of each pixel corresponding to each of the superpixels, and acquire the depth features of each of the superpixels, wherein the depth features include a depth average value and a depth variance;
  • the texture feature acquisition sub-module is configured to use the depth value of the pixel to be obtained as a threshold, and perform binarization processing on adjacent pixels to obtain the texture feature of each superpixel;
  • the shape feature acquisition sub-module is configured to determine the shape feature of each superpixel according to the average depth of each superpixel and the shape index of each pixel corresponding to each superpixel;
  • the feature vector constructing submodule is configured to construct a feature vector of each superpixel according to the depth feature, texture feature and shape feature of each superpixel.
  • An embodiment of the present invention provides an electronic device, including: a memory, a processor, and a program stored in the memory and operable on the processor; the processor is configured to read the program in the memory to implement The road surface defect detection method as described in any one of the above.
  • An embodiment of the present invention provides a readable storage medium configured to store a program, and when the program is executed by a processor, the road surface defect detection method described in any one of the foregoing is implemented.
  • the road surface defect detection method provided by the embodiment of the present invention includes: acquiring a depth image of the road surface; extracting multiple feature vectors of the depth image through superpixel segmentation; classifying the feature vectors according to the degree of similarity between the feature vectors ; Identify the pavement defect information corresponding to different types of feature vectors.
  • the embodiment of the present invention obtains the depth image of the road surface, and further through superpixel segmentation, acquisition of feature vectors, and identification of feature vectors, can obtain defect information corresponding to superpixels, thereby realizing identification of road surface defects, which is helpful Improve the detection accuracy of pavement defects.
  • Fig. 1 is the flow chart of the road surface defect detection method in an embodiment of the present invention
  • Fig. 2 is the extraction flowchart of shape feature in an embodiment of the present invention.
  • Fig. 3 is a flow chart of obtaining feature vectors based on superpixels in an embodiment of the present invention
  • Fig. 4 is another flow chart of the road surface defect detection method in an embodiment of the present invention.
  • Fig. 5 is a structural diagram of a road surface defect detection device in an embodiment of the present invention.
  • Fig. 6 is a structural diagram of an electronic device in an embodiment of the present invention.
  • the detection of road surface diseases can be realized by analyzing the images of the road surface.
  • the detection technology based on two-dimensional images can use cameras to collect road surface images, and at the same time, it can be supplemented with positioning systems to realize automatic detection of road surface diseases.
  • the quality of the two-dimensional image has a great influence on the detection results, and the accuracy of detection of diseases with inconspicuous features such as rutting is low.
  • due to the influence of shadow occlusion, road material noise, uneven illumination, etc., as well as the installation method of the camera or its own Distortion and other reasons will cause blurred and distorted images, which will affect the accuracy of road surface disease detection results.
  • the invention provides a road surface defect detection method.
  • this pavement defect detection method comprises the following steps:
  • Step 101 Obtain a depth image of the road surface.
  • the depth image is a three-dimensional image.
  • the road surface depth image can be obtained based on image acquisition technologies such as structured light three-dimensional contour detection technology. For example, it can be based on the image used. Acquisition technology, the corresponding image acquisition device is loaded on the vehicle, and the vehicle is controlled to drive along the road to realize the acquisition of the depth image of the road surface.
  • the collected depth image of the road surface can be associated with the specific location of the road based on positioning information or mileage information, so that after obtaining the road surface defect information, the corresponding relationship between the road surface defect information and the specific geographical location can be established .
  • the obtained depth information matrix Zm ⁇ n of the depth image can be expressed as follows:
  • z ij represents the depth value of the pixel point in the i-th row and the j-th column in the depth image
  • m and n are both positive integers
  • m is the total number of rows of pixels
  • n is the total number of columns of pixels.
  • Step 102 Extract multiple feature vectors of the depth image through superpixel segmentation.
  • the depth image is segmented, superpixels included in the depth image are extracted, and feature vectors corresponding to each superpixel are further obtained.
  • multiple superpixels included in the depth image may be extracted through the following steps:
  • the seed point is first initialized.
  • the seed points are evenly distributed in the depth image.
  • the number of K can be set manually according to the needs, for example, it can be set according to experience or according to certain calculation rules according to the size of the depth image; the seed points can be evenly distributed according to the size of the area.
  • the depth image includes N pixels, and the size of each superpixel is The step size between adjacent seed points
  • N and K are integers greater than 1
  • sqrt() represents a square root function
  • Reselect the seed point for example, calculate the gradient value of all pixels in the neighborhood of the seed point, update the seed point to the pixel point with the smallest gradient value in the neighborhood, and can be each pixel in the neighborhood of each seed point Click the Assign Category tab.
  • the distance between the pixel point and various sub-points is calculated separately, and the seed point with the smallest distance value is taken as the cluster center of the pixel point. Class center, and superpixels containing multiple pixels.
  • the error convergence means that the position of the seed point no longer changes , that is to complete the update of the position of the seed point and determine the more accurate position of the cluster center.
  • a label table can be established, and then in a certain order, for example, from left to right and from top to bottom, the Discontinuous superpixels and superpixels with too small size are reassigned to adjacent superpixels, and according to the reassignment results of the superpixels, the labels are reassigned to the pixels until the traversal is completed. In this way, the final segmented superpixels are obtained. It should be understood that the number M of finally obtained superpixels is less than or equal to K.
  • K superpixels obtained after the depth image is segmented are exemplified, that is, M is equal to K.
  • the feature vector corresponding to each superpixel is further obtained, so that the combination of feature vectors of all superpixels can represent all the information contained in the depth image of the road surface.
  • step 102 after extracting a plurality of superpixels included in the depth image, step 102 further includes:
  • a feature vector of each superpixel is constructed according to the depth feature, texture feature and shape feature of each superpixel.
  • the extraction of the depth feature of each superpixel can be realized based on the above-mentioned depth matrix, which contains the depth value of each pixel.
  • the statistical calculation of the average value ZAVG I of the depth of all pixels in the superpixel and the depth value variance ZVAR I as the depth feature of the superpixel is realized based on the above-mentioned depth matrix, which contains the depth value of each pixel.
  • texture features of superpixels can be extracted in the following manner.
  • g c represents the depth value of the center pixel point
  • g p represents the depth value of the neighborhood pixel point of the center pixel point
  • P is the number of neighborhood pixels
  • R is the radius of the center pixel circle neighborhood
  • sign is Binarization function
  • riu2 means that the LBP operator is an LBP operator in the rotation invariant consistent mode
  • the U value is less than or equal to 2.
  • U(LBP P,R ) means that the binarized local neighborhood pixels are cyclically shifted by one bit in any direction and subtracted from the initial binary string, and the absolute value is taken and summed. If the result satisfies U(LBP P, R ) ⁇ 2, then this mode is called a consistent mode, otherwise, in other cases (otherwise) it is a non-consistent mode.
  • LBP i represents the proportion of pixels with LBP value i in the superpixel.
  • the texture information mean value LAVG I and information entropy LEN I of all pixels in the superpixel as the texture features of the superpixel.
  • the shape feature is used to reflect the shape of the surface, and the surface of various shapes except the plane should correspond to a specific value. It should be understood that a normal pavement without defects can be understood as a plane, and pavement defects can actually be understood as pavement with different deformations. Therefore, the depth information of different pavement defects can be regarded as curved surfaces of different shapes. Similar, their shape features are similar.
  • the shape index is used to extract the shape feature to represent the shape information of the curved surface of different diseases.
  • the superpixel to be obtained is a diseased area based on the depth average value in the extracted depth information, and then the shape feature is extracted.
  • the step of determining the shape feature of each superpixel specifically includes:
  • the average shape index of each pixel corresponding to the superpixel is calculated as the shape feature of the superpixel.
  • the preset depth threshold T in this embodiment can be manually set based on experience.
  • the superpixel depth average value AVG satisfies
  • the area corresponding to the superpixel is roughly a plane, that is, a healthy road surface area.
  • the preset shape feature value is used as the shape feature of the superpixel.
  • the feature value of the shape feature corresponding to the healthy road area can be set to 1.5.
  • the preset shape characteristic value is not limited thereto, and can be set as required.
  • the shape index SI of a pixel is calculated by the following formula:
  • k 2 and k 1 are respectively the two principal curvatures of the region corresponding to the superpixel, and k 2 >k 1 .
  • the two principal curvatures k 1 and k 2 of the curved surface need to be calculated first, and then they are normalized and transformed into a polar coordinate system, so as to exclude the influence of the scale.
  • the calculation formula of the shape index SI can be deduced according to the above formula. After obtaining the shape index of each pixel, calculate the mean value of the shape index of all pixels in the superpixel as the shape feature of the superpixel.
  • the superpixel is a diseased area, and the above formula is used to calculate the shape information of all pixels in the superpixel, and the statistics The calculated mean value is used as the shape feature SI I of the superpixel. If
  • the feature vector of each superpixel is constructed.
  • TSP I [ZAVG I , ZVAR I , LAVG I , LEN I , SI I ].
  • the technical solution of this embodiment can be summarized as follows: first obtain a preprocessed depth image, then obtain pixel-based texture features of the depth image, and at the same time extract superpixels of the depth image.
  • Step 103 Classify the feature vectors according to the degree of similarity between the feature vectors, and obtain road surface defect information determined according to the classification results.
  • the feature vectors are classified according to the types corresponding to the road surface defects, so as to realize the determination of the existing road surface defects.
  • the classifying the feature vectors according to the degree of similarity between the feature vectors includes:
  • the category label corresponding to each superpixel is determined according to the loss value corresponding to each category label.
  • the corresponding transformation matrix can be determined according to the corresponding loss value between the feature vector of the superpixel and each category label, so as to divide the feature vector of the superpixel into the category with the largest similarity.
  • the main purpose of the classification of feature vectors is to reconstruct the distribution of the obtained superpixel feature vectors (or original data) to obtain a more reasonable data Classification space, each type of data in the data classification space corresponds to a road surface defect.
  • the data classification space can be constructed by metric learning.
  • Metric learning is also called similarity learning.
  • the goal of metric learning is to construct a distance function to measure the similarity between pixels/pixel sets so that pixels/pixel sets of different categories have a small similarity and pixels/pixel sets of the same category have a large similarity . Based on the extracted features, it can be used to distinguish between different diseases and healthy pavements.
  • due to the complexity and diversity of pavement defects only using raw data for calculation cannot effectively distinguish superpixels with similar features but different categories.
  • the embodiment of the present invention uses metric learning to autonomously learn the spatial transformation matrix for road surface disease detection, and calculates the similarity between superpixels after feature transformation, so that the superpixels to be obtained are classified into the disease category with a large similarity.
  • a relatively reasonable data classification space can be obtained, and then the data is classified into the data classification space through a classifier, where the classifier used can include but not limited to an energy classifier and K-nearest neighbor and other classifiers, the data classified into each data classification space corresponds to the corresponding pavement defect information.
  • a training dataset is first defined.
  • the loss function corresponding to the action pull is as follows:
  • the loss function corresponding to the action push is as follows:
  • the loss function is:
  • [z] + max(z, 0)
  • ⁇ is a preset coefficient, which can be set according to needs. Exemplarily, in this embodiment, its value can be selected as 0.5 but not limited thereto.
  • the conversion matrix M L T L, j ⁇ i means is input
  • the loss function is a convex optimization problem based on positive semi-definite matrix constraints.
  • the transformation matrix M can be obtained by minimizing the loss function by introducing slack variables and a convex optimization algorithm.
  • the class label of each to-be-required superpixel is calculated through an energy classifier.
  • the test sample is classified by the energy classifier as an additional training sample, and the above loss function is calculated for each possible label y t .
  • the loss contains three items in total.
  • y t calculated by the following equation,
  • the calculation method of other norm D can refer to calculation method.
  • the types of road surface defects corresponding to different types of feature vectors are determined at the same time.
  • the location of road surface defects can be realized, that is, it can be determined where and what kind of defects exist on the road surface corresponding to the obtained depth image.
  • the embodiment of the present invention extracts three types of features including depth information, texture information, and shape information, and introduces superpixels and metric learning technology to effectively characterize different road surface defect characteristics. Based on the extracted features, an energy classifier is used to mark each superpixel with a class label to realize the detection of different defects, which improves the detection accuracy while ensuring the computational efficiency.
  • the technical solution of this embodiment can be summarized as follows: first obtain the preprocessed depth image, then extract the superpixels included in the depth image through superpixel calculation, and further, perform features on the depth image based on the superpixels Extraction, the next step is to calculate the similarity between features through the transformation matrix, and finally, classify the superpixels according to the calculated similarity to obtain their corresponding road defects.
  • the embodiment of the present invention can effectively extract local features of different defects covering depth information, texture information, and shape information by dividing the original image into multiple superpixels.
  • defects with similar characteristics but different categories can be effectively distinguished.
  • the technical solutions of the embodiments of the present invention can effectively detect different defects.
  • various types of defects such as potholes, cracks, ruts, and protrusions can be effectively distinguished from healthy road surfaces.
  • the introduction of superpixels can reduce dimensions and improve computational efficiency.
  • the invention also provides a road defect detection device.
  • the road surface defect detection device 500 includes:
  • An acquisition module 501 configured to acquire a depth image of the road surface
  • the extraction module 502 is configured to extract multiple feature vectors of the depth image through superpixel segmentation
  • the classification module 503 is configured to classify the feature vectors according to the similarity between the feature vectors, and obtain road surface defect information determined according to the classification results.
  • the extraction module 502 includes:
  • An extraction submodule configured to extract a plurality of superpixels included in the depth image
  • the depth feature acquisition sub-module is configured to separately count the depth values of each pixel corresponding to each of the superpixels, and acquire the depth features of each of the superpixels, wherein the depth features include a depth average value and a depth variance;
  • the texture feature acquisition sub-module is configured to use the depth value of the pixel to be obtained as a threshold, and perform binarization processing on adjacent pixels to obtain the texture feature of each superpixel;
  • the shape feature acquisition sub-module is configured to determine the shape feature of each superpixel according to the average depth of each superpixel and the shape index of each pixel corresponding to each superpixel;
  • the feature vector constructing submodule is configured to construct a feature vector of each superpixel according to the depth feature, texture feature and shape feature of each superpixel.
  • the shape feature acquisition submodule is specifically configured as:
  • the average shape index of each pixel corresponding to the superpixel is calculated as the shape feature of the superpixel.
  • the shape index SI of the pixel is calculated by the following formula:
  • k 2 and k 1 are respectively the two principal curvatures of the region corresponding to the superpixel, and k 2 >k 1 .
  • the extraction submodule includes:
  • An allocation unit configured to allocate seed points in the depth image according to preset K superpixels, wherein the depth image includes N pixels, and the size of each superpixel is Both N and K are integers greater than 1;
  • a gradient value calculation unit configured to calculate the gradient values of all pixels in the neighborhood of each of the seed points
  • An updating unit configured to update each of the seed points to the pixel point with the smallest gradient value in the neighborhood of the seed point
  • a distance calculation unit configured to calculate the distance between each of the pixel points and each of the seed points
  • the cluster center determination unit is configured to use the seed point with the smallest distance to each pixel as the cluster center of the pixel;
  • the iteration unit is configured to iteratively update the position of each of the seed points and determine the corresponding cluster center until the position of each cluster center does not change;
  • the redistribution unit is configured to distribute each pixel point corresponding to a cluster center whose size is smaller than a preset size and discontinuous to an adjacent cluster center to obtain M superpixels centered on each cluster center, and M is less than Or an integer equal to K and greater than 1.
  • the classification module 503 includes:
  • the loss value calculation submodule is configured to calculate the corresponding loss value between the feature vector of each superpixel and each category label
  • the category label determination submodule is configured to determine the category label corresponding to each of the superpixels according to the loss value corresponding to each of the category labels.
  • the road surface defect detection device of this embodiment can implement the steps of the above-mentioned road surface defect detection method embodiment, and can achieve the same or similar technical effects, which will not be repeated here.
  • the embodiment of the present invention also provides an electronic device.
  • the electronic device may include a processor 601 , a memory 602 and a program 6021 stored in the memory 602 and executable on the processor 601 .
  • the program 6021 is executed by the processor 601, any steps in the method embodiment corresponding to Fig. 1 can be realized and the same beneficial effect can be achieved, which will not be repeated here.
  • An embodiment of the present invention also provides a readable storage medium, where a computer program is stored on the readable storage medium, and when the computer program is executed by a processor, any step in the above method embodiment corresponding to FIG. 1 can be implemented, and Can achieve the same technical effect, in order to avoid repetition, no more details here.
  • the storage medium is, for example, a read-only memory (Read-Only Memory, ROM), a random access memory (Random Access Memory, RAM), a magnetic disk or an optical disk, and the like.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • magnetic disk or an optical disk and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种路面缺陷检测方法、装置、电子设备和可读存储介质。该方法包括：获取路面的深度图像；通过超像素分割提取所述深度图像的多个特征向量；根据所述特征向量之间的相似程度对所述特征向量进行分类；识别不同类别的特征向量对应的路面缺陷信息。这样，本发明实施例通过获取路面的深度图像，并进一步通过超像素分割、特征向量的获取以及特征向量的识别，能够获得超像素对应的缺陷信息，从而实现对路面缺陷的识别，有助于提高对于路面缺陷的检测的准确性。

Description

一种路面缺陷检测方法、装置、电子设备和可读存储介质
相关申请的交叉引用
本发明基于申请号为202111345530.6、申请日为2021年11月15日的中国专利申请提出，申请人为：中移(上海)信息通信科技有限公司、中移智行网络科技有限公司、中国移动通信集团有限公司，申请名称为“一种路面缺陷检测方法、装置、电子设备和可读存储介质”的技术方案，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本发明作为参考。
技术领域
本发明涉及检测技术领域，涉及但不限于一种路面缺陷检测方法、装置、电子设备和可读存储介质。
背景技术
路面在行车载荷以及自然因素的影响下，可能出现各种损坏，例如坑槽、裂缝、车辙、突起等，这些损坏通常称作路面缺陷或路面病害；随着基础设置建设的发展，公路里程也随之增加，对于高长度的公路来说，通过人工检测对于路面缺陷的检测工作量较大导致路面缺陷很可能被忽略，因此现有方式对于路面缺陷的检测准确性较差。
发明内容
本发明实施例提供一种路面缺陷检测方法、装置、电子设备和可读存储介质，以解决现有方式对于路面缺陷的检测准确性较差的问题。
本发明实施例提供了一种路面缺陷检测方法，包括以下步骤：
获取路面的深度图像；
通过超像素分割提取所述深度图像的多个特征向量；
根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。
在一些实施例中，所述通过超像素分割提取所述深度图像的多个特征 向量，包括：
提取所述深度图像包括的多个超像素；
分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
在一些实施例中，所述根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征，包括：
在所述超像素的深度平均值小于预设深度阈值的情况下，以预设形状特征值作为所述超像素的形状特征；
在所述超像素的深度平均值大于或等于预设深度阈值的情况下，计算所述超像素对应的各像素点的形状指数均值作为该超像素的形状特征。
在一些实施例中，所述像素点的形状指数SI通过以下公式计算得到：
Figure PCTCN2022129036-appb-000001
其中，k 2和k 1分别为所述超像素对应的区域的两个主曲率，且k 2>k 1。
在一些实施例中，所述提取所述深度图像包括的多个超像素，包括：
按照预设的K个超像素在所述深度图像中分配种子点，其中，所述深度图像包括N个像素，每一所述超像素的尺寸为
Figure PCTCN2022129036-appb-000002
N和K均为大于1的整数；
计算每一所述种子点的邻域内所有像素点梯度值；
将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；
分别计算各所述像素点与各所述种子点之间的距离；
将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；
迭代更新各所述种子点的位置并确定相应的聚类中心，至各聚类中心的位置不再变化；
将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。
在一些实施例中，所述根据所述特征向量之间的相似程度对所述特征向量进行分类，包括：
计算每一所述超像素的特征向量与各类别标签之间对应的损失值；
根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。
本发明实施例提供了一种路面缺陷检测装置，包括：
获取模块，配置为获取路面的深度图像；
提取模块，配置为通过超像素分割提取所述深度图像的多个特征向量；
分类模块，配置为根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。
在一些实施例中，所述提取模块包括：
提取子模块，配置为提取所述深度图像包括的多个超像素；
深度特征获取子模块，配置为分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
纹理特征获取子模块，配置为以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
形状特征获取子模块，配置为根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
特征向量构建子模块，配置为根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，配置为读取存储器中的程序实现如上述任一项所述的路面缺陷检测方法。
本发明实施例提供了一种可读存储介质，配置为存储程序，所述程序被处理器执行时实现如上述任一项所述的路面缺陷检测方法。
本发明实施例提供的路面缺陷检测方法包括：获取路面的深度图像；通过超像素分割提取所述深度图像的多个特征向量；根据所述特征向量之间的相似程度对所述特征向量进行分类；识别不同类别的特征向量对应的路面缺陷信息。这样，本发明实施例通过获取路面的深度图像，并进一步通过超像素分割、特征向量的获取以及特征向量的识别，能够获得超像素对应的缺陷信息，从而实现对路面缺陷的识别，有助于提高对于路面缺陷的检测准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1是本发明一实施例中路面缺陷检测方法的流程图；
图2是本发明一实施例中形状特征的提取流程图；
图3是本发明一实施例中获取基于超像素的特征向量的流程图；
图4是本发明一实施例中路面缺陷检测方法的又一流程图；
图5是本发明一实施例中路面缺陷检测装置的结构图；
图6是本发明一实施例中电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。不冲突的情况下，下述实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
路面在行车荷载和自然因素的综合作用下，会出现各种损坏现象，如坑槽、裂缝、车辙、突起等，传统的人工检测方法效率低下，难以满足大范围公路网路面质量的检测需求。
本申请人在实现本发明的技术方案的过程中发现，可以通过对路面的图像进行分析以实现对于路面病害进行检测。
基于二维图像的检测技术，可以采用摄像机采集路面图像，同时辅以定位系统实现路面病害的自动检测，该技术获取信息丰富、数据存储快速、效率高，广泛应用于路面病害自动检测应用。但二维图像质量对检测结果影响较大，对于车辙病害等特征不明显的病害检测准确率较低，此外，由于阴影遮挡、路面材料噪声、不均匀光照等影响，以及由于摄像机安装方式或者自身畸变等原因会造成获取的图像出现模糊扭曲等，均会对路面病害检测的结果准确性造成影响。
本发明提供了一种路面缺陷检测方法。
如图1所示，在一个实施例中，该路面缺陷检测方法包括以下步骤：
步骤101：获取路面的深度图像。
本实施例中，需要获取路面的深度图像，深度图像为一种三维图像，实施时，可以基于结构光三维轮廓检测技术等图像采集技术获取路面深度图像，示例性的，可以根据所采用的图像采集技术，在车辆上装载相应的图像采集装置，并控制车辆沿着道路行驶，实现对于路面的深度图像的采集。
所采集的路面的深度图像可以基于定位信息或里程信息等建立与道路的具体位置之间的关联关系，以便在获取了路面缺陷信息之后，建立路面缺陷信息与具体的地理位置之间的对应关系。
在一个实施例中，所获得的深度图像的深度信息矩阵Z m×n可以表示如下：
Figure PCTCN2022129036-appb-000003
其中，z ij代表深度图像中第i行第j列像素点的深度值，m和n均为正整数，m为像素点的总行数，n为像素点的总列数。
步骤102：通过超像素分割提取所述深度图像的多个特征向量。
在获取了路面深度图像之后，对深度图像进行分割，提取深度图像包含的超像素，并进一步获取各超像素对应的特征向量。
在一个实施例中，可以通过以下步骤提取深度图像包括的多个超像素：
按照预设的K个超像素在所述深度图像中分配种子点；
计算每一所述种子点的邻域内所有像素点梯度值；
将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；
分别计算各所述像素点与各所述种子点之间的距离；
将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；
迭代更新各所述种子点的位置并确定相应的聚类中心，，至各聚类中心的位置不再变化；
将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。
本实施例中，首先初始化种子点。示例性的，按照设定的超像素个数K，在深度图像内均匀分配种子点。这里，K的数量可以根据需要人工设定，例如，可以根据经验设定或根据深度图像的尺寸按照一定的计算规则设定；种 子点可以按照面积等尺寸实现种子点的均匀分配。
这样，深度图像包括N个像素，则每一超像素的尺寸为
Figure PCTCN2022129036-appb-000004
相邻种子点间步长
Figure PCTCN2022129036-appb-000005
其中，N和K均为大于1的整数，sqrt()代表求平方根函数。
进行种子点的重新选择，示例性的，计算种子点邻域内所有像素点梯度值，将种子点更新至该邻域内梯度值最小的像素点处，并可以为每个种子点邻域内每个像素点分配类别标签。
对于每个像素点，分别计算该像素点与各种子点间距离，取距离值最小的种子点作为该像素点的聚类中心，这样，相当于初步划分出了以各种子点为聚类中心，且包含多个像素点的超像素。
然后重复执行上述更新种子点的位置并根据种子点的位置确定相应的聚类中心的步骤，迭代更新种子点的位置至误差收敛，示例性的，误差收敛指的是种子点的位置不再变化，即完成对种子点位置的更新，确定较为准确的聚类中心的位置。
最后，对所划分出的超像素进行增强连通性处理，在一个实施例中，可以建立标记表，然后按照一定的顺序，示例性的，可以是从左到右，从上到下顺序，将不连续的超像素、尺寸过小的超像素重新分配给邻近超像素，并根据所对于超像素的重新分配结果为像素点重新分配标签，直至遍历完毕，这样，获得最终分割完成的超像素，应当理解的是最终所获得的超像素的数量M小于或等于K。
本实施例中，以对深度图像分割后获得K个超像素做示例性说明，即M等于K，进一步的，SP I表示该深度图像中第I个超像素，其包含像素点个数为num I，其中I＝1,2,…,K。
在提取了超像素之后，进一步获取每一超像素对应的特征向量，这样，全部超像素的特征向量组合在一起能够表征路面的深度图像所包含的全部 信息。
在一些实施例中，该步骤102在提取所述深度图像包括的多个超像素之后，还包括：
分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
对于各超像素的深度特征的提取可以基于上述深度矩阵实现，上述深度矩阵包含了各像素点的深度值，这样，对于超像素SP I，统计计算该超像素内所有像素点深度平均值ZAVG I及深度值方差ZVAR I，作为该超像素的深度特征。
在一些实施例中，可以通过以下方式提取超像素的纹理特征。
Figure PCTCN2022129036-appb-000006
Figure PCTCN2022129036-appb-000007
上述公式中，g c表示中心像素点的深度值，g p表示该中心像素点的邻域像素点的深度值，P为邻域像素个数，R为中心像素点圆邻域半径，sign为二值化函数，riu2代表该LBP算子为旋转不变一致模式的LBP算子，U值小于或者等于2。U(LBP P,R)表示将二值化处理后的局部邻域像素按照任一 方向循环移动一位并与初始二进制串相减，取绝对值并求和，若结果满足U(LBP P,R)≤2，则称这个模式为一致模式，否则，在其他情况下(otherwise)为非一致模式。
不同路面缺陷由于其成因、特性等不同，粗糙程度不同，在深度图像上表征为不同的局部纹理信息。计算获得每个像素点LBP值后，统计每个超像素内所有像素点LBP值的均值以及信息熵，作为该超像素的纹理特征，信息熵H可以通过以下公式计算得到：
Figure PCTCN2022129036-appb-000008
其中，LBP i表示该超像素中LBP值为i的像素点所占的比例。
在一些实施例中，对于超像素SP I，基于纹理信息矩阵LBP m×n，统计计算该超像素内所有像素点纹理信息均值LAVG I以及信息熵LEN I，作为该超像素的纹理特征。
形状特征用于反映曲面的形状，除平面外各种形状的曲面都应对应一个特定的值。应当理解的是，正常不存在缺陷的路面可以理解为平面，路面缺陷实际上可以理解为发生了不同变形的路面，因此，不同路面缺陷的深度信息可视为不同形状的曲面，同类病害曲面形状相似，其形状特征相近。本实施例采用形状指数提取形状特征，以表征不同病害的曲面形状信息。
在一个实施例中，先基于提取的深度信息中的深度平均值判断待求超像素是否为病害区域，进而提取形状特征。
在一些实施例中，确定各所述超像素的形状特征的步骤具体包括：
在所述超像素的深度平均值小于预设深度阈值的情况下，以预设形状特征值作为所述超像素的形状特征；
在所述超像素的深度平均值大于或等于预设深度阈值的情况下，计算所述超像素对应的各像素点的形状指数均值作为该超像素的形状特征。
本实施例中的预设深度阈值T可以根据经验由人工设定，当超像素深度平均值AVG满足|AVG|<T，则该超像素对应的区域大致为平面，也就是健康路面区域。
如图2所示，本实施例中，以预设形状特征值作为超像素的形状特征，示例性的，本实施例中可以将健康路面区域对应的形状特征的特征值设定为1.5。显然，该预设形状特征值并不局限于此，可以根据需要设定。
请继续参阅图2，如果待求超像素深度平均值AVG满足|AVG|≥T，则该超像素为存在路面缺陷的区域，需进一步通过形状指数提取形状特征。
本实施例中，像素点的形状指数SI通过以下公式计算得到：
Figure PCTCN2022129036-appb-000009
其中，k 2和k 1分别为所述超像素对应的区域的两个主曲率，且k 2>k 1。
本实施例中，首先需计算曲面的两个主曲率k 1和k 2，然后将其单位化并转换到极坐标系，以排除尺度的影响。
Figure PCTCN2022129036-appb-000010
其中，
Figure PCTCN2022129036-appb-000011
这样，在极坐标系中由角度关系可得：
Figure PCTCN2022129036-appb-000012
Figure PCTCN2022129036-appb-000013
Figure PCTCN2022129036-appb-000014
这样，可以根据上述公式推导出形状指数SI的计算公式。在获取每个像素点的形状指数后，计算超像素内所有像素点的形状指数均值作为该超像素的形状特征。
示例性的，对于超像素SP I，若其深度平均值ZAVG I满足，|ZAVG I|≥ T，则该超像素为病害区域，采用上述公式计算超像素内所有像素点的形状信息，并统计计算获得的均值作为该超像素的形状特征SI I，若|ZAVG I|<T，则该超像素为健康路面区域，本实施例中，令形状特征SI I＝1.5。
在计算获得深度特征、纹理特征和形状特征后，构建每一超像素的特征向量。
示例性的，对于超像素SP I，构建其特征向量TSP I如下：
TSP I＝[ZAVG I,ZVAR I,LAVG I,LEN I,SI I]。
如图3所示，本实施例的技术方案可以概括为，首先获取经过预处理的深度图像，然后获得深度图像基于像素点的纹理特征，同时，提取深度图像的超像素。
接下来，根据基于像素点的纹理特征和所提取的超像素获得基于超像素的纹理特征；基于所提取的超像素获得基于超像素的深度特征；基于所提取的超像素和基于超像素的深度特征获得基于超像素的形状特征。最后，根据基于超像素的纹理特征、基于超像素的深度特征和基于超像素的形状特征获得基于超像素的特征向量。
步骤103：根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。
本实施例中，根据特征向量之间的相似程度，将特征向量按照路面缺陷对应的类型进行分类，从而实现确定所存在的路面缺陷。
在一些实施例中，所述根据所述特征向量之间的相似程度对所述特征向量进行分类，包括：
计算每一所述超像素的特征向量与各类别标签之间对应的损失值；
根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。
本实施例中，可以根据超像素的特征向量与各类别标签之间对应的损失值确定相应的转换矩阵，以将超像素的特征向量划分至相似度最大的类 别中。
应当注意的是，本实施例的技术方案中，对于特征向量的分类的主要目的在于将所获得的超像素的特征向量(或称原始数据)的分布进行重构，以获得一个更加合理的数据分类空间，该数据分类空间中的每一类数据对应一种路面缺陷。
在其中一些实施例中，可以通过度量学习来构建该数据分类空间。度量学习也称为相似度学习，度量学习的目标是构建距离函数来度量像素/像素集之间的相似度使得不同类别的像素/像素集相似度小而相同类别的像素/像素集相似度大。基于已提取的特征可用于区分不同病害及健康路面，而路面缺陷由于其复杂性、多样性，仅使用原始数据进行计算，无法有效区分特征相近但类别不同的超像素。
本发明实施例采用度量学习来自主学习出针对路面病害检测的空间转换矩阵，通过计算特征转换后的超像素间相似度，使得待求超像素被归入到相似度大的病害类别中去。在对原始数据分布进行重构之后，能够得到相对合理的数据分类空间，后续通过分类器将数据分类至该数据分类空间，其中，所使用的分类器可以包括但不限于能量分类器以及K近邻等分类器，分类至每一数据分类空间的数据对应相应的路面缺陷信息。
在一个实施例中，首先定义训练数据集。在一个实施例中，训练数据集具体包括类别标签为C＝{1,…,c}的训练数据集
Figure PCTCN2022129036-appb-000015
进一步的，定义目标函数如下：
Figure PCTCN2022129036-appb-000016
其中，
Figure PCTCN2022129036-appb-000017
为输入样本，
Figure PCTCN2022129036-appb-000018
是入侵输入样本“margin”的不同类别样本，
Figure PCTCN2022129036-appb-000019
为和输入样本相同类别的临近样本。该算法通过定义损失函数，将侵入“margin”的不同类别样本推到“margin”外，将属于同类别的样本拉到“margin”内。
动作拉对应的损失函数如下所示：
Figure PCTCN2022129036-appb-000020
动作推对应的损失函数如下所示：
Figure PCTCN2022129036-appb-000021
损失函数为：
ε(L)＝(1-μ)ε pull(L)+με push(L)
其中，[z] +＝max(z,0)，μ为预设系数，可以根据需要设定，示例性的，本实施例中可以将其取值选择0.5但不局限于此，转换矩阵M＝L TL，j→i表示
Figure PCTCN2022129036-appb-000022
是输入
Figure PCTCN2022129036-appb-000023
的目标邻居，y ij∈{0,1},y ij＝1表示
Figure PCTCN2022129036-appb-000024
和
Figure PCTCN2022129036-appb-000025
属于同一类别，y ij＝0表示x i和x j属于不同类别。该损失函数是一个基于半正定矩阵限制条件的凸优化问题，通过引入松弛变量及凸优化算法来最小化损失函数可以求得转换矩阵M。
基于所获得的转换矩阵M，通过能量分类器来计算每个待求超像素的类别标签。
测试样本作为额外的训练样本通过能量分类器进行分类，对每个可能的标签y t计算上述损失函数，损失共包含三项，除以上所述损失函数外，增加了
Figure PCTCN2022129036-appb-000026
样本作为其他样本的伪装者时的损失。对于一个测试样本x t，其待求类别标签为y t通过以下等式计算，
Figure PCTCN2022129036-appb-000027
其中，
Figure PCTCN2022129036-appb-000028
其他范数D的计算方式可参考
Figure PCTCN2022129036-appb-000029
的计算方式。
这样，计算出每一超像素的类别标签后，能够确定各超像素对应的路面缺陷的类别。
在完成了对于特征向量的分类之后，同时也就确定了不同类别的特征向量对应的路面缺陷的类型。
进一步的，根据结合获取深度图像时的位置信息，能够实现对于路面缺陷的定位，也就是说，能够确定所获取的深度图像对应的路面在何位置存在何种缺陷。
本发明实施例通过对深度信息、纹理信息、形状信息三类特征的提取，并引入超像素及度量学习技术，可有效表征不同路面缺陷特性。以提取的特征为基础，通过能量分类器为每个超像素标注类别标签以实现不同缺陷的检测，在保证计算效率的同时，提高了检测准确性。
如图4所示，本实施例的技术方案可以概括为，首先获得经过预处理的深度图像，接下来通过超像素计算提取深度图像包括的超像素，进一步的，基于超像素对深度图像进行特征提取，下一步，通过转换矩阵进行计算确定特征之间的相似度，最后，根据计算的相似度对超像素分类，获得其对应的路面缺陷。
这样，本发明实施例通过将原始图像分割为多个超像素，可有效提取涵盖深度信息、纹理信息以及形状信息的不同缺陷的局部特征，同时通过度量学习算法的引入，将原始特征转换到更优化的空间中，可以有效区分特征相近但类别不同的缺陷。相较于现有技术方案，本发明实施例的技术方案可有效检测不同缺陷。通过为每个超像素标注类别标签，可以将坑槽、裂缝、车辙、突起等多类缺陷及健康路面进行有效区分。同时，相较于基于单个像素点，超像素的引入可以降低维度，提高计算效率。
本发明还提供了一种路面缺陷检测装置。
如图5所示，在一些实施例中，该路面缺陷检测装置500包括：
获取模块501，配置为获取路面的深度图像；
提取模块502，配置为通过超像素分割提取所述深度图像的多个特征向量；
分类模块503，配置为根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。
在一些实施例中，所述提取模块502包括：
提取子模块，配置为提取所述深度图像包括的多个超像素；
深度特征获取子模块，配置为分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
纹理特征获取子模块，配置为以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
形状特征获取子模块，配置为根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
特征向量构建子模块，配置为根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
在一些实施例中，所述形状特征获取子模块具体配置为：
在所述超像素的深度平均值小于预设深度阈值的情况下，以预设形状特征值作为所述超像素的形状特征；
在所述超像素的深度平均值大于或等于预设深度阈值的情况下，计算所述超像素对应的各像素点的形状指数均值作为该超像素的形状特征。
在一些实施例中，所述像素点的形状指数SI通过以下公式计算得到：
Figure PCTCN2022129036-appb-000030
其中，k 2和k 1分别为所述超像素对应的区域的两个主曲率，且k 2>k 1。
在一些实施例中，所述提取子模块包括：
分配单元，配置为按照预设的K个超像素在所述深度图像中分配种子 点，其中，所述深度图像包括N个像素，每一所述超像素的尺寸为
Figure PCTCN2022129036-appb-000031
N和K均为大于1的整数；
梯度值计算单元，配置为计算每一所述种子点的邻域内所有像素点梯度值；
更新单元，配置为将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；
距离计算单元，配置为分别计算各所述像素点与各所述种子点之间的距离；
聚类中心确定单元，配置为将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；
迭代单元，配置为迭代更新各所述种子点的位置并确定相应的聚类中心，至各聚类中心的位置不再变化；
再分配单元，配置为将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。
在一些实施例中，所述分类模块503包括：
损失值计算子模块，配置为计算每一所述超像素的特征向量与各类别标签之间对应的损失值；
类别标签确定子模块，配置为根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。
本实施例的路面缺陷检测装置能够实现上述路面缺陷检测方法实施例的各个步骤，并能实现相同或相似的技术效果，此处不再赘述。
本发明实施例还提供一种电子设备。请参见图6，电子设备可以包括处理器601、存储器602及存储在存储器602上并可在处理器601上运行的程序6021。程序6021被处理器601执行时可实现图1对应的方法实施例中的 任意步骤及达到相同的有益效果，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
所述的存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
以上所述是本发明实施例的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

  1. 一种路面缺陷检测方法，包括以下步骤：
    获取路面的深度图像；
    通过超像素分割提取所述深度图像的多个特征向量；
    根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。
  2. 根据权利要求1所述的方法，其中，所述通过超像素分割提取所述深度图像的多个特征向量，包括：
    提取所述深度图像包括的多个超像素；
    分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
    以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
    根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
    根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
  3. 根据权利要求2所述的方法，其中，所述根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征，包括：
    在所述超像素的深度平均值小于预设深度阈值的情况下，以预设形状特征值作为所述超像素的形状特征；
    在所述超像素的深度平均值大于或等于预设深度阈值的情况下，计算所述超像素对应的各像素点的形状指数均值作为该超像素的形状特征。
  4. 根据权利要求3中所述的方法，其中，所述像素点的形状指数SI通过以下公式计算得到：
    SI＝2/πarctan((k_2+k_1)/(k_2-k_1))；
    其中，k_2和k_1分别为所述超像素对应的区域的两个主曲率，且k_2>k_1。
  5. 根据权利要求2至4中任一项所述的方法，其中，所述提取所述深度图像包括的多个超像素，包括：
    按照预设的K个超像素在所述深度图像中分配种子点，其中，所述深度图像包括N个像素，每一所述超像素的尺寸为N/K，N和K均为大于1的整数；
    计算每一所述种子点的邻域内所有像素点梯度值；
    将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；
    分别计算各所述像素点与各所述种子点之间的距离；
    将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；
    迭代更新各所述种子点的位置并确定相应的聚类中心，至各聚类中心的位置不再变化；
    将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。
  6. 根据权利要求1至4中任一项所述的方法，其中，所述根据所述特征向量之间的相似程度对所述特征向量进行分类，包括：
    计算每一所述超像素的特征向量与各类别标签之间对应的损失值；
    根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。
  7. 一种路面缺陷检测装置，包括：
    获取模块，配置为获取路面的深度图像；
    提取模块，配置为通过超像素分割提取所述深度图像的多个特征向量；
    分类模块，配置为根据所述特征向量之间的相似程度对所述特征向量 进行分类，获得根据分类结果确定的路面缺陷信息。
  8. 根据权利要求7所述的装置，其中，所述提取模块包括：
    提取子模块，配置为提取所述深度图像包括的多个超像素；
    深度特征获取子模块，配置为分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；
    纹理特征获取子模块，配置为以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；
    形状特征获取子模块，配置为根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；
    特征向量构建子模块，配置为根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。
  9. 一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，配置为读取存储器中的程序实现如权利要求1至6中任一项所述的路面缺陷检测方法。
  10. 一种可读存储介质，配置为存储程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的路面缺陷检测方法。
PCT/CN2022/129036 2021-11-15 2022-11-01 一种路面缺陷检测方法、装置、电子设备和可读存储介质 WO2023083059A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111345530.6A CN113780259B (zh) 2021-11-15 2021-11-15 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN202111345530.6 2021-11-15

Publications (1)

Publication Number Publication Date
WO2023083059A1 true WO2023083059A1 (zh) 2023-05-19

Family

ID=78873951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/129036 WO2023083059A1 (zh) 2021-11-15 2022-11-01 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Country Status (2)

Country Link
CN (1) CN113780259B (zh)
WO (1) WO2023083059A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468373A (zh) * 2023-06-20 2023-07-21 华能信息技术有限公司 一种基于物联网的电厂设备仓储管理系统
CN116630813A (zh) * 2023-07-24 2023-08-22 青岛奥维特智能科技有限公司 一种公路路面施工质量智能检测系统
CN116664572A (zh) * 2023-07-31 2023-08-29 聊城市瀚格智能科技有限公司 基于图像数据的公路路面裂缝快速检测方法
CN116758059A (zh) * 2023-08-10 2023-09-15 吉林交通职业技术学院 一种用于路基路面的视觉无损检测方法
CN116823809A (zh) * 2023-08-23 2023-09-29 威海迈尼生物科技有限公司 一种微针贴片技术淡斑效果视觉检测方法
CN116912256A (zh) * 2023-09-14 2023-10-20 山东大昌纸制品有限公司 基于图像处理的瓦楞纸排骨纹缺陷程度评估方法
CN116993740A (zh) * 2023-09-28 2023-11-03 山东万世机械科技有限公司 基于图像数据的混凝土结构表面缺陷检测方法
CN117764989A (zh) * 2024-02-22 2024-03-26 深圳优色专显科技有限公司 一种视觉辅助的显示屏缺陷检测方法
CN118097384A (zh) * 2024-04-29 2024-05-28 江西赣粤高速公路股份有限公司 一种基于图像处理的预制桥梁铰缝破损检测方法
CN118229688A (zh) * 2024-05-27 2024-06-21 山东幻彩包装有限公司 一种瓦楞纸褶皱缺陷检测方法及系统
CN118365625A (zh) * 2024-05-08 2024-07-19 东莞市沃野包装材料有限公司 一种水转印膜纸表面瑕疵检测方法及系统
CN118411669A (zh) * 2024-04-26 2024-07-30 河南交通发展研究院有限公司 基于ai智能的全车道病害检测系统、防护方法及存储介质
CN118470013A (zh) * 2024-07-11 2024-08-09 山东声通信息科技有限公司 一种工业视频图像中的目标物典型缺陷检测方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780259B (zh) * 2021-11-15 2022-03-15 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN116434085B (zh) * 2023-03-20 2024-03-12 广东省公路建设有限公司湾区特大桥养护技术中心 基于纹理特征分析的坑槽识别方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829507A (zh) * 2019-02-21 2019-05-31 国网上海市电力公司 航拍高压输电线路环境检测方法
CN111860596A (zh) * 2020-06-17 2020-10-30 长安大学 基于深度学习的无监督路面裂缝分类方法及模型建立方法
US20210041588A1 (en) * 2019-08-09 2021-02-11 Petrochina Company Limited Method for identifying boundary of sedimentary facies, computer device and computer readable storage medium
CN112990226A (zh) * 2019-12-16 2021-06-18 中国科学院沈阳计算技术研究所有限公司 一种基于机器学习的显著性物体检测方法
CN113343900A (zh) * 2021-06-28 2021-09-03 中国电子科技集团公司第二十八研究所 基于cnn与超像素结合的组合核遥感影像目标检测方法
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809187B (zh) * 2015-04-20 2017-11-21 南京邮电大学 一种基于rgb‑d数据的室内场景语义标注方法
CN106384074A (zh) * 2015-07-31 2017-02-08 富士通株式会社 路面缺陷的检测装置、方法以及图像处理设备
CN107945161B (zh) * 2017-11-21 2020-10-23 重庆交通大学 基于纹理特征提取的道路表面缺陷检测方法
US10922817B2 (en) * 2018-09-28 2021-02-16 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN109872303B (zh) * 2019-01-16 2021-04-23 北京交通大学 表面缺陷视觉检测方法、装置和电子设备
CN113780312B (zh) * 2019-11-21 2024-04-12 同济大学 一种高速公路路面状况检测系统
CN112308912B (zh) * 2020-11-03 2023-09-15 长安大学 一种路面病害同源多特征图像获取系统、装置及方法
CN112561903B (zh) * 2020-12-24 2022-03-01 中铁建设集团基础设施建设有限公司 一种适用于寒冷地区沥青路面抗温缩裂缝的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829507A (zh) * 2019-02-21 2019-05-31 国网上海市电力公司 航拍高压输电线路环境检测方法
US20210041588A1 (en) * 2019-08-09 2021-02-11 Petrochina Company Limited Method for identifying boundary of sedimentary facies, computer device and computer readable storage medium
CN112990226A (zh) * 2019-12-16 2021-06-18 中国科学院沈阳计算技术研究所有限公司 一种基于机器学习的显著性物体检测方法
CN111860596A (zh) * 2020-06-17 2020-10-30 长安大学 基于深度学习的无监督路面裂缝分类方法及模型建立方法
CN113343900A (zh) * 2021-06-28 2021-09-03 中国电子科技集团公司第二十八研究所 基于cnn与超像素结合的组合核遥感影像目标检测方法
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468373B (zh) * 2023-06-20 2023-09-01 华能信息技术有限公司 一种基于物联网的电厂设备仓储管理系统
CN116468373A (zh) * 2023-06-20 2023-07-21 华能信息技术有限公司 一种基于物联网的电厂设备仓储管理系统
CN116630813A (zh) * 2023-07-24 2023-08-22 青岛奥维特智能科技有限公司 一种公路路面施工质量智能检测系统
CN116630813B (zh) * 2023-07-24 2023-09-26 青岛奥维特智能科技有限公司 一种公路路面施工质量智能检测系统
CN116664572A (zh) * 2023-07-31 2023-08-29 聊城市瀚格智能科技有限公司 基于图像数据的公路路面裂缝快速检测方法
CN116664572B (zh) * 2023-07-31 2023-10-13 聊城市瀚格智能科技有限公司 基于图像数据的公路路面裂缝快速检测方法
CN116758059A (zh) * 2023-08-10 2023-09-15 吉林交通职业技术学院 一种用于路基路面的视觉无损检测方法
CN116758059B (zh) * 2023-08-10 2023-10-20 吉林交通职业技术学院 一种用于路基路面的视觉无损检测方法
CN116823809A (zh) * 2023-08-23 2023-09-29 威海迈尼生物科技有限公司 一种微针贴片技术淡斑效果视觉检测方法
CN116823809B (zh) * 2023-08-23 2023-11-24 威海迈尼生物科技有限公司 一种微针贴片技术淡斑效果视觉检测方法
CN116912256B (zh) * 2023-09-14 2023-11-28 山东大昌纸制品有限公司 基于图像处理的瓦楞纸排骨纹缺陷程度评估方法
CN116912256A (zh) * 2023-09-14 2023-10-20 山东大昌纸制品有限公司 基于图像处理的瓦楞纸排骨纹缺陷程度评估方法
CN116993740A (zh) * 2023-09-28 2023-11-03 山东万世机械科技有限公司 基于图像数据的混凝土结构表面缺陷检测方法
CN116993740B (zh) * 2023-09-28 2023-12-19 山东万世机械科技有限公司 基于图像数据的混凝土结构表面缺陷检测方法
CN117764989A (zh) * 2024-02-22 2024-03-26 深圳优色专显科技有限公司 一种视觉辅助的显示屏缺陷检测方法
CN117764989B (zh) * 2024-02-22 2024-04-30 深圳优色专显科技有限公司 一种视觉辅助的显示屏缺陷检测方法
CN118411669A (zh) * 2024-04-26 2024-07-30 河南交通发展研究院有限公司 基于ai智能的全车道病害检测系统、防护方法及存储介质
CN118097384A (zh) * 2024-04-29 2024-05-28 江西赣粤高速公路股份有限公司 一种基于图像处理的预制桥梁铰缝破损检测方法
CN118365625A (zh) * 2024-05-08 2024-07-19 东莞市沃野包装材料有限公司 一种水转印膜纸表面瑕疵检测方法及系统
CN118229688A (zh) * 2024-05-27 2024-06-21 山东幻彩包装有限公司 一种瓦楞纸褶皱缺陷检测方法及系统
CN118470013A (zh) * 2024-07-11 2024-08-09 山东声通信息科技有限公司 一种工业视频图像中的目标物典型缺陷检测方法和系统

Also Published As

Publication number Publication date
CN113780259A (zh) 2021-12-10
CN113780259B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
WO2023083059A1 (zh) 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
US9530218B2 (en) Method for classification and segmentation and forming 3D models from images
CN111047695B (zh) 一种城市群高度空间信息及等高线的提取方法
US20130236081A1 (en) Image classification apparatus and recording medium having program recorded therein
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN114492619B (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
CN110084205A (zh) 一种基于改进的面向对象高分辨率遥感影像分类方法
CN108427919B (zh) 一种基于形状引导显著性模型的无监督油罐目标检测方法
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN108090485A (zh) 基于多视角融合的图像前景自动提取方法
CN105930497A (zh) 基于图像边缘和线条特征的三维模型检索方法
CN115019163A (zh) 基于多源大数据的城市要素识别方法
Recky et al. Window detection in complex facades
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN116993947B (zh) 一种三维场景可视化展示方法及系统
CN112365440A (zh) 基于yolov3的乳腺病理学图像有丝分裂检测装置和方法
CN114022787B (zh) 一种基于大尺度遥感图像机库识别方法
CN113256581B (zh) 基于视觉注意建模融合的缺陷样本自动标注方法及系统
CN107424205B (zh) 一种基于昼夜图像对进行三维立面布局估计的联合推断方法
CN114170218A (zh) 一种染色体图像实例标签生成方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22891855

Country of ref document: EP

Kind code of ref document: A1