WO2017120897A1 - 基于线扫描三维点云的物体表面变形特征提取方法 - Google Patents

基于线扫描三维点云的物体表面变形特征提取方法 Download PDF

Info

Publication number
WO2017120897A1
WO2017120897A1 PCT/CN2016/071062 CN2016071062W WO2017120897A1 WO 2017120897 A1 WO2017120897 A1 WO 2017120897A1 CN 2016071062 W CN2016071062 W CN 2016071062W WO 2017120897 A1 WO2017120897 A1 WO 2017120897A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
section
feature
sub
profile
Prior art date
Application number
PCT/CN2016/071062
Other languages
English (en)
French (fr)
Inventor
李清泉
曹民
张德津
林红
陈颖
Original Assignee
武汉武大卓越科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉武大卓越科技有限责任公司 filed Critical 武汉武大卓越科技有限责任公司
Priority to AU2016385541A priority Critical patent/AU2016385541B2/en
Priority to US16/313,440 priority patent/US10755132B2/en
Priority to PCT/CN2016/071062 priority patent/WO2017120897A1/zh
Priority to CA3023641A priority patent/CA3023641C/en
Publication of WO2017120897A1 publication Critical patent/WO2017120897A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V30/1902—Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06V30/19067—Matching configurations of points or features, e.g. constellation matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the invention relates to the technical field of surface detection, and in particular to the technical field of an object deformation feature extraction method.
  • the surface deformation detection of most objects depends on the human eye examination.
  • the detection result depends on the subjectivity of the person.
  • the human eye is prone to fatigue.
  • the false detection and the missed detection rate are extremely high. Therefore, relying on the method of human eye detection can not effectively detect the surface deformation of the object, and at the same time waste a lot of labor resources.
  • the detection method cannot obtain the depth information of the object defect.
  • the special light source cannot be used to obtain the significant two-dimensional defect feature, the defect recognition becomes very difficult, and the difference between the recognition result and the human eye recognition effect is huge. Further research to meet the requirements of production inspection.
  • 3D modeling technology has been widely used in various fields, from macro soil survey, 3D visualization, 3D animation, high precision 3D modeling to 3D printing.
  • the principle of laser triangulation based on the method of line structure light combined with visual sensor measurement, synchronous measurement of the same attitude and the same moment is realized, that is, one measurement is required to sample a complete section to ensure that one section completes measurement in the same attitude, based on line structure light.
  • the three-dimensional point cloud data acquired by the visual sensor can accurately obtain the high-precision three-dimensional information of the cross-section of the object, and also contains the two-dimensional information of the defect, so that the three-dimensional point cloud data can directly and conveniently obtain the complete information of the deformation of the object, including Deformation position, degree of deformation, etc.
  • the key to affect the defect recognition rate is the product
  • the image quality of the defect, the shape and orientation of the defect, and the surface material and texture of the defect directly affect the image quality of the image.
  • the root cause is the influence of illumination on the image of the defect.
  • the different defects, the light source, the illumination angle, and the intensity are not used.
  • This method can be used for fixed site monitoring of slow deformation of objects, but it is required to measure in high-speed dynamic environment, such as road disease detection, tunnel measurement, track disease detection, online chip weak defect detection and cultural relics archaeology.
  • the measurement can obtain a measurement section in a strict sense, that is, the points on the section are the same attitude and measured at the same time, such as road rutting detection, the measurement width is at least 2000 mm or more, and the measurement resolution (the interval of the same section is at least) Millimeter, distance measurement accuracy of 0.01 mm, measurement frequency of 10KHz or more, equivalent to measuring 200 million points per second, the existing laser 3D radar measurement technology can not meet the measurement needs.
  • the technical problem to be solved by the present invention is to overcome the above drawbacks of the prior art, and to propose a method for extracting surface deformation features of a surface based on a line scan three-dimensional point cloud.
  • the present invention provides a method for extracting a surface deformation feature of an object based on a line scan three-dimensional point cloud, comprising the following steps:
  • Step 1 Perform data acquisition by using a three-dimensional measuring sensor based on line structure light scanning to realize synchronous measurement of the cross-sectional profile of the same posture and at the same time;
  • Step 2 correcting the cross-sectional contour of the object measured by the three-dimensional measuring sensor through the calibration file, and correcting the systematic error caused by the installation deviation of the three-dimensional measuring sensor and the arc of the laser line in the measurement, and correcting the abnormal zero point;
  • Step 3 extracting the main contour of the section of the pre-processed object one by one;
  • Step 4 Obtain the characteristics of the large area type deformation by analyzing the deviation of the main contour of the section from the standard contour based on the profile of the section profile, and obtain the deformation of the smaller area class by analyzing the deviation of the profile of the preprocessed section and the main section of the section. Feature, combined with the deformation feature knowledge base, extracting deformation feature points of the section profile;
  • the deformation feature knowledge base information is extracted by extracting the deformation feature points of the section profile.
  • Step 5 the deformed feature points are combined into a binary image, and combined with the deformation feature knowledge base, the length and geometric form of each connected region in the feature binary image are counted, and then the feature binary map is divided into mutual Overlapping image sub-blocks, for each of the image sub-blocks, if the image sub-block includes a longer connection region, or the feature point morphology in the image sub-block has a target morphological feature, the sub-block is marked as Deformation target shape sub-block;
  • step 5 the deformation feature knowledge base information is refined.
  • Step 6 Perform morphological operations on the deformed feature points in the deformed target sub-block set, and remove the short-length noise region to generate a Region of Confidence; then use the geometric features of the ROC to perform region growth.
  • Step 7 the deformation feature values of the surface deformation region of the object are statistically included, including linear feature values, area array feature values, and deformation degrees.
  • step 3 extracting the main contour of the section of the pre-processed object by one step, specifically comprising the following steps:
  • the cross-sectional profile PP j , PP j ⁇ PP j1 , PP j2 ,..., PP jn ⁇ after pre-processing, where n is the number of measurement points of a single section, and the median filtering is used to obtain the abnormal data.
  • the reference cross-sectional profile RP j , RP j ⁇ RP j1 , RP j2 ,..., RP jn ⁇ , where n is the number of measurement points of a single section;
  • , i 1, 2,...,n,n is the number of measurement points of a single section;
  • the step 4 specifically includes:
  • PP i ⁇ PP j1 , PP i2 ,...,PP in ⁇
  • MP j ⁇ MP j1 ,MP j2 ,...,MP Jn ⁇ , where n is the number of measurement points of a single section;
  • PP j ⁇ PP j1 , PP j2 ,...,PP jn ⁇
  • MP j ⁇ MP j1 ,MP j2 ,..., MP jn ⁇ , where n is the number of measurement points of the section;
  • step 5 The specific steps included in the step 5 are as follows:
  • the current sub-block image has a deformation target morphological feature
  • This patent adopts pre-processing and uses the calibration file to effectively correct the systematic error caused by the sensor installation and the laser line curvature in the cross-sectional profile of the object measured by the three-dimensional measuring sensor, and at the same time, the existence of the cross-sectional profile of the object measured by the three-dimensional measuring sensor Part of the abnormal zero-value noise points are processed to obtain the true cross-sectional profile information of the material to be tested, which provides a good input for the subsequent surface deformation feature extraction.
  • This patent firstly uses the median filter to obtain the reference profile of the abnormal data and texture, and then calculate the absolute distance Di of the pre-processed profile point to the reference profile point and sort the calculated distance.
  • the contour point with a small distance from the reference section contour with a suitable ratio P is selected, and the contour point with a large distance from the reference section contour is replaced by the point on the reference section contour, and the selected point is average filtered, and then The main contour of the section is obtained, and in the process of extracting the main contour of the section, the influence of the anomaly data and texture on the main contour extraction of the section is eliminated, and the main contour of the section of the object is accurately obtained.
  • the patent obtains the characteristics of large-area deformation by analyzing the deviation between the main contour of the section and the standard contour, and obtains the smaller area by analyzing the deviation of the profile of the pre-processed section and the main profile of the section.
  • the characteristics of deformation (such as cracks and holes), that is, for a single section profile, this patent designs an effective deformation region feature extraction method for different deformation regions of the object surface, which ensures effective extraction of different types of deformation regions. Sex, the integrity of the extraction of the entire deformation area.
  • the present invention combines the extracted feature points of a series of sections into a feature binary image, and combines the deformation feature knowledge base to calculate the length, geometry (direction, shape, etc.) of each connected region in the binary image, and then The current binary image is reasonably divided into image sub-blocks that do not overlap each other. For each sub-block, if the sub-block contains a long connection region, or the feature point morphology of the sub-block has a target morphological feature, the sub-block is marked as a deformation skeleton. To achieve fast and accurate positioning of the deformed area.
  • the present invention utilizes the morphological features of the deformed feature points to perform a region growth reduction target to ensure the deformation region The integrity of the domain detection.
  • the invention statistically calculates the deformation characteristics of the deformation region of the surface of the object, thereby accurately acquiring the complete attribute information of the deformation of the object.
  • Deformation feature knowledge base is equivalent to an experience summary knowledge base.
  • the specific deformation feature extraction combined with the deformation feature knowledge base information, the predefined specific deformation features are extracted.
  • the deformation feature knowledge base information is extracted. Improve and gradually improve the stability and reliability of the deformation feature knowledge base.
  • Figure 1 is a flow chart of the overall implementation of the present invention.
  • FIG. 2 is a schematic diagram of a three-dimensional measurement structure based on line structure light scanning.
  • Figure 3 is a flow chart showing the deformation feature points of the extracted profile.
  • Figure 4 is a flow chart of the positioning deformation region.
  • Fig. 5 is a diagram showing an example of section-main contour extraction.
  • Fig. 6 is a diagram showing an example of the extraction of the main contour of the section.
  • Fig. 7 is a view showing an example of deformation characteristic point extraction of the cross-sectional contour one.
  • Fig. 8 is a view showing an example of deformation characteristic point extraction of the cross-sectional contour 2.
  • FIG. 9 is a view showing an example of positioning of the deformed region 1. From left to right, a1, a2, a3, and a4 are, in order, an original image, a binary image, a deformed target shape sub-block set, and a feature point in the deformed target form sub-block set.
  • FIG. 10 is a view showing an example of positioning of the deformed region 2, from left to right b1, b2, b3, and b4, which are, in order, an original image, a binary image, a deformed target shape sub-block set, and a feature point in the deformed target shape sub-block set.
  • Fig. 11 is a view showing an example of main section outline extraction in the license plate detecting embodiment.
  • Fig. 12 is a view showing an example of extraction of a feature point of a section deformation in a license plate detecting embodiment.
  • Figure 13 is a binary diagram of the composition of the deformed feature points in the license plate detection embodiment.
  • FIG. 14 is a set of deformation target form sub-blocks initially positioned in the license plate detection embodiment.
  • FIG. 15 is a license plate target shape sub-block set positioned according to the size of the license plate in the license plate detection embodiment.
  • Figure 16 is a license plate area extracted in the license plate detection embodiment.
  • the shape, texture, and size of different objects are different, and the deformation characteristics of different measurement objects are different.
  • the pipe diameter for pipe deformation detection is an important detection feature, while for a planar object, there is no diameter feature; for example, the asphalt pavement texture deviates.
  • the main contour of the road surface is 2mm ⁇ 5mm. It is a normal texture.
  • the deformation characteristics of different measurement objects are different, and it is necessary to define the detection object in a targeted manner. Deformation features.
  • Common deformation features include linear features (deformation depth, length, width, curvature, direction, distance, etc.), area array features (deformation area depth, area, etc.), deformation degree characteristics (such as light, medium, heavy), continuity Features, etc.
  • the predefined specific deformation features are extracted, and the deformation feature knowledge base information is improved in the data application process.
  • FIG. 1 A general embodiment of the invention is shown in FIG. The various steps are described in further detail below.
  • This patent utilizes three-dimensional measurement technology based on line structure light scanning, which is referred to as line scanning three-dimensional measurement technology.
  • the relative change of the surface of the measured object is measured by the sensor, which reflects the degree of surface change of the measured object.
  • the measurement principle is shown in Figure 2 below.
  • the data collection involved in the patent uses the above-mentioned three-dimensional measuring sensor based on line structure light scanning to perform data acquisition, and realizes synchronous measurement of the cross-sectional contour of the same posture and at the same time.
  • the collection method includes two methods: First, the three-dimensional measuring sensor is installed at a fixed position. On the support, within the measurement range of the three-dimensional measurement sensor, the measured object passes through the measurement area at a certain speed, and the three-dimensional contour data acquisition of the measured object is realized during the movement of the measured object; second, the three-dimensional measurement sensor is installed in the motion. On the carrier, data is collected on the three-dimensional contour of the measured object during the movement of the measuring carrier.
  • the three-dimensional measuring sensor based on the line structure light combined with the visual sensor (hereinafter referred to as the three-dimensional measuring sensor) is essentially composed of a combination of a word laser and an area array camera. Due to the production process, the laser line emitted by the one-word laser cannot reach an absolute Collimation, there is a certain degree of bending; the laser line has a mounting angle with the camera optical axis; therefore, the cross-section of the object measured by the three-dimensional measuring sensor needs to be corrected by the calibration file.
  • the specific calibration method can be selected by several existing technical solutions. It is a conventional means by those skilled in the art, and therefore will not be described again.
  • some abnormal noise points may exist in the cross-sectional profile of the object measured by the three-dimensional measuring sensor (when there is water stain, oil stain on the surface of the measured object or the measured area is occluded by the object, etc.)
  • the zero point is replaced with a non-zero mean of the area near the zero value.
  • the patent uses median filtering to obtain the reference profile of the local defect and the large depth texture, and then calculate the absolute distance from the pre-processed profile point to the reference profile point, and sort the calculated distance.
  • the profile characteristics of the section select the contour point with a suitable ratio P (about 60% to 98%) that deviates from the reference section contour (less than or equal to T l ), and the contour point with a large distance from the reference section (greater than T1) is used as a reference.
  • the selected points are averaged and filtered to obtain the main profile of the section.
  • the extracted profile profile is as follows:
  • the median filtering is used to obtain the abnormal data.
  • the deviation of the main profile MP and the standard profile SP is analyzed to obtain the characteristics of the large-area deformation.
  • a smaller area-like deformation is obtained (eg. The characteristics of cracks and holes are combined with the deformation feature knowledge base to extract the deformation feature points of the section profile. The flow is shown in Figure 3.
  • the information of the deformation feature knowledge base is improved, and the stability and reliability of the deformation feature knowledge base are gradually improved.
  • the invention In the process of locating the deformation region, the invention firstly composes a series of deformed feature points of the section into a characteristic binary image, and combines the deformation feature knowledge base to calculate the length and geometric shape (direction, shape) of each connected region in the binary image. Etc.), and then the current binary image is reasonably divided into non-overlapping image sub-blocks. For each sub-block, if the sub-block contains a long connection region, or the feature point morphology in the sub-block has a target morphological feature, then the sub-block The block is marked as a deformed skeleton to realize fast and accurate positioning of the deformed region.
  • the flow is shown in Figure 4. The specific steps are as follows:
  • the information of the deformation feature knowledge base is improved, and the stability and reliability of the deformation feature knowledge base are gradually improved.
  • the invention firstly expands the deformation feature points in the skeleton of the deformation region, and then performs corrosion operation, and removes the noise region with a short length to generate a region of contrast ROC (Region of Confidence); then uses the morphological characteristics of the ROC , the regional growth reduction target is carried out to ensure the integrity of the deformation area detection.
  • ROC Contrast of Confidence
  • the invention statistically calculates deformation characteristic values of the surface deformation region of the object, such as linear feature values (deformation depth, length, width, curvature, direction, distance, etc.), and area array feature values (depth and area of the deformation region) Etc.), degree of deformation characteristics (such as light, medium, heavy).
  • deformation characteristic values of the surface deformation region of the object such as linear feature values (deformation depth, length, width, curvature, direction, distance, etc.), and area array feature values (depth and area of the deformation region) Etc.), degree of deformation characteristics (such as light, medium, heavy).
  • the technical solution of the present invention takes the asphalt pavement crack identification as an example, and describes a method for extracting crack characteristics of asphalt pavement based on line scanning three-dimensional point cloud.
  • Asphalt pavement crack feature knowledge base information includes: pavement texture model, crack length > 10cm, crack depth > 1mm, crack directional (transverse crack, longitudinal crack, crack, block crack), continuity, aggregation, crack in the section In the contour, the deformation is small area, the crack is located below the surface of the road surface, the depth of the crack is greater than the depth of the general pavement texture, the crack has a certain width, the crack has an area characteristic, and the crack has the degree of damage.
  • the area calculation method of cracks, the type of crack direction, and the degree of crack damage can be defined according to the specifications of each country, or can be defined according to the purpose, such as: defining the crack area as the minimum outer moment area of the crack area.
  • the three-dimensional point cloud data collection method of the asphalt pavement surface is as follows: the three-dimensional measuring sensor is mounted on the carrying vehicle, and the measuring sensor performs data collection on the three-dimensional contour section of the measured object during the process of traveling at a normal speed.
  • This patent uses the calibration file to correct the systematic error caused by the sensor installation and the arc of the laser line in the profile of the object measured by the three-dimensional measuring sensor.
  • some abnormal noise may exist in the profile of the road surface measured by the three-dimensional measuring sensor.
  • Point when there is water stain, oil stain on the surface of the measured object or the measured area is blocked by the object, etc.
  • the zero value point is replaced by the non-zero value mean value in the vicinity of the zero value; and the pre-processed series of sections are spliced along the driving direction to obtain the three-dimensional point cloud data of the asphalt road surface.
  • this patent firstly uses the median filter to obtain the reference profile of the large-texture removal profile, and then calculate the absolute distance from the pre-processed profile point to the reference profile point. The distances are sorted. According to the profile characteristics of the section, the contour point with a small distance from the reference section contour with a suitable ratio P (about 70%) is selected, and the contour point with a large distance from the reference section contour is replaced by the point on the reference section contour. The selected points are average filtered to obtain the main profile of the section.
  • Figures 5 and 6 are examples of the main profile extraction of the 100th to 400th measurement points in the arbitrarily selected two cross sections.
  • FIGS. 7 and 8 are examples of deformation feature points extraction of the 100th to 400th measurement points in the arbitrarily selected two cross sections.
  • the texture values are 0.7078 mm and 0.7939 mm, respectively.
  • the invention combines the deformed feature points of the extracted series of sections into a characteristic binary image, as shown in FIG. 9(a2) and FIG. 10(b2), and counts the length and direction of each connected region in the binary image, and then the current
  • the binary image is reasonably divided into image sub-blocks that do not overlap each other.
  • the sub-block with the long-term and linearity of the current deformed feature point is used as the deformation target morphological sub-block, as shown in Fig. 9(a3).
  • the feature points of the deformation region are quickly and accurately positioned, as shown in Fig. 9 (a4) and Fig. 10 (b4).
  • the deformation feature points in the deformation target sub-block set are subjected to morphological operations, and the short-length connected regions are removed, and a Region of Confidence (ROC) is generated. Then, using the geometrical features of the ROC, the region growth reduction target is performed to ensure the integrity of the deformation region detection.
  • ROC Region of Confidence
  • the invention statistically describes the deformation characteristics of the crack region, such as crack length, crack width, average crack depth, crack direction or type (transverse crack, longitudinal crack, crack, block crack), crack area, crack damage Degree and other characteristics.
  • the embodiment of the technical solution of the present invention takes a license plate recognition as an example to describe a license plate feature extraction method based on a line scan three-dimensional point cloud.
  • the license plate knowledge base information includes: the license plate has a smaller area type deformation in the section profile, the license plate depth is greater than the general background texture depth, the license plate has a regular geometric shape feature, and the representation is a rectangle, and the size is mostly 440 mm ⁇ 220 mm.
  • the three-dimensional point cloud data acquisition method of the license plate is as follows: the three-dimensional measurement sensor is installed on the vehicle, the license plate is located on the road surface, and the measurement sensor performs data collection on the three-dimensional contour section of the measured object during the process of traveling at a normal speed.
  • This patent uses a calibration file to correct the systematic error caused by sensor installation and laser line curvature in the cross-sectional profile of the object measured by the three-dimensional measuring sensor, and splicing a series of pre-processed sections along the driving direction to obtain three-dimensional point cloud data.
  • this patent For the cross-sectional profile after pre-processing, this patent first performs median filtering, and then calculates the absolute distance from the pre-processed section contour point to the reference section contour point, and sorts the calculated distance. According to the section contour feature, select the appropriate ratio.
  • Example P (about 70%) deviates from the contour point with a small reference profile distance. The contour point with a large distance from the reference profile is replaced by the point on the reference profile, and the selected points are averaged to obtain the section master.
  • the outline is shown in Figure 11.
  • the texture value of the current section profile is calculated, thereby obtaining the texture value Tex of the current section, and then selecting from the point where the contour point is lower than the road surface surface.
  • the above method performs the deformation feature point extraction, and the deformation feature point extraction example in the 48th cross section of Fig. 12 shows that the texture values of the two sections are 0.7925 mm, respectively.
  • the invention combines the extracted feature points of a series of sections into a feature binary image, as shown in FIG. 13, and then divides the current binary image into image sub-blocks which do not overlap each other, and for each sub-block, the current deformation feature is
  • the sub-block with long connecting point and good linearity is used as the deformed target sub-block, as shown by the rectangular box in Fig. 14, and the deformed target sub-block set is quickly and accurately located.
  • the length and width of each morphological sub-block set are counted. According to the knowledge base, the morphological sub-block set whose length and width do not satisfy the size characteristics of the license plate are removed, and the license plate sub-block set is obtained, as shown in FIG.
  • the deformation feature points in the deformation target sub-block set are subjected to morphological operations, and the short-length connected regions are removed, and a Region of Confidence (ROC) is generated. Then, using the geometrical features of the ROC, the region growth reduction target is performed to ensure the integrity of the deformation region detection, as shown in FIG.
  • ROC Region of Confidence
  • the invention calculates the deformation characteristics of the license plate area, such as the license plate length, the license plate width, the license plate area and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于线扫描三维点云的物体表面变形特征提取方法，包括：利用基于线结构光扫描的三维测量传感器进行数据采集，数据预处理后得到物体表面的三维点云数据；消除异常数据、纹理对断面主轮廓提取的影响，准确获取了物体断面主轮廓；结合变形特征知识库，基于断面提取变形特征点得到二值图像，基于子块图像初步定位变形区域得到目标形态子块集；再对子块集内的变形特征点进行形态学操作，生成置信变形区域ROC，接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性；最后按预定义的变形特征，统计物体表面变形区域的变形特征值，从而准确获取物体变形的完整属性信息。

Description

基于线扫描三维点云的物体表面变形特征提取方法 技术领域
本发明涉及表面检测技术领域，尤其涉及到物体变形特征提取方法技术领域。
背景技术
随着社会科技的进步，人们对物体质量的要求越来越高，甚至到了“近似完美”的境界。物体在受力时会表现出变形与失效等力学性能，使材料服役于失效极限范围之内，同时具有较好的稳定性及经济性是材料科学的重要内容之一。由于生产缺陷或使用磨损，物体表面可能出现各种变形(如裂缝、孔洞、路面车辙、轨道弯曲、衬砌形变、易拉罐变形、管道变形等)，从而影响物体的性能甚至引发安全事故。因此，及时进行物体表面变形检测在有效预防安全事故、降低经济损失、提高产品质量等方面具有重要价值和意义。
目前绝大多数物体表面变形检测依赖于人眼检查，检测结果依赖于人的主观性，同时，当人工作时间较长时，人眼易出现疲劳，此时误检、漏检率极高，故依赖于人眼检测的方式无法有效的检测物体表面变形，同时浪费了大量的劳动资源。另外，目前出现了基于二维机器视觉的自动化表面缺陷自动检测检测技术，该技术通过物体反射回的亮度信息，得到物体表面缺陷的二维轮廓信息，从而实现物体表面的缺陷检测，但此种检测方法无法获取物体缺陷的深度信息，同时，在很多情况下，当无法采用特殊光源获取显著的二维缺陷特征时，缺陷识别变得非常困难、识别结果与人眼识别效果差距巨大，还需要进一步研究以满足生产检查的要求。
目前三维建模技术已经广泛应用于各个领域，从宏观国土调查、三维可视化、三维动漫、高精度三维建模到三维打印均得到广泛应用。根据激光三角测量原理，基于线结构光结合视觉传感器测量的方法实现同一姿态、同一时刻的同步测量，即要求一次测量采样一个完整断面，保证一个断面在同一个姿态下完成测量，基于线结构光结合视觉传感器测量获取的三维点云数据可准确获取高精度的物体断面轮廓三维信息，同时也包含了缺陷二维信息，从而三维点云数据能较直接和方便地获取物体形变的完整信息，包括形变位置、形变程度等。
现有的自动化表面缺陷检测检测技术主要有以下两种：
(1)在基于二维机器视觉的表面缺陷检测技术中，影响缺陷识别率的关键在于产品 缺陷的成像质量，而缺陷的形状、方位以及表面材质、纹理等，都直接影响图像成像质量，其根本原因是光照对缺陷成像的影响，不同的缺陷，采用的光源、照射角度、强度都不一样，但缺陷种类繁多，很难提出一种具有普适性的特殊算法，这对缺陷识别提出了很大的挑战，同时此种检测方法无法获取物体缺陷的深度信息，即无法准确、有效的评价缺陷的损坏程度，更无法检测物体是否发生较大范围的变形。
(2)现有的基于激光三维雷达技术的物体变形特征提取方法，采用旋转棱镜测量单个断面、旋转云台扫描整个视场的方式获取物体三维点云，基于时间飞行差脉冲测量，测量精度达到毫米级，测量速度达到每秒百万点以上，测量时棱镜和云台同步旋转，其测量断面不是严格意义上的断面(非同一时空下获取的断面)，可以理解为离散点组成的物体表面三维点云。此方法可用于物体缓慢变形的固定站点监测，但是，在诸如道路病害检测、隧道测量、轨道病害检测、在线芯片微弱缺陷检测及文物考古等方面，都要求在高速动态环境下测量，且需要一次测量能获取严格意义上的一个测量断面，即断面上的点是同一姿态、同一时间测量，如公路车辙检测，测量幅宽至少2000毫米以上，测量分辨率(同一断面的点采用间隔)至少达到毫米，距离测量精度达到0.01毫米，测量频率10KHz以上，相当于每秒测量2亿个点，现有激光三维雷达测量技术都无法满足测量需求。
发明内容
本发明所要解决的技术问题是克服上述现有技术的缺陷，提出一种基于线扫描三维点云的物体表面变形特征提取方法。
为解决上述技术问题，本发明提出一种基于线扫描三维点云的物体表面变形特征提取方法，包括以下步骤：
步骤1、利用基于线结构光扫描的三维测量传感器进行数据采集，实现同步测量同一姿态、同一时刻的断面轮廓；
步骤2、对三维测量传感器测量的物体断面轮廓通过标定文件进行校正预处理，校正所述测量中因三维测量传感器安装偏差及激光线弧度引起的系统误差，同时矫正异常零值点；
步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓；
步骤4、基于断面轮廓特征，通过分析所述断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形的 特征，结合变形特征知识库，提取断面轮廓的变形特征点；
利用提取断面轮廓的变形特征点，对变形特征知识库信息进行完善。
步骤5、将所述变形特征点组成二值图像，并结合变形特征知识库，统计所述特征二值图像中各连通区域的长度、几何形态，再将所述特征二值图划分成互不重叠的图像子块，对于每个所述图像子块，如果所述图像子块中包含较长连接区域，或者所述图像子块中特征点形态具有目标形态特征，则将该子块标记为变形目标形态子块；
在步骤5中，对变形特征知识库信息进行完善。
步骤6、对变形目标子块集内的变形特征点进行形态学操作，并去掉长度较短的噪声区域，生成置信变形区域ROC(Region of Confidence)；接着利用ROC的几何形态特征，进行区域生长还原目标；
步骤7、按预定义的变形特征，统计物体表面变形区域的变形特征值，包括线性特征值、面阵特征值、变形程度。
进一步优选的，所述步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓，具体包括以下步骤：
3-1、对预处理后的断面轮廓PPj，PPj＝{PPj1，PPj2，…，PPjn}，其中n为单个断面测量点个数，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RPj，RPj＝{RPj1，RPj2，…，RPjn}，其中n为单个断面测量点个数；
3-2、计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离Dj，Dj＝{Dji，Dj2，…，Djn}，其中，Dji＝|PPji-RPji|，i＝1，2，…，n，n为单个断面测量点个数；
3-3、对计算的距离Dj中的元素按升序进行排序，形成新距离集合Sj，Sj＝{Sj1，Sj2，…，Sjn}，其中n为单个断面测量点个数；
3-4、计算阈值Tj1，Tj1＝Sjk，k的值为n*p向上取整，p值为60％～98％，
3-5、选择并生成新的轮廓点集合NPj，NPj＝{NPj1，NPj2，…，NPjn}，其中n为单个断面测量点个数；轮廓点集合NPj中元素取值按照如下公式进行计算；
Figure PCTCN2016071062-appb-000001
对选择的点轮廓点集合NPj进行均值滤波，从而得到断面主轮廓MPj，MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数。
所述步骤4具体包括：
对当前第j(j＝1，2，…，m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：
4-1、将预处理后断面轮廓PPi、断面主轮廓MPj作为输入，PPi＝{PPj1，PPi2，…，PPin}，MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数；
4-2、结合断面采集的位置信息，提取与当前断面轮廓PPj相匹配的标准轮廓SPj，SPj＝{SPj1，SPj2，…，SPjn}，其中n为单个断面测量点个数；
4-3、计算断面主轮廓MPji与标准轮廓SPji的偏差，形成偏差集合DEVj，DEVj＝{DEVj1，DEVj2，…，DEVjn}，DEVji＝|MPji-SPji|，i＝1，2，…，n；
4-4、将偏差大于变形精度检测要求T2的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
Figure PCTCN2016071062-appb-000002
4-5、输出变形特征标记值集合Fj；
对当前第j个(j＝1，2，…，m，m为采集断面个数)断面轮廓的较小面积类变形特征点的提取，具体步骤如下：
4-1’、将预处理后断面轮廓PPj、断面主轮廓MPj作为输入，PPj＝{PPj1，PPj2，…，PPjn}，MPj＝{MPj1，MPj2，…，MPjn}，其中n为断面测量点个数；
4-2’、计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的绝对距离DISj DISj＝{DISj1，DISj2，…，DISjn}，其中，DISji＝|PPji-MPji|，i＝1，2，…，n，n为断面测量点个数，再对绝对距离求平均值
Figure PCTCN2016071062-appb-000003
从而获取当前断面的路面纹理值Texj＝Avg_DISj；
4-3’、计算断面变形点分割阈值Tj3＝K*Texj的点，其中K为阈值系数，K＞1；
4-4’、计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的距离Sj，Sj＝{Sj1，Sj2，…，Sjn}，其中，Sji＝PPji-MPji或Sji＝MPji-PPji，或Sji＝|MPji-PPji|，i＝1，2，…，n，n为断面测量点个数；
4-5’、将偏差大于变形点分割阈值Tj3的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
Figure PCTCN2016071062-appb-000004
4-6’、输出变形特征标记值集合Fj。
所述步骤5包括的具体步骤如下：
5-1、按断面采集顺序，输入一系列连续采集断面的变形特征点Fj，其中j＝1，2，…，m；
5-2、将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{Fji|j＝1，2，…，m，i＝1，2，…，n}；
5-3、对二值图像进行连通域标记，记录标记值为FR＝{FRji|j＝1，2，…，m，i＝1，2，…，n}，并统计连通域标记图像FR中各连通区域的URu的长度URLu、几何形态，URu为标记值为u的连通区域，u＝1，2，…，U，U为连通区域的总个数，URLu为标记值为u的连通区域外接矩长边或对角线的长度；
5-4、将当前二值图合理划分成大小为sm*sn且互不重叠的图像子块，SU＝{SUxy|x＝1，2，…，M，y＝1，2，…，N}，SUxy＝{Fji|j∈Xx，i∈Yy}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，Xx∈[(x-1)*sm+1x*sm]且Xx∈Z*，Yy∈[(y-1)*sn+1y*sn]且Yy∈Z*；
5-5、结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，包括方向特征SUDxy，其中x＝1，2，…，M，y＝1，2，…，N；
5-6、设置x＝1，y＝1；开始讨论当前图像子块是否为变形目标形态单元；
5-7、若子块图像中包含长度大于T4的连通区域，T4从变形知识库中获取；则将当前子块标记为变形目标形态单元按下面公式计算，并记录标记值FSUxy＝1，否则转入第(5-8)步；
Figure PCTCN2016071062-appb-000005
5-8、若当前子块图像中变形特征点具有变形目标形态特征，则将当前子块标记为变形目标形态单元，并记录标记值FSUxv＝1，否则记录标记值FSUxy＝0；
5-9、若y小于N，则设置y＝y+1，转入第(5-7)步；否则，转入第(5-10)步；
5-10、若x小于M，则设置x＝x+1，y＝1，转入第(5-7)步；否则，转入第(5-11)步；
5-11、输出变形目标形态子块集FS＝{FSji|j＝1，2，…，m，i＝1，2，…，n}，其值按如下公式计算：
Figure PCTCN2016071062-appb-000006
本发明的有益效果包括：
(1)本专利通过预处理，利用标定文件，有效校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的系统误差，同时，对三维测量传感器测量的物体断面轮廓中存在的部分异常零值噪声点进行处理，从而获取被测物料的真实断面轮廓信息，为后续的物体表面变形特征提取提供了良好的输入。
(2)本专利通过首先利用中值滤波，初步获取除去异常数据、纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离Di，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，及本专利在断面主轮廓提取过程中，消除了异常数据、纹理对断面主轮廓提取的影响，进而准确获取了物体断面主轮廓。
(3)本专利在物体变形特征提取过程中，通过分析断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形(如裂缝、孔洞)的特征，即，对单个断面轮廓而言，本专利针对物体表面不同变形区域大小，分别设计了有效的变形区域特征提取方法，保证了对不同类变形区域提取的有效性，对整个变形区域提取的完整性。
(4)本发明将提取的一系列断面的变形特征点组成特征二值图像，并结合变形特征知识库，统计二值图像中各连通区域的长度、几何形态(方向、形状等)，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，如果子块中包含较长连接区域，或者子块中特征点形态具有目标形态特征，则将子块标记为变形骨架，从而实现变形区域的快速、准确定位。
(5)本发明利用变形特征点的形态学特征，进行区域生长还原目标，以保证变形区 域检测的完整性。
(6)本发明按预定义的变形特征，统计物体表面变形区域的变形特征，从而准确获取物体变形的完整属性信息。
(7)变形特征知识库相当于一个经验总结知识库，在特定的变形特征提取中，结合变形特征知识库信息，提取预定义的特定变形特征，在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。
附图说明
下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。
图1为本发明总体实施流程图。
图2为基于线结构光扫描的三维测量结构原理图。
图3为提取断面轮廓的变形特征点流程图。
图4为定位变形区域流程图。
图5为断面一主轮廓提取示例图。
图6为断面二主轮廓提取示例图。
图7为断面轮廓一的变形特征点提取示例图。
图8为断面轮廓二的变形特征点提取示例图。
图9为变形区域一的定位示例图，从左到右a1、a2、a3、a4，依次是原始图像、二值图像、变形目标形态子块集、变形目标形态子块集内特征点。
图10为变形区域二的定位示例图，从左到右b1、b2、b3、b4，依次是原始图像、二值图像、变形目标形态子块集、变形目标形态子块集内特征点。
图11为车牌检测实施例中断面主轮廓提取示例图。
图12为车牌检测实施例中断面变形特征点提取示例图。
图13为车牌检测实施例中变形特征点组成的二值图。
图14为车牌检测实施例中初步定位的变形目标形态子块集。
图15为车牌检测实施例中根据车牌尺寸大小定位的车牌目标形态子块集。
图16为车牌检测实施例中提取的车牌区域。
具体实施方式
不同被测物体的形状、纹理、尺寸等特征不同，不同测量对象的变形特征也不同，如管道变形检测的管道直径为重要检测特征，而对平面物体则不存在直径特征；如沥青路面纹理偏离路面主轮廓2mm～5mm为正常纹理，对于元器件变形检测，当断面轮廓偏离标准轮廓1mm时已为严重变形，故对不同的测量对象，其变形特征不同，需要有针对性的定义检测对象的变形特征。
常见的变形特征包含线性特征(变形深度、长度、宽度、曲率、方向、距离等)、面阵特征(变形区域的深度、面积等)、变形程度特征(如轻、中、重)、连续性特征等。
在特定的变形特征提取中，结合变形特征知识库信息，提取预定义的特定变形特征，在数据应用过程中，对变形特征知识库信息进行完善。
本发明的总体实施方式如图1所示。下面进一步详细描述各个步骤。
数据采集步骤：
本专利利用基于线结构光扫描的三维测量技术，简称线扫描三维测量技术，通过传感器测量得到被测物表面相对变化情况，反应了被测物表面变化程度，其测量原理如下图2所示。
本专利涉及的数据采集利用上述的基于线结构光扫描的三维测量传感器进行数据采集，实现同一姿态、同一时刻的断面轮廓同步测量，采集方式包含两种方式：其一，三维测量传感器安装在固定支架上，在三维测量传感器测量范围内，被测物体以一定速度穿过测量区域，在被测物体运动过程中，实现对被测物体的三维轮廓数据采集；其二，三维测量传感器安装在运动载体上，在测量载体运动过程中，对被测物体三维轮廓进行数据采集。
数据预处理步骤：
基于线结构光结合视觉传感器的三维测量传感器(以下简称三维测量传感器)本质上由一字激光器与面阵相机相结合的方式组成，由于生产工艺原因，一字激光器发射的激光线无法达到绝对的准直，存在一定程度的弯曲；激光线与相机光轴存在安装夹角；故对三维测量传感器测量的物体断面轮廓需通过标定文件进行校正，具体的标定方法可有多个现有技术方案选用，是本领域技术人员的常规手段，故不再赘述。另外，由于测量环境的变化，三维测量传感器测量的物体断面轮廓中可能存在部分异常噪声点(当被测物表面存在水渍、油渍或被测区域被物体遮挡等出现零值点)，本发 明利用零值附近区域的非零值均值替换该零值点。
断面主轮廓提取步骤：
本专利首先利用中值滤波，初步获取去除局部缺陷、较大深度纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P(约60％～98％)的偏离参考断面轮廓距离较小(小于等于Tl)的轮廓点，偏离参考断面轮廓距离较大(大于T1)的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓。对当前第j(j＝1，2，…，m，m为采集断面个数)个采集的断面轮廓，具体断面主轮廓提取步骤如下：
(1)对预处理后的断面轮廓PPj(PPj＝{PPj1，PPi2，…，PPin}，其中n为单个断面测量点个数)，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RPj(RPj＝{RPj1，RPj2，…，RPjn}，其中n为单个断面测量点个数)；
(2)计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离Dj(Dj＝{Dj1，Dj2，…，Djn}，其中，Dji＝|PPji-RPji|，i＝1，2，…，n，n为单个断面测量点个数))；
(3)对计算的距离Dj中的元素按升序进行排序，形成新距离集合Sj(Sj＝{Sj1，Sj2，…，Sjn}，其中n为单个断面测量点个数)；
(4)计算阈值Tj1，Tj1＝Sjk，k的值为n*p向上取整，p值约为60％～98％，
(5)选择并生成新的轮廓点集合NPj(NPj＝{NPj1，NPj2，…，NPjn}，其中n为单个断面测量点个数)，轮廓点集合NPj中元素取值按照如下公式进行计算；
Figure PCTCN2016071062-appb-000007
(6)对选择的点轮廓点集合NPj进行均值滤波，从而得到断面主轮廓MPj(MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数)。
提取断面轮廓的变形特征点步骤：
基于断面轮廓特征，通过分析断面主轮廓MP与标准轮廓SP的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓PP与断面主轮廓MP的偏差获取较小面积类变形(如 裂缝、孔洞)的特征，结合变形特征知识库，提取断面轮廓的变形特征点，其流程如图3所示。
对当前第j(j＝1，2，…，m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：
(7)将预处理后断面轮廓PPj(PPj＝{PPj1，PPj2，…，PPjn}，其中n为单个断面测量点个数)、断面主轮廓MPj(MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数)作为输入；
(8)结合断面采集的位置信息(采集设备的当前位置信息或被测物体的位置信息)，提取与当前断面轮廓PPj相匹配的标准轮廓SPj(SPj＝{SPj1，SPj2，…，SPjn}，其中n为单个断面测量点个数)；
(9)计算断面主轮廓MPji与标准轮廓SPji偏差，形成偏差集合DEVj(DEVj＝{DEVj1，DEVj2，…，DEVjn}，DEVji＝|MPji-SPji|，i＝1，2，…，n)；
(10)将偏差大于变形精度检测要求T2的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
Figure PCTCN2016071062-appb-000008
(11)输出变形特征标记值集合Fj。
对当前第j(j＝1，2，…，m，m为采集断面个数)个断面轮廓的较小面积类变形特征点的提取，具体步骤如下：
(12)将预处理后断面轮廓PPj(PPj＝{PPj1，PPj2，…，PPjn}，其中n为断面测量点个数)、断面主轮廓MPj(MPj＝{MPj1，MPj2，…，MPjn}，其中n为断面测量点个数)作为输入；
(13)计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的绝对距离DISj(DISj＝{DISj1，DISj2，…，DISjn}，其中，DISji＝|PPji-MPji|，i＝1，2，…，n，n为断面测量 点个数))，再对绝对距离求平均值
Figure PCTCN2016071062-appb-000009
从而获取当前断面的路面纹理值Texj＝Avg_DISj；
(14)计算断面变形点分割阈值Tj3＝K*Texj的点，其中K(K＞1)为阈值系数；
(15)计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的距离Sj(Sj＝{Sj1，Sj2，…，Sjn}，其中，Sji＝PPji-MPji或Sji＝MPji-PPji，或Sji＝|MPji-PPji|，i＝1，2，…，n，n为断面测量点个数)；
(16)将偏差大于变形点分割阈值Tj3的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
Figure PCTCN2016071062-appb-000010
(17)输出变形特征标记值集合Fj。
在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。
定位变形区域骨架步骤：
在定位变形区域过程中，本发明首先将提取的一系列断面的变形特征点组成特征二值图像，并结合变形特征知识库，统计二值图像中各连通区域的长度、几何形态(方向、形状等)，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，如果子块中包含较长连接区域，或者子块中特征点形态具有目标形态特征，则将子块标记为变形骨架，从而实现变形区域的快速、准确定位，其流程如图4所示，具体步骤如下：
(18)按断面采集顺序，输入一系列连续采集断面的变形特征点Fj，其中j＝1，2，…，m；
(19)将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{Fji|j＝1，2，…，m，i＝1，2，…，n}；
(20)对二值图像进行连通域标记，记录标记值为FR＝{FRji|j＝1，2，…，m，i＝1，2，…，n}，并统计连通域标记图像FR中各连通区域的URu(标记值为u的连通区域， u＝1，2，…，U，U为连通区域的总个数)的长度URLu(标记值为u的连通区域外接矩长边或对角线的长度)、几何形态(如方向URDu(如用最小二乘拟合获取))；
(21)将当前二值图合理划分成大小互不重叠的图像子块(大小为sm*sn)，SU＝{SUxy|x＝1，2，…，M，y＝1，2，…，N}，SUxy＝{Fji|j∈Xx，i∈Yy}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，Xx∈[(x-1)*sm+1x*sm]且Xx∈Z*，Yy∈[(y-1)*sn+1y*sn]且Yy∈Z*；
(22)结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，如方向特征SUDxy(用最小二乘拟合或方向投影获取)，其中x＝1，2，…，M，y＝1，2，…，N；
(23)设置x＝1，y＝1；开始讨论当前图像子块是否为变形骨架单元；
(24)若子块图像中包含长度大于T4(从变形知识库中获取)的连通区域；则将当前子块标记为骨架单元(按下面公式计算)，并记录标记值FSUxy＝1，否则转入第(25)步；
Figure PCTCN2016071062-appb-000011
(25)若当前子块图像中变形特征点具有变形目标形态特征(如裂缝具有较强的线性特征)，则将当前子块标记为骨架单元，并记录标记值FSUxy＝1，否则记录标记值FSUxy＝0；
(26)若y小于N，则设置y＝y+1，转入第(24)步；否则，转入第(27)步；
(27)若x小于M，则设置x＝x+1，y＝1，转入第(24)步；否则，转入第(28)步；
(28)输出变形区域骨架FS＝{FSji|j＝1，2，…，m，i＝1，2，…，n}，其值按如下公式计算。
Figure PCTCN2016071062-appb-000012
在方法应用过程中，对变形特征知识库信息进行完善，进而逐步提升变形特征知识库的稳定、可靠性。
基于形态学特征的区域生长还原步骤：
本发明首先对变形区域骨架内的变形特征点进行膨胀操作，再对其进行腐蚀操作，并去掉长度较短的噪声区域，生成置信变形区域ROC(Region of Confidence)；接着利用ROC的形态学特征，进行区域生长还原目标，以保证变形区域检测的完整性。
变形区域特征提取步骤：
本发明按预定义的变形特征，统计物体表面变形区域的变形特征值，如线性特征值(变形深度、长度、宽度、曲率、方向、距离等)、面阵特征值(变形区域的深度、面积等)、变形程度特征(如轻、中、重)等。
实施例1
1)知识库
本发明技术方案实施例以沥青路面裂缝识别为例，描述基于线扫描三维点云的沥青路面裂缝特征提取方法。
沥青路面裂缝特征知识库信息包含：路面纹理模型、裂缝长度＞10cm、裂缝深度＞1mm、裂缝具有方向性(横裂、纵裂、龟裂、块裂)、连续性、聚集性、裂缝在断面轮廓中为较小面积类变形、裂缝位于路面表面下方、裂缝深度大于一般路面纹理深度、裂缝具有一定宽度、裂缝具有面积特征、裂缝具有破损程度特征。
其中裂缝的面积计算方式、裂缝方向类别、裂缝破损程度可按照各国的规范进行定义，也可依据用途自己定义，如：将裂缝面积定义为裂缝区域的最小外接矩面积。
2)数据采集
沥青路面表面三维点云数据的采集方式为：三维测量传感器安装在载车上，载车在以正常速度行进的过程中，测量传感器对被测物体三维轮廓断面进行数据采集。
3)数据预处理
本专利利用标定文件，校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的系统误差，另外，由于测量环境的变化，三维测量传感器测量的路面断面轮廓中可能存在部分异常噪声点(当被测物表面存在水渍、油渍或被测区域被物体遮挡等 出现零值点)，本发明利用零值附近区域的非零值均值替换该零值点；并将预处理后的一系列断面沿行车方向进行拼接，得到沥青路面三维点云数据。
4)断面主轮廓提取
对预处理后的断面轮廓，本专利首先利用中值滤波，初步获取除去异常数据、大纹理的参考断面轮廓，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比例P(约70％)的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，图5、图6分别为任意选择的两个横断面中第100～400个测量点的断面主轮廓提取示例。
5)提取断面轮廓的变形特征点
对路面逐个轮廓，将单个断面轮廓作为一个计算单元，结合变形特征知识库中的路面纹理模型，计算当前断面轮廓的路面纹理值，从而获取当前断面的路面纹理值Tex，再从轮廓点低于路面表面的点中选出距离大于阈值T3＝K*Tex的点作为变形特征点，其中K(K＝2.5)为纹理系数；另外，对拼接的三维点云，沿行车方向的路面轮廓，作为新的断面轮廓，也按上述方法进行变形特征点提取，图7、图8为任意选择的两个横断面中第100～400个测量点的变形特征点提取示例，示例中两个断面的纹理值分别为0.7078mm、0.7939mm。
6)定位变形目标形态子块集
本发明将提取的一系列断面的变形特征点组成特征二值图像，如图9(a2)、图10(b2)所示，并统计二值图像中各连通区域的长度、方向，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，将当前变形特征点连通区域较长、线性性较好的子块作为变形目标形态子块，如图9(a3)及图10(b3)内的矩形框所示，进而快速、准确定位变形区域特征点，如图9(a4)及图10(b4)所示。
7)基于形态学特征的区域生长还原
对变形目标子块集内的变形特征点，进行形态学操作，并去掉长度较短的连通区域，同时生成置信变形区域ROC(Region of Confidence)。接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性。
8)变形区域特征提取
本发明按预定义的变形特征，统计裂缝区域的变形特征，如裂缝长度、裂缝宽度、裂缝平均深度、裂缝方向或类型(横裂、纵裂、龟裂、块裂)、裂缝面积、裂缝破损程度等特征。
实施例2
1)知识库
本发明技术方案实施例以车牌识别为例，描述基于线扫描三维点云的车牌特征提取方法。
车牌特征知识库信息包含：车牌在断面轮廓中为较小面积类变形、车牌深度大于一般背景纹理深度、车牌具有规则的几何形态特征，多表现为矩形，大小多为440mm×220mm。
2)数据采集
车牌三维点云数据的采集方式为：三维测量传感器安装在载车上，车牌位于路面上，载车在以正常速度行进的过程中，测量传感器对被测物体三维轮廓断面进行数据采集。
3)数据预处理
本专利利用标定文件，校正三维测量传感器测量的物体断面轮廓中因传感器安装及激光线弧度引起的系统误差，并将预处理后的一系列断面沿行车方向进行拼接，得到三维点云数据。
4)断面主轮廓提取
对预处理后的断面轮廓，本专利首先进行中值滤波，再计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离，并对计算的距离进行排序，依据断面轮廓特征，选取合适比 例P(约70％)的偏离参考断面轮廓距离较小的轮廓点，偏离参考断面轮廓距离较大的轮廓点用参考断面轮廓上的点代替，对选择的点进行均值滤波，进而得到断面主轮廓，如图11所示。
5)提取断面轮廓的变形特征点
将单个断面轮廓作为一个计算单元，结合变形特征知识库中的背景纹理模型，计算当前断面轮廓的纹理值，从而获取当前断面的纹理值Tex，再从轮廓点低于路面表面的点中选出距离大于阈值T3＝K*Tex的点作为变形特征点，其中K(K＝3)为纹理系数；另外，对拼接的三维点云，沿行车方向的路面轮廓，作为新的断面轮廓，也按上述方法进行变形特征点提取，图12第48个横断面中变形特征点提取示例，示例中两个断面的纹理值分别为0.7925mm。
6)定位变形目标形态子块集
本发明将提取的一系列断面的变形特征点组成特征二值图像，如图13所示，再将当前二值图合理划分成互不重叠的图像子块，对每个子块，将当前变形特征点连通区域较长、线性性较好的子块作为变形目标形态子块，如图14内的矩形框所示，进而快速、准确定位变形目标形态子块集。统计各形态子块集的长度、宽度，依据知识库，去除长宽不满足车牌尺寸特征的形态子块集，得到车牌形态子块集，如图15所示。
7)基于形态学特征的区域生长还原
对变形目标子块集内的变形特征点，进行形态学操作，并去掉长度较短的连通区域，同时生成置信变形区域ROC(Region of Confidence)。接着利用ROC的几何形态特征，进行区域生长还原目标，以保证变形区域检测的完整性，如图16所示。
8)变形区域特征提取
本发明按预定义的变形特征，统计车牌区域的变形特征，如车牌长度、车牌宽度、车牌面积等特征。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

  1. 一种基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，包括以下步骤：
    步骤1、利用基于线结构光扫描的三维测量传感器进行数据采集，实现同步测量同一姿态、同一时刻的断面轮廓；
    步骤2、对三维测量传感器测量的物体断面轮廓通过标定文件进行校正预处理，校正所述测量中因三维测量传感器安装偏差及激光线弧度引起的系统误差；
    步骤3、对所述预处理后的物体断面轮廓逐个提取其断面主轮廓；
    步骤4、基于断面轮廓特征，通过分析所述断面主轮廓与标准轮廓的偏差获取较大面积类变形的特征、通过分析预处理后断面轮廓与断面主轮廓的偏差获取较小面积类变形的特征，结合变形特征知识库，提取断面轮廓的变形特征点；
    步骤5、将所述变形特征点组成二值图像，并结合变形特征知识库，统计所述特征二值图像中各连通区域的长度、几何形态，再将所述特征二值图划分成互不重叠的图像子块，对于每个所述图像子块，如果所述图像子块中包含较长连通区域，或者所述图像子块中特征点形态具有目标形态特征，则将该子块标记为变形目标形态子块；
    步骤6、对变形目标形态子块集内的变形特征点进行形态学操作，并去掉长度较短的噪声区域，生成置信变形区域ROC；接着利用ROC的几何形态特征，进行区域生长还原目标；
    步骤7、按预定义的变形特征，统计物体表面变形区域的变形特征值，包括线性特征值、面阵特征值、变形程度。
  2. 根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤4中，利用提取断面轮廓的变形特征点后，对变形特征知识库信息进行完善。
  3. 根据权利要求1或2所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤5中，还包括对变形特征知识库信息进行完善的步骤。
  4. 根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤2中，还包括矫正物体断面轮廓上的异常零值点的步骤。
  5. 根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤3，对所述预处理后的物体断面轮廓逐个提取其断面主轮廓，具体包括以下步骤：
    (1)对预处理后的断面轮廓PPj，PPj＝{PPj1，PPj2，…，PPjn}，其中n为单个断面测量点个数，利用中值滤波，初步获取去除异常数据、纹理的参考断面轮廓RPj，RPj＝{RPj1，RPj2，…，RPjn}，其中n为单个断面测量点个数；
    (2)计算预处理后的断面轮廓点到参考断面轮廓点的绝对距离Dj，Dj＝{Dj1，Dj2，…，Djn}，其中，Dji＝|PPji-RPji|，i＝1，2，…，n，n为单个断面测量点个数；
    (3)对计算的距离Dj中的元素按升序进行排序，形成新距离集合Sj，Sj＝{Sj1，Sj2，…，Sjn}，其中n为单个断面测量点个数；
    (4)计算阈值Tj1，Tj1＝Sjk，k的值为n*p向上取整，p值为60％～98％，
    (5)选择并生成新的轮廓点集合NPj，NPj＝{NPj1，NPj2，…，NPjn}，其中n为单个断面测量点个数；轮廓点集合NPj中元素取值按照如下公式进行计算；
    Figure PCTCN2016071062-appb-100001
    对选择的点轮廓点集合NPj进行均值滤波，从而得到断面主轮廓MPj，MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数。
  6. 根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤4具体包括：
    对当前第j(j＝1，2，…，m，m为采集断面个数)个断面轮廓的较大面积类变形特征点的提取，具体步骤如下：
    (1)将预处理后断面轮廓PPj、断面主轮廓MPj作为输入，PPj＝{PPj1，PPj2，…，PPjn}，MPj＝{MPj1，MPj2，…，MPjn}，其中n为单个断面测量点个数；
    (2)结合断面采集的位置信息，提取与当前断面轮廓PPj相匹配的标准轮廓SPj，SPj＝{SPj1，SPj2，…，SPjn}，其中n为单个断面测量点个数；
    (3)计算断面主轮廓MPji与标准轮廓SPji的偏差，形成偏差集合DEVj，DEVj＝{DEVj1，DEVj2，…，DEVjn}，DEVji＝|MPji-SPi|，i＝1，2，…，n；
    (4)将偏差大于变形精度检测要求T2的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
    Figure PCTCN2016071062-appb-100002
    (5)输出变形特征标记值集合Fj；
    对当前第j个(j＝1，2，…，m，m为采集断面个数)断面轮廓的较小面积类变形特征点的提取，具体步骤如下：
    (1)将预处理后断面轮廓PPj、断面主轮廓MPj作为输入，PPj＝{PPj1，PPj2，…，PPjn}，MPj＝{MPj1，MPj2，…，MPjn}，其中n为断面测量点个数；
    (2)计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的绝对距离DISjDISj＝{DISj1，DISj2，…，DISjn}，其中，DISji＝|PPji-MPji|，i＝1，2，…，n，n为断面测量点个数，再对绝对距离求平均值
    Figure PCTCN2016071062-appb-100003
    从而获取当前断面的路面纹理值Texj＝Avg_DISj；
    (3)计算断面变形点分割阈值Tj3＝K*Texj的点，其中K为阈值系数，K＞1；
    (4)计算预处理后断面轮廓PPj各点与断面主轮廓MPj对应点的距离Sj，Sj＝{Sj1，Sj2，…，Sjn}，其中，Sji＝PPji-MPji或Sji＝MPji-PPji，或Sji＝|MPji-PPji|，i＝1，2，…，n，n为断面测量点个数；
    (5)将偏差大于变形点分割阈值Tj3的点提取为变形特征点，并标记值为1，否则标记值为0，并记录到变形特征标记值集合Fj中，Fj＝{Fj1，Fj2，…，Fjn}；
    Figure PCTCN2016071062-appb-100004
    (6)输出变形特征标记值集合Fj。
  7. 根据权利要求1所述的基于线扫描三维点云的物体表面变形特征提取方法，其特征在于，所述步骤5包括的具体步骤如下：
    (1)按断面采集顺序，输入一系列连续采集断面的变形特征点Fj，其中j＝1，2，…，m；
    (2)将提取的一系列断面的变形特征点依序拼接组成特征二值图像F＝{Fji|j＝1，2，…，m，i＝1，2，…，n}；
    (3)对二值图像进行连通域标记，记录标记值为FR＝{FRji|j＝1，2，…，m，i＝1，2，…，n}，并统计连通域标记图像FR中各连通区域的URu的长度URLu、几何形态，URu为标记值为u的连 通区域，u＝1，2，…，U，U为连通区域的总个数，URLu为标记值为u的连通区域外接矩长边或对角线的长度；
    (4)将当前二值图合理划分成大小为sm*sn且互不重叠的图像子块，SU＝{SUxy|x＝1，2，…，M，y＝1，2，…，N}，SUxy＝{Fji|j∈Xx，i∈Yy}，其中M＝m/sm为子块图像在行方向的子块个数，N＝n/sn为子块图像在列方向的子块个数，Xx∈[(x-1)*sm+1x*sm]且Xx∈Z*，Yy∈[(y-1)*sn+1y*sn]且Yy∈Z*；
    (5)结合变形目标的形态特征，获取各图像子块中变形特征点的形态特征，包括方向特征SUDxy，其中x＝1，2，…，M，y＝1，2，…，N；
    (6)设置x＝1，y＝1；开始讨论当前图像子块是否为变形目标形态单元；
    (7)若子块图像中包含长度大于T4的连通区域，T4从变形知识库中获取；则将当前子块标记为变形目标形态单元按下面公式计算，并记录标记值FSUxy＝1，否则转入第(8)步；
    Figure PCTCN2016071062-appb-100005
    (8)若当前子块图像中变形特征点具有变形目标形态特征，则将当前子块标记为变形目标形态单元，并记录标记值FSUxy＝1，否则记录标记值FSUxy＝0；
    (9)若y小于N，则设置y＝y+1，转入第(7)步；否则，转入第(10)步；
    (10)若x小于M，则设置x＝x+1，y＝1，转入第(7)步；否则，转入第(11)步；
    (11)输出变形目标形态子块集FS＝{FSji|j＝1，2，…，m，i＝1，2，…，n}，其值按如下公式计算：
    Figure PCTCN2016071062-appb-100006
PCT/CN2016/071062 2016-01-15 2016-01-15 基于线扫描三维点云的物体表面变形特征提取方法 WO2017120897A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AU2016385541A AU2016385541B2 (en) 2016-01-15 2016-01-15 Object surface deformation feature extraction method based on line scanning three-dimensional point Cloud
US16/313,440 US10755132B2 (en) 2016-01-15 2016-01-15 Methods for extracting surface deformation feature of object based on linear scanning three-dimensional point cloud
PCT/CN2016/071062 WO2017120897A1 (zh) 2016-01-15 2016-01-15 基于线扫描三维点云的物体表面变形特征提取方法
CA3023641A CA3023641C (en) 2016-01-15 2016-01-15 Object surface deformation feature extraction method based on line scanning three-dimensional point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/071062 WO2017120897A1 (zh) 2016-01-15 2016-01-15 基于线扫描三维点云的物体表面变形特征提取方法

Publications (1)

Publication Number Publication Date
WO2017120897A1 true WO2017120897A1 (zh) 2017-07-20

Family

ID=59310705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/071062 WO2017120897A1 (zh) 2016-01-15 2016-01-15 基于线扫描三维点云的物体表面变形特征提取方法

Country Status (4)

Country Link
US (1) US10755132B2 (zh)
AU (1) AU2016385541B2 (zh)
CA (1) CA3023641C (zh)
WO (1) WO2017120897A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765434A (zh) * 2018-01-15 2018-11-06 中国人民解放军陆军装甲兵学院 基于增材再制造点云模型的轮廓提取方法
CN108986048A (zh) * 2018-07-18 2018-12-11 大连理工大学 基于线激光扫描三维点云快速复合滤波处理方法
CN109242786A (zh) * 2018-08-15 2019-01-18 东华理工大学 一种适用于城市区域的自动化形态学滤波方法
CN110070542A (zh) * 2019-04-30 2019-07-30 王智华 直觉物理的机器学习方法、装置及计算机可读存储介质
CN110084845A (zh) * 2019-04-30 2019-08-02 王智华 变形预测方法、装置及计算机可读存储介质
CN110414379A (zh) * 2019-07-10 2019-11-05 武汉大学 结合高程图Gabor纹理特征和LiDAR点云特征的建筑物提取算法
CN110415331A (zh) * 2019-06-14 2019-11-05 中国电建集团昆明勘测设计研究院有限公司 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法
CN110443199A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二维几何轮廓的点云姿态识别方法
CN110751688A (zh) * 2019-10-17 2020-02-04 南京鑫和汇通电子科技有限公司 一种基于深度图像的剔除噪声的立方物体体积计算方法
CN111931647A (zh) * 2020-08-10 2020-11-13 西安建筑科技大学 钢结构表面锈坑识别、提取与评价设备、方法及存储介质
CN112859006A (zh) * 2021-01-11 2021-05-28 成都圭目机器人有限公司 一种检测多通道探地雷达数据中金属类弯曲圆柱结构的方法
CN113689400A (zh) * 2021-08-24 2021-11-23 凌云光技术股份有限公司 一种深度图像截面轮廓边沿的检测方法及装置
CN115221733A (zh) * 2022-09-16 2022-10-21 成都盛锴科技有限公司 一种轨道表面病害健康监测及评价的方法
CN115272177A (zh) * 2022-06-15 2022-11-01 成都理工大学 一种非接触式路面断面信息提取与分析方法
CN115389519A (zh) * 2022-10-28 2022-11-25 徐州成光卫设备有限公司 一种基于工业相机的曲轴制造表面检测分析方法
CN115601564A (zh) * 2022-11-14 2023-01-13 广州市景泰科技有限公司（Cn） 基于图像识别的胶体轮廓检测方法及系统
CN115661104A (zh) * 2022-11-04 2023-01-31 广东杰成新能源材料科技有限公司 动力电池的整体完整度评估方法、装置、设备及介质
WO2023045299A1 (zh) * 2021-09-26 2023-03-30 武汉光谷卓越科技股份有限公司 基于三维轮廓的路面技术状况检测方法及设备
CN116467928A (zh) * 2023-03-08 2023-07-21 中煤科工开采研究院有限公司 基于托盘激光扫描的锚杆受力反演模型构建方法及其系统

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017120897A1 (zh) * 2016-01-15 2017-07-20 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
CN110717369B (zh) * 2018-07-11 2024-05-17 张烂熳 一种对图像进行分层推理识别物体的方法
JP2020106725A (ja) * 2018-12-28 2020-07-09 マクセル株式会社 遮光板、レンズユニットおよびカメラモジュール
CN111402171A (zh) * 2020-03-24 2020-07-10 上海勃发空间信息技术有限公司 一种基于隧道通用断面的点云投影纠正方法
CN111524115B (zh) * 2020-04-17 2023-10-13 湖南视比特机器人有限公司 钢板切割件的定位方法和分拣系统
CN111582156B (zh) * 2020-05-07 2023-12-05 武汉大势智慧科技有限公司 一种基于倾斜摄影城市三维模型的高大植被提取方法
CN111861982B (zh) * 2020-06-07 2024-03-12 中国葛洲坝集团第一工程有限公司 可视化图像监测识别系统
CN111881801B (zh) * 2020-07-22 2022-08-16 中国测绘科学研究院 基于不变检测策略的新增建设用地遥感监测方法及设备
CN112528464B (zh) * 2020-11-06 2024-05-28 贵州师范大学 一种基于像素矩阵法逆向求解开槽成形砂轮截形的方法
CN112763466B (zh) * 2020-12-24 2022-06-24 山东省交通科学研究院 一种聚合物改性沥青相态分布特性识别方法
TWI742976B (zh) * 2020-12-29 2021-10-11 財團法人工業技術研究院 結構體診斷系統及結構體診斷方法
US11703457B2 (en) 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
CN112991270B (zh) * 2021-02-10 2021-11-02 南京航空航天大学 一种大尺寸旋转体模具形变动态测量方法
CN112556600B (zh) * 2021-02-22 2021-05-18 南京派光智慧感知信息技术有限公司 一种隧道形变实时监测方法及装置
CN112990034B (zh) * 2021-03-23 2023-09-26 武汉大学 一种影像优先的交通标牌变化检测方法
TWI800814B (zh) 2021-04-12 2023-05-01 宏碁股份有限公司 影像拼接方法
CN113269732B (zh) * 2021-05-14 2024-03-29 成都真实维度科技有限公司 一种基于特征扫描图像的线性物体检测方法
CN113689685B (zh) * 2021-07-16 2022-09-27 山西工程技术学院 一种公路隧道变形情况监测预警系统及方法
CN113793344B (zh) * 2021-08-31 2023-09-29 无锡砺成智能装备有限公司 一种基于三维点云的叶轮焊缝定位方法
CN113762131B (zh) * 2021-09-01 2024-07-05 浙江树人学院（浙江树人大学） 高含硫气田用油套管双层管柱形变位置检测方法及终端
CN113870217A (zh) * 2021-09-27 2021-12-31 菲特（天津）检测技术有限公司 一种基于机器视觉的边缘偏移视觉测量方法、图像检测仪
CN114494380A (zh) * 2022-04-18 2022-05-13 武汉大学 二进制形状上下文特征描述子构建方法及点云配准方法
CN115063372B (zh) * 2022-06-24 2024-05-31 深圳特科动力技术有限公司 设施主体形变监测方法
CN115236658B (zh) * 2022-07-13 2024-03-29 中交第二公路勘察设计研究院有限公司 基于主动式雷达遥感协同的路面裂缝三维形态监测方法
CN115482195B (zh) * 2022-08-03 2023-06-20 西南交通大学 一种基于三维点云的列车部件变形检测方法
CN114998350B (zh) * 2022-08-04 2022-10-25 山东泗水泰和石材有限公司 基于图像处理的石材缺陷检测方法
CN115953400B (zh) * 2023-03-13 2023-06-02 安格利(成都)仪器设备有限公司 基于三维点云物体表面的腐蚀坑自动检测方法
CN116503268B (zh) * 2023-03-21 2024-03-29 中国人民解放军海军大连舰艇学院 一种用于雷达回波图像的质量改进方法
CN116468870B (zh) * 2023-06-20 2024-01-23 佛山科学技术学院 一种城市道路三维可视化建模方法及系统
CN116939532B (zh) * 2023-09-18 2023-12-19 黑龙江伯安科技有限公司 一种基于5g的通信塔远程监测系统
CN117146720B (zh) * 2023-11-01 2024-02-09 中机生产力促进中心有限公司 一种滚动直线导轨副导轨型面检测方法及检测平台
CN118379469A (zh) * 2024-05-28 2024-07-23 先临三维科技股份有限公司 扫描方法、电子设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655352A (zh) * 2009-09-15 2010-02-24 西安交通大学 一种三维散斑应变测量装置及其测量方法
CN102034104A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 三维点云中基于随机采样一致性的特征线检测方法
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
US8396284B2 (en) * 2007-10-23 2013-03-12 Leica Geosystems Ag Smart picking in 3D point clouds
CN104091369A (zh) * 2014-07-23 2014-10-08 武汉大学 一种无人机遥感影像建筑物三维损毁检测方法
CN104574393A (zh) * 2014-12-30 2015-04-29 北京恒达锦程图像技术有限公司 一种三维路面裂缝图像生成系统和方法
CN105809668A (zh) * 2016-01-15 2016-07-27 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280B (zh) * 2006-11-21 2013-09-25 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
WO2014010251A1 (en) * 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
CN105580052A (zh) * 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
WO2017120897A1 (zh) * 2016-01-15 2017-07-20 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法
CN106017355A (zh) * 2016-03-22 2016-10-12 武汉武大卓越科技有限责任公司 一种基于线结构光的三维测量传感器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396284B2 (en) * 2007-10-23 2013-03-12 Leica Geosystems Ag Smart picking in 3D point clouds
CN101655352A (zh) * 2009-09-15 2010-02-24 西安交通大学 一种三维散斑应变测量装置及其测量方法
CN102034104A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 三维点云中基于随机采样一致性的特征线检测方法
CN102135417A (zh) * 2010-12-26 2011-07-27 北京航空航天大学 一种全自动三维特征提取方法
CN104091369A (zh) * 2014-07-23 2014-10-08 武汉大学 一种无人机遥感影像建筑物三维损毁检测方法
CN104574393A (zh) * 2014-12-30 2015-04-29 北京恒达锦程图像技术有限公司 一种三维路面裂缝图像生成系统和方法
CN105809668A (zh) * 2016-01-15 2016-07-27 武汉武大卓越科技有限责任公司 基于线扫描三维点云的物体表面变形特征提取方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765434A (zh) * 2018-01-15 2018-11-06 中国人民解放军陆军装甲兵学院 基于增材再制造点云模型的轮廓提取方法
CN108765434B (zh) * 2018-01-15 2022-05-24 中国人民解放军陆军装甲兵学院 基于增材再制造点云模型的轮廓提取方法
CN108986048B (zh) * 2018-07-18 2020-04-28 大连理工大学 基于线激光扫描三维点云快速复合滤波处理方法
CN108986048A (zh) * 2018-07-18 2018-12-11 大连理工大学 基于线激光扫描三维点云快速复合滤波处理方法
CN109242786A (zh) * 2018-08-15 2019-01-18 东华理工大学 一种适用于城市区域的自动化形态学滤波方法
CN109242786B (zh) * 2018-08-15 2020-09-22 东华理工大学 一种适用于城市区域的自动化形态学滤波方法
CN110070542A (zh) * 2019-04-30 2019-07-30 王智华 直觉物理的机器学习方法、装置及计算机可读存储介质
CN110084845A (zh) * 2019-04-30 2019-08-02 王智华 变形预测方法、装置及计算机可读存储介质
CN110415331B (zh) * 2019-06-14 2022-08-19 中国电建集团昆明勘测设计研究院有限公司 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法
CN110415331A (zh) * 2019-06-14 2019-11-05 中国电建集团昆明勘测设计研究院有限公司 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法
CN110414379A (zh) * 2019-07-10 2019-11-05 武汉大学 结合高程图Gabor纹理特征和LiDAR点云特征的建筑物提取算法
CN110443199A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二维几何轮廓的点云姿态识别方法
CN110443199B (zh) * 2019-08-06 2021-10-15 暨南大学 一种基于二维几何轮廓的点云姿态识别方法
CN110751688A (zh) * 2019-10-17 2020-02-04 南京鑫和汇通电子科技有限公司 一种基于深度图像的剔除噪声的立方物体体积计算方法
CN111931647A (zh) * 2020-08-10 2020-11-13 西安建筑科技大学 钢结构表面锈坑识别、提取与评价设备、方法及存储介质
CN111931647B (zh) * 2020-08-10 2024-02-02 西安建筑科技大学 钢结构表面锈坑识别、提取与评价设备、方法及存储介质
CN112859006A (zh) * 2021-01-11 2021-05-28 成都圭目机器人有限公司 一种检测多通道探地雷达数据中金属类弯曲圆柱结构的方法
CN112859006B (zh) * 2021-01-11 2023-08-29 成都圭目机器人有限公司 一种检测多通道探地雷达数据中金属类弯曲圆柱结构的方法
CN113689400A (zh) * 2021-08-24 2021-11-23 凌云光技术股份有限公司 一种深度图像截面轮廓边沿的检测方法及装置
CN113689400B (zh) * 2021-08-24 2024-04-19 凌云光技术股份有限公司 一种深度图像截面轮廓边沿的检测方法及装置
WO2023045299A1 (zh) * 2021-09-26 2023-03-30 武汉光谷卓越科技股份有限公司 基于三维轮廓的路面技术状况检测方法及设备
CN115272177B (zh) * 2022-06-15 2023-07-14 成都理工大学 一种非接触式路面断面信息提取与分析方法
CN115272177A (zh) * 2022-06-15 2022-11-01 成都理工大学 一种非接触式路面断面信息提取与分析方法
CN115221733A (zh) * 2022-09-16 2022-10-21 成都盛锴科技有限公司 一种轨道表面病害健康监测及评价的方法
CN115389519A (zh) * 2022-10-28 2022-11-25 徐州成光卫设备有限公司 一种基于工业相机的曲轴制造表面检测分析方法
CN115661104A (zh) * 2022-11-04 2023-01-31 广东杰成新能源材料科技有限公司 动力电池的整体完整度评估方法、装置、设备及介质
CN115661104B (zh) * 2022-11-04 2023-08-11 广东杰成新能源材料科技有限公司 动力电池的整体完整度评估方法、装置、设备及介质
CN115601564A (zh) * 2022-11-14 2023-01-13 广州市景泰科技有限公司（Cn） 基于图像识别的胶体轮廓检测方法及系统
CN115601564B (zh) * 2022-11-14 2023-03-17 广州市景泰科技有限公司 基于图像识别的胶体轮廓检测方法及系统
CN116467928A (zh) * 2023-03-08 2023-07-21 中煤科工开采研究院有限公司 基于托盘激光扫描的锚杆受力反演模型构建方法及其系统
CN116467928B (zh) * 2023-03-08 2023-11-21 中煤科工开采研究院有限公司 基于托盘激光扫描的锚杆受力反演模型构建方法及其系统

Also Published As

Publication number Publication date
CA3023641A1 (en) 2017-07-20
AU2016385541A1 (en) 2019-04-11
AU2016385541B2 (en) 2019-07-11
CA3023641C (en) 2020-12-22
US10755132B2 (en) 2020-08-25
US20190197340A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
WO2017120897A1 (zh) 基于线扫描三维点云的物体表面变形特征提取方法
Zhang et al. Automatic pavement defect detection using 3D laser profiling technology
CN105809668B (zh) 基于线扫描三维点云的物体表面变形特征提取方法
CN107633516B (zh) 一种识别路面变形类病害的方法和装置
Li et al. Recognition and evaluation of bridge cracks with modified active contour model and greedy search-based support vector machine
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
WO2023045299A1 (zh) 基于三维轮廓的路面技术状况检测方法及设备
CN107301648B (zh) 基于重叠区域边界角度的冗余点云去除方法
CN111784657A (zh) 一种基于数字图像的水泥路面病害自动识别的系统及方法
CN111855664A (zh) 一种可调节隧道病害三维检测系统
Chu et al. A review on pavement distress and structural defects detection and quantification technologies using imaging approaches
CN107798293A (zh) 一种道路裂缝检测装置
Wang et al. Automated pavement distress survey: a review and a new direction
CN110873718A (zh) 基于机器视觉的钢板表面缺陷检测系统及方法
CN113870326B (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
CN110672632A (zh) 一种隧道病害识别方法
Phan et al. Pavement crack extraction method from mobile laser scanning point cloud
CN111091049B (zh) 一种基于反向特征匹配的路面障碍物检测方法
KR101255022B1 (ko) 점군자료를 활용한 구조물 균열 검출방법
CN1667351A (zh) 强反射背景下粗糙纹理工件图像特征点自动提取方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统
Bian et al. Lidar based edge-detection for bridge defect identification
CN116681912A (zh) 铁路道岔的轨距检测方法及装置
Ziqiang et al. Research of the algorithm calculating the length of bridge crack based on stereo vision
Hao et al. An Image-Based Hairline Crack Identification Method for Metal Parts

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884459

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 3023641

Country of ref document: CA

122 Ep: pct application non-entry in european phase

Ref document number: 16884459

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016385541

Country of ref document: AU

Date of ref document: 20160115

Kind code of ref document: A