WO2022257158A1 - 基于三维动态模型检测水工隧洞缺陷的方法 - Google Patents

基于三维动态模型检测水工隧洞缺陷的方法 Download PDF

Info

Publication number
WO2022257158A1
WO2022257158A1 PCT/CN2021/100074 CN2021100074W WO2022257158A1 WO 2022257158 A1 WO2022257158 A1 WO 2022257158A1 CN 2021100074 W CN2021100074 W CN 2021100074W WO 2022257158 A1 WO2022257158 A1 WO 2022257158A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
information
dimensional
tunnel
hydraulic
Prior art date
Application number
PCT/CN2021/100074
Other languages
English (en)
French (fr)
Inventor
陈永灿
王皓冉
谢辉
刘昭伟
李永龙
李佳龙
Original Assignee
清华四川能源互联网研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华四川能源互联网研究院 filed Critical 清华四川能源互联网研究院
Publication of WO2022257158A1 publication Critical patent/WO2022257158A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/20—Hydro energy

Definitions

  • the present disclosure relates to the technical field of safety management of hydraulic tunnels, in particular, to a method for detecting defects of hydraulic tunnels based on a three-dimensional dynamic model.
  • the water diversion tunnels in large and extra large hydropower stations and water diversion projects may appear cracks, landslides, blocks, and exposed reinforcements after years of operation. Defects, the tunnel must be monitored regularly to accurately obtain the distribution of defects in the tunnel and provide a decision-making basis for the next step of maintenance or cleaning.
  • the purpose of the present disclosure includes providing a method for detecting defects in hydraulic tunnels based on a three-dimensional dynamic model, which can enable real-time feedback of defect information detected by underwater robots in the three-dimensional model, and realize defect information more intuitively, visually and accurately Display, and provide decision support for the safety assessment and operation and maintenance of hydraulic tunnels.
  • the present disclosure provides a method for detecting defects of a hydraulic tunnel based on a three-dimensional dynamic model, the method including:
  • the steps of establishing a three-dimensional model of the hydraulic tunnel include:
  • the shape and position of the three-dimensional model in space are represented by a three-dimensional coordinate system
  • the three-dimensional coordinate system includes an X-axis, a Y-axis and a Z-axis, wherein the X-axis represents the axial direction of the tunnel, and the Y-axis represents the horizontal direction of the tunnel section , the Z axis represents the vertical direction of the tunnel section.
  • the underwater robot is equipped with a camera, an image sonar, and a dredging and fresh water replacement device.
  • the steps of obtaining defect information include:
  • the dredging and clean water replacement device is used to remove the attachments on the surface of the tunnel, and the turbid water body is replaced with clean water at the position in front of the camera to obtain the image of the occlusion defect.
  • the defect information is identified and quantified, and the step of obtaining coordinate information includes:
  • the image recognition technology is used to automatically identify the defect type and obtain the recognition result
  • using image recognition technology to automatically identify the type of defect, and the steps of obtaining the recognition result include:
  • a decoder is designed for the feature encoder, and the decoder is used to sample the feature map to obtain pixel-level recognition results.
  • the quantitative data includes two-dimensional geometric feature quantitative information and three-dimensional geometric feature quantitative information
  • the step of performing data processing on the defect information so that the defect information has quantitative data includes:
  • the defect length is calculated through the skeleton information, and the defect area is obtained through the pixel sum of the recognition results;
  • the 3D reconstruction model of structural defects is established, and the depth, volume and flatness of defects are calculated using point cloud information, so as to obtain quantitative information of 3D geometric features.
  • the recognition result includes the positioning coordinates of the underwater robot and the line-of-sight direction of the camera.
  • the step of obtaining the coordinate information includes:
  • the coordinate information of the defect is calculated
  • the step of marking the defect on the three-dimensional model includes:
  • the coordinate information and coordinate data of the defect are calibrated on the three-dimensional model of the hydraulic tunnel to complete the calibration of the defect.
  • FIG. 1 is a flowchart of a method for detecting defects in a hydraulic tunnel based on a three-dimensional dynamic model provided by an embodiment of the present disclosure
  • Fig. 2 is the flow chart of underwater robot inspection operation mode
  • Fig. 3 is a flow chart of identifying and quantifying defect information using a deep convolutional neural network model.
  • the long-distance water diversion tunnel is a closed space without GPS signals
  • the positioning accuracy of the underwater robot in the water diversion tunnel is not high enough, so the defect location is often recorded manually, and the 3D defect model is also displayed after post-processing , the defects in the tunnel are difficult to feed back in real time, and it is difficult for decision makers to judge the position of defects in the tunnel section, and it is also difficult to evaluate the law of defect evolution and the impact on the safety of tunnel structures.
  • Real-time calibration of the inspection data of the underwater robot in the 3D model of the hydraulic tunnel can solve the above problems.
  • the embodiments of the present disclosure mainly build a three-dimensional model of a hydraulic tunnel, and feed back the defect information detected by the underwater robot into the three-dimensional model in real time, so as to realize a more intuitive, vivid, and accurate display of the defect information, and provide a comprehensive solution for the hydraulic tunnel.
  • the embodiment provides a method for detecting defects in a hydraulic tunnel based on a three-dimensional dynamic model, including the following steps:
  • a three-dimensional model can be established according to the plane design drawing of the hydraulic tunnel.
  • the three-dimensional model can reflect the structural information of the hydraulic tunnel, such as: the position of the tunnel entrance and exit, the length of the tunnel, the shape and size of the tunnel section, the shape and size of the concrete lining, and the condition of water in the tunnel.
  • the shape and position of the three-dimensional model in space can be represented by a three-dimensional coordinate system.
  • the three-dimensional coordinate system includes X-axis, Y-axis and Z-axis. It can represent the vertical direction of the tunnel section, so that the tunnel space and any position on the tunnel section can be expressed by coordinate values and coordinate vectors, which is convenient for marking the size and position of tunnel defects.
  • S2 Use underwater robots to inspect hydraulic tunnels, and combine with 3D models to obtain defect information.
  • the underwater robot is equipped with a camera, preferably a high-definition camera, to realize close-up photography, and transmit the shooting picture to the console, and display it on the display screen.
  • the underwater robot is also equipped with image sonar, through which the position of the underwater robot on the section of the hydraulic tunnel can be determined.
  • the position information of the underwater robot in the hydraulic tunnel is transmitted to the console in real time.
  • the underwater robot can be set as a point in the hydraulic tunnel, and the position information of this point can be represented by three-dimensional coordinates (X, Y, Z), where X can be used according to the position of the underwater robot moving along the hydraulic tunnel.
  • Distance determination, Y and Z can be determined with real-time feedback from image sonar. In this way, the real-time position of the underwater robot in the hydraulic tunnel can be determined, as if the roaming perspective is opened in the three-dimensional tunnel model.
  • the defect information includes the defect position, defect type and defect image
  • the defect position includes the deposition position, cave wall defect position and occlusion defect position
  • the position of the defect detected by the underwater robot in the 3D model can be The actual position in the tunnel, that is to say, when the underwater robot finds a defect, the position of the defect can be determined according to the position of the underwater robot.
  • defects include deposits, cracks, landslides, dropped blocks, exposed tendons, etc.
  • Defect images include deposition defect images, cave wall defect images and occlusion defect images.
  • the hydraulic tunnel may be in a complex underwater environment such as lack of light, impurities, turbidity, and silt attached to the wall, it will cause difficulties for the inspection of the underwater robot, and the inspection area in the long-distance hydraulic tunnel is large. Inspection accuracy and inspection efficiency, adopt the inspection operation mode of rough inspection and detailed inspection, please refer to Figure 2, the specific process is as follows:
  • S21 Use image sonar to detect the entire section of the tunnel, and find out the location of the defect by comparing it with the designed section.
  • S22 Use the camera to check the deposition locations in the tunnel in detail one by one, determine the type of deposition, and obtain images of deposition defects.
  • S23 Combining image sonar and camera to conduct a detailed inspection of the location of cave wall defects, find out the types of cave wall defects, and obtain images of cave wall defects.
  • the position of the occluded defect includes the position of the defect that is blocked by the attachment or under the turbid water body.
  • the defect information is usually not a point, but includes area information and length information, it is necessary to identify and quantify the defect information.
  • the identification processing of defect information is mainly: according to the defect information, using image recognition technology to automatically identify the type of defect and obtain the identification result. Specifically, firstly, use the transfer learning method to build a feature extraction model, and extract defect features from defect information; secondly, use the backbone network that performs well on large data sets as a feature encoder, and use the feature encoder to perform Encode to form a feature map; finally, design a decoder for the feature encoder, and use the decoder to sample on the feature map to obtain pixel-level recognition results.
  • the weight binarization technology is adopted to convert the full-precision floating-point weight into a binarized state, compress the model size, reduce the amount of calculation, and shorten the prediction time.
  • the quantitative processing of the defect information is mainly to perform data processing on the defect information, so that the defect information has the characteristics of parameterizable representation, that is, the defect information has quantitative data.
  • the skeleton information of the defect is obtained from the defect information by using morphological analysis technology; then, the defect length is calculated through the skeleton information, and the defect area is obtained by the pixel sum of the recognition results; then, according to the defect length and defect area, the calculation Obtain the average width, so as to obtain the quantitative information of two-dimensional geometric features; finally, construct the spatial logic relationship and feature matching of optical images and sonar images, establish a three-dimensional reconstruction model of structural defects, and use point cloud information to calculate defect depth, volume and flatness etc., so as to obtain the quantitative information of three-dimensional geometric features.
  • the defect information is identified and quantified using the deep convolutional neural network model.
  • Figure 3 which includes the following steps:
  • convolution is a basic operation for extracting image features.
  • a convolution kernel with parameters is used to complete the convolution operation on the input image, and the corresponding receptive field area is multiplied and then summed.
  • Pooling is the main method of downsampling, and its function is to reduce the size of the input tensor, thereby reducing the calculation amount of convolution parameters.
  • the size of the feature map is increased by sampling to ensure that it is consistent with the original input size.
  • Class imbalance often appears in research fields such as object classification, object localization, and object segmentation. Since the number of different types of targets was not strictly balanced in the process of collecting data, the number of each category in the training set and the test set varies greatly. Therefore, the imbalance between positive and negative samples can be improved by designing an appropriate weight loss function.
  • the binarized prediction result is obtained, and the minimum value is filtered by the corrosion operation to eliminate isolated noise points, and then the expansion processing can be used to supplement the complete holes and connect the broken parts.
  • the process of identifying and quantifying defect information mainly acquires different data for different types of defects.
  • data such as the width, length, and direction of cracks
  • for dropped blocks mainly obtain data such as the shape and area of dropped blocks
  • for landslides mainly obtain data such as the thickness and area of landslides
  • for exposed ribs Mainly obtain data such as length and diameter of exposed ribs.
  • the acquired data can be converted into coordinate information.
  • the coordinate information of the defect can be calculated; secondly, the quantitative data of the defect is converted into coordinate data; finally, the coordinate information and coordinate data of the defect are Calibration is performed on the 3D model of the hydraulic tunnel to complete the calibration of defects.
  • the absolute contour line of the crack can be identified. Calculate the tip coordinates (X2, Y2, Z2) of the crack through the positioning coordinates (X1, Y1, Z1) of the underwater robot and the line-of-sight direction of the camera, and then calculate the coordinate values on the remaining contour lines through the absolute contour line (X3, Y3, Z3), (X4, Y4, Z4), ..., (Xn, Yn, Zn), when a sufficient number of coordinate values are obtained, the position and width of the defect can be visually displayed on the 3D model , length, orientation and other information.
  • the display screen can be divided into four areas, as follows:
  • the first area as the display area of the 3D model of the tunnel, the position of the underwater robot in the 3D model can be displayed, and the 3D model of the hydraulic tunnel can be set to a perspective state;
  • the second area as the viewing angle display area of the camera of the underwater robot, it can imitate the human eye viewing angle to display the real scene in the hydraulic tunnel;
  • the third area as a defect display area, when a defect is found by the camera's perspective, it will immediately identify and quantify the defect, and display the defect's cracks and associated data information;
  • the fourth area As the display area of the 3D defect model, as the underwater robot advances, the defects are gradually calibrated in the 3D model to realize the display of the 3D defect model.
  • tunnel defects Statistics and tunnel structure safety assessment play an important supporting role, and have significant application value and promotion significance for underwater robots to conduct inspections in long-distance hydraulic tunnels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开的实施例提供了一种基于三维动态模型检测水工隧洞缺陷的方法，涉及水工隧洞安全管理技术领域。方法包括：建立水工隧洞的三维模型；采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息。对缺陷信息进行识别和量化处理，获得坐标信息；根据坐标信息，在三维模型上标定缺陷。该方法能够使水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提供决策支持。

Description

基于三维动态模型检测水工隧洞缺陷的方法
相关申请的交叉引用
本公开要求于2021年6月9日提交中国专利局的申请号为2021106430183、名称为“基于三维动态模型检测水工隧洞缺陷的方法”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及水工隧洞安全管理技术领域，具体而言，涉及一种基于三维动态模型检测水工隧洞缺陷的方法。
背景技术
在大型和特大型水电站、引水工程中的引水隧洞因直径大、距离长、超埋深、围岩地质复杂等特点，长年运行可能会出现裂缝、塌方、掉块、露筋等隧洞表观缺陷，须对隧洞进行定期监测，以准确获取隧洞内缺陷分布情况，并为下一步的检修或清理提供决策依据。
然而，大型工程中引水隧洞一般为带水运行状态，单次放空检查的时间成本和经济成本较高，且放空与充水过程均会改变隧洞围岩应力状态，从而对隧洞结构安全造成极为不利的影响。随着信息、自动化控制以及测绘技术的发展，在工程实践中，常采用水下机器人代替人工进行带水智能巡检，解决人工巡检工作量大、风险高、耗时长、费用高等问题。
目前水下机器人在引水隧洞中的带水巡检工作已在锦屏二级引水隧洞、南水北调穿黄隧洞等多项重大工程中实践应用，取得了较好的巡检效果。然而，水下机器人在长距离引水隧洞中的巡检也存在诸多困境，其中，隧洞缺陷的实时定位与三维展示是一个重要难题。
公开内容
本公开的目的包括提供了一种基于三维动态模型检测水工隧洞缺陷的方法，其能够使水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提供决策支持。
本公开的实施例可以这样实现：
本公开提供一种基于三维动态模型检测水工隧洞缺陷的方法，方法包括：
建立水工隧洞的三维模型；
采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息；
对缺陷信息进行识别和量化处理，获得坐标信息；
根据坐标信息，在三维模型上标定缺陷。
可选地，建立水工隧洞的三维模型的步骤包括：
根据水工隧洞的平面设计图纸，建立三维模型。
可选地，三维模型在空间上的形状和位置采用三维坐标系表示，三维坐标系包括X轴、Y轴和Z轴，其中，X轴表示隧洞的轴线方向，Y轴表示隧洞断面的水平方向，Z轴表示隧洞断面竖直方向。
可选地，水下机器人搭载有摄像头、图像声呐和清淤与清水置换装置。
可选地，采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息的步骤包括：
采用图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置；
通过摄像头对隧洞内淤积位置逐一排查，并确定淤积物种类，获取淤积缺陷图像；
结合图像声呐和摄像头对洞壁缺陷位置进行排查，查明洞壁缺陷种类，获取洞壁缺陷图像；
对于遮挡缺陷位置，采用清淤与清水置换装置清除隧洞表面的附着物，并在摄像头前的位置用清水置换浑浊水体，获得遮挡缺陷图像。
可选地，对缺陷信息进行识别和量化处理，获得坐标信息的步骤包括：
根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果；
对缺陷信息进行数据处理，使缺陷信息具有量化数据；
根据识别结果和量化数据，获得坐标信息。
可选地，根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果的步骤包括：
利用迁移学习方法构建特征提取模型，并从缺陷信息中提取缺陷特征；
使用骨干网络作为特征编码器，并使用特征编码器对缺陷特征进行编码，形成特征图；
针对特征编码器设计解码器，并利用解码器在特征图上进行采样，获得像素级的识别结果。
可选地，量化数据包括二维几何特征量化信息和三维几何特征量化信息，对缺陷信息进行数据处理，使缺陷信息具有量化数据的步骤包括：
利用形态学分析技术从缺陷信息中获得缺陷的骨架信息；
通过骨架信息计算出缺陷长度，通过识别结果的像素总和得到缺陷面积；
根据缺陷长度和缺陷面积，计算得到平均宽度，从而获得二维几何特征量化信息；
建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度，从而获得三维几何特征量化信息。
可选地，识别结果包括水下机器人的定位坐标和摄像头的视距方向，根据识别结果和量化数据，获得坐标信息的步骤包括：
根据水下机器人的定位坐标以及摄像头的视距方向，计算出缺陷的坐标信息；
将量化数据转化为坐标数据。
可选地，根据坐标信息，在三维模型上标定缺陷的步骤包括：
将缺陷的坐标信息和坐标数据在水工隧洞的三维模型上进行标定，完成对缺陷的标定。
本公开实施例提供的基于三维动态模型检测水工隧洞缺陷的方法的有益效果包括：
通过构建水工隧洞的三维模型，并将水下机器人巡检到的缺陷信息实时反馈在三维模型中，可以把隧洞缺陷的真实场景展示出来，同时对于缺陷的类型及缺陷的大小等信息可以直观反馈，解决了巡检过程中缺陷位置及缺陷大小认识模糊的困境，对于水下机器人的操作、隧洞缺陷统计、隧洞结构安全评估与运行维修具有重要的支撑作用，对于水下机器人在长距离水工隧洞中进行巡检，具备显著的应用价值和推广意义。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的基于三维动态模型检测水工隧洞缺陷的方法的流程图；
图2为水下机器人巡检作业方式的流程图；
图3为对缺陷信息采用深度卷积神经网络模型进行识别和量化处理的流程图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本公开的实施例中的特征可以相互结合。
由于长距离的引水隧洞的洞内为封闭空间无GPS信号，水下机器人在引水隧洞内的定位精度不够高，导致缺陷的定位常采用人工记录的方式，三维缺陷模型也是通过后期处理后展示出来，隧洞内的缺陷很难实时反馈出来，对于决策者难以判断缺陷在隧洞断面中的位置，也很难评估缺陷演化的规律以及对于隧洞结构安全的影响。
将水下机器人的巡检数据在水工隧洞的三维模型中实时标定可解决上述难题。本公开实施例主要是通过构建水工隧洞的三维模型，并将水下机器人巡检到的缺陷信息实时反馈在三维模型中，实现缺陷信息更加直观、形象、精确地展示，并为水工隧洞的安全评估与运行维修提决策支持。
请参考图1，实施例提供了一种基于三维动态模型检测水工隧洞缺陷的方法，包括以下步骤：
S1：建立水工隧洞的三维模型。
具体的，因为水工隧洞一般按平面设计图纸，所以可以根据水工隧洞的平面设计图纸建立三维模型。
其中，三维模型中能反应水工隧洞的结构信息，例如：隧洞出入口的位置、隧洞长度、隧洞断面的形状尺寸、混凝土衬砌的形状尺寸、隧洞带水情况等。
三维模型在空间上的形状和位置可以采用三维坐标系表示，三维坐标系包括X轴、Y轴和Z轴，X轴可以表示隧洞的轴线方向，Y轴可以表示隧洞断面的水平方向，Z轴可以表示隧洞断面竖直方向，这样隧洞空间和隧洞断面上的任意位置均能用坐标值和坐标矢量来表示，便于标记隧洞缺陷的大小与位置。
S2：采用水下机器人在水工隧洞中巡检，并结合三维模型，获得缺陷信息。
其中，水下机器人搭载有摄像头，优选为高清摄像头，实现抵近摄像，并将拍摄画面传输至控制台，并在显示屏上显示。水下机器人还配置有图像声呐，通过图像声呐可以确定水下机器人在水工隧洞断面上的位置。
水下机器人在水工隧洞中的位置信息实时传输到控制台。其中，可将水下机器人设定为水工隧洞中的一个点，该点的位置信息可用三维坐标(X，Y，Z)来表示，其中，X可用根据水下机器人沿水工隧洞前进的距离确定，Y和Z可用图像声呐实时反馈确定。这样，即可确定水下机器人在水工隧洞中的实时位置，犹如在三维隧洞的模型中开启了漫游视角。
其中，缺陷信息包括缺陷位置、缺陷种类和缺陷图像，其中，缺陷位置包括淤积位置、洞壁缺陷位置和遮挡缺陷位置，水下机器人检测到的缺陷在三维模型中的位置即可确定缺陷在水工隧洞中的实际位置，也就是说，当水下机器人发现缺陷时，根据水下机器人的位置，就可确定缺陷位置。
缺陷种类包括淤积、裂缝、塌方、掉块、露筋等。缺陷图像包括淤积缺陷图像、洞壁缺陷图像和遮挡缺陷图像。
由于水工隧洞可能处于无光、含杂质、浑浊、洞壁附着淤积等复杂水下环境，对水下机器人的巡检造成困难，并且长距离的水工隧洞中巡检面积大，为保证巡检精度和巡检效率，采用粗检细察的巡检作业方式，请参阅图2，具体流程如下：
S21：采用图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置。
S22：通过摄像头对隧洞内淤积位置逐一详细排查，并确定淤积物种类，获取淤积缺陷图像。
S23：结合图像声呐和摄像头对洞壁缺陷位置进行详查，查明洞壁缺陷种类，获取洞壁缺陷图像。
S24：对于遮挡缺陷位置，采用水下机器人搭载的清淤与清水置换装置，清除隧洞表面的附着物，并在摄像头前的位置用清水置换浑浊水体，从而获得清晰的遮挡缺陷图像。
其中，遮挡缺陷位置包括附着物遮挡或浑浊水体下的缺陷所在的位置。
S22～S24没有严格的先后顺序，可以在S21之后同时或依次进行。
通过上述步骤，不仅能排查洞内淤积情况，还能获取隧洞洞壁的光学图像和声学图像，从而为缺陷的识别和量化提供依据。
S3：对缺陷信息进行识别和量化处理，获得坐标信息。
因为缺陷信息通常不是一个点，而是包括面积信息和长度信息，因此，需要对缺陷信息进行识别和量化处理。
对缺陷信息进行识别处理主要是：根据缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果。具体的，首先，利用迁移学习方法构建特征提取模型，并从缺陷信息中提取缺陷特征；其次，使用在大型数据集上表现优异的骨干网络作为特征编码器，并使用特征编码器对缺陷特征进行编码，形成特征图；最后，针对特征编码器设计解码器，并利用解码器在特征图上进行采样，获得像素级的识别结果。
其中，为解决特征提取模型参数冗余、效率低的问题，采用权重二值化技术，将全精度浮点型权重转换为二值化状态，压缩模型大小，减少计算量，缩短预测时间。
对缺陷信息进行量化处理主要是：对缺陷信息进行数据处理，使缺陷信息具有可参数化表示的特征，也就是使缺陷信息具有量化数据。具体的，首先，利用形态学分析技术从缺陷信息中获得缺陷的骨架信息；然后，通过骨架信息计算出缺陷长度，通过识别结果的像素总和得到缺陷面积；接着，根据缺陷长度和缺陷面积，计算得到平均宽度，从而获得二维几何特征量化信息；最后，构建光学图像、声呐图像的空间逻辑关系和特征匹配，建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度等，从而获得 三维几何特征量化信息。
以缺陷种类为裂缝为例，对缺陷信息采用深度卷积神经网络模型进行识别和量化处理，请参阅图3，具体包括以下步骤：
S31：搭建深度卷积神经网络模型。
其中，卷积是用于提取图像特征的基本操作，通常采用带参数的卷积核在输入图像上完成卷积操作，分别与对应的感受野区域做完乘积再做求和运算。池化是降采样的主要方法，其作用是为了减小输入张量的尺寸大小，从而降低卷积参数计算量。为了实现端到端的像素级的裂缝缺陷预测，采样的增加特征图的尺寸，确保与原始输入尺寸一致。
S32：针对深度卷积神经网络模型，设计权重损失函数。
类不均衡经常出现在目标分类、目标定位、目标分割等研究领域中。由于采集数据过程中，并未对不同种类目标的数量进行严格的均衡处理，导致训练集、测试集中的各个类别数量差距很大。因此通过设计合适的权重损失函数改善正负样本不均衡情况。
S33：采用深度卷积神经网络模型对缺陷信息进行识别处理。
深度卷积神经网络模型经过网络训练后，得到了二值化预测结果，采用腐蚀操作把最小值过滤，消除孤立的噪声点，再采用膨胀处理可以补充完整孔洞，连接断裂部。
此外，对缺陷信息进行识别和量化处理的过程，针对不同的缺陷种类，主要获取的数据也不同。具体的，针对裂缝，主要获取裂缝的宽度、长度、走向等数据；针对掉块，主要获取掉块的形状、面积等数据；针对塌方，主要获取塌方的厚度、面积等数据；针对露筋，主要获取露筋的长度、直径等数据。
在对缺陷信息进行识别和量化处理之后，为了能够将不同的缺陷显示在水工隧洞的三维模型上，就可以将获取的数据转化为坐标信息。
S4：根据坐标信息，在三维模型上标定缺陷。
具体的，首先，根据水下机器人的定位坐标以及摄像头的视距方向，可以计算出缺陷的坐标信息；其次，将缺陷的量化数据转化为坐标数据；最后，将缺陷的坐标信息和坐标数据在水工隧洞的三维模型上进行标定，从而完成对缺陷的标定。
以缺陷种类为裂缝为例，缺陷识别的过程中，可以识别出裂缝的绝对轮廓线。通过水下机器人的定位坐标(X1，Y1，Z1)和摄像头的视距方向，推算出裂缝的尖端坐标(X2，Y2，Z2)，再通过绝对轮廓线，计算出其余轮廓线上的坐标值(X3，Y3，Z3)、(X4，Y4，Z4)、……、(Xn，Yn，Zn)，当足够数量的坐标值得到后，就可以在三维模型上直观显示出缺陷的位置、宽度、长度、走向等信息。
同理，其余类型的缺陷，也可以安装此方法标定出来。
S5：显示三维缺陷模型。
当缺陷标定完成后，则需要在显示屏幕上直观显示三维缺陷模型。显示屏幕可以分为四个区域，具体划分如下：
第一区域：作为隧洞三维模型显示区，可以显示水下机器人在三维模型中的位置，可以将水工隧洞的三维模型设置为透视状态；
第二区域：作为水下机器人的摄像头的视角显示区，可以模仿人眼视角显示水工隧洞中的真实场景；
第三区域：作为缺陷展示区，当摄像头的视角发现缺陷后，立即对缺陷进行识别和量化处理，并且把缺陷的裂隙及关联数据信息显示出来；
第四区域：作为三维缺陷模型显示区，随着水下机器人的前进，缺陷逐步标定在三维模型中，实现三维缺陷模型的显示。
实施例提供的基于三维动态模型检测水工隧洞缺陷的方法至少包括以下有益效果：
可以把隧洞缺陷的真实场景展示出来，同时对于缺陷的类型及缺陷的大小等信息可以直观反馈，解决了巡检过程中缺陷位置及缺陷大小认识模糊的困境，对于水下机器人的操作、隧洞缺陷统计、隧洞结构安全评估具有重要的支撑作用，对于水下机器人在长距离水工隧洞中进行巡检，具备显著的应用价值和推广意义。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

  1. 一种基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述方法包括：
    建立水工隧洞的三维模型；
    采用水下机器人在水工隧洞中巡检，并结合所述三维模型，获得缺陷信息；
    对所述缺陷信息进行识别和量化处理，获得坐标信息；
    根据所述坐标信息，在所述三维模型上标定缺陷。
  2. 根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述建立水工隧洞的三维模型的步骤包括：
    根据所述水工隧洞的平面设计图纸，建立所述三维模型。
  3. 根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述三维模型在空间上的形状和位置采用三维坐标系表示，所述三维坐标系包括X轴、Y轴和Z轴，其中，所述X轴表示隧洞的轴线方向，所述Y轴表示隧洞断面的水平方向，所述Z轴表示隧洞断面竖直方向。
  4. 根据权利要求1所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述水下机器人搭载有摄像头、图像声呐和清淤与清水置换装置。
  5. 根据权利要求4所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述采用水下机器人在水工隧洞中巡检，并结合所述三维模型，获得缺陷信息的步骤包括：
    采用所述图像声呐进行隧洞全范围的断面检测，通过与设计断面比较，查明缺陷位置；
    通过所述摄像头对隧洞内淤积位置逐一排查，并确定淤积物种类，获取淤积缺陷图像；
    结合所述图像声呐和所述摄像头对洞壁缺陷位置进行排查，查明洞壁缺陷种类，获取洞壁缺陷图像；
    对于遮挡缺陷位置，采用所述清淤与清水置换装置清除隧洞表面的附着物，并在所述摄像头前的位置用清水置换浑浊水体，获得遮挡缺陷图像。
  6. 根据权利要求4所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述对所述缺陷信息进行识别和量化处理，获得坐标信息的步骤包括：
    根据所述缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果；
    对所述缺陷信息进行数据处理，使所述缺陷信息具有量化数据；
    根据所述识别结果和所述量化数据，获得所述坐标信息。
  7. 根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述根据所述缺陷信息，采用图像识别技术，自动识别出缺陷种类，并获到识别结果的步骤包括：
    利用迁移学习方法构建特征提取模型，并从所述缺陷信息中提取缺陷特征；
    使用骨干网络作为特征编码器，并使用所述特征编码器对所述缺陷特征进行编码，形成特征图；
    针对所述特征编码器设计解码器，并利用所述解码器在所述特征图上进行采样，获得像素级的所述识别结果。
  8. 根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述量化数据包括二维几何特征量化信息和三维几何特征量化信息，所述对所述缺陷信息进行数据处理，使所述缺陷信息具有量化数据的步骤包括：
    利用形态学分析技术从所述缺陷信息中获得缺陷的骨架信息；
    通过所述骨架信息计算出缺陷长度，通过所述识别结果的像素总和得到缺陷面积；
    根据所述缺陷长度和所述缺陷面积，计算得到平均宽度，从而获得所述二维几何特征量化信息；
    建立结构缺陷的三维重建模型，利用点云信息计算出缺陷深度、体积及平整度，从而获得所述三维几何特征量化信息。
  9. 根据权利要求6所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述识别结果包括所述水下机器人的定位坐标和所述摄像头的视距方向，所述根据所述识别结果和所述量化数据，获得所述坐标信息的步骤包括：
    根据所述水下机器人的所述定位坐标以及所述摄像头的所述视距方向，计算出缺陷的坐标信息；
    将所述量化数据转化为坐标数据。
  10. 根据权利要求9所述的基于三维动态模型检测水工隧洞缺陷的方法，其特征在于，所述根据坐标信息，在三维模型上标定缺陷的步骤包括：
    将所述缺陷的坐标信息和所述坐标数据在所述水工隧洞的所述三维模型上进行标定，完成对缺陷的标定。
PCT/CN2021/100074 2021-06-09 2021-06-15 基于三维动态模型检测水工隧洞缺陷的方法 WO2022257158A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110643018.3A CN113256599B (zh) 2021-06-09 2021-06-09 基于三维动态模型检测水工隧洞缺陷的方法
CN202110643018.3 2021-06-09

Publications (1)

Publication Number Publication Date
WO2022257158A1 true WO2022257158A1 (zh) 2022-12-15

Family

ID=77187374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/100074 WO2022257158A1 (zh) 2021-06-09 2021-06-15 基于三维动态模型检测水工隧洞缺陷的方法

Country Status (2)

Country Link
CN (1) CN113256599B (zh)
WO (1) WO2022257158A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256599B (zh) * 2021-06-09 2022-08-09 清华四川能源互联网研究院 基于三维动态模型检测水工隧洞缺陷的方法
CN113610054B (zh) * 2021-08-27 2024-08-23 广州慧瞳科技有限公司 一种水下结构病害深度检测方法、系统、装置及存储介质
CN114758237A (zh) * 2022-04-19 2022-07-15 哈尔滨工程大学 一种输水隧洞缺陷自动识别模型的构建方法、检测方法、构建装置、计算机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688806A (zh) * 2019-11-29 2020-01-14 清华四川能源互联网研究院 水工隧洞风险评估方法、装置及终端设备
CN112000114A (zh) * 2020-08-31 2020-11-27 北京理工大学 用于引水隧洞的控制方法和控制系统
CN112798619A (zh) * 2020-12-25 2021-05-14 广州利科科技有限公司 隧道缺陷的快速检测系统与检测方法
CN113256599A (zh) * 2021-06-09 2021-08-13 清华四川能源互联网研究院 基于三维动态模型检测水工隧洞缺陷的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410334A (zh) * 2018-09-21 2019-03-01 桂林电子科技大学 一种基于特征线的三维网格模型缺陷孔洞修复方法
KR102106452B1 (ko) * 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
CN110909407A (zh) * 2019-11-22 2020-03-24 中铁二局集团有限公司 一种基于bim的山洞实验室及竖井bim模型创建方法
CN111537515B (zh) * 2020-03-31 2023-05-12 国网辽宁省电力有限公司朝阳供电公司 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
CN111443091B (zh) * 2020-04-08 2023-07-25 中国电力科学研究院有限公司 电缆线路隧道工程缺陷判断方法
CN111610193A (zh) * 2020-05-29 2020-09-01 武汉至科检测技术有限公司 采用多镜头拍摄巡检地铁隧道管片结构缺陷的系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688806A (zh) * 2019-11-29 2020-01-14 清华四川能源互联网研究院 水工隧洞风险评估方法、装置及终端设备
CN112000114A (zh) * 2020-08-31 2020-11-27 北京理工大学 用于引水隧洞的控制方法和控制系统
CN112798619A (zh) * 2020-12-25 2021-05-14 广州利科科技有限公司 隧道缺陷的快速检测系统与检测方法
CN113256599A (zh) * 2021-06-09 2021-08-13 清华四川能源互联网研究院 基于三维动态模型检测水工隧洞缺陷的方法

Also Published As

Publication number Publication date
CN113256599A (zh) 2021-08-13
CN113256599B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2022257158A1 (zh) 基于三维动态模型检测水工隧洞缺陷的方法
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
CN113252700B (zh) 一种结构裂缝检测方法、设备及系统
Ding et al. Crack detection and quantification for concrete structures using UAV and transformer
CN113284109B (zh) 管道缺陷识别方法、装置、终端设备及存储介质
CN103971406B (zh) 基于线结构光的水下目标三维重建方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
Lattanzi et al. 3D scene reconstruction for robotic bridge inspection
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111737790B (zh) 仿真城市模型的构建方法和设备
Xue et al. 3D reconstruction and automatic leakage defect quantification of metro tunnel based on SfM-Deep learning method
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
KR101607078B1 (ko) 비전을 이용한 지중관로의 곡률 측정 및 맵핑 방법
CN109685793A (zh) 一种基于三维点云数据的管身缺陷检测方法及系统
CN115797354A (zh) 用于检测激光焊接焊缝外观缺陷的方法
CN116910876A (zh) 一种基于无人机遥感辅助滑坡应急治理工程勘查设计方法
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN114494385A (zh) 一种输水隧洞病害可视化预警方法
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN114119361A (zh) 基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
CN116452944A (zh) 一种表面裂纹识别方法及装置
CN114324401A (zh) 基于环形多波束声呐的全覆盖式管道探测系统
CN113848209B (zh) 一种基于无人机与激光测距的堤坝裂缝检测方法
Kim et al. Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944664

Country of ref document: EP

Kind code of ref document: A1