WO2024080436A1 - 교각 구동장치를 이용한 ai 균열 검출방법 - Google Patents

교각 구동장치를 이용한 ai 균열 검출방법 Download PDF

Info

Publication number
WO2024080436A1
WO2024080436A1 PCT/KR2022/017202 KR2022017202W WO2024080436A1 WO 2024080436 A1 WO2024080436 A1 WO 2024080436A1 KR 2022017202 W KR2022017202 W KR 2022017202W WO 2024080436 A1 WO2024080436 A1 WO 2024080436A1
Authority
WO
WIPO (PCT)
Prior art keywords
crack
image
bridge
driving device
data
Prior art date
Application number
PCT/KR2022/017202
Other languages
English (en)
French (fr)
Inventor
최종대
Original Assignee
주식회사 에프디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프디 filed Critical 주식회사 에프디
Publication of WO2024080436A1 publication Critical patent/WO2024080436A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to a crack detection method, and in particular, to an AI crack detection method using a bridge driving device that detects cracks in a bridge pier using images captured using a bridge driving device equipped with a plurality of cameras.
  • Detecting the aging of bridges and the resulting cracking phenomenon is usually carried out by workers directly observing and recording them on an observation sheet. At this time, workers record the size and location of cracks in the bridge, and if necessary, take photos and attach them to the observation sheet. Currently, this process relies on manual labor by workers.
  • the present applicant has proposed, through Korean Patent No. 10-2123189 (Crack Detection Robot), a pier driving device that captures images of the pier while moving up and down in close contact with the pier.
  • the proposed crack detection robot ascends and descends vertically along the length of the bridge pier and takes images of the bridge pier using four cameras.
  • the crack detection robot proposed in Republic of Korea Patent No. 10-2123189 focuses on capturing images while stably adhering to the bridge pier compared to the method using a drone, and preventing it from easily falling or being damaged by strong winds.
  • the present applicant would like to propose a method of analyzing bridge images and detecting cracks using the crack detection robot of the previously filed and registered Korean Patent No. 10-2123189.
  • the purpose of the present invention is to provide a bridge driving device that can accurately and efficiently detect cracks in bridge images by expanding the learning data by additionally generating augmented data for the crack learning data and performing machine learning based on the expanded crack learning data.
  • a bridge driving device that can accurately and efficiently detect cracks in bridge images by expanding the learning data by additionally generating augmented data for the crack learning data and performing machine learning based on the expanded crack learning data.
  • Another object of the present invention is to calculate the dimensions of the crack by applying a skeletonization technique to the captured image, or to use a pier driving device that quantifies the crack by referring to the relative proportion of the cracked area in the dimension of the pier. It provides an AI crack detection method.
  • the above purpose is to use a bridge driving device that captures images of a bridge using a plurality of cameras according to the present invention, a) removing an image area where subjects other than the bridge are captured, and images from each camera are captured by the bridge.
  • Crack detection step c) a quantification step of applying a skeletonization technique to the crack tile to measure and quantify the center line of the crack included in the crack tile.
  • the crack learning data corresponds to data learned through crack data and augmented data for the crack data
  • the augmented data includes image inversion, image blur, and image brightness for the crack data. It is desirable that the data be recreated by changing .
  • step a) may be a step of cropping the image area containing subjects other than the bridge in the image and then stitching the images for each camera according to the SIFT technique.
  • step (b) it is preferable to perform the stitching after removing error feature points included in neighboring tiles among the tiles by applying the RANSAC (RANdom SAmple consensus) algorithm.
  • RANSAC Random SAmple consensus
  • step a) may further include black-and-white processing the image for each camera.
  • the above purpose is to use a bridge driving device that captures images of a bridge using a plurality of cameras according to the present invention, a) removing an image area where subjects other than the bridge are captured, and images from each camera are captured by the bridge.
  • Crack detection step c) setting a box area including a crack in the crack tile and comparing the box area with the dimension of the pier to calculate the relative size of the crack area; and d) calculating an approximate value for the length of a crack located within the crack area based on the dimensions of the box area.
  • step d one of the dimensions of the box area is calculated as a relative value of the dimension information of the bridge, and the other is a step in which the relative value is calculated by applying the aspect ratio of the box area.
  • the crack learning data corresponds to data learned through crack data and augmented data for the crack data
  • the augmented data includes image inversion, image blur, and image brightness for the crack data. It may be data that has been recreated by changing .
  • step a) is preferably a step of cropping the image area containing subjects other than the bridge in the image and then stitching the images for each camera according to the SIFT technique.
  • step (b) it is preferable to perform the stitching after removing error feature points included in neighboring tiles among the tiles by applying the RANSAC (RANdom SAmple consensus) algorithm.
  • RANSAC Random SAmple consensus
  • step a) may further include black-and-white processing the image for each camera.
  • augmented data is generated by expanding crack learning data of bridges that are insufficient as learning data, and machine learning is performed based on this to secure better crack detection ability.
  • cracks can be detected accurately and quickly by minimizing the processing resources required for image processing for crack detection.
  • Figure 1 shows a reference drawing for the shape and usage method of the bridge driving device applied to the present invention.
  • Figure 2 shows a system concept diagram of a system in which the AI crack detection method using a bridge driving device according to the present invention is performed.
  • Figure 3 shows a flowchart of an AI crack detection method using a bridge driving device according to an embodiment of the present invention.
  • Figure 4 shows a reference diagram for an example of a non-imageable area and a non-imageable target included in a bridge image.
  • FIG. 5 shows a reference diagram according to an example in which the image of FIG. 4 is cropped.
  • Figures 6 and 7 show conceptual diagrams of a method for suppressing external noise using the RANSAC algorithm.
  • Figure 8 shows a conceptual diagram of a method for processing image standardization for bridge images.
  • Figure 9 shows a reference diagram for a method of creating a tile.
  • Figure 10 shows a reference diagram for a method of quantifying cracks by applying a skeletonization technique to a crack image.
  • Figure 11 shows a reference diagram of a method for calculating approximations to the dimensions of a crack.
  • Figure 12 shows an example of expressing cracks detected in an actual bridge pier by applying the AI crack detection method using the bridge driving device of the present invention on a display device connected to the system.
  • the pier driving device referred to in this specification may refer to an image capture device that is in close contact with the pier, moves up and down along the longitudinal direction of the pier, and captures images using a plurality of cameras.
  • bridge piers mentioned in this specification may refer to vertical structures that support the load of the bridge.
  • a plurality of cameras are mounted on a bar-type holder, and each camera mounted may be a wide-angle camera. This is to prevent the pier driving device from shaking due to strong winds passing between the piers. As the pier driving device is raised and lowered in close contact with the pier at a distance of several centimeters to 50 centimeters, the pier driving device uses a wide-angle camera to secure images of the pier. is required.
  • each camera attached to the bridge driving device may refer to images for each camera attached to the bridge driving device being stitched into one (hereinafter referred to as the entire bridge image), or may refer to images stitched for each camera being integrated.
  • the stitched video for each camera may occupy 1/4 of the total bridge video.
  • the AI crack detection method using the bridge driving device mentioned in this specification includes a CPU (Central Processing Unit), RAM (Random Access Memory), a storage medium (e.g. SSD, HDD) on which a program implementing the algorithm according to the present invention is mounted, It can be performed by a computing system equipped with input/output devices (eg, keyboard, mouse, and trackball) and a display device.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • storage medium e.g. SSD, HDD
  • input/output devices eg, keyboard, mouse, and trackball
  • Figure 1 shows a reference drawing for the shape and usage method of the bridge driving device applied to the present invention.
  • the pier driving device 10 is installed in close contact with the pier 1, raises and lowers the pier 1 by a wire 5, and four cameras 11 are installed on the body to view the pier (1). 1) It is configured to image the cross section.
  • the bridge driving device 10 is configured to minimize shaking of the bar-type body due to wind or external force by providing supports 12 at both ends of the body.
  • the illustrated bridge driving device 10 may be connected to the system by wire or wirelessly, or may be stored in a built-in storage device and provided to the system at a later time.
  • Figure 2 shows a system concept diagram of a system in which the AI crack detection method using a bridge driving device according to the present invention is performed.
  • the system 100 is equipped with a CPU, RAM, storage (SSD, HDD), input/output devices (keyboard, mouse, trackball, etc.), and a display device.
  • the type shown may be a personal computer or server. , it may be implemented in the form of an embedded device, or, if the CPU performance is sufficient, it may be a type of device such as a tablet or smartphone.
  • the system 100 may be connected to the bridge driving device 10 by wire or wirelessly, and can acquire images captured by the bridge driving device 10 to extract cracks, quantify them, and display them on the display device 110. .
  • Figure 3 shows a flowchart of an AI crack detection method using a bridge driving device according to an embodiment of the present invention.
  • the system 100 performs preprocessing on the images captured by each camera 11a to 11d mounted on the bridge driving device 10 (S101).
  • each camera (11a to 11d) is mounted on the bridge driving device 10, and each camera (11a to 11d) is arranged along the width direction of the bridge pier (1) to view the surface of the bridge pier (1). Take pictures.
  • the images captured by the camera 11a and the camera 11d may be of the background of the bridge pier 1.
  • the cameras 11a and 11d may additionally capture backgrounds or structures other than the surface of the bridge pier 1, which is the subject. Since objects other than the subject (bridge) are unnecessary for crack analysis, the system 100 preferably removes areas containing objects other than the subject from the images for each camera 11a to 11d.
  • the bridge image includes an area (S0) containing the bridge pier (1) and an area (S1) containing backgrounds other than the bridge.
  • Objects other than the pier are unnecessary for crack detection and must be removed. Since the pier driving device 10 moves up and down along the longitudinal direction of the pier 1, its shape and position may also have a rectangular shape extending up and down.
  • system 100 may remove area S1, leaving only area S0 for pier 1.
  • the pier driving device 10 that elevates the pier 1 may include a support 12, and a part of the support 12 of the pier driving device 10 can be imaged by the cameras 11a to 11d. there is.
  • the bridge driving device 10 is in close contact with the bridge pier 1 at a distance of several centimeters to tens of centimeters (cm).
  • the system 100 needs to remove areas that are not related to the bridge 1, such as the support 12, and for this purpose, the images captured by the cameras 11a to 11d can be cropped. .
  • the shape of the cropped image is shown in Figure 5.
  • the image preprocessed in the system 100 is then filtered according to the RANSAC (RANdom Sample consensus) algorithm and then image standardization is performed.
  • RANSAC Random Sample consensus
  • the RANSAC algorithm corresponds to an algorithm that removes noise from the data set that makes up the image and predicts the model.
  • bridge shooting images correspond to images with very few features.
  • the color of the concrete wall is similar regardless of location, and it is difficult to expect characteristic patterns or shapes, making it very difficult to find feature points when stitching images for each camera (11a to 11d).
  • the bridge driving device 10 briefly shakes while each camera 11a to 11d is capturing images of the bridge pier 1, some of the bridge images may be greatly distorted compared to other images, and in this case, the shaking When stitching an image that has occurred and an image that has not occurred, the location of the feature point in the shaken bridge image may not match the coordinates of the feature point in the non-shaken image, making the stitching work difficult.
  • the system 100 can minimize external noise caused by shaking by applying the RANSAC algorithm to the cropped bridge image as shown in FIG. 5. This will be explained with reference to FIGS. 6 and 7 together.
  • FIG. 6 shows LMS (Least Least) for the image value of the data. It is expressed graphically by applying Mean Square.
  • the graph according to the RANSAC algorithm shows the characteristic of tracking the average value of the data.
  • the RANSAC algorithm determines a graph as shown in (d) of FIG. 7 according to the tracking value of other data ((c) of FIG. 7) rather than the value generated by the noise. You can see that. Looking at (d) of FIG. 7, you can see that the graph does not curve along the noise, but draws a gentle parabola along the tracking value of the data set indicated by the blue dot.
  • the present applicant intends to use the characteristics of the RANSAC algorithm to suppress shaking of the bridge driving device 10. After cropping the image, the RANSAC algorithm is applied to the camera (camera) even when shaking occurs in the bridge driving device 10. Shaking of images captured in steps 11a to 11d) can be suppressed.
  • the system 100 can perform image standardization on images captured by each camera 11a to 11d.
  • Image standardization corrects the distortion of the subject in the images captured by the cameras 11a to 11d due to movement or shaking of the cameras 11a to 11d, and image standardization can be performed as shown in FIG. 8.
  • the final step of preprocessing according to the present invention corresponds to the step of correcting the shaken image according to the shape of the bridge when shaking occurs in the cameras 11a to 11d due to shaking of the bridge driving device 10. do.
  • four red dots are displayed on the square border of the image before correction, and it is desirable to correct the shape of the image into a square based on this.
  • the corrected result is as shown in the “after correction” image shown on the right side of Figure 8.
  • the image after or before correction to be square may be processed in black and white. This prevents resources from being used to process color information when performing image processing in the system 100. Image processing of a black-and-white image can greatly reduce the load on the system 100 rather than image processing of a color image.
  • the system 100 can perform a stitching operation on the images for each camera (11a to 11d) (S102).
  • the stitching task can be performed by extracting feature points that do not change depending on the size and rotation of each image and joining the two images around the feature point.
  • feature points can be extracted from two images continuously captured by a camera (any one of 11a to 11d), and similar features among the extracted feature points can be matched to concatenate the two images.
  • stitching is performed according to the SIFT (Scale-Invariant Feature Transform) technique.
  • SIFT Scale-Invariant Feature Transform
  • Image stitching is performed for each camera (11a to 11d), and then is finally stitched into one image to form an entire cross-section image (S103).
  • the system 100 may divide the entire bridge image into a plurality of tiles (S104). This will be explained with reference to FIG. 9.
  • Figure 9(a) shows the entire bridge image obtained by stitching together all images captured by each camera 11a to 11d.
  • the entire bridge image is composed of a resolution as high as the size of the bridge, and the data size is very large, ranging from several gigabytes to tens of gigabytes (GB) depending on the resolution.
  • Figure 9(b) shows dividing the entire bridge image into a plurality of tiles
  • Figure 9(c) shows each partitioned tile.
  • the system 100 must process a huge amount of data ranging from several gigabytes to tens of gigabytes.
  • the present applicant proposes a method of generating an intact entire bridge image and dividing it into a plurality of tiles so that it can be easily and simply processed in the system 100.
  • the system 100 may perform crack detection for each tile (S105).
  • Crack detection can use existing crack learning data in the system 100.
  • the learning data is expanded to the following two types, and cracks can be detected in the system 100 using the constructed learning data. You can.
  • the present applicant seeks to increase the efficiency of crack detection of the system 100 by generating augmented data for existing crack data and additionally training it in the system 100.
  • the system 100 can perform additional learning by receiving augmented data processed by itself or from another system, and the augmented data is,
  • the system 100 can perform AI learning using augmented data expanded according to items 3) to 5) and existing crack data, and detect cracks included in the tile based on this.
  • the system 100 divides the image in units of tiles and detects cracks in the divided images in order to reduce the processing load of the system 100, which was learned using crack data and augmented data.
  • the system 100 can be built with a tablet or laptop, which means that the bridge driving device 10 and the system 100 can coexist in the field.
  • the tiles may be made small in size so that these portable terminals can take over the role of the system 100.
  • the system 100 loads each tile that partitions the entire bridge image into memory while learning the shape and pattern of the crack using the crack data and augmented data, and determines whether or not each tile contains a crack. Extract the crack tile through (S106).
  • the system 100 classifies normal tiles with no cracks and cracked tiles, and then performs crack detection only on the cracked tiles. Accordingly, among all bridge images, tasks requiring a load on the system 100 occur only on cracked tiles, which can increase the processing speed of the system 100 and minimize the burden on the processing resources of the system 100. Able to know.
  • Quantification of cracks can be performed according to the following two methods.
  • the method described in item 6) applies a skeletonization technique to cracks included in the crack tile, and will be described with reference to FIG. 5.
  • Figure 10 shows a reference diagram for a method of quantifying cracks by applying a skeletonization technique to a crack image.
  • the system 100 detects a crack tile and then processes the image of the crack included in the crack tile using a skeletonization technique. At this time, the system 100 leaves only the center line of the crack, and can quantify the length of the crack in the crack image using the number of pixels constituting the center line.
  • Figure 11 shows a reference diagram of a method for calculating approximations to the dimensions of a crack.
  • the system 100 determines the dimensions of the crack tile P1 and the dimensions included in the crack tile P1. Approximate values can be calculated for the dimensions of the crack.
  • the width direction dimension (L3) of the crack tile (P1) in the entire pier image is The proportional value for the horizontal and vertical dimensions of the crack tile (P1) can be calculated by referring to the occupied ratio.
  • the crack tile (P1) is 1 compared to the width direction dimension (L1) of the pier. It can have dimensions with a ratio of :6.
  • Figure 11 (b) shows that the crack tile (P1) is 1:6 compared to the width direction of the pier.
  • the longitudinal dimension of the crack tile (P1) ( L4) can be calculated by considering the ratio with the horizontal dimension (L3) in the image without necessarily comparing it with the dimension of the bridge pier (1).
  • the width direction dimension (L3) can be calculated as 4/3.
  • the system 100 can calculate an approximate value for the length of the crack through image analysis with the dimensions of L3 and L4 determined.
  • Figure 12 shows an example in which cracks detected in the actual bridge pier 1 are expressed on the display device 110 connected to the system 100 by applying the AI crack detection method using the bridge driving device of the present invention.
  • Figure 12 (a) shows the entire bridge image captured by cameras 11a to 11d and stitched.
  • Figure 12 (b) shows the results of AI crack detection on the entire bridge image.
  • Figure 12(c) shows the results of numerical analysis of the crack detected in Figure 12(b).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

본 발명은 학습데이터로서 부족한 교량의 균열학습 데이터를 확장하여 증강 데이터를 생성하고, 이를 토대로 기계학습을 시켜, 더 우수한 균열검출 능력을 확보하며, 균열 검출을 위한 이미지 처리에 소요되는 프로세싱 자원을 최소화 하여 정확하고 신속하게 균열을 검출하는 교각 구동장치를 이용한 AI 균열 검출방법을 제안한다. 이를 위해 본 발명은, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계, b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계, c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계를 포함할 수 있다.

Description

교각 구동장치를 이용한 AI 균열 검출방법
본 발명은 균열 검출방법에 관한 것으로, 특히 복수의 카메라가 장착된 교각 구동장치를 이용하여 촬상된 영상을 이용하여 교각의 균열을 검출하는 교각 구동장치를 이용한 AI 균열 검출방법에 관한 것이다.
교량의 노후화와 이에 따른 균열현상을 검출하는 작업은 통상 작업자가 직접 관측하여 관측지에 기록하는 방식으로 수행되고 있다. 이때, 작업자는 교량에 발생한 균열의 크기와 위치를 기록하게 되며, 필요에 따라 사진을 촬상하여 관측지에 첨부하고 있다. 현재 이러한 과정은 작업자의 수작업에 의존하고 있다.
수작업에 의한 관측과 기록은 종종 작업자에 의해 누락되거나, 그 위험도가 간과되는 경향이 있다. 이에 대해 드론을 이용하여 교각을 촬상하는 방안이 제안된 바 있다. 그러나, 카메라가 장착된 드론으로 교각을 촬상할 때, 교각 아래에 드론이 위치할 경우, GPS 미수신 구간에서 비행이 곤란할 수 있으며, 강풍이 부는 교각 부근에서 드론은 자세 제어가 곤란하고, 추락의 위험도 상존한다.
특히나, 강을 가로지르는 교량을 지지하는 교각이라면, 교각 사이를 지나는 바람의 강도에 의해 드론의 자세제어는 매우 어려울 수 있다.
이에 본 출원인은 대한민국 등록특허 제10-2123189호(균열탐지 로봇)를 통해 교각에 밀착하여 승강하면서 교각에 대한 영상을 촬상하는 교각 구동장치를 제안한 바 있다. 제안된 균열탐지 로봇은 교각의 길이 방향을 따라 수직하게 승강하면서 4개의 카메라를 이용하여 교각을 촬상한다.
대한민국 등록특허 제10-2123189호에 제안된 균열탐지 로봇은 드론을 이용하는 방법 대비 교각에 안정적으로 밀착하면서 영상을 촬상하며, 강풍에 의해 쉽게 추락하거나 파손되지 않도록 하는데 주안점을 두었다. 본 출원인은 선 출원되어 등록된 대한민국 등록특허 제10-2123189호의 균열탐지 로못을 이용하여 교각 영상을 분석하고 균열을 검출하는 방안을 제안하고자 한다.
본 발명의 목적은 균열학습 데이터에 대한 증강 데이터를 추가로 생성하여 학습 데이터를 확장하고 확장된 균열학습 데이터를 토대로 기계학습을 수행하여 교각 영상에서 정확하고 효율적으로 균열을 검출할 수 있는 교각 구동장치를 이용한 AI 균열 검출방법을 제공함에 있다.
본 발명의 다른 목적은 촬상된 영상에 대해 골격화 기법을 적용하여 균열의 치수를 산출하거나, 또는 균열이 발생된 영역이 교각의 치수에서 차지하는 상대적 비율을 참조하여 균열을 수치화하는 교각 구동장치를 이용한 AI 균열 검출방법을 제공함에 있다.
상기한 목적은 본 발명에 따라, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계; b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계; c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계;에 의해 달성된다.
여기서, 상기 균열 학습 데이터는, 균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는, 상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것이 바람직하다.
여기서, 상기 a) 단계는, 상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후, SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계일 수 있다.
여기서, 상기 (b) 단계는, RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것이 바람직하다.
여기서, 상기 a) 단계는, 상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함할 수 있다.
상기한 목적은 본 발명에 따라, 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며, a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계; b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계; c) 상기 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 상기 박스 영역을 상기 교각의 치수와 비교하여 상기 균열영역의 상대적 치수를 산출하는 단계; 및 d) 상기 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 단계;에 의해 달성된다.
여기서, 상기 d) 단계는, 상기 박스 영역의 치수 중 어느 하나는 상기 교량의 치수정보의 상대값으로 산출되고, 다른 하나는 상기 상대값을 상기 박스 영역의 가로 세로 비율을 적용하여 산출되는 단계일 수 있다.
여기서, 상기 균열 학습 데이터는, 균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는, 상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터일 수 있다.
여기서, 상기 a) 단계는, 상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후, SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것이 바람직하다.
여기서, 상기 (b) 단계는, RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것이 바람직하다.
여기서, 상기 a) 단계는, 상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함할 수 있다.
본 발명에 따르면, 학습데이터로서 부족한 교량의 균열학습 데이터를 확장하여 증강 데이터를 생성하고, 이를 토대로 기계학습을 시켜, 더 우수한 균열검출 능력을 확보할 수 있다.
본 발명에 따르면, 균열 검출을 위한 이미지 처리에 소요되는 프로세싱 자원을 최소화 하여 정확하고 신속하게 균열을 검출할 수 있다.
본 발명에 따르면, RANSAC 알고리즘을 적용하여 형태와 색상이 일정한 교각에서도 오류 특징점에 의한 스티칭 오류를 최소화하고 이를 통해 영상처리의 속도와 정확성을 향상시킬 수 있다.
도 1은 본 발명에 적용되는 교각 구동장치의 형상 및 사용방법에 대한 참조도면을 도시한다.
도 2는 본 발명에 따른 교각 구동장치를 이용한 AI 균열 검출방법이 수행되는 시스템에 대한 시스템 개념도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 교각 구동장치를 이용한 AI 균열 검출방법에 대한 흐름도를 도시한다.
도 4는 교각 영상에 포함되는 비촬상영역과 비촬상 대상의 일 예에 대한 참조도면을 도시한다.
도 5는 도 4의 영상에 대해 크롭처리된 일 예에 따른 참조도면을 도시한다.
도 6과 도 7은 RANSAC 알고리즘을 이용하여 외부 노이즈를 억제하는 방법에 대한 개념도를 도시한다.
도 8은 교각 영상에 대한 영상 표준화를 처리하는 방법에 대한 개념도를 도시한다.
도 9는 타일을 생성하는 방법에 대한 참조도면을 도시한다.
도 10은 균열 영상에 대한 골격화기법을 적용하여 균열을 수치화하는 방법에 대한 참조도면을 도시한다.
도 11은 균열의 치수에 대한 근사값을 산출하는 방법에 대한 참조도면을 도시한다.
도 12는 본 발명의 교각 구동장치를 이용한 AI 균열 검출방법을 적용하여 실제 교각에서 감지된 균열을 시스템에 연결되는 디스플레이장치로 표현한 일 예를 도시한다.
본 명세서에서 언급되는 교각 구동장치는, 교각에 밀착되어 교각의 길이 방향을 따라 승강하며, 복수의 카메라를 이용하여 영상을 촬상하는 영상 촬상장치를 지칭할 수 있다.
또한, 본 명세서에서 언급하는 교각은, 교량의 하중을 지지하는 수직 구조물을 지칭할 수 있다.
상기한 교각 구동장치는 바 타입의 거치대에 복수의 카메라(바람직하게는 4개의 카메라)가 거치되고, 각각 거치되는 카메라는 광각 카메라일 수 있다. 이는 교각 사이를 지나는 강풍에 의한 교각 구동장치의 흔들림을 방지하고자 교각 구동장치가 교각과 수 센티미터에서 50 센티미터의 거리로 교각과 밀착 상태로 승강함에 따라, 교각 구동장치가 교각 영상 확보를 위해 광각 카메라가 요구된다.
본 명세서에서 언급되는 교각 구동장치는, 본 출원인의 등록특허인 "대한민국 등록특허 제10-2123189호(균열탐지 로봇)"에 상술되어 있으며, 상세한 구조와 작동 방식에 대한 내용은 해당 문건을 참조하도록 한다.
본 명세서에서 언급되는 교각 영상은 두 가지 의미로 기재될 수 있다.
교각 구동장치에 부착되는 각 카메라별 영상이 하나로 스티칭된 것(이하, 전체 교각 영상이라 지칭한다)을 지칭하거나, 또는 각 카메라별로 스티칭된 영상이 통합된 것을 지칭할 수 있다.
이때, 각 카메라별로 스티칭된 영상은 전체 교각 영상 대비 1/4을 차지할 수 있다.
본 명세서에서 언급되는 교각 구동장치를 이용한 AI 균열 검출방법은 CPU(Central Processing Unit), RAM(Random Access Memory), 본 발명에 따른 알고리즘이 구현된 프로그램이 탑재되는 저장매체(예컨대 SSD, HDD), 입출력장치(예컨대 키보드, 마우스 및 트랙볼 등) 및 디스플레이장치를 구비하는 컴퓨팅 시스템에 의해 수행될 수 있다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다.
도 1은 본 발명에 적용되는 교각 구동장치의 형상 및 사용방법에 대한 참조도면을 도시한다.
도 1을 참조하면, 교각 구동장치(10)는 교각(1)에 밀착 설치되고, 와이어(5)에 의해 교각(1)을 상하 승강하며, 몸체에 4개의 카메라(11)가 설치되어 교각(1)의 단면을 촬상하도록 구성된다.
교각 구동장치(10)는 몸체의 양측 종단에 지지부(12)가 마련되어 바 타입의 몸체가 바람이나 외력에 의한 흔들림이 발생하는 것을 최소화하도록 구성된다.
도시된 교각 구동장치(10)는 유선 또는 무선에 의해 시스템에 연결되거나, 또는 내장된 저장장치에 저장된 것을 추후 시스템에 제공할 수 있다.
도 2는 본 발명에 따른 교각 구동장치를 이용한 AI 균열 검출방법이 수행되는 시스템에 대한 시스템 개념도를 도시한다.
실시예에 따른 시스템(100)은 CPU, RAM, 스토리지(SSD, HDD), 입출력장치(키보드, 마우스 및 트랙볼 등) 및 디스플레이장치를 구비하는 것으로, 도시된 유형은 퍼스털 컴퓨터나 서버일 수도 있고, 임베디드 장치의 형태로 구현된 것이거나, CPU의 성능이 충분하다면, 태블릿이나 스마트폰 같은 유형의 장치가 될 수도 있다. 시스템(100)은 교각 구동장치(10)와 유선 또는 무선으로 연결될 수도 있으며, 교각 구동장치(10)에서 촬상된 영상을 획득하여 균열을 추출하고 이를 수치화하여 디스플레이장치(110)에 표시할 수 있다.
도 3은 본 발명의 일 실시예에 따른 교각 구동장치를 이용한 AI 균열 검출방법에 대한 흐름도를 도시한다.
먼저, 시스템(100)은 교각 구동장치(10)에 마운트되는 각 카메라(11a 내지11d)에서 촬상되는 영상에 대해 전처리를 수행한다(S101).
전술한 바와 같이, 교각 구동장치(10)에는 4개의 카메라(11a 내지 11d)가 마운트되며, 각 카메라(11a 내지11d)는 교각(1)의 너비 방향을 따라 배열되어 교각(1)의 표면을 촬상한다.
이때, 카메라(11a)와 카메라(11d)에서 촬상된 영상은 교각(1)의 배경이 촬상될 수 있다. 예컨대, 카메라(11a, 11d)는 피사체인 교각(1)의 표면 이외의 배경이나 구조물을 추가로 촬상할 수 있다. 피사체(교각) 이외의 것은 균열 분석에 불필요하므로, 시스템(100)은 각 카메라(11a 내지 11d)별 영상에서 피사체 이외의 것이 포함되는 영역을 제거하는 것이 바람직하다.
교각 구동장치(10)는 교각의 길이 방향을 따라 상하 승강하므로, 피사체 이외의 영역은 각 카메라(11a 내지 11d) 중 카메라(11a)와 카메라(11d)에서 주로 발생하게 되며, 일정한 세로방향 영역에서 발생하는 특징이 있다. 이는 도 4를 함께 참조하여 설명하도록 한다.
도 4에 나타난 바와 같이 교각 영상에는 교각(1)이 포함되는 영역(S0)과 교각 이외의 배경이 포함되는 영역(S1)이 존재한다.
교각 이외의 피사체는 균열 탐지를 위해 불필요하므로, 제거되어야 하며, 교각 구동장치(10)가 교각(1)의 길이 방향을 따라 승강하므로 그 형태와 위치도 상하로 길게 이어지는 직사각형 형태를 가질 수 있다.
도 4에서, 시스템(100)은 S1 영역을 제거하여 교각(1)에 대한 영역(S0) 만을 남길 수 있다. 한편, 교각(1)을 승강하는 교각 구동장치(10)는 지지대(12)를 포함할 수 있으며, 교각 구동장치(10)의 지지대(12)의 일부가 카메라(11a 내지 11d)에 촬상될 수 있다.
외부의 강풍이나 교량의 흔들림에 의해 교각 구동장치(10)가 흔들리는 것을 최소화할 목적으로 교각 구동장치(10)는 교각(1)과 수 센티미터 내지 수십 센티미터(cm)의 거리로 밀착된다.
따라서, 시스템(100)은 지지대(12)와 같이 교각(1)과 관련없는 영역을 제거할 필요가 있으며, 이를 위해 카메라(11a 내지 11d)에서 촬상된 영상에 대해 크롭(CROP) 처리할 수 있다. 크롭 처리된 영상의 형태는 도 5와 같다.
도 5에 도시된 바와 같이, 시스템(100)에 의해 크롭 처리된 영상을 살펴보면, 지지대(12)가 위치하는 영역을 잘라내어 제거하였고, 또한, 비 촬상영역에 해당하는 영역(S1)도 제거하였음을 볼 수 있다.
도 5에 도시된 바와 같이 시스템(100)에서 전처리된 영상은 이후 RANSAC(RANdom SAmple consensus) 알고리즘에 따라 필터링되고 이어서 이미지 표준화를 수행하게 된다.
RANSAC 알고리즘은 영상을 구성하는 데이터 셋(data set)에서 노이즈를 제거하고 모델을 예측하는 알고리즘에 해당한다.
교각 촬영 영상은 통상의 피사체에 대한 영상과는 달리 매우 특징이 적은 영상에 해당한다.
콘크리트 벽의 색상은 위치와 관계없이 유사하고, 특징적인 무늬나 형태를 기대하기 어려워, 각 카메라(11a 내지 11d) 별로 영상을 스티칭할 때, 특징점을 찾기가 매우 어려운 특성이 있다.
특징점을 찾기도 어려운데, 외부 노이즈까지 유입된다면, 스티칭 작업은 매우 곤란하게 될 우려가 크다.
각 카메라(11a 내지 11d)가 교각(1)에 대한 교각 영상을 촬상 중 교각 구동장치(10)에 잠시 흔들림이 발생할 경우 교각 영상들 중 일부는 타 영상 대비 크게 틀어질 수 있으며, 이 경우 흔들림이 발생한 영상과 그렇지 않은 영상을 스티칭할 때, 흔들린 교각 영상의 특징점의 위치가 흔들리지 않은 영상의 특징점과 좌표가 매칭되지 않아 스티칭 작업이 곤란할 수 있다.
이에 시스템(100)은 도 5에 나타난 바와 같이 크롭 처리된 교각 영상에 대해 RANSAC 알고리즘을 적용하여 흔들림에 의해 발생하는 외부 노이즈를 최소화할 수 있다. 이는 도 6과 도 7을 함께 참조하여 설명하도록 한다.
먼저, 도 6에서 RANSAC 알고리즘에 따른 데이터 셋(data set)을 살펴보면, 도 6의 (a)에서 파란 색 점으로 표시된 것이 데이터를 나타내고 도 6의 (b)는 데이터의 영상값에 대해 LMS(Least Mean Square)을 적용하여 그래프로 표현한 것이다.
도 6의 (b)에 나타난 바와 같이 RANSAC 알고리즘에 따른 그래프는 데이터들의 평균값을 추종하는 특성을 보인다.
다음으로, 도 7을 통해 RANSAC 알고리즘을 통해 외부 노이즈를 억제하는 방법을 살펴보도록 한다.
도 7을 살펴보면, 외부 노이즈가 S2 영역에서 발생할 경우 RANSAC 알고리즘은 노이즈에 의해 발생한 값 보다는 타 데이터들(도 7의 (c))의 추종값을 따라 도 7의 (d)와 같이 그래프가 결정되는 것을 볼 수 있다. 도 7의 (d)를 보면, 그래프는 노이즈를 따라 굴곡되지 않고, 파란색 점으로 표시되는 데이터 셋의 추종값을 따라 완만한 포물선을 그리는 것을 볼 수 있다.
본 출원인은 RANSAC 알고리즘의 특성을 교각 구동장치(10)의 흔들림을 억제하는 용도로서 이용하고자 하며, 영상을 크롭 처리 후, RANSAC 알고리즘을 적용하여 교각 구동장치(10)에 흔들림이 발생할 경우에도 카메라(11a 내지 11d)에서 촬상된 영상의 흔들림을 억제할 수 있다.
RANSAC 알고리즘에 따라 교각 영상의 오류를 보정 후, 시스템(100)은 각 카메라(11a 내지 11d) 별로 촬상된 영상에 대해 영상 표준화를 수행할 수 있다. 영상 표준화는 카메라(11a 내지 11d)에서 촬상된 영상들이 카메라(11a 내지 11d)의 이동이나 흔들림에 의해 피사체가 왜곡된 것을 보정하는 것으로서, 이는 도 8에 도시된 바와 같이 영상 표준화를 진행할 수 있다.
도 8에 도시된 바와 같이, 본 발명에 따른 전처리의 최종 단계는 교각 구동장치(10)의 흔들림에 의해 카메라(11a 내지 11d)에 흔들림이 발생할 경우 흔들린 영상을 교각 형태에 따라 보정하는 단계에 해당한다. 도 8에서, 보정전 영상의 사각 테두리에 붉은 색 점이 4개 표시되어 있는데, 이를 기준으로 영상의 형태를 사각형으로 보정하는 것이 바람직하다.
보정된 결과는 도 8의 우측에 표시된 "보정후" 영상에 나타난 바와 같다. 바람직하게는, 사각으로 보정된 후, 또는 보정하기 이전의 영상은 흑백으로 처리될 수 있다. 이는 시스템(100)에서 이미지 프로세싱을 수행할 때, 컬러 정보를 처리하는데 리소스를 사용하지 않도록 한다. 컬러의 영상을 이미지 프로세싱 하는 것 보다, 흑백의 영상을 이미지 프로세싱 하는 것이 시스템(100)의 부하를 크게 경감할 수 있다.
이상으로, S101 단계에 따른 영상의 전처리 과정을 살펴보았다. 이하 스티칭 과정에 대해 살며보기로 한다.
전술한 바와 같이 각 카메라(11a 내지 11d)에서 촬상되는 영상에 대해 전처리가 수행된 후, 시스템(100)은 각 카메라별(11a 내지 11d) 영상에 대해 스티칭 작업을 수행할 수 있다(S102).
스티칭 작업은 각 영상의 크기와 회전에 따라 변하지 않는 특징점을 추출하고, 특징점을 중심으로 두 영상을 이어 붙이는 방법에 의해 수행될 수 있다. 본 발명에서는 카메라(11a 내지 11d 중 어느 하나)에서 연속 촬상되는 두 개의 영상에서 각각 특징점을 추출하고, 추출된 특징점들 중 유사한 것끼리 매칭하여 두 개의 영상을 이어 붙일 수 있다.
본 발명에서는 SIFT(Scale-Invariant Feature Transform) 기법에 따라 스티칭을 수행하는 것을 예시하나 SIFT 기법 이외에도 특징점을 찾아 시간적으로 연속되는 두 개의 이웃한 영상을 이어 붙일 수 있는 스티칭 기법이 있다면 적용할 수 있음은 물론이다.
영상의 스티칭은 각 카메라(11a 내지 11d) 별로 수행된 후, 최종적으로 하나의 영상으로 스티칭되어 전체 교갹 영상을 형성할 수 있다(S103).
전체 교각 영상을 구축한 후, 시스템(100)은 전체 교각 영상을 복수의 타일로 구획할 수 있다(S104). 이는 도 9를 함께 참조하여 설명하도록 한다.
도 9의 (a)는 각 카메라(11a 내지 11d)에서 촬상된 모든 영상을 모아 스티칭한 전체 교각 영상을 나타낸다. 전체 교각 영상은 교각 크기 만큼 높은 해상도로 구성되며, 데이터의 크기는 해상도에 따라 수 기가 바이트 내지 수십 기가비이트(GB)에 해당할 정도로 매우 크다.
도 9의 (b)는 전체 교각 영상을 복수의 타일로 구획하는 것을 나타내고, 도 9의 (c)는 구획된 각 타일을 나타낸다.
전체 교각 영상을 시스템(100)에 로드하고, 이에 대해 AI 학습된 결과와 비교한다면, 수 기가바이트 내지 수십 기가바이트에 달하는 엄청난 데이터량을 시스템(100)이 처리해야한다.
이 경우, 시스템(100)에 가해지는 부담이 매우 높아지는 것은 자명하며, 시스템(100)은 내장된 RAM에 전체 교각 영상을 로드 후 이미지 프로세싱을 수행해야 한다.
시스템(100)에서 전체 교각 영상을 처리하는데 가해지는 부하가 매우 높아지며, 시스템(100)의 이미지 처리 시간 또한 매우 많이 소요된다. 이에 본 출원인은 온전한 전체 교각 영상을 생성 후, 시스템(100)에서 쉽고 간단하게 처리할 수 있도록 복수의 타일로 구획하는 방법을 제시한다.
다음으로, 시스템(100)은 각 타일에 대해 하여 균열 검출을 수행할 수 있다(S105). 균열 검출은 시스템(100)에서 기존의 균열 학습 데이터를 이용할 수 있는데, 본 발명에서는 학습 데이터를 아래의 두 가지로 확장하여 구축하고, 구축된 학습 데이터를 이용하여 시스템(100)에 균열을 검출할 수 있다.
1) 교각에 대해 기존에 촬영된 균열 영상을 균열 데이터로 하여 학습하는 방안,
2) 균열 데이터에 대해 증강 데이터를 추가로 생성하고, 균열 데이터와 증강 데이터를 이용하여 시스템(100)을 학습시키는 방안이 있다.
교각에 대한 균열 데이터는 실제 구하기가 쉽지 않다. 교각에 문제가 발생하기 전에 정부나 지방자치단체는 교각을 보수 및 정비하므로 실제 교각에 균열이 발생할 때까지 잘 방치하지 않는다. 따라서, 교각에 대한 균열 데이터가 생각많큼 많지 않다. 또한, 균열 데이터가 촬상되는 환경, 즉, 촬상되는 시점의 광량이나 촬상한 시점의 영상 선명도는 균일하지 않다.
이에 본 출원인은 기존에 존재하는 균열 데이터에 대한 증강 데이터를 생성하고, 이를 시스템(100)에 추가로 학습시켜 시스템(100)의 균열 검출의 효율을 증대시키고자 한다.
이를 위해, 시스템(100)은 자체적으로 또는 타 시스템에서 처리된 증강 데이터를 받아서 추가로 학습을 진행할 수 있으며, 증강 데이터는,
3) 균열 데이터에 대해 밝기나 명암을 증감한 데이터
4) 균열 데이터에 대해 좌우 반전, 상하 반전을 시켜 다양한 유형의 균열을 재 창조한 데이터
5) 균열 데이터에 대해 흐림(Blur) 효과를 주어 선명도를 낮추고, 균열의 형상을 벌리는 유형의 데이터
시스템(100)은 3) 내지 5) 항목에 따라 확장 형성되는 증강 데이터 및 기존의 균열 데이터를 이용하여 AI 학습을 진행하고, 이를 토대로 타일에 포함되는 균열을 검출할 수 있다.
시스템(100)이 타일 단위로 영상을 분할하고, 분할된 영상에서 균열을 검출하는 것은 균열 데이터와 증강 데이터를 이용하여 학습된 시스템(100)의 처리 부하를 경감하기 위한 것이다.
예컨대, 각 카메라별(11a 내지 11d)에서 촬상된 모든 영상을 하나로 스티칭하면 대용량의 거대 해상도를 갖는 영상이 되는데, 이 영상을 메모리에 로드하고 메모리에 로드된 것을 모두 검토하는데는 상당한 시간도 요구된다.
시스템(100)의 성능이 충분히 높다 하더라도, 처리에 소요되는 시간은 매우 길어질 수 있으며, 처리에 소요되는 프로세싱 능력 또한 통상적인 수준을 넘어서게 된다.
반면, 타일 단위로 전체 교각 영상을 분할하고, 각 분할된 타일에 대해 균열을 검출한다면, 시스템(100)의 성능이 높지 않더라도 AI 분석을 통한 균열 검출이 가능해진다. 쉽게말해 태블릿이나 노트북으로 시스템(100)을 구축할 수도 있으며, 이는 현장에서 교각 구동장치(10)와 시스템(100)이 공존할 수도 있는 것이다.
만일, 스마트폰과 같은 휴대단말기의 처리 능력이 충분하다면, 타일의 크기를 작게 만들어 이들 휴대단말기가 시스템(100)의 역할을 대신할 수도 있을 것이다.
다음으로, 시스템(100)은 균열 데이터와 증강 데이터를 이용하여 균열의 형태와 패턴을 익힌 상태에서 전체 교각 영상을 구획한 각 타일을 메모리에 로드하고, 각 타일에 대해 균열을 포함하는지의 여부를 통해 균열 타일을 추출한다(S106).
시스템(100)은 균열이 존재하지 않는 일반 타일과 균열 타일을 분류 후, 균열 타일에 대해서만 균열 감지를 수행한다. 이에 따라, 전체 교각 영상 중 시스템(100)의 부하를 요구하는 작업은 균열 타일에서만 발생하는 바, 시스템(100)의 처리 속도의 증가와 시스템(100)의 프로세싱 리소스의 부담을 최소화할 수 있음을 알 수 있다.
마지막으로, 시스템(100)은 균열 타일에서 균열에 대한 수치화를 수행한다(S107).
균열의 수치화는 아래의 두 가지 방법에 따라 수행될 수 있다.
6) 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 방법.
7) 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 박스 영역을 교각의 치수와 비교하여 균열영역의 상대적 치수를 산출 후, 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 방법.
먼저, 항목 6)에 기재된 방법은, 균열 타일에 포함되는 균열에 대해 골격화기법을 적용하는 것으로, 도 5를 참조하여 설명하도록 한다.
도 10은 균열 영상에 대한 골격화기법을 적용하여 균열을 수치화하는 방법에 대한 참조도면을 도시한다.
도 10을 참조하면, 시스템(100)은 균열 타일을 검출 후, 균열 타일에 포함되는 균열의 영상을 골격화기법에 의해 이미지 처리한다. 이때, 시스템(100)은 균열의 중심 라인만 남기며, 중심 라인을 구성하는 픽셀의 개수를 이용하여 균열 영상에서 균열의 길이를 수치화할 수 있다.
도 10에서, 균열 영역에 대해 골격화기법을 적용하여 픽셀로 이어진 균열 라인을 형성한 것을 볼 수 있으며, 이들 픽셀의 개수가 224개일 때, 픽셀당 길이 X 224를 하여 균열의 길이를 산출하는 것을 예시하고 있다.
다음으로, 항목 7)에 기재된 근사값 산출방법은 도 11 참조하여 설명하도록 한다.
도 11은 균열의 치수에 대한 근사값을 산출하는 방법에 대한 참조도면을 도시한다.
도 11을 참조하면, 시스템(100)이 교각(1)의 치수 중 가로 길이의 치수를 사전에 알고 있다는 전제하에 시스템(100)은 균열 타일(P1)의 치수 및 균열 타일(P1)에 포함되는 균열의 치수에 대해 근사값을 산출할 수 있다.
도 11에서, 시스템(100)이 교각의 가로 세로 치수(L1, L2) 중 너비 방향의 치수인 L1의 값을 알고 있는 경우, 전체 교각 영상에서 균열 타일(P1)의 너비방향 치수(L3)가 차지하는 비율을 참조하여 균열 타일(P1)의 가로 세로 치수에 대한 비례값을 산출할 수 있다.
예컨대, 교각의 너비방향 치수(L1)이 1.2미터고, 균열 타일(P1)의 너비 방향(L3) 치수가 0.2미터라고 가정하면, 균열 타일(P1)은 교각의 너비방향 치수(L1) 대비 1:6의 비율인 치수를 가질 수 있다.
도 11의 (b)는 균열 타일(P1)이 교각의 너비방향 치수 대비 1:6인 것을 표현한 것으로서, 균열 타일(P1)의 너비 방향 치수가 결정되면, 균열 타일(P1)의 길이방향 치수(L4)는 굳이 교각(1)의 치수와 비교할 필요 없이 영상 내에서의 가로 치수(L3)와의 비(ratio)를 따져 산출할 수 있다.
예컨대, 균열 타일(P1)은 영상에서의 치수비(L3 : L4)가 3:4라고 가정하면, 너비 방향 치수(L3) X 4/3으로 산출될 수 있는 것이다.
균열 타일(P1)의 가로세로 치수가 산출되면, 시스템(100)은 L3, L4의 치수가 결정된 상태에서 영상 분석을 통해 균열의 길이에 대한 근사값을 산출할 수 있다.
도 12는 본 발명의 교각 구동장치를 이용한 AI 균열 검출방법을 적용하여 실제 교각(1)에서 감지된 균열을 시스템(100)에 연결되는 디스플레이장치(110)로 표현한 일 예를 도시한다.
먼저, 도 12의 (a)는 카메라(11a 내지 11d)에서 촬상되어 스티칭 처리된 전체 교각 영상을 나타낸다.
육안으로는 회색 콘크리트 벽면으로만 인식될 수준인 것으로, 근접해서 자세히 살펴보지 않는 한, 어느 것이 균열인지 쉽게 식별되지 않는 상태이다.
다음으로, 도 12의 (b)는 전체 교각 영상에 대해 AI 균열감지를 수행한 결과를 도시한다.
도 12의 (b)에서는 도 7의 (a)와 달리 균열이 선명하게 표현되며, 디스플레이장치(110)로 관찰할 때, 현장에서 직접 관찰하는 것 못지않은 수준으로 표현되는 것을 볼 수 있다.
도 12의 (c)는 도 12의 (b)에서 감지된 균열에 대해 수치화를 수행한 결과를 도시한다.
도 12의 (c)에서는 각 균열에 대해 균열로 표시된 영역 근처에 그 치수를 표현하고 있는데, 표현되는 치수는 균열의 폭과 길이를 나타낸다.
이상 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (10)

  1. 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며,
    a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계;
    b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계;
    c) 상기 균열 타일에 대해 골격화기법(skeletonize)을 적용하여 상기 균열 타일에 포함되는 균열의 중심 라인을 남기고 이를 측정 및 수치화하는 수치화 단계;를 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  2. 제1항에 있어서,
    상기 균열 학습 데이터는,
    균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는,
    상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  3. 제1항에 있어서,
    상기 a) 단계는,
    상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭(Crop) 처리 후,
    SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  4. 제1항에 있어서,
    상기 (b) 단계는,
    RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  5. 제1항에 있어서,
    상기 a) 단계는,
    상기 각 카메라별 영상을 흑백 처리하는 단계;를 더 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  6. 복수의 카메라를 이용하여 교각을 촬상하는 교각 구동장치를 이용하며,
    a) 상기 교각 이외의 피사체가 촬상된 이미지 영역을 제거하고, 상기 각 카메라의 영상이 상기 교각의 형태에 맞도록 보정하는 전처리 단계;
    b) 상기 전처리된 영상을 상기 각 카메라별로 스티칭하여 교각 영상을 형성하고, 상기 교각 영상을 복수의 타일로 구획하며, 상기 각 타일별로 균열학습 데이터를 참조하여 균열 타일을 검출함으로써 영상처리 부하를 낮추는 균열 검출 단계;
    c) 상기 균열 타일에서 균열을 포함하는 박스 영역을 설정하고, 상기 박스 영역을 상기 교각의 치수와 비교하여 상기 균열영역의 상대적 치수를 산출하는 단계; 및
    d) 상기 박스 영역의 치수를 토대로 상기 균열 영역 내에 위치하는 균열 길이에 대한 근사값을 산출하는 단계;를 포함하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  7. 제6항에 있어서,
    상기 d) 단계는,
    상기 박스 영역의 치수 중 어느 하나는 상기 교량의 치수정보의 상대값으로 산출되고,
    다른 하나는 상기 상대값을 상기 박스 영역의 가로 세로 비율을 적용하여 산출되는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  8. 제6항에 있어서,
    상기 균열 학습 데이터는,
    균열 데이터, 및 상기 균열 데이터에 대한 증강 데이터를 통해 학습된 데이터에 대응하고, 상기 증강 데이터는,
    상기 균열 데이터에 대해 영상 반전, 영상 흐림(Blur), 및 영상 밝기를 변경하여 재 생성된 데이터인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  9. 제6항에 있어서,
    상기 a) 단계는,
    상기 영상에서 상기 교각 이외의 피사체가 포함되는 이미지 영역을 크롭 처리 후,
    SIFT 기법에 따라 상기 각 카메라별 영상을 스티칭하는 단계인 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
  10. 제6항에 있어서,
    상기 (b) 단계는,
    RANSAC(RANdom SAmple consensus) 알고리즘을 적용하여 상기 타일 중 이웃하는 타일에 포함되는 오류 특징점을 제거 후 상기 스티칭을 수행하는 것을 특징으로 하는 교각 구동장치를 이용한 AI 균열 검출방법.
PCT/KR2022/017202 2022-10-11 2022-11-04 교각 구동장치를 이용한 ai 균열 검출방법 WO2024080436A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0129652 2022-10-11
KR1020220129652A KR20240050012A (ko) 2022-10-11 2022-10-11 교각 구동장치를 이용한 ai 균열 검출방법

Publications (1)

Publication Number Publication Date
WO2024080436A1 true WO2024080436A1 (ko) 2024-04-18

Family

ID=90669680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017202 WO2024080436A1 (ko) 2022-10-11 2022-11-04 교각 구동장치를 이용한 ai 균열 검출방법

Country Status (2)

Country Link
KR (1) KR20240050012A (ko)
WO (1) WO2024080436A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118501158A (zh) * 2024-07-11 2024-08-16 江西省天驰高速科技发展有限公司 一种墩柱检测环绕检测装置及检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378879A (zh) * 2019-06-26 2019-10-25 杭州电子科技大学 一种桥梁裂缝检测方法
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
CN114689600A (zh) * 2022-03-31 2022-07-01 南京林业大学 一种桥梁混凝土结构表面裂缝检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081736B1 (ko) 2017-12-29 2020-03-03 주식회사 다온코리아 교량용 콘크리트 구조물의 균열보수 정보 검출장치
KR102202572B1 (ko) 2019-11-25 2021-01-12 서울시립대학교 산학협력단 드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200013148A (ko) * 2018-07-18 2020-02-06 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
CN110378879A (zh) * 2019-06-26 2019-10-25 杭州电子科技大学 一种桥梁裂缝检测方法
KR20210077322A (ko) * 2019-12-17 2021-06-25 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
CN114689600A (zh) * 2022-03-31 2022-07-01 南京林业大学 一种桥梁混凝土结构表面裂缝检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118501158A (zh) * 2024-07-11 2024-08-16 江西省天驰高速科技发展有限公司 一种墩柱检测环绕检测装置及检测方法

Also Published As

Publication number Publication date
KR20240050012A (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
US4692943A (en) Method of and system for opto-electronic inspection of a two-dimensional pattern on an object
WO2020101103A1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
US6711284B1 (en) Image processor for a digital image of an object having a crack
WO2024080436A1 (ko) 교각 구동장치를 이용한 ai 균열 검출방법
JP4193895B2 (ja) 欠陥検査装置
JP4675949B2 (ja) 映像処理技法を利用した構造物及び製品のクラック幅測定方法および装置
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR102261323B1 (ko) 드론 촬영 영상의 인공지능 분석을 통한 구조물의 안전진단방법
WO2016072625A1 (ko) 영상방식을 이용한 주차장의 차량 위치 확인 시스템 및 그 제어방법
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
Lee et al. Diagnosis of crack damage on structures based on image processing techniques and R-CNN using unmanned aerial vehicle (UAV)
Rivera et al. Automated detection and measurement of cracks in reinforced concrete components
CN111604916A (zh) 一种机房it设备故障机柜u位定位系统及方法
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
Kadarla et al. Concrete crack detection from video footage for structural health monitoring
JP2008020369A (ja) 画像解析方法、画像解析装置、検査装置、画像解析プログラムおよびコンピュータ読み取り可能な記録媒体
CN111738148B (zh) 一种利用红外巡检拍摄的故障识别方法
CN112816120B (zh) 一种索力测量方法
CN113744196A (zh) 一种工程建设实时监控方法及系统
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
JPH04117578A (ja) ライン検出方法
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN115423777A (zh) 巷道缺陷的定位方法、装置、可读存储介质及工程设备
JP3127598B2 (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
CN115790400B (zh) 一种应用于桥隧结构安全的机器视觉标靶标定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962186

Country of ref document: EP

Kind code of ref document: A1