KR20230123762A - A method of measuring crack size of facilities based on 3D map - Google Patents
A method of measuring crack size of facilities based on 3D map Download PDFInfo
- Publication number
- KR20230123762A KR20230123762A KR1020220020939A KR20220020939A KR20230123762A KR 20230123762 A KR20230123762 A KR 20230123762A KR 1020220020939 A KR1020220020939 A KR 1020220020939A KR 20220020939 A KR20220020939 A KR 20220020939A KR 20230123762 A KR20230123762 A KR 20230123762A
- Authority
- KR
- South Korea
- Prior art keywords
- crack
- unmanned mobile
- facility
- distance
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 4
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims description 3
- 239000004332 silver Substances 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 2
- 238000007689 inspection Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Abstract
본 발명은 3D 맵 기반의 시설물의 균열크기 측정방법에 관한 것으로서, 무인이동체의 카메라에서 촬영한 정보를 기반으로 컴퓨터에서 3D 포인트 클라우드 맵을 생성하고, 생성된 3D 포인트 클라우드 맵을 기반에서 시설물의 균열부분이 촬영된 촬영이미지, 무인이동체의 위치 및 무인이동체의 카메라의 촬영방향 등을 소정의 수식에 반영하여 균열의 크기를 측정하는 시설물의 균열크기 측정방법에 관한 것이다.The present invention relates to a method for measuring the size of cracks in a facility based on a 3D map, which generates a 3D point cloud map on a computer based on information captured by a camera of an unmanned mobile vehicle, and measures cracks in the facility based on the generated 3D point cloud map. It relates to a method for measuring the size of a crack in a facility that measures the size of a crack by reflecting a photographed image of a part, the position of an unmanned mobile body, and the shooting direction of a camera of an unmanned mobile body in a predetermined formula.
Description
본 발명은 3D 맵 기반으로 시설물에 형성된 균열의 크기를 측정하는 방법에 관한 것으로서, 무인이동체의 카메라에서 촬영한 정보를 기반으로 컴퓨터에서 3D 포인트 클라우드 맵을 생성하고, 생성된 3D 포인트 클라우드 맵을 기반에서 시설물의 균열부분이 촬영된 촬영이미지, 무인이동체의 위치 및 무인이동체의 카메라의 촬영방향 등을 소정의 수식에 반영하여 균열의 크기를 측정하는 시설물의 균열크기 측정방법에 관한 것이다.The present invention relates to a method for measuring the size of a crack formed in a facility based on a 3D map, which generates a 3D point cloud map on a computer based on information captured by a camera of an unmanned vehicle, and based on the generated 3D point cloud map It relates to a method for measuring the size of cracks in a facility that measures the size of a crack by reflecting the photographed image of the crack part of the facility, the location of the unmanned mobile body, and the shooting direction of the camera of the unmanned mobile body in a predetermined formula.
시설물 점검은 사람이 직접 중장비 등을 활용하여 시설물에 접근하여 육안으로 균열, 백태, 누수, 철근노출 등의 시설물 이상 여부를 판단하고 있다. 이는 시간과 노동력이 다수 소모될 뿐만 아니라 추락 등의 위험사고도 발생 가능하다. 교량의 경우 1개의 점검비로 약 10억원 수준의 비용을 지출하고 있다. 따라서, 현재 진행되고 있는 노동력 감소 등을 고려하여 무인이동체를 이용한 시설물 점검 기술이 다수 보고되고 있다.In the facility inspection, a person directly accesses the facility using heavy equipment, etc., and visually determines whether there is any abnormality in the facility, such as cracks, whiteness, water leakage, or exposure of rebar. This not only consumes a lot of time and labor, but also can cause dangerous accidents such as falls. In the case of bridges, about 1 billion won is spent on one inspection fee. Therefore, a number of facility inspection technologies using unmanned vehicles have been reported in consideration of the current reduction in labor force.
일반적으로 무인이동체를 이용하여 시설물의 균열을 정밀하게 측정하기 위해서는 1) 무인이동체와 목표물 간의 거리측정, 2) 측정된 거리를 이용한 영상 내 균열의 크기 환산의 과정을 거친다. 여기서 무인이동체와 목표물 간의 거리 측정은 라이다, 초음파센서 등을 이용하여 거리를 측정할 수 있으나, 센서 간 정확도에서 정밀도가 상당히 차이가 발생 가능하다. 또한, 측정 대상이 평면이 아닐 경우 정확한 거리 환산이 어렵다는 점에서 한계가 존재하며, 나아가 별도의 거리측정센서를 촬영 모듈과 연동하여 활용해야 함으로써 장비 설계 및 탑재에 추가적인 비용이 발생한다. In general, in order to accurately measure cracks in a facility using an unmanned mobile vehicle, 1) the distance between the unmanned mobile vehicle and the target is measured, and 2) the size of the crack in the image is converted using the measured distance. Here, the distance between the unmanned vehicle and the target can be measured using LIDAR, an ultrasonic sensor, etc., but a significant difference in accuracy between sensors can occur. In addition, there is a limitation in that accurate distance conversion is difficult when the measurement target is not flat, and additional costs are incurred for equipment design and installation as a separate distance measuring sensor must be used in conjunction with the photographing module.
이러한 문제점을 해결하기 위한 종래기술인 대한민국 특허등록번호 제10-2014425호는, 드론을 이용한 터널벽면 손상 검사시스템 및 검사방법에 관한 것으로서, 드론을 이용한 근접 촬영에 의해 서로 다른 종류의 고해상도 영상정보를 취득하고 이를 비교, 분석함으로써 터널벽면의 손상부위를 보다 정확하게 감지할 수 있도록 한 것이다.Republic of Korea Patent Registration No. 10-2014425, a prior art for solving these problems, relates to a tunnel wall damage inspection system and inspection method using a drone, and obtains different types of high-resolution image information by close-up using a drone. By comparing and analyzing them, it is possible to more accurately detect the damaged area on the tunnel wall.
그러나 종래기술에서는 초음파 등 거리센서를 이용하여 균열의 정량적 크기를 산출하여 왔으나, 여전히 비용적인 측면, 정확성 측면에서 이미 알려진 종래기술에 따른 한계에서 벗어나고 있지 않고 있다. However, in the prior art, although the quantitative size of the crack has been calculated using a distance sensor such as ultrasonic waves, it still does not deviate from the limits of the known prior art in terms of cost and accuracy.
따라서, 균열 크기를 정확히 측정하고, 추가적인 비용 발생을 최소화할 수 있도록 균열의 크기를 정량적으로 평가할 수 있는 시설물의 균열크기 측정방법이 절실히 필요한 실정이다.Therefore, there is an urgent need for a method for measuring the size of cracks in facilities that can quantitatively evaluate the size of cracks in order to accurately measure the size of cracks and minimize additional costs.
상술한 종래기술에 따른 문제점을 해결하기 위해서, 균열의 크기를 정확히 측정하고, 추가적인 비용 발생을 최소화할 수 있도록 균열의 크기를 정량적으로 평가할 수 있는 시설물의 균열크기 측정방법을 제안하고자 한다.In order to solve the above-mentioned problems according to the prior art, it is proposed to measure the size of cracks in facilities that can quantitatively evaluate the size of cracks so as to accurately measure the size of cracks and minimize additional costs.
상술한 종래기술에 따른 문제점을 해결하기 위한 본 발명에 따른 시설물의 균열크기 측정방법은, (a) 상기 컴퓨터에서 시설물에 대한 3D 포인트 클라우드 맵(point cloud map)이 생성되는 단계; (b) 무인이동체의 카메라에서 상기 시설물에서 균열이 형성된 부분을 촬영한 촬영이미지에 대한 정보, 촬영시 상기 무인이동체의 현재 위치에 대한 정보 및 촬영시 상기 무인이동체 카메라의 촬영방향에 대한 정보가 컴퓨터로 전송되는 단계; (c) 상기 컴퓨터에서 소정의 이미지 추출 애플리케이션을 통해 상기 촬영이미지에서 균열이 포함된 균열부분이 픽셀단위로 추출되는 단계; (d) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 무인이동체 카메라의 촬영방향이 반영되어, 상기 무인이동체와 상기 시설물의 균열부분 간의 거리가 연산되는 단계; 및 (e) 소정의 수식에 상기 (d) 단계에서 연산된 거리, 상기 촬영이미지의 픽셀 개수 및 상기 (c) 단계에서 추출된 균열부분의 픽셀 개수가 반영되어 균열의 크기가 연산되는 단계를 포함할 수 있다.The method for measuring the size of a crack in a facility according to the present invention to solve the above-mentioned problems according to the prior art includes: (a) generating a 3D point cloud map for the facility in the computer; (b) Information on the photographed image obtained by the camera of the unmanned mobile vehicle capturing the part where the crack is formed in the facility, information on the current position of the unmanned mobile vehicle when photographing, and information on the photographing direction of the unmanned mobile camera when photographing are stored in the computer Step to be transmitted to; (c) extracting cracks including cracks from the photographed image in pixel units through a predetermined image extraction application in the computer; (d) reflecting the current position of the unmanned mobile object and the photographing direction of the unmanned mobile camera on the 3D point cloud map in the computer, and calculating a distance between the unmanned mobile body and a crack part of the facility; And (e) calculating the size of the crack by reflecting the distance calculated in the step (d), the number of pixels of the photographed image, and the number of pixels of the crack portion extracted in the step (c) in a predetermined formula. can do.
바람직하게는, 상기 (e) 단계에서의 소정의 수식은 하기 수식 1, 수식 2 및 수식 3일 수 있다.Preferably, the predetermined formulas in step (e) may be the following formulas 1, 2 and 3.
[수식 1][Equation 1]
[수식 2][Equation 2]
[수식 3][Formula 3]
상기 수식 1, 수식 2 및 수식 3에서, 은 균열의 크기, 는 균열의 x축 방향 길이, 는 균열의 y축 방향 길이, 는 상기 무인이동체와 상기 시설물의 균열부분 간의 거리, 는 기설정된 기준거리, 및 는 촬영이미지의 x축, y축 방향의 픽셀 개수, 및 는 상기 (c) 단계에서 추출된 균열부분의 x축, y축 방향의 픽셀 개수, 및 는 상기 기설정된 기준거리에서 실측된 촬영이미지의 x축, y축 방향 길이이다.In Equation 1, Equation 2 and Equation 3, the size of the silver crack, is the length of the crack in the x-axis direction, is the length of the crack in the y-axis direction, is the distance between the unmanned mobile body and the cracked part of the facility, is a preset reference distance, and is the number of pixels in the x-axis and y-axis directions of the captured image, and is the number of pixels in the x-axis and y-axis directions of the crack part extracted in step (c), and Is the length of the photographed image in the x-axis and y-axis directions actually measured at the preset reference distance.
바람직하게는, 상기 (d) 단계는, (d-2) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 무인이동체 카메라의 촬영방향이 반영된 상태에서, 상기 3D 포인트 클라우드 맵에서 상기 무인이동체의 현재 위치로부터 소정의 반경 안에 존재하는 포인트가 검색되는 단계; 및 (d-3) 상기 (d-2) 단계에서 검색된 포인트와 상기 무인이동체 간의 거리가 연산되는 단계를 포함할 수 있다.Preferably, in step (d), (d-2) in a state in which the current location of the unmanned mobile object and the shooting direction of the unmanned mobile camera are reflected in the 3D point cloud map in the computer, in the 3D point cloud map Searching for a point within a predetermined radius from the current location of the unmanned mobile vehicle; and (d-3) calculating the distance between the point searched in step (d-2) and the unmanned mobile vehicle.
바람직하게는, 상기 (d) 단계는, (d-1) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 무인이동체 카메라의 촬영방향이 반영된 상태에서, 상기 3D 포인트 클라우드 맵에서의 촬영방향이 단위벡터로 연산되는 단계를 더 포함할 수 있다.Preferably, in the step (d), (d-1) in a state where the current location of the unmanned mobile object and the shooting direction of the unmanned mobile camera are reflected in the 3D point cloud map in the computer, in the 3D point cloud map A step of calculating the photographing direction of the unit vector may be further included.
바람직하게는, 상기 (d-3) 단계는, (d-3-1) 상기 (d-2) 단계에서 검색된 포인트와 상기 무인이동체 사이의 벡터가 연산되는 단계; (d-3-2) 상기 (d-3-1) 단계에서 연산된 다수의 벡터 중에서 상기 (d-1)에서 연산된 단위벡터와 일치하는 단위벡터를 갖는 포인트가 선택되는 단계; 및 (d-3-3) 상기 (d-3-2) 단계에서 선택된 포인트와 상기 무인이동체 간의 거리가 연산되는 단계를 포함할 수 있다.Preferably, the step (d-3) comprises: (d-3-1) calculating a vector between the point searched in the step (d-2) and the unmanned mobile vehicle; (d-3-2) selecting a point having a unit vector identical to the unit vector calculated in (d-1) from among the plurality of vectors calculated in step (d-3-1); and (d-3-3) calculating the distance between the point selected in step (d-3-2) and the unmanned mobile vehicle.
상술한 과제해결수단으로 인하여, 시설물의 균열의 크기를 측정하기 위하여 부정확한 거리센서가 사용되지 않고, 3D 포인트 클라우드 맵을 기반으로 시설물에서 균열부분이 촬영된 촬영이미지, 무인이동체의 위치 및 무인이동체의 카메라의 촬영방향 등을 활용하여 상대적으로 정확한 균열의 크기를 측정할 수 있어, 시설물 점검시 시간과 인력 등의 소모를 최소화할 수 있다.Due to the above-mentioned problem solving means, an inaccurate distance sensor is not used to measure the size of a crack in a facility, and a photographed image of a crack in a facility based on a 3D point cloud map, the location of an unmanned mobile body, and an unmanned mobile body Relatively accurate crack size can be measured using the shooting direction of the camera, minimizing the consumption of time and manpower when inspecting facilities.
도 1은 본 발명에 따른 3D 맵 기반의 시설물의 균열크기 측정방법을 개략적으로 도식화한 도면이다.
도 2는 본 발명에 따른 3D 맵 기반의 시설물의 균열크기 측정방법이 진행되는 상태를 개략적으로 나타낸 도면이다.
도 3은 본 발명에 따른 3D 맵 기반의 시설물의 균열크기의 측정방법에서 픽셀단위의 균열부분 이미지를 나타낸 도면이다.1 is a diagram schematically illustrating a method for measuring the size of cracks in a 3D map-based facility according to the present invention.
2 is a diagram schematically showing a state in which the method for measuring the crack size of a facility based on a 3D map according to the present invention is progressing.
3 is a view showing an image of a crack portion in pixel units in the method for measuring the size of a crack in a 3D map-based facility according to the present invention.
이하, 본 발명에 따른 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의성을 위해 과장되게 도시될 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자 또는 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, a preferred embodiment of the method according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.
1. 3D 포인트 클라우드 맵(3D point cloud map)이 생성되는 단계1. The step of creating a 3D point cloud map
우선적으로 사전에, SLAM 기술에 IMU 센서, GPS 센서, 라이다 센서 등이 적용된 무인이동체의 의해 시설물이 스캐닝되고, 스캐닝 정보가 컴퓨터에 입력되어 입력된 정보를 기반으로 컴퓨터에서 3D 포인트 클라우드 맵이 구현될 수 있다.First of all, the facility is scanned by an unmanned vehicle to which IMU sensor, GPS sensor, LiDAR sensor, etc. are applied to SLAM technology in advance, and the scanning information is input to the computer, and a 3D point cloud map is implemented on the computer based on the input information It can be.
2. 무인이동체의 카메라에서 촬영한 촬영이미지, 무인이동체의 현재 위치 및 무인이동체의 카메라의 촬영방향에 대한 정보가 컴퓨터로 전송되는 단계2. The step of transmitting information about the shooting image taken by the camera of the unmanned mobile body, the current location of the unmanned mobile body, and the shooting direction of the camera of the unmanned mobile body to the computer
시설물에서 균열이 형성된 부분에 대한 촬영이미지는 무인이동체에 부착된 카메라에 의해 촬영된 이미지일 수 있다. A photographed image of a cracked portion of a facility may be an image captured by a camera attached to an unmanned mobile body.
나아가, 무인이동체의 현재 위치는 SLAM 기술에 IMU 센서, GPS 센서, 라이다 센서 등이 적용되어 정량화될 수 있으며, 나아가 무인이동체의 현재 위치를 정확하게 측정할 수 있는 수단이라면 어떠한 수단이라도 가능함은 물론이다.Furthermore, the current location of the unmanned vehicle can be quantified by applying an IMU sensor, a GPS sensor, a LiDAR sensor, etc. to SLAM technology, and any means that can accurately measure the current location of the unmanned vehicle is of course possible. .
무인카메라에 장착된 카메라의 촬영방향은 무인이동체의 현재 위치, 무인이동체에 장착된 짐벌의 각도, 무인이동체의 진행 방향 등이 결합되어 환산될 수 있으며, 나아가 카메라의 촬영방향을 정확하게 측정할 수 있는 수단이라면 어떠한 수단이라도 가능함은 물론이다.The shooting direction of the camera mounted on the unmanned camera can be converted by combining the current position of the unmanned mobile body, the angle of the gimbal mounted on the unmanned mobile body, and the moving direction of the unmanned mobile body. Of course, any means is possible.
상술한 촬영이미지, 무인이동체의 현재 위치, 카메라의 촬영방향에 대한 정보가 균열의 크기를 측정하는 컴퓨터로 전송된다.The above-described photographed image, the current position of the unmanned vehicle, and information on the photographing direction of the camera are transmitted to a computer that measures the size of the crack.
3. 컴퓨터에서 촬영이미지 전체에서 균열부분이 픽셀단위로 추출되는 단계3. The step of extracting cracks in pixel units from the entire captured image on a computer
컴퓨터로 전송된 촬영이미지 전체에서 균열부분이 픽셀단위로 추출된다. 촬영이미지는 시설물에서 균열이 형성된 부분에 대한 이미지이고, 따라서 촬영이미지에는 균열부분이 포함된 이미지 및 그 이외의 이미지가 포함된 상태이다.Cracks are extracted in pixel units from the entire photographed image transmitted to the computer. The photographed image is an image of a part where cracks are formed in the facility, and therefore, the photographed image includes an image including the cracked part and other images.
촬영이미지에서 균열부분의 추출은 소정의 이미지 추출 애플리케이션이 활용되어 이루어질 수 있는데, 딥러닝을 통한 의미적 분할(semantic segmentation) 기술이 활용될 수 있거나 고전적인 이미지 처리 방식으로 추출될 수 있음은 물론이다.Extraction of the crack part from the photographed image can be performed using a predetermined image extraction application. Of course, a semantic segmentation technology through deep learning can be used or it can be extracted by a classical image processing method. .
4. 시설물에서의 균열부분과 무인이동체와의 거리가 연산되는 단계4. The step of calculating the distance between the cracked part of the facility and the unmanned mobile body
4.1. 카메라의 촬영방향의 단위벡터가 연산되는 단계4.1. The step of calculating the unit vector of the shooting direction of the camera
3D 포인트 클라우드 맵에 무인이동체의 현재 위치, 카메라의 촬영방향이 반영된 상태에서, 카메라의 촬영방향에 대한 단위벡터가 컴퓨터에서 연산될 수 있다.In a state in which the current location of the unmanned vehicle and the shooting direction of the camera are reflected in the 3D point cloud map, a unit vector for the shooting direction of the camera may be calculated by a computer.
4.2. 3D 포인트 클라우드 맵에서 무인이동체의 현재 위치로부터 소정의 반경 안에 존재하는 포인트가 검색되는 단계4.2. Searching for a point within a predetermined radius from the current location of the unmanned vehicle in the 3D point cloud map
3D 포인트 클라우드 맵에서 무인이동체의 현재 위치로부터 기설정된 소정의 반경 안에 위치되는 포인트가 검색될 수 있다. 이러한 소정의 반경은 시설물의 균열부분이 포함될 수 있는 거리로 기설정될 수 있으며, 검색되는 포인트의 많고 적음에 따라, 또는 일반적으로 시설물로부터 무인이동체까지 허용될 수 있는 거리에 따라 소정의 반경이 커지거나 작아지도록 변경되어 기설정될 수 있음은 물론이다.In the 3D point cloud map, a point located within a predetermined radius from the current location of the unmanned mobile vehicle may be searched for. This predetermined radius may be preset as a distance that can include cracks in the facility, and the predetermined radius will increase depending on the number of points to be searched for, or generally according to the allowable distance from the facility to the unmanned mobile vehicle. Of course, it may be changed to be smaller or preset.
3D 포인트 클라우드 맵에서 무인이동체의 현재 위치로부터 소정의 반경 안에 존재하는 하나 이상의 포인트가 검색될 수 있다.In the 3D point cloud map, one or more points existing within a predetermined radius from the current location of the unmanned mobile vehicle may be searched for.
4.3. 소정의 반경 안에서 검색된 포인트와 무인이동체 간의 벡터가 연산되는 단계4.3. A step of calculating a vector between a point searched within a predetermined radius and an unmanned mobile body
검색된 하나 이상의 포인트와 무인이동체 간의 벡터가 컴퓨터에서 연산된다. 소정의 반경 안에 하나 이상의 포인트가 검색 가능한 바, 다수의 벡터값이 도출될 수 있다.A vector between one or more searched points and the unmanned mobile vehicle is calculated in a computer. Since one or more points can be searched within a predetermined radius, a plurality of vector values can be derived.
4.4. 단위벡터와 일치된 단위벡터를 갖는 포인트가 선택되는 단계4.4. A step in which a point having a unit vector matched with a unit vector is selected
하나 이상의 포인트 각각과 무인이동체 간의 벡터 중에서, 카메라의 촬영방향의 단위벡터와 일치하는 단위벡터를 갖는 포인트가 선택된다.Among the vectors between each of one or more points and the unmanned mobile body, a point having a unit vector that matches the unit vector of the photographing direction of the camera is selected.
4.5. 촬영방향의 단위벡터와 일치하는 단위벡터를 갖는 포인트와 무인이동체 간의 거리가 연산되는 단계4.5. The step of calculating the distance between a point having a unit vector that coincides with the unit vector of the shooting direction and the unmanned mobile body
카메라의 촬영방향은 시설물에서 균열이 형성된 부분으로 향하는 방향이며, 3D 포인트 클라우드 맵에서 소정의 반경 안에 존재하는 하나 이상의 포인트 중 카메라의 촬영방향과 동일한 방향에 위치되는 포인트가 선택되는데, 이때 선택되는 포인트는 카메라의 촬영방향과 동일한 방향에 존재하는 포인트인 바, 시설물에 형성된 균열부분에 해당되는 포인트이다.The camera's shooting direction is the direction toward the cracked part in the facility, and a point located in the same direction as the camera's shooting direction is selected from among one or more points existing within a predetermined radius on the 3D point cloud map. is a point that exists in the same direction as the camera's shooting direction, and is a point corresponding to a crack formed in the facility.
따라서, 선택된 포인트와 무인이동체 간의 거리는 결국 시설물의 균열부분과 무인이동체 간의 거리가 될 수 있다. 선택된 포인트에 대한 벡터가 이미 연산된 상태인 바, 선택된 포인트와 무인이동체 간의 거리는 이미 연산된 벡터로부터 연산될 수 있다.Therefore, the distance between the selected point and the unmanned mobile body may eventually become the distance between the cracked part of the facility and the unmanned mobile body. Since the vector for the selected point has already been calculated, the distance between the selected point and the unmanned mobile vehicle can be calculated from the already calculated vector.
5. 수식 1, 수식 2, 수식 3에 의해 균열의 크기가 연산되는 단계5. The step of calculating the crack size by Equation 1, Equation 2, and Equation 3
균열의 크기는 하기 수식 1, 수식 2 및 수식 3에 의해 연산된다.The size of the crack is calculated by Equation 1, Equation 2 and Equation 3 below.
[수식 1][Equation 1]
[수식 2][Equation 2]
[수식 3][Formula 3]
수식 1, 수식 2 및 수식 3에서, 은 균열의 크기, 는 균열의 x축 방향 길이, 는 균열의 y축 방향 길이, 는 무인이동체와 시설물의 균열부분 간의 거리, 는 기설정된 기준거리, 및 는 촬영이미지의 x축, y축 방향의 픽셀 개수, 및 는 상기 (c) 단계에서 추출된 균열부분의 x축, y축 방향의 픽셀 개수, 및 는 기설정된 기준거리에서 실측된 촬영이미지의 x축, y축 방향 길이이다.In Equation 1, Equation 2 and Equation 3, the size of the silver crack, is the length of the crack in the x-axis direction, is the length of the crack in the y-axis direction, is the distance between the unmanned mobile body and the cracked part of the facility, is a preset reference distance, and is the number of pixels in the x-axis and y-axis directions of the captured image, and is the number of pixels in the x-axis and y-axis directions of the crack part extracted in step (c), and Is the length in the x-axis and y-axis directions of the photographed image actually measured at a preset reference distance.
기설정된 기준거리()는 사전에 무인이동체와 시설물 간의 기설정된 거리이며, 기설정된 기준거리에서 실측된 촬영이미지는 사전에 기설정된 거리에서 무인이동체에 장착된 카메라로 시설물을 촬영하였을 때 생성된 촬영이미지이다.Preset reference distance ( ) is a pre-set distance between the unmanned mobile body and the facility, and the photographed image actually measured at the preset reference distance is a photographed image generated when the facility is photographed with a camera mounted on the unmanned mobile body at a preset distance.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but this is only exemplary, and those skilled in the art can make various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the scope of protection of the present invention should be defined by the claims.
Claims (5)
(b) 무인이동체에 장착된 카메라에서 상기 시설물에서 균열이 형성된 부분을 촬영한 촬영이미지에 대한 정보, 촬영시 상기 무인이동체의 현재 위치에 대한 정보 및 촬영시 상기 카메라의 촬영방향에 대한 정보가 컴퓨터로 전송되는 단계;
(c) 상기 컴퓨터에서 소정의 이미지 추출 애플리케이션을 통해 상기 촬영이미지에서 균열이 포함된 균열부분이 픽셀단위로 추출되는 단계;
(d) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 카메라의 촬영방향이 반영되어, 상기 무인이동체와 상기 시설물의 균열부분 간의 거리가 연산되는 단계; 및
(e) 소정의 수식에 상기 (d) 단계에서 연산된 거리, 상기 촬영이미지의 픽셀 개수 및 상기 (c) 단계에서 추출된 균열부분의 픽셀 개수가 반영되어 균열의 크기가 연산되는 단계를 포함하는 시설물의 균열크기 측정방법.
(a) generating a 3D point cloud map for a facility in the computer;
(b) Information on a photographed image of a crack formed in the facility by a camera mounted on an unmanned mobile vehicle, information on the current position of the unmanned mobile vehicle when photographing, and information on the photographing direction of the camera when photographing are stored in a computer Step to be transmitted to;
(c) extracting cracks including cracks from the photographed image in pixel units through a predetermined image extraction application in the computer;
(d) reflecting the current position of the unmanned mobile object and the photographing direction of the camera on the 3D point cloud map in the computer, and calculating a distance between the unmanned mobile object and the crack part of the facility; and
(e) calculating the size of the crack by reflecting the distance calculated in step (d), the number of pixels of the photographed image, and the number of pixels of the crack portion extracted in step (c) in a predetermined formula; Crack size measurement method of facilities.
상기 (e) 단계에서의 소정의 수식은 하기 수식 1, 수식 2 및 수식 3인 시설물의 균열크기 측정방법:
[수식 1]
[수식 2]
[수식 3]
상기 수식 1, 수식 2 및 수식 3에서, 은 균열의 크기, 는 균열의 x축 방향 길이, 는 균열의 y축 방향 길이, 는 상기 무인이동체와 상기 시설물의 균열부분 간의 거리, 는 기설정된 기준거리, 및 는 촬영이미지의 x축, y축 방향의 픽셀 개수, 및 는 상기 (c) 단계에서 추출된 균열부분의 x축, y축 방향의 픽셀 개수, 및 는 상기 기설정된 기준거리에서 실측된 촬영이미지의 x축, y축 방향 길이이다.
According to claim 1,
The predetermined formulas in step (e) are the following Equations 1, 2, and 3. Crack size measurement method for facilities:
[Formula 1]
[Equation 2]
[Formula 3]
In Equation 1, Equation 2 and Equation 3, the size of the silver crack, is the length of the crack in the x-axis direction, is the length of the crack in the y-axis direction, is the distance between the unmanned mobile body and the cracked part of the facility, is a preset reference distance, and is the number of pixels in the x-axis and y-axis directions of the captured image, and is the number of pixels in the x-axis and y-axis directions of the crack part extracted in step (c), and Is the length of the photographed image in the x-axis and y-axis directions actually measured at the preset reference distance.
상기 (d) 단계는,
(d-2) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 카메라의 촬영방향이 반영된 상태에서, 상기 3D 포인트 클라우드 맵에서 상기 무인이동체의 현재 위치로부터 소정의 반경 안에 존재하는 포인트가 검색되는 단계; 및
(d-3) 상기 (d-2) 단계에서 검색된 포인트와 상기 무인이동체 간의 거리가 연산되는 단계를 포함하는 시설물의 균열크기 측정방법.
According to claim 2,
In step (d),
(d-2) in a state in which the current position of the unmanned mobile object and the shooting direction of the camera are reflected in the 3D point cloud map in the computer, a location within a predetermined radius from the current position of the unmanned mobile object in the 3D point cloud map a point is retrieved; and
(d-3) calculating the distance between the point searched in step (d-2) and the unmanned mobile body.
상기 (d) 단계는,
(d-1) 상기 컴퓨터에서 상기 3D 포인트 클라우드 맵에 상기 무인이동체의 현재 위치 및 상기 카메라의 촬영방향이 반영된 상태에서, 상기 3D 포인트 클라우드 맵에서의 촬영방향이 단위벡터로 연산되는 단계를 더 포함하는 시설물의 균열크기의 측정방법.
According to claim 3,
In step (d),
(d-1) further comprising calculating the photographing direction in the 3D point cloud map as a unit vector in a state in which the current position of the unmanned vehicle and the photographing direction of the camera are reflected in the 3D point cloud map by the computer A method for measuring the size of cracks in a facility to be
상기 (d-3) 단계는,
(d-3-1) 상기 (d-2) 단계에서 검색된 포인트와 상기 무인이동체 사이의 벡터가 연산되는 단계;
(d-3-2) 상기 (d-3-1) 단계에서 연산된 다수의 벡터 중에서 상기 (d-1)에서 연산된 단위벡터와 일치하는 단위벡터를 갖는 포인트가 선택되는 단계; 및
(d-3-3) 상기 (d-3-2) 단계에서 선택된 포인트와 상기 무인이동체 간의 거리가 연산되는 단계를 포함하는 시설물의 균열크기 측정방법.
According to claim 4,
In the step (d-3),
(d-3-1) calculating a vector between the point searched in step (d-2) and the unmanned mobile vehicle;
(d-3-2) selecting a point having a unit vector identical to the unit vector calculated in (d-1) from among the plurality of vectors calculated in step (d-3-1); and
(d-3-3) Calculating the distance between the point selected in step (d-3-2) and the unmanned mobile body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220020939A KR20230123762A (en) | 2022-02-17 | 2022-02-17 | A method of measuring crack size of facilities based on 3D map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220020939A KR20230123762A (en) | 2022-02-17 | 2022-02-17 | A method of measuring crack size of facilities based on 3D map |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230123762A true KR20230123762A (en) | 2023-08-24 |
Family
ID=87841476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220020939A KR20230123762A (en) | 2022-02-17 | 2022-02-17 | A method of measuring crack size of facilities based on 3D map |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230123762A (en) |
-
2022
- 2022-02-17 KR KR1020220020939A patent/KR20230123762A/en not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Valença et al. | Assessment of cracks on concrete bridges using image processing supported by laser scanning survey | |
| Duque et al. | Bridge deterioration quantification protocol using UAV | |
| CN108692719B (en) | Object detection device | |
| CN109801333B (en) | Volume measurement method, device and system and computing equipment | |
| US20160133008A1 (en) | Crack data collection method and crack data collection program | |
| JP6954368B2 (en) | Displacement component detection device, displacement component detection method, and program | |
| JP2017015598A (en) | Geodetic data processing device, geodetic data processing method, and geodetic data processing program | |
| JP2009008662A (en) | Object detection cooperatively using sensor and video triangulation | |
| JP6532412B2 (en) | Self-position estimation system, self-position estimation method, mobile terminal, server and self-position estimation program | |
| CN106018411A (en) | Crack width measuring and computing method and measuring device | |
| KR102113068B1 (en) | Method for Automatic Construction of Numerical Digital Map and High Definition Map | |
| CN114387268A (en) | Bolt looseness detection method and device | |
| US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| KR101954963B1 (en) | System and Method for Automatic Construction of Numerical Digital Map and High Definition Map | |
| CN110533649B (en) | Unmanned aerial vehicle general structure crack identification and detection device and method | |
| CN108476282A (en) | Radiography assisting device and photography householder method | |
| JP2019020220A (en) | Image processing apparatus, image processing method, and program | |
| JP2022042146A (en) | Data processor, data processing method, and data processing program | |
| Barkavi et al. | Processing digital image for measurement of crack dimensions in concrete | |
| JP2023029441A (en) | Measuring device, measuring system, and vehicle | |
| Hu et al. | A high-resolution surface image capture and mapping system for public roads | |
| WO2020158726A1 (en) | Image processing device, image processing method, and program | |
| KR20230123762A (en) | A method of measuring crack size of facilities based on 3D map | |
| JP2006317418A (en) | Image measuring device, image measurement method, measurement processing program, and recording medium | |
| KR101943426B1 (en) | Method, apparatus, computer program and computer readable recording medium for generating a drawing of an inner wall condition of a conduit, method, apparatus, computer program and computer readable recording medium for inspecting an inner wall condition of a conduit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |