KR102237407B1 - System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss - Google Patents

System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss Download PDF

Info

Publication number
KR102237407B1
KR102237407B1 KR1020200097437A KR20200097437A KR102237407B1 KR 102237407 B1 KR102237407 B1 KR 102237407B1 KR 1020200097437 A KR1020200097437 A KR 1020200097437A KR 20200097437 A KR20200097437 A KR 20200097437A KR 102237407 B1 KR102237407 B1 KR 102237407B1
Authority
KR
South Korea
Prior art keywords
bridge
facility
drone
sensor
dgnss
Prior art date
Application number
KR1020200097437A
Other languages
Korean (ko)
Inventor
박철
이흥수
김영석
정해용
황국연
Original Assignee
(주) 다음기술단
(주)아센코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 다음기술단, (주)아센코리아 filed Critical (주) 다음기술단
Priority to KR1020200097437A priority Critical patent/KR102237407B1/en
Application granted granted Critical
Publication of KR102237407B1 publication Critical patent/KR102237407B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006Unmanned surface vessels, e.g. remotely controlled
    • B63B2035/007Unmanned surface vessels, e.g. remotely controlled autonomously operating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B2213/00Navigational aids and use thereof, not otherwise provided for in this class
    • B63B2213/02Navigational aids and use thereof, not otherwise provided for in this class using satellite radio beacon positioning systems, e.g. the Global Positioning System GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

The present invention relates to a bridge facility maintenance system using a DGNSS-based drone with a 3D sensor. The bridge facility maintenance system comprises: an unmanned vehicle; a ground control system; and an AI-based damage detection engine. According to the present invention, the bridge facility maintenance system may more efficiently maintain the bridge facilities compared to the conventional method.

Description

3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템{SYSTEM FOR MAINTENANCE OF BRIDGE FACILITIES USING DRONE BASED 3D SENSOR MOUNTING TYPE DGNSS}Bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone {SYSTEM FOR MAINTENANCE OF BRIDGE FACILITIES USING DRONE BASED 3D SENSOR MOUNTING TYPE DGNSS}

본 발명은 3D 센서 탑재형 DGNSS(Differential Global Navigation Satellite System; 위성항법보정시스템) 기반 드론을 이용한 교량 시설물 유지관리 시스템에 관한 것으로서, 더욱 상세하게는 3D 센서를 탑재한 위성항법보정시스템(DGNSS) 기반 자율운항이 가능한 육상 드론 및/또는 수상 드론 등의 무인이동체를 활용하고 이를 이용하여 측위한 교량 시설물 측 점검 데이터에 대해 인공지능(AI; Artificial Intelligence) 기반으로 안전진단을 수행할 수 있도록 구성함으로써 교량 시설물의 점검 및 안전진단에 대한 신뢰성을 확보할 수 있도록 하며 교량 시설물을 보다 효율적으로 유지관리할 수 있도록 한 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 관한 것이다.The present invention relates to a bridge facility maintenance system using a 3D sensor-mounted DGNSS (Differential Global Navigation Satellite System)-based drone, and more specifically, a satellite navigation correction system (DGNSS)-based 3D sensor. Bridges are configured to perform safety diagnosis based on artificial intelligence (AI) for the inspection data on the bridge facility side by utilizing and using unmanned vehicles such as land drones and/or water drones capable of autonomous navigation. It relates to a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone to ensure reliability for facility inspection and safety diagnosis and to more efficiently maintain bridge facilities.

일반적으로 시설물은 크게 교량, 터널, 항만, 댐, 건축물, 하천, 상하수도, 옹벽 및 절토사면, 공동구로 분류되며, 각각은 구조형식과 규모에 따라서 제1종 시설물과 제2종 시설물로 분류된다.In general, facilities are largely classified into bridges, tunnels, ports, dams, buildings, rivers, water and sewage systems, retaining walls and cut slopes, and common wards, and each is classified into class 1 facilities and class 2 facilities according to the structure type and scale.

이러한 시설물은 안전한 사용을 위해 점검 및 유지관리가 매우 중요한데, 종래에 있어 시설물 유지관리는 아직까지 인력기반 방식을 고수하고 있는데, 급경사지(사면), 고가 교량, 댐 체제 등 인력이 접근하기 힘든 시설은 라펠(Rappel) 또는 고소차 등을 이용해 직접 점검하고 있다.Inspection and maintenance of these facilities are very important for safe use.In the prior art, facility maintenance still adheres to the manpower-based method, but facilities that are difficult for manpower to access such as steep slopes (slopes), elevated bridges, and dam systems. Is being inspected directly by using a Rappel or an aerial vehicle.

그러나, 종래와 같은 인력기반 방식의 점검은 비용과 시간이 많이 소요됨은 물론 효율성이 떨어지고 장비 탑승으로 인해 추락 및 충돌 등 안전사고 발생 우려가 높은 문제점이 있었으며, 계측 데이터의 신뢰성을 높지 않는 문제점이 있었다.However, the inspection of the conventional manpower-based method requires a lot of cost and time, as well as low efficiency, and there is a problem that there is a high concern about occurrence of safety accidents such as falls and collisions due to boarding the equipment, and there is a problem that the reliability of the measurement data is not high. .

또한, 종래 시설물 유지관리에 있어서는 교량의 안전성과 밀접하여 교좌장치와 신축이음장치 등은 상시 관리가 필요한데, 점검이 어려워 이를 해결할 수 있는 기술이 필요한 실정에 있다. In addition, in the conventional facility maintenance, since it is closely related to the safety of the bridge, it is necessary to constantly manage the bridge seating device and the expansion joint device, but it is difficult to inspect and a technology to solve this problem is required.

이에, 최근에는 인력기반 방식의 시설물 유지관리 방법과 계측 데이터에 대한 신뢰성을 보완하기 위해 시설물에 접촉 또는 내장된 센서를 활용한 구조물 모니터링 시스템이 제안된 바 있다.Accordingly, in recent years, a structure monitoring system using a sensor contacted or embedded in a facility has been proposed in order to supplement the reliability of a manpower-based facility maintenance method and measurement data.

하지만, 이러한 센서를 통한 시설물 점검 및 유지관리 방식은 센서의 설치 영역 주변으로 검사 영역이 제한되고, 관리대상 구조물의 개수 증가에 따른 관리 비용이 증가되며, 설치된 센서 및 케이블에 대한 추가적인 유지보수가 요구되는 부분이 한계점으로 지적되고 있다.However, the facility inspection and maintenance method through such a sensor limits the inspection area around the installation area of the sensor, increases the number of structures to be managed, increases the management cost, and requires additional maintenance for the installed sensor and cable. This is pointed out as a limitation.

또한, 2018년 1월 18일 시행된 ‘시설물의 안전 및 유지관리에 관한 특별법’은 기존 중대형 규모의 시설물뿐만 아니라 소규모 시설물까지 전문가의 안전관리를 받도록 규정하고 있으며, 기존 제1종 및 제2종 시설물과 더불어 신규 제3종 시설물에 대한 안전점검 및 유지관리까지 실시하여야 한다.In addition, the'Special Act on Safety and Maintenance of Facilities' enforced on January 18, 2018 stipulates that not only small and medium-sized facilities but also small facilities are subject to safety management by experts. In addition to the facilities, safety inspection and maintenance of new Class 3 facilities should be carried out.

이에 따라, 기존 인력기반의 시설물 유지관리 방법이 갖는 인명사고 등의 문제점과, 센서를 활용한 구조물 모니터링 방법이 갖는 신뢰성 확보 등의 문제점을 해결하기 위한 새로운 시스템 및 방법들의 도출이 요구되고 있으며, 실질적으로 실용화 및 상용화가 가능한 시설물 유지관리 시스템 및 방법의 개발이 요구되는 실정에 있다.Accordingly, there is a need for new systems and methods to solve problems such as life-threatening accidents of the existing manpower-based facility maintenance method and the reliability of the structure monitoring method using sensors. Therefore, there is a need to develop a facility maintenance system and method that can be commercialized and commercialized.

한편, 시설물 점검 및 유지관리 시스템 및 방법에 관한 종래 선행기술문헌을 살펴보았을 때, 국내등록특허공보 제10-2012288호에서는 "장착된 촬영수단, 센서를 이용해 주변 정보를 수집하고, 내부에 저장하는 드론, 드론에 저장된 정보를 수신하여 안전 점검하는 서버, 드론에서 수집한 영상정보를 모니터링하는 모니터링부를 포함하는 구조물 안전 점검 시스템에 있어서, 드론이 이착륙하며, 내부에 수용공간이 형성되어 착륙한 드론을 보관하며, 드론에 저장된 정보를 수신하여 저장 및 서버에 전송하고, 내부에 저장된 드론의 전원을 충전하는 드론 저장장치, 드론의 이동 범위에 설치되어 드론의 위치 오차를 보상하는 실시간 이동측위 송수신기를 더 포함하는 구성을 통해 안전 점검 시간 및 비용을 감소하는 효과를 제공하며, 드론에 고정밀 센서 시스템을 적용하여 3차원 지도를 작성하고, 3차원 지도를 이용해 누락된 구조물이 있는지 점검하는 드론을 이용한 구조물 안전 점검 시스템을 제안 및 개시하고 있다.On the other hand, when looking at the prior art documents related to the facility inspection and maintenance system and method, in Korean Patent Publication No. 10-2012288, "The surrounding information is collected using the installed photographing means and sensor, and stored therein. In a structure safety inspection system including a drone, a server that receives information stored in the drone and checks the safety, and a monitoring unit that monitors the image information collected from the drone, the drone is taking off and landing, and a receiving space is formed inside the drone. A drone storage device that stores and receives the information stored in the drone, stores it and transmits it to the server, and charges the power of the drone stored inside, and a real-time movement positioning transceiver that is installed in the movement range of the drone to compensate for the drone's position error. Structure safety using a drone that provides the effect of reducing safety inspection time and cost through the included configuration, creates a 3D map by applying a high-precision sensor system to the drone, and checks for missing structures using a 3D map. Proposed and initiated an inspection system.

또한, 국내등록특허공보 제10-1765235호에서는 "유지관리 및 안전점검이 필요한 시설물에 각각 설치되어 시설물의 이상 거동을 계측하는 적어도 하나 이상의 사물인터넷(IoT) 기반 센서유닛; 상기 IoT 기반 센서유닛과 IoT 통신네트워크를 통해 연결되고, 상기 IoT 기반 센서유닛에서 계측된 신호를 수집 분석하여 상기 시설물의 거동 이상 유무를 판단하며, 이에 대응하는 조치를 지시하는 계측결과 분석 및 조치 단말; 상기 시설물에 근접하도록 비행하여 상기 시설물의 이상 유무를 확인하도록 영상을 촬영하는 무인비행체; 상기 계측결과 분석 및 조치 단말의 조치에 대응하여 상기 무인비행체의 출동과 복귀, 비행, 충전, 시설물 인식 및 영상촬영을 원격 지시하는 무인비행체 비행 및 조종 단말; 및 상기 무인비행체(140)의 배터리를 충전하기 위한 충전장치를 구비하고, 상기 무인비행체를 격납하는 무인비행체 스테이션;을 포함하는 구성을 통해 시설물에 다수 구비된 사물인터넷(IoT) 기반 센서에 의해 1차적으로 시설물의 이상 거동을 실시간으로 계측하고, 이상 거동이 감지된 경우 또는 필요시 무인비행체의 영상 촬영에 의해 2차적으로 시설물의 이상 거동을 정밀 계측함으로써 시설물의 현재 상태와 이상 거동 유무를 판단할 수 있고, IoT 기반 센서유닛과 무인비행체를 통해 이중 점검을 수행함으로써 계측센서의 오류 등에 의한 오경보를 방지할 수 있는 사물인터넷 기반 센서와 무인비행체를 이용한 시설물 유지관리 시스템 및 방법을 제안 및 개시하고 있다.In addition, in Korean Patent Publication No. 10-1765235, "at least one Internet of Things (IoT)-based sensor unit installed in each facility requiring maintenance and safety inspection to measure the abnormal behavior of the facility; the IoT-based sensor unit and A measurement result analysis and action terminal that is connected through an IoT communication network and determines whether there is an abnormality in the behavior of the facility by collecting and analyzing the signal measured by the IoT-based sensor unit, and instructing a corresponding action; so as to be close to the facility. An unmanned aerial vehicle that photographs an image to check whether or not the facility is abnormal by flying; in response to the measurement result analysis and action of the action terminal, the unmanned aerial vehicle is dispatched and returned, flight, charging, facility recognition, and video recording are remotely instructed. An unmanned aerial vehicle flight and control terminal; And an unmanned aerial vehicle station equipped with a charging device for charging the battery of the unmanned aerial vehicle 140 and storing the unmanned aerial vehicle; IoT)-based sensor primarily measures the abnormal behavior of the facility in real time, and when the abnormal behavior is detected or if necessary, the abnormal behavior of the facility is secondarily measured by taking an image of an unmanned aerial vehicle to accurately measure the current state of the facility. A facility maintenance system using IoT-based sensors and unmanned aerial vehicles that can determine the presence or absence of abnormal behavior and prevent false alarms caused by errors in measurement sensors by performing double checks through IoT-based sensor units and unmanned aerial vehicles. It proposes and discloses a method.

대한민국 등록특허공보 제10-2012288호Korean Patent Publication No. 10-2012288 대한민국 등록특허공보 제10-1765235호Korean Patent Publication No. 10-1765235

본 발명은 상기의 종래 문제점들을 개선 및 이를 감안하여 안출된 것으로서, 3D 센서를 탑재한 위성항법보정시스템(DGNSS) 기반 자율운항이 가능한 육상 드론 및 수상 드론의 무인이동체를 활용하여 교량 시설물 측 손상부위를 촬영하고 이를 이용하여 측위한 교량 시설물 측 점검 데이터에 대해 인공지능(AI; Artificial Intelligence) 기반으로 분석 및 안전진단을 수행할 수 있도록 한 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공하는데 그 목적이 있다.The present invention has been devised in consideration of and improving the above-described conventional problems, and using a satellite navigation correction system (DGNSS)-based autonomous navigation capable of using a 3D sensor and an unmanned moving body of a surface drone, the damaged area on the side of a bridge facility. A bridge facility maintenance system using a DGNSS-based drone equipped with a 3D sensor that enables analysis and safety diagnosis based on artificial intelligence (AI) for the inspection data on the bridge facility side for measurement by taking a picture and using it. It has its purpose to provide.

본 발명은 교량 시설물에 대한 자동 안전점검을 수행할 수 있도록 하면서 점검 및 안전진단에 따른 신뢰성을 높일 수 있도록 하며, 교량 시설물의 유지관리비용을 절감할 수 있도록 하는 등 교량 시설물을 보다 효율적으로 유지관리할 수 있도록 한 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공하는데 그 목적이 있다.The present invention enables more efficient maintenance of bridge facilities, such as enabling automatic safety checks on bridge facilities, increasing reliability according to inspection and safety diagnosis, and reducing maintenance costs of bridge facilities. Its purpose is to provide a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone.

본 발명은 교량과 같이 점검이 어렵거나 용이하지 못한 시설물은 물론 험지 부위까지 상시 점검 및 유지관리할 수 있도록 하며, 인공지능(AI; Artificial Intelligence)을 이용한 분석을 통해 3D Mapping 처리와 더불어 시설물의 상태평가 등급까지 산출할 수 있도록 한 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공하는데 그 목적이 있다.The present invention makes it possible to check and maintain not only facilities that are difficult or easy to check, such as bridges, but also rough areas, and through analysis using artificial intelligence (AI), the state of the facilities along with 3D mapping processing Its purpose is to provide a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone that can calculate even the evaluation grade.

상기의 목적을 달성하기 위한 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템은, 자율 운항이 가능하도록 위성항법보정시스템(DGNSS)을 탑재하고, 자율 운항하면서 시설물 측 손상 부위를 검출 및 영상정보를 획득하기 위한 손상검출장비를 탑재한 무인이동체; 상기 무인이동체로 운항정보를 보내 자동항법 제어를 수행하고, 무인이동체로부터 시설물 측 손상 부위 검출 및 영상정보를 실시간으로 전송받으며, 지상관제센터로서 기능하도록 구비되는 지상제어장치; 상기 지상제어장치에 탑재하거나 또는 연결 접속하도록 구비되고, 상기 무인이동체로부터 획득한 시설물 측 손상 부위에 대한 영상정보를 기초로 균열을 비롯한 손상 정도를 추정하기 위한 AI기반 손상검출엔진;을 포함하며, 상기 무인이동체는, 육상에서 무인 비행이 가능하고, 고정밀 측위를 위한 3D 센서 내장형 위성항법보정시스템(DGNSS)을 탑재하여 GPS 비수신구역에서도 자율 운항이 가능하도록 구비되며, 시설물 측 육상부에 대한 손상부위 촬영이 가능하도록 촬영카메라가 장착된 육상 드론; 및 수상에서 무인 이동이 가능하고, 고정밀 측위를 위한 3D 센서 내장형 위성항법보정시스템(DGNSS)을 탑재하여 GPS 비수신구역에서도 자율 운항이 가능하도록 구비되며, 시설물 측 수상부에 대한 손상부위 촬영이 가능하도록 사이드스캔소나가 장착된 수상 드론; 중에서 적어도 1종을 구비하거나 또는 두 가지 모두를 구비하는 것을 특징으로 한다.The bridge facility maintenance system using a DGNSS-based drone equipped with a 3D sensor to achieve the above objectives is equipped with a satellite navigation correction system (DGNSS) to enable autonomous navigation, and detects and images damaged parts of the facility while autonomously operating. Unmanned mobile vehicle equipped with damage detection equipment for acquiring information; A ground control device provided to perform automatic navigation control by sending navigation information to the unmanned vehicle, receive detection of damaged parts of the facility and image information from the unmanned vehicle in real time, and function as a ground control center; Includes; an AI-based damage detection engine for estimating the degree of damage including cracks based on the image information on the damaged part on the facility side acquired from the unmanned moving vehicle, provided to be mounted on or connected to the ground control device, and The unmanned vehicle is capable of unmanned flight on land and equipped with a 3D sensor-embedded satellite navigation correction system (DGNSS) for high-precision positioning to enable autonomous navigation even in non-GPS receiving areas. A land drone equipped with a shooting camera to enable shooting; And it is possible to move unmanned on the water, and equipped with a 3D sensor-embedded satellite navigation correction system (DGNSS) for high-precision positioning to enable autonomous navigation even in non-GPS receiving areas, and photographing damaged areas on the surface of the facility side is possible. A surface drone equipped with a side scan sonar to be used; It is characterized in that it has at least one or both.

여기에서, 상기 지상제어장치에 탑재하거나 또는 연결 접속하도록 구비되고, 무인이동체로부터 전송받은 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 시설물 측 손상 정도 추정데이터를 관리 및 시설물 측 상태평가를 자동으로 수행하는 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼;을 더 포함할 수 있다.Here, it is mounted on the ground control device or provided to be connected to the ground control device, and manages the facility-side damage estimation data estimated through the AI-based damage detection engine along with the facility-side damage detection and image information transmitted from the unmanned vehicle, and It may further include a; sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform for automatically performing the condition evaluation on the facility side.

여기에서, 상기 위성항법보정시스템(DGNSS)은, GPS 기준국에서 생성된 보정정보를 이용하여 GNSS 수신기의 오차를 보정함으로써 이를 탑재한 육상 드론 또는 수상 드론의 위치와 고도 및 속도를 정밀하게 측위하기 위한 구성이며; 3축 가속도센서, 3축 자이로센서, 3축 지자기센서를 조합한 9축 센서를 탑재하되, 각 센서들의 출력을 개별적으로 내보내는 IMU(Inertial Measurement Unit)로 구비되는 3D 센서를 포함하여 육상 드론 또는 수상 드론의 이동 위치는 물론 방위까지 정밀하게 측위할 수 있도록 하며; 육상 드론 또는 수상 드론의 이동시 시설물 측 오픈(Open) 또는 음영 공간에서도 안정적인 데이터의 생성을 가능하게 함으로써 시설물의 점검 및 안전진단에 따른 신뢰성을 높이면서 유지관리효율을 높일 수 있도록 구성할 수 있다.Here, the satellite navigation correction system (DGNSS) corrects the error of the GNSS receiver using the correction information generated by the GPS reference station to precisely position the position, altitude, and speed of a land drone or a surface drone equipped with it. It is a configuration for; Equipped with a 9-axis sensor that combines a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor, but includes a 3D sensor equipped with an IMU (Inertial Measurement Unit) that individually outputs the output of each sensor, including a drone on land or water. It enables precise positioning of the drone's moving position as well as its bearing; When a land drone or a water drone is moved, stable data can be generated even in an open or shaded space on the facility side, thereby enhancing the reliability of facility inspection and safety diagnosis while improving maintenance efficiency.

여기에서, 상기 지상제어장치는, 상기 무인이동체와 무선통신은 물론 양방향 데이터통신이 가능하도록 구비되는 것으로서, 화면 출력이 가능한 노트북, 태블릿 PC, 개인휴대단말기, 모바일단말기 중에서 선택된 어느 1종일 수 있다.Here, the ground control device is provided to enable two-way data communication as well as wireless communication with the unmanned vehicle, and may be any one selected from a notebook PC, a tablet PC, a personal portable terminal, and a mobile terminal capable of displaying a screen.

여기에서, 상기 AI기반 손상검출엔진은, 시설물의 균열을 비롯한 손상은 일정 패턴을 가지므로 기존 시설물 측 손상 사진을 AI(Artificial Intelligence)로 신경망 기반 딥러닝 학습한 상태에 상기 무인이동체로부터 획득한 시설물 측 손상 부위에 대한 영상정보와 비교 및 분석하여 균열 폭과 길이를 비롯한 손상 정도 추정데이터를 출력하도록 구성할 수 있다.Here, the AI-based damage detection engine has a certain pattern of damage including cracks of the facility, so the facility acquired from the unmanned mobile vehicle in the state of deep learning based on a neural network using AI (Artificial Intelligence) on the damage picture of the existing facility. It can be configured to output damage estimation data, including crack width and length, by comparing and analyzing image information on the side damaged part.

여기에서, 상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼에서는, 상기 무인이동체로부터 전송받은 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 시설물 측 손상 정도 추정데이터를 기초로 3D Mapping 처리하여 화면 출력함과 더불어 현재 시설물에 대한 상태평가 등급까지 자동 산출하여 화면 출력하도록 구성할 수 있다.Here, in the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform, the damage to the facility estimated through the AI-based damage detection engine along with the detection and image information of the damaged part of the facility received from the unmanned mobile vehicle Based on the degree estimation data, 3D Mapping is processed and displayed on the screen, and the status evaluation grade for the current facility is automatically calculated and displayed on the screen.

여기에서, 상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼에는 시설물에 대한 기초정보가 기 저장되고, 3D Mapping 처리 및 와관조사망도 처리가 가능한 전자망도가 탑재되며; 상기 무인이동체로부터 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 시설물 측 손상 정도 추정데이터를 입력받은 경우, 기 저장된 시설물 기초정보를 불러와서 전자망도를 통해 화면 출력하되, 시설물 측 손상 부위 검출 및 영상정보와 손상 정도 추정데이터를 반영하여 3D Mapping으로 화면 출력하고, 시설물 측 손상 정도를 양호, 주의, 불량 상태로 구분하여 외관조사망도를 작성하여 자동 출력하며, 외관조사망도 데이터를 기반으로 최저값 분석을 통해 시설물에 대한 종합상태점수를 산정함과 더불어 상태평가 등급을 자동 산출하여 화면 출력하도록 구성할 수 있다.Here, the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform pre-stores basic information on facilities, and an electronic network diagram capable of processing 3D Mapping and pipe survey networks is mounted; In the case of receiving the facility-side damage estimation data estimated through the AI-based damage detection engine along with the facility-side damage detection and image information from the unmanned mobile vehicle, the pre-stored facility-side basic information is retrieved and displayed on the screen through an electronic network map. , Detection of damaged parts on the facility side and image information and damage estimation data are reflected on the screen and output by 3D Mapping, and the level of damage on the facility is classified into good, caution, and defective conditions, and an external survey network is created and automatically printed out. Based on the survey network data, it can be configured to display the screen by automatically calculating the status evaluation grade as well as calculating the overall status score for the facility through the analysis of the minimum value.

여기에서, 상기 수상 드론은, 수상 이동이 가능하도록 추진부를 갖는 소형 보트타입의 무인수상선과, 상기 무인수상선에 연결되어 수중에 위치되고 시설물 측 수상부에 대한 손상부위를 탐색 및 촬영하는 사이드 스캔 소나를 포함하며; 상기 사이드 스캔 소나는, 2MHz의 초고주파대역 주파수를 이용하여 시설물 측 수상부에 대한 수중 탐색 및 측량의 세부적인 정밀 조사를 수행하기 위한 것으로서, 정밀도 및 분해능 10mm 이하를 갖는 것일 수 있다.Here, the aquatic drone is a small boat-type unmanned watercraft having a propulsion part to enable water movement, and a side scan sonar that is connected to the unmanned watercraft and located underwater and searches and photographs a damaged area on the surface of the facility side. Includes; The side scan sonar is for performing detailed detailed investigation of underwater search and surveying on the surface of the facility side by using an ultra-high frequency band of 2 MHz, and may have a precision and a resolution of 10 mm or less.

본 발명에 따르면, 3D 센서를 탑재한 위성항법보정시스템(DGNSS) 기반 자율운항이 가능한 육상 드론 및 수상 드론의 무인이동체를 활용하여 교량 시설물 측 손상부위를 촬영하며, 이를 이용하여 측위한 교량 시설물 측 점검 데이터에 대해 인공지능(AI; Artificial Intelligence) 기반으로 분석하고 안전진단을 정밀하게 수행할 수 있는 새로운 구성의 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공할 수 있다.According to the present invention, the damaged part on the side of the bridge facility is photographed using the unmanned vehicle of a land drone and a surface drone capable of autonomous navigation based on a satellite navigation correction system (DGNSS) equipped with a 3D sensor. It is possible to provide a bridge facility maintenance system using a new 3D sensor-mounted DGNSS-based drone that can analyze inspection data based on artificial intelligence (AI) and perform safety diagnosis precisely.

본 발명에 따르면, 교량과 같이 점검이 어렵거나 용이하지 못한 시설물은 물론 험지 부위까지 상시 점검 및 안전진단을 통한 유지관리를 수행할 수 있으며, 딥러닝 기반 학습을 갖는 인공지능(AI; Artificial Intelligence)을 이용한 분석을 통해 3D Mapping 처리와 더불어 시설물의 상태평가 등급까지 산출할 수 있는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공할 수 있다.According to the present invention, it is possible to perform maintenance through constant inspection and safety diagnosis to rough areas as well as facilities that are difficult or difficult to inspect, such as bridges, and artificial intelligence (AI) with deep learning-based learning. It is possible to provide a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone that can calculate not only the 3D mapping process but also the condition evaluation grade of the facility through analysis using

본 발명에 따르면, 교량 시설물에 대한 자동 안전점검을 수행할 수 있도록 하면서 점검 및 안전진단에 따른 신뢰성을 높일 수 있으며, 교량 시설물 측 유지관리비용을 절감할 수 있도록 하는 등 기존의 방식에 비해 교량 시설물을 보다 효율적으로 유지관리할 수 있는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 제공할 수 있다.According to the present invention, it is possible to perform automatic safety checks on bridge facilities, improve reliability according to inspection and safety diagnosis, and reduce maintenance costs on the side of bridge facilities. It is possible to provide a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone that can maintain the system more efficiently.

도 1은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 설명하기 위해 나타낸 개락적 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템을 통해 교량 측 점검을 실시하는 사용상태를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 육상드론을 나타낸 개략적 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 육상드론을 통해 교량 측 교좌장치에 대한 변위를 조사하는 상태를 나타낸 예시도이다.
도 5는 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 육상드론을 통해 교량 측 신축이음부를 조사하는 상태를 나타낸 예시도이다.
도 6은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 수상드론을 나타낸 개략적 블록 구성도이다.
도 7은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 사이드스캔소나가 탑재된 수상드론을 나타낸 개략적 구성도이다.
도 8은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 사이드스캔소나 및 소나장착지그를 나타낸 구성도이다.
도 9는 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 AI기반 손상검출엔진을 통해 교량 측 균열상태를 추정하는 예시를 나타낸 예시도이다.
도 10은 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어 sm-PED기반 상태평가 플랫폼을 통해 시설물 측 상태평가를 자동 수행하는 예시를 나타낸 예시도이다.
1 is a schematic block diagram illustrating a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
2 is a conceptual diagram showing a state of use of performing a bridge-side inspection through a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
3 is a schematic block diagram showing a land drone in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
4 is an exemplary view showing a state in which a displacement of a bridge-side abutment device is investigated through a land drone in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
5 is an exemplary view showing a state in which a bridge-side expansion joint is investigated through a land drone in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
6 is a schematic block diagram showing a water drone in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
7 is a schematic configuration diagram showing a surface drone equipped with a side scan sonar in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
8 is a block diagram showing a side scan sonar and a sonar mounting jig in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
9 is an exemplary view showing an example of estimating a bridge-side crack state through an AI-based damage detection engine in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.
10 is an exemplary view showing an example of automatically performing a facility-side condition evaluation through an sm-PED-based condition evaluation platform in a bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone according to an embodiment of the present invention.

본 발명에 대해 바람직한 실시예를 도면을 참조하여 설명하면 다음과 같으며, 이와 같은 상세한 설명 및 도면을 통해서 본 발명의 목적과 구성 및 그에 따른 특징들을 보다 잘 이해할 수 있게 될 것이다.A preferred embodiment of the present invention will be described with reference to the drawings as follows, and it will be possible to better understand the objects and configurations of the present invention and features thereof through such detailed description and drawings.

이하, 도 1 내지 도 10을 참조하여 본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS(Differential Global Navigation Satellite System; 위성항법보정시스템) 기반 드론을 이용한 교량 시설물 유지관리 시스템에 대해 상세하게 설명하기로 한다.Hereinafter, a bridge facility maintenance system using a 3D sensor-mounted DGNSS (Differential Global Navigation Satellite System)-based drone according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 10. do.

본 발명의 실시예에 따른 3D 센서 탑재형 DGNSS(Differential Global Navigation Satellite System; 위성항법보정시스템) 기반 드론을 이용한 교량 시설물 유지관리 시스템은 위성항법보정시스템(DGNSS) 기반 자율운항이 가능한 육상 드론 및/또는 수상 드론 등의 무인이동체를 활용하여 교량 시설물 측 손상부위를 촬영하고 이를 이용하여 측위한 교량 시설물 측 점검 데이터에 대해 이를 인공지능(AI; Artificial Intelligence) 기반으로 분석 및 안전진단을 수행하여 신뢰성을 확보하기 위한 주요 목적성을 구현하기 위한 것으로서, 도 1 내지 도 10에 나타낸 바와 같이, 무인이동체(100), 지상제어장치(200), AI기반 손상검출엔진(300), 및 sm-PED기반 상태평가 플랫폼(400)를 포함하는 구성으로 이루어진다.A bridge facility maintenance system using a 3D sensor-mounted DGNSS (Differential Global Navigation Satellite System)-based drone according to an embodiment of the present invention is a satellite navigation correction system (DGNSS)-based land drone capable of autonomous navigation and/ Or, using an unmanned vehicle such as a water drone, photographing the damaged part on the side of the bridge facility, and using it, analyzes and performs safety diagnosis based on artificial intelligence (AI) for the inspection data on the side of the bridge facility for measurement. As to implement the main purpose for securing, as shown in Figs. 1 to 10, the unmanned vehicle 100, the ground control device 200, the AI-based damage detection engine 300, and the sm-PED-based state evaluation It consists of a configuration including the platform 400.

상기 무인이동체(100)는 자율 운항 및 정밀 측위가 가능하도록 위성항법보정시스템(DGNSS)을 탑재하고, 자율 운항하면서 시설물 측 손상 부위를 용이하게 검출 및 영상정보를 획득하기 위한 손상검출장비를 탑재한다.The unmanned vehicle 100 is equipped with a satellite navigation correction system (DGNSS) to enable autonomous navigation and precise positioning, and is equipped with a damage detection device for easily detecting damaged parts on the facility side and obtaining image information while autonomously operating. .

상기 무인이동체(100)는 육상드론(110)과 수상드론(120) 중에서 적어도 1종을 구비하거나 또는 두 가지 모두를 구비하는 구성을 갖게 할 수 있다.The unmanned vehicle 100 may be provided with at least one or both of the land drone 110 and the surface drone 120.

특히, 시설물 중에서 수상에 설치되어 육상구조물과 수중구조물을 동시에 갖는 교량을 점검함에 있어서는 육상 드론(110)과 수상 드론(120)을 모두 구비하는 구성이 바람직하다.In particular, it is preferable to include both a land drone 110 and a water drone 120 when checking a bridge that is installed on the water and has both an onshore structure and an underwater structure among facilities.

상기 육상 드론(110)은 육상부에서 무인 비행이 가능하고, 고정밀 측위를 위한 3D 센서 내장형 위성항법보정시스템(DGNSS)을 탑재하여 GPS 비수신구역에서도 자율 운항이 가능하도록 구비되는 것으로서, 시설물 측 육상부에 대한 손상부위 촬영이 가능하도록 촬영카메라가 장착된 구성을 포함한다.The land drone 110 is capable of unmanned flight on land and equipped with a 3D sensor built-in satellite navigation correction system (DGNSS) for high-precision positioning to enable autonomous navigation even in non-GPS receiving areas. It includes a configuration in which a photographing camera is mounted to enable photographing of the damaged area.

상기 육상 드론(110)은 온도 시험(-20 ~ 50℃)과 내풍성 시험(6~10m/s)을 통해 비행환경 적용성을 확보하도록 구비된다.The land drone 110 is provided to secure flight environment applicability through a temperature test (-20 to 50°C) and a wind resistance test (6 to 10m/s).

여기에서, 상기 위성항법보정시스템(DGNSS)은 GPS 기준국에서 생성된 보정정보를 이용하여 GNSS수신기의 오차를 보정하는 DGNSS모듈을 포함하는 구성요소로서, 이를 통해 육상 드론(110)의 위치와 고도 및 속도를 정밀하게 측위할 수 있다.Here, the satellite navigation correction system (DGNSS) is a component including a DGNSS module that corrects the error of the GNSS receiver using correction information generated by the GPS reference station, through which the location and altitude of the land drone 110 And the speed can be precisely positioned.

여기에서, 상기 위성항법보정시스템(DGNSS)에 탑재되어 함께 이용되는 3D 센서는 3축 가속도센서와 3축 자이로센서 및 3축 지자기센서를 조합한 9축 센서를 탑재하되, 상기 각 센서들의 출력을 개별적으로 내보내는 IMU(Inertial Measurement Unit)로 구비할 수 있다.Here, the 3D sensor mounted on the satellite navigation correction system (DGNSS) and used together is equipped with a 9-axis sensor that combines a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor. It can be equipped with an individually exported IMU (Inertial Measurement Unit).

즉, 상기 위성항법보정시스템(DGNSS)과 3D 센서를 활용함으로써 육상 드론(110)에 대한 이동 위치는 물론 방위까지 정밀하게 측위할 수 있으며, GPS 비수신구역에서도 자율 운항을 가능하게 한다.That is, by using the satellite navigation correction system (DGNSS) and 3D sensor, it is possible to precisely position the movement position of the land drone 110 as well as the bearing, and autonomous navigation in the non-GPS non-receiving area is possible.

또한, 상기 육상 드론(110)은 위성항법보정시스템(DGNSS)과 3D 센서로부터 출력되는 데이터를 입력받아 제어 및 관리하기 위한 MCU와, 지상제어장치(200)와의 무선통신을 위한 무선통신모듈 및 동작전원을 공급하고 충전이 가능하도록 구비되는 충전배터리를 포함한다.In addition, the land drone 110 receives data output from a satellite navigation correction system (DGNSS) and a 3D sensor, an MCU for controlling and managing it, and a wireless communication module and operation for wireless communication with the ground control device 200. It includes a rechargeable battery provided to supply power and enable charging.

상기 육상 드론(110)을 통해서는 예를 들어, 교량 시설물을 점검시 도 4에서 보여주는 바와 같이 교량 상판과 교각/교대에 설치되어 상판을 지지하고 충격을 완화하는 교좌장치의 이동량 등 변위에 대한 측정작업 및 조사를 수행할 수 있으며, 도 5에서 보여주는 바와 같이 교량 시설물 상판의 온도변화나 하중에 의한 탄성 변형으로부터 발생되는 상판의 균열을 방지하기 위해 설치되는 신축이음부의 퇴적물 및 유격 등을 조사하여 용이하게 확인할 수 있는 장점을 제공할 수 있다.Through the land drone 110, for example, when checking the bridge facility, as shown in Fig. 4, measurement of displacement, such as the amount of movement of the bridge seating device installed on the bridge top plate and the pier/alternation to support the top plate and alleviate the impact Work and investigation can be performed, and as shown in Fig. 5, by investigating the sediment and clearance of the expansion joint installed to prevent cracking of the upper plate caused by temperature change or elastic deformation of the upper plate of the bridge facility. It can provide an advantage that can be easily identified.

상기 수상 드론(120)은 수상부에서 무인 이동이 가능하고, 고정밀 측위를 위한 3D 센서 내장형 위성항법보정시스템(DGNSS)을 탑재하여 GPS 비수신구역에서도 자율 운항이 가능하도록 구비되는 것으로서, 시설물 측 수상부에 대한 손상부위 촬영이 가능하도록 사이드스캔소나가 장착된 구성을 포함한다.The floating drone 120 is capable of unmanned movement on the surface of the surface and is equipped with a 3D sensor-embedded satellite navigation correction system (DGNSS) for high-precision positioning to enable autonomous navigation even in non-GPS receiving areas. Includes a configuration in which a side scan sonar is mounted to enable photographing of a damaged area on the upper part.

상기 수상 드론(120)에 탑재되는 3D 센서 내장형 위성항법보정시스템(DGNSS)은 앞서 설명한 내용에서와 같은 구성 및 동일 작용을 하는 것으로서, 이를 준용하기로 한다.The 3D sensor-embedded satellite navigation correction system (DGNSS) mounted on the surface drone 120 has the same configuration and operation as described above, and it will be applied mutatis mutandis.

즉, 상기 위성항법보정시스템(DGNSS)과 3D 센서를 활용함으로써 수상 드론(110)에서도 이동 위치는 물론 방위까지 정밀하게 측위할 수 있으며, GPS 비수신구역에서도 자율 운항을 가능하게 하는 장점을 제공할 수 있다.In other words, by using the satellite navigation correction system (DGNSS) and 3D sensor, the surface drone 110 can precisely locate the movement position as well as the bearing, and provide the advantage of enabling autonomous navigation even in the non-GPS area. I can.

상기 사이드스캔소나는 수중에서 음파를 통해 목표물의 방위 및 거리를 알아내는 기술로서, 고주파수대역의 적용을 통해 수중 등 수상부에 대한 손상검출 및 촬영이 가능한 구성요소이다.The side scan sonar is a technology that finds the direction and distance of a target through sound waves in water, and is a component capable of detecting and photographing damage to an underwater part such as underwater through the application of a high frequency band.

상기 수상 드론(120)은 도 7에 나타낸 바와 같이, 사이드스캔소나(122)의 수중 배치에 의한 수상 운항을 위해 무인수상선(121)을 포함한다.As shown in FIG. 7, the surface drone 120 includes an unmanned surface vessel 121 for water navigation by the underwater arrangement of the side scan sonar 122.

즉, 상기 수상 드론(120)은 수상 이동이 가능하도록 추진부를 갖는 소형 보트타입의 무인수상선(121)과, 상기 무인수상선(121)에 연결되어 수중에 위치되고 교량 시설물 측 수상부에 대한 손상부위를 탐색 및 촬영하기 위한 사이드스캔소나(122)를 포함한다.That is, the aquatic drone 120 is a small boat-type unmanned watercraft 121 having a propulsion part to enable water movement, and is connected to the unmanned watercraft 121 to be located in the water, and the damaged part of the water part on the side of the bridge facility It includes a side scan sonar 122 for searching and photographing.

이때, 상기 사이드스캔소나(122)는 2MHz의 초고주파대역 주파수를 이용하여 교량 시설물 측 수상부에 대한 수중 탐색 및 측량의 세부적인 정밀 조사를 수행하기 위한 것으로서, 정밀도 및 분해능 10mm 이하를 갖도록 구비함이 바람직하다.At this time, the side scan sonar 122 is for performing detailed detailed investigation of underwater search and surveying for the floating part on the side of the bridge facility using an ultra-high frequency band frequency of 2 MHz, and is provided to have a precision and resolution of 10 mm or less. desirable.

상기 무인수상선(121)은 경량화와 부식방지 및 내구성을 구비하도록 섬유강화플라스틱으로 제작함이 바람직한데, 다양한 형체로 이루어질 수 있으며, 상기 사이드스캔소나(122)로부터 전송받은 수중 탐색 및 측량 데이터를 지상제어장치(200) 측에 실시간으로 송신하는 기능을 담당한다.The unmanned watercraft 121 is preferably made of fiber-reinforced plastic to reduce weight, prevent corrosion, and have durability, and may be made of various shapes, and the underwater search and survey data transmitted from the side scan sonar 122 are recorded on the ground. It is responsible for the function of transmitting in real time to the control device 200 side.

이를 위해, 상기 수상 드론(110)에서도 무인수상선(121) 상에 위성항법보정시스템(DGNSS)과 3D 센서로부터 출력되는 데이터를 입력받아 제어 및 관리하기 위한 MCU와, 지상제어장치(200)와의 무선통신을 위한 무선통신모듈 및 동작전원을 공급하고 충전이 가능하도록 구비되는 충전배터리가 구비된다.To this end, the water drone 110 receives the data output from the satellite navigation correction system (DGNSS) and the 3D sensor on the unmanned watercraft 121, and controls and manages the received data, and a wireless connection with the ground control device 200. A wireless communication module for communication and a rechargeable battery provided to supply and charge operation power are provided.

부연하여, 상기 무인수상선(121) 측 추진부에 대해서는 무인수상선(121)의 후미 하부에 연결 장착되어 수상 이동을 위한 추진력을 제공하는 구성으로서, 알루미늄 방수하우징에 모터가 내장되고 알루미늄 프로펠러가 연결 장착되는 구성을 통해 수중에서의 사용에 따른 부식을 방지하고 방향 조절이 용이하도록 한다.Incidentally, as for the propulsion unit on the side of the unmanned watercraft 121, it is connected and mounted at the rear of the unmanned watercraft 121 to provide propulsion for water movement, and the motor is built in the aluminum waterproof housing and the aluminum propeller is connected and mounted. It prevents corrosion caused by use in water and facilitates direction control.

또한, 상기 무인수상선(121)에는 충전배터리에 대해 리튬코발트망간/리튬인산철 파워팩의 2차 배터리를 탑재함으로써 동작전원을 안정적으로 공급할 수 있도록 함과 더불어 교체하여 사용 가능하도록 한다.In addition, the unmanned watercraft 121 is equipped with a secondary battery of lithium cobalt manganese/lithium iron phosphate power pack for the rechargeable battery, so that operating power can be stably supplied and replaced and used.

상기 사이드스캔소나(122)는 상기 무인수상선(121)에 연결되어 수중에 배치되는 소나장착지그에 장착하여 사용하도록 구비되며, 이를 통해 사이드스캔소나(122)를 보호 및 수중 환경에 따라 용이하게 방향 조절하여 사용하도록 한다.The side scan sonar 122 is connected to the unmanned watercraft 121 and is provided to be mounted on a sonar mounting jig disposed underwater, thereby protecting the side scan sonar 122 and being easily directed according to the underwater environment. Adjust to use.

상기 소나장착지그는 도 8에 나타낸 바와 같이, 수중 환경에 사용되므로 이동에 따른 저항성을 최소화하기 위해 일자형 구조의 파이프 몸체로 구비함이 바람직하다.Since the sonar mounting jig is used in an underwater environment, as shown in FIG. 8, it is preferable to have a straight pipe body in order to minimize resistance to movement.

상기 소나장착지그는 상기 무인수상선(121)의 하측에 위치하여 연결 장착하되, 연결부에 대해 승강 가능하도록 구비하여 사이드스캔소나(122)에 대한 수중 배치 위치를 조절하도록 구성할 수 있으며, 서버모터와 베벨기어를 이용한 회전수단을 결합하여 회전 제어에 의한 사이드스캔소나(122)의 방향성을 조절하도록 구성할 수 있다.The sonar mounting jig is located on the lower side of the unmanned watercraft 121 to be connected and mounted, and may be configured to adjust the underwater arrangement position for the side scan sonar 122 by being provided so as to be elevated with respect to the connection part, and the server motor and It can be configured to adjust the direction of the side scan sonar 122 by rotation control by combining a rotating means using a bevel gear.

상기 소나장착지그는 지그본체(10)와 지그본체(210)의 후단에 연결 조립되는 후미결합부(20)로 구성할 수 있다.The sonar mounting jig may include a jig body 10 and a rear coupling portion 20 connected to and assembled at the rear end of the jig body 210.

상기 지그본체(10)는 일자형 구조를 갖는 파이프 몸체의 중간부에 양측면 및 하부 개방형 구조의 절개부(11)를 형성하여 사이드스캔소나(122)에 대해 삽입 배치를 가능하게 하고, 후단부에 양측면 절삭에 의한 측방개구부(12)를 형성하여 전체적인 중량을 절감할 수 있도록 구비한다.The jig body 10 has both sides and lower open structure cutouts 11 formed in the middle of the pipe body having a straight structure to enable insertion and placement for the side scan sonar 122, and both sides of the rear end It is provided to reduce the overall weight by forming the side opening 12 by cutting.

상기 후미결합부(20)에는 상면에 무인수상선(121)이 갖는 데이터케이블과의 연결 조립에 사용하기 위한 케이블커넥터를 체결하여 구비할 수 있다.The tail coupling part 20 may be provided by fastening a cable connector for use in connection and assembly with the data cable of the unmanned water line 121 on the upper surface.

이때, 소나장착지그에 사이드스캔소나(122)를 삽입 장착시 후미결합부(20)에 체결된 케이블커넥터에 사이드스캔소나(122) 측 출력을 연결함으로써 사이드스캔 소나(122)로부터 획득되는 수중 탐색 및 측량 데이터(영상데이터)를 무인수상선(121)으로 전송토록 구비할 수 있다.At this time, when the side scan sonar 122 is inserted into the sonar mounting jig, an underwater search obtained from the side scan sonar 122 is obtained by connecting the output of the side scan sonar 122 to the cable connector fastened to the rear coupling part 20. And it may be provided to transmit the survey data (image data) to the unmanned watercraft (121).

삭제delete

삭제delete

이와 같이, 상술한 구성을 갖는 상기 무인이동체(100)는 3D 센서를 내장한 위성항법보정시스템(DGNSS)을 접목함으로써 육상 드론(110) 또는 수상 드론(120)의 자동 운항을 위한 항법 제어시 교량 시설물 측 오픈(Open) 또는 음영 공간에서도 안정적인 데이터를 생성해낼 수 있는 장점을 발휘할 수 있으며, 교량 시설물의 점검 및 안전진단에 따른 신뢰성을 높이면서 유지관리효율을 높일 수 있는 장점을 제공할 수 있다.As such, the unmanned vehicle 100 having the above-described configuration is a bridge during navigation control for automatic navigation of the land drone 110 or the surface drone 120 by incorporating a satellite navigation correction system (DGNSS) with a built-in 3D sensor. It can exhibit the advantage of generating stable data even in an open or shaded space on the facility side, and it can provide the advantage of increasing the maintenance efficiency while increasing the reliability according to the inspection and safety diagnosis of bridge facilities.

상기 지상제어장치(200)는 상기 무인이동체(100)로 운항정보를 보내 자동항법 제어를 수행하고, 무인이동체(100)로부터 교량 시설물 측 손상 부위 검출 및 영상정보를 실시간으로 전송받으며, 지상관제센터로서 기능하도록 구비된다.The ground control device 200 sends navigation information to the unmanned vehicle 100 to perform automatic navigation control, and receives the detection of damaged parts of the bridge facility from the unmanned vehicle 100 and image information in real time, and the ground control center It is provided to function as.

상기 지상제어장치(200)는 상기 무인이동체(100)에 대해 육상 드론(110)과 수상 드론(120) 각각을 개별 제어하도록 구비된다.The ground control device 200 is provided to individually control each of the land drone 110 and the surface drone 120 with respect to the unmanned vehicle 100.

상기 지상제어장치(200)는 상기 무인이동체(100), 즉 육상 드론(110) 또는 수상 드론(120) 측과 각각 구별된 무선통신이 가능하도록 구비되어 각각에서의 데이터를 획득하도록 함은 물론 양방향 데이터통신이 가능하도록 구비된다.The ground control device 200 is provided to enable distinct wireless communication from the unmanned vehicle 100, that is, the land drone 110 or the surface drone 120 side, so as to obtain data from each of the two-way It is provided to enable data communication.

상기 지상제어장치(200)는 화면 출력이 가능하고 휴대가 가능한 노트북, 태블릿 PC, 개인휴대단말기, 모바일단말기 중에서 선택된 어느 1종일 수 있으며, 때로는 모니터를 갖는 데스크탑PC나 서버PC 등이 사용될 수 있다.The ground control device 200 may be any one selected from a notebook PC, a tablet PC, a personal portable terminal, and a mobile terminal capable of screen output and portable, and sometimes a desktop PC or a server PC having a monitor may be used.

상기 지상제어장치(200)에는 기본적인 운영체제를 비롯하여 무인이동체(100) 측 자동항법 제어를 위한 프로그램이 탑재된다. 즉, 육상 드론(110)과 수상 드론(120) 각각에 대한 자동항법 제어를 위한 프로그램이 각각 탑재된다.The ground control device 200 is equipped with a program for automatic navigation control on the side of the unmanned vehicle 100 as well as a basic operating system. That is, a program for automatic navigation control for each of the land drone 110 and the surface drone 120 is mounted.

여기에서, 상기 지상제어장치(200)에는 메쉬 네트워크(mesh network)를 구성하여 육상 드론(110) 및/또는 수상 드론(120)을 갖는 무인이동체(100)와의 데이터통신을 가능하게 하고, 일정 주파수대역에 의한 운영주파수를 갖는 APC(Acess Point Controller)를 포함할 수 있다.Here, the ground control device 200 configures a mesh network to enable data communication with the unmanned mobile vehicle 100 having the land drone 110 and/or the surface drone 120, and a constant frequency It may include an Access Point Controller (APC) having an operating frequency by band.

상기 APC는 상기 무인이동체(100)에 대한 기준기지국의 기능을 하며, 무선이지만 안정성과 확장성 및 보안성을 구현하는 장점을 제공할 수 있으며, 2.4GHz 주파수대역과 5GHz 주파수대역을 운영주파수로 사용할 수 있다.The APC functions as a reference base station for the unmanned mobile vehicle 100, and although it is wireless, it can provide advantages of implementing stability, scalability, and security, and uses the 2.4GHz frequency band and the 5GHz frequency band as operating frequencies. I can.

또한, 상기 지상제어장치(200)에는 육상 드론(110) 및/또는 수상 드론(120)을 갖는 무인이동체(100)에 대해 각각을 수동으로 무선 조정하기 위한 각각의 무선조정기를 포함할 수 있다.In addition, the ground control device 200 may include each wireless controller for manually wirelessly controlling each of the unmanned vehicle 100 having the land drone 110 and/or the surface drone 120.

상기 AI기반 손상검출엔진(300)은 상기 지상제어장치(200)에 탑재하거나 또는 연결 접속하도록 구비되고, 상기 무인이동체(100)로부터 획득한 교량 시설물 측 손상 부위에 대한 영상정보를 기초로 균열을 비롯한 손상 정도를 추정하기 위한 구성요소이다.The AI-based damage detection engine 300 is provided to be mounted on or connected to the ground control device 200, and detects cracks based on the image information on the damaged part of the bridge facility obtained from the unmanned moving body 100. It is a component for estimating the degree of damage, including.

상기 AI기반 손상검출엔진(300)은 교량 시설물의 균열을 비롯한 손상은 거의 일정 패턴을 가지므로 이를 활용하여 손상을 검출하도록 구비되는데, 기존 교량 시설물 측 손상 사진을 AI(Artificial Intelligence)로 신경망 기반 딥러닝 학습한 상태로 구비하고, 상기 무인이동체(100)로부터 획득한 교량 시설물 측 손상 부위에 대한 영상정보와 비교 및 이를 분석하여 균열 폭과 길이를 비롯한 손상 정도 추정데이터를 출력하도록 구성할 수 있다.The AI-based damage detection engine 300 is provided to detect damage by utilizing this because damage including cracks in bridge facilities has an almost certain pattern. It is provided in a running-learned state, and it can be configured to output damage estimation data including crack width and length by comparing and analyzing the image information on the damaged part of the bridge facility obtained from the unmanned moving body 100.

상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼(400)은 상기 지상제어장치(200)에 탑재하거나 또는 연결 접속하도록 구비되고, 상기 무인이동체(100), 즉 육상 드론(110) 또는 수상 드론(120)으로부터 각각 전송받은 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 상기 AI기반 손상검출엔진(300)을 통해 추정한 교량 시설물 측 손상 정도 추정데이터를 관리 및 교량 시설물 측 상태평가를 자동으로 수행하기 위한 구성요소이다.The sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform 400 is provided to be mounted on or connected to the ground control device 200, and the unmanned vehicle 100, that is, a land drone 110 ) Or, along with the detection and image information of the damaged part of the bridge facility, respectively transmitted from the surface drone 120, the damage estimation data of the bridge facility estimated through the AI-based damage detection engine 300 are managed and the condition of the bridge facility side is evaluated. It is a component to automatically perform the operation.

상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼(400)에서는 상기 무인이동체(100), 육상 드론(110) 또는 수상 드론(120)으로부터 각각 전송받은 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 교량 시설물 측 손상 정도 추정데이터를 기초로 3D Mapping 처리하여 화면 출력함과 더불어 현재 점검하는 교량 시설물에 대한 상태평가 등급까지 자동 산출하여 화면 출력하도록 구비된다.In the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform 400, the damaged part of the bridge facility side received from the unmanned vehicle 100, the land drone 110, or the water drone 120, respectively, is detected and In addition to image information, 3D Mapping is processed based on the damage level estimation data of the bridge facility estimated through the AI-based damage detection engine, and the screen is outputted as well as the status evaluation grade for the currently inspected bridge facility is automatically calculated and displayed on the screen. do.

상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼(400)에는 교량 시설물에 대한 기초정보가 기 저장되고, 3D Mapping 처리 및 외관조사망도 처리가 가능한 전자망도가 탑재된다.In the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform 400, basic information on bridge facilities is pre-stored, and an electronic network diagram capable of 3D Mapping processing and external survey network processing is mounted.

상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼(400)에서는 상기 무인이동체(100)로부터 획득되는 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진(300)을 통해 추정한 시설물 측 손상 정도 추정데이터를 입력받은 경우, 기 저장된 교량 시설물의 기초정보를 불러와서 전자망도를 통해 화면 출력하되, 교량 시설물 측 손상 부위 검출 및 영상정보와 손상 정도 추정데이터를 반영하여 3D Mapping으로 화면 출력한다.In the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform 400, the AI-based damage detection engine 300 is provided along with the detection and image information of the damaged part of the bridge facility obtained from the unmanned vehicle 100. When the estimated damage level of the facility side estimated through the facility is received, the basic information of the pre-stored bridge facility is retrieved and displayed on the screen through an electronic network map, and the damage area detection on the bridge facility side and image information and damage level estimation data are reflected. Display the screen with 3D Mapping.

교량 시설물 측 손상 정도를 양호, 주의, 불량 상태로 구분하여 외관조사망도를 작성하여 자동 출력한다.The degree of damage on the bridge facility side is classified into good, caution, and bad conditions, and an external survey network is created and automatically printed.

이와 같은 외관조사망도 데이터를 기반으로 최저값 분석을 통해 시설물에 대한 종합상태점수를 산정함과 더불어 상태평가 등급을 자동 산출하여 화면 출력한다.Based on the external survey network data, the overall condition score for the facility is calculated through the lowest value analysis, and the condition evaluation grade is automatically calculated and displayed on the screen.

이와 같은 상술한 구성으로 이루어지는 본 발명에 따른 3D 센서 탑재형 DGNSS(Differential Global Navigation Satellite System; 위성항법보정시스템) 기반 드론을 이용한 교량 시설물 유지관리 시스템을 통해서는 교량과 같이 점검이 어렵거나 용이하지 못한 시설물은 물론 험지 부위까지 상시 점검 및 안전진단을 통한 유지관리를 수행할 수 있고, 교량 시설물에 대한 자동 안전점검 및 용이함을 발휘할 수 있을 뿐만 아니라 교량 시설물 측 점검 및 안전진단에 따른 신뢰성을 높일 수 있으며, 교량 시설물 측 유지관리비용을 절감할 수 있는 등 기존의 방식에 비해 정밀성을 높이고 교량 시설물을 보다 효율적으로 유지관리할 수 있는 장점을 제공할 수 있다.Through the bridge facility maintenance system using a 3D sensor-mounted DGNSS (Differential Global Navigation Satellite System)-based drone according to the present invention having the above-described configuration, it is difficult or difficult to inspect like a bridge. It is possible to perform maintenance through regular inspection and safety diagnosis to not only facilities but also rough terrain, and not only can demonstrate the ease and automatic safety inspection of bridge facilities, but also increase reliability according to inspection and safety diagnosis on the side of bridge facilities. As compared to the existing method, such as reducing the maintenance cost on the side of the bridge facility, it is possible to improve precision and provide the advantages of more efficient maintenance of the bridge facility.

이상의 설명은 본 발명을 예시적으로 설명한 것이고, 명세서에 게시된 실시예는 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술사상을 벗어나지 않는 범위에서 다양한 수정과 변형 또는 단계의 치환 등이 가능할 것이다. 그러므로 본 발명의 보호범위는 청구범위에 기재된 사항에 의해 해석되고, 그와 균등한 범위 내에 있는 기술적 사항도 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is for illustrative purposes of the present invention, and the embodiments published in the specification are not intended to limit the technical idea of the present invention, but to explain the present invention. Various modifications, modifications, or substitution of steps will be possible without departing from the technical idea of Therefore, the scope of protection of the present invention is to be interpreted by the matters described in the claims, and technical matters within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 무인이동체 110: 육상 드론
120: 수상 드론 200: 지상제어장치
300: AI기반 손상검출엔진 400: sm-PED기반 상태평가 플랫폼
100: unmanned vehicle 110: land drone
120: water drone 200: ground control device
300: AI-based damage detection engine 400: sm-PED-based condition evaluation platform

Claims (8)

시설물 중에서 수상에 설치되어 육상구조물과 수중구조물을 동시에 갖는 교량을 점검하기 위한 것으로서, 3축 가속도센서와 3축 자이로센서 및 3축 지자기센서를 조합한 9축 센서를 탑재하되 각 센서들의 출력을 개별적으로 내보내는 IMU(Inertial Measurement Unit)로 구비된 3D 센서 내장형 위성항법보정시스템(DGNSS)을 각각 탑재한 육상 드론과 수상 드론의 무인이동체를 포함하는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템에 있어서,
자율 운항하면서 교량 시설물 측 손상 부위를 검출 및 영상정보를 획득하기 위한 손상검출장비를 탑재한 무인이동체; 상기 무인이동체로 운항정보를 보내 자동항법 제어를 수행하고, 무인이동체로부터 교량 시설물 측 손상 부위 검출 및 영상정보를 실시간으로 전송받으며, 지상관제센터로서 기능하도록 구비되는 지상제어장치; 상기 지상제어장치에 탑재하거나 또는 연결 접속하도록 구비되고, 상기 무인이동체로부터 획득한 교량 시설물 측 손상 부위에 대한 영상정보를 기초로 균열을 비롯한 손상 정도를 추정하기 위한 AI기반 손상검출엔진; 상기 지상제어장치에 탑재하거나 또는 연결 접속하도록 구비되고, 무인이동체로부터 전송받은 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 교량 시설물 측 손상 정도 추정데이터를 관리 및 교량 시설물 측 상태평가를 자동으로 수행하는 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼;을 포함하며,
상기 무인이동체는, 육상에서 무인 비행이 가능하고, 3D 센서 내장형 위성항법보정시스템(DGNSS)을 통해 GPS 비수신구역에서도 자율 운항이 가능하며, 교량 시설물 측 육상부에 대한 손상부위 촬영이 가능하도록 촬영카메라가 장착된 육상 드론; 및 수상에서 무인 이동이 가능하고, 3D 센서 내장형 위성항법보정시스템(DGNSS)을 통해 GPS 비수신구역에서도 자율 운항이 가능하며, 교량 시설물 측 수상부에 대한 손상부위 촬영이 가능하도록 사이드스캔소나가 장착된 수상 드론;을 구비하되,
상기 육상 드론은 -20℃~50℃ 범주의 온도 시험과 6m/s~10m/s 범주의 내풍성 시험을 통해 비행환경 적용성을 확보하도록 구비하고,
상기 육상 드론을 통해서는 시설물 중에서 수상에 설치되어 육상구조물과 수중구조물을 동시에 갖는 교량을 점검시, 교량 상판과 교각/교대에 설치되어 상판을 지지하고 충격을 완화하는 교좌장치의 이동 변위에 대한 측정작업 및 조사를 수행하고, 교량 상판의 온도변화나 하중에 의한 탄성 변형으로부터 발생되는 상판의 균열을 방지하는 신축이음부의 퇴적물 및 유격을 조사하며,
상기 수상 드론은, 수상 이동이 가능하도록 추진부를 갖는 소형 보트타입의 무인수상선과, 무인수상선에 연결되어 수중에 위치되고 교량 시설물 측 수상부에 대한 손상부위를 탐색 및 촬영하는 사이드 스캔 소나를 포함하고,
상기 사이드스캔소나는 상기 무인수상선에 연결되어 수중에 배치되는 소나장착지그에 장착하되, 상기 소나장착지그는 일자형 구조의 파이프 몸체로서 무인수상선의 하측에 위치하여 연결 장착 및 승강 가능하도록 구비함으로써 사이드스캔소나에 대한 수중 배치 위치를 조절하도록 구성함과 더불어 서버모터와 베벨기어를 이용한 회전수단을 결합함으로써 회전 제어에 의한 사이드스캔소나의 방향성을 조절하도록 구성하며,
상기 AI기반 손상검출엔진은, 교량 시설물의 균열을 비롯한 손상은 일정 패턴을 가지므로 기존 교량 시설물 측 손상 사진을 AI(Artificial Intelligence)로 신경망 기반 딥러닝 학습한 상태에 상기 무인이동체로부터 획득한 교량 시설물 측 손상 부위에 대한 영상정보와 비교 및 분석하여 균열 폭과 길이를 비롯한 손상 정도를 추정데이터를 출력하는 것을 특징으로 하는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템.
Among facilities, it is to check a bridge that has both onshore and underwater structures installed on the water. It is equipped with a 9-axis sensor that combines a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor, but outputs each sensor individually. Bridge facility maintenance system using 3D sensor-mounted DGNSS-based drones including 3D sensor-embedded satellite navigation correction systems (DGNSS) equipped with IMUs (Inertial Measurement Unit) that are exported to each other In,
An unmanned mobile vehicle equipped with a damage detection device for detecting damaged parts of bridge facilities and acquiring image information while operating autonomously; A ground control device provided to perform automatic navigation control by sending navigation information to the unmanned vehicle, detect damaged parts of bridge facilities from the unmanned vehicle and receive image information in real time, and function as a ground control center; An AI-based damage detection engine for estimating a degree of damage, including cracks, based on image information about a damaged part of a bridge facility obtained from the unmanned vehicle and provided to be mounted on or connected to the ground control device; It is installed on the ground control device or provided to connect to it, and manages and manages the damage estimation data of the bridge facility side estimated through the AI-based damage detection engine along with the detection and image information of the damaged part of the bridge facility transmitted from the unmanned vehicle. Includes; sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform that automatically performs condition evaluation on the facility side,
The unmanned vehicle is capable of unmanned flight on land, and autonomous navigation in non-GPS receiving areas through a 3D sensor built-in satellite navigation correction system (DGNSS), and a photographing camera to enable photographing of damaged parts on the land part of the bridge facility. Equipped with a land drone; And it is possible to move unmanned on the water, and autonomous navigation in non-GPS receiving areas is possible through 3D sensor built-in satellite navigation correction system (DGNSS), and a side scan sonar is installed to enable photographing of the damaged area on the surface of the bridge facility side. Equipped with a water drone;
The land drone is equipped to secure flight environment applicability through a temperature test in the range of -20℃ to 50℃ and a wind resistance test in the range of 6m/s to 10m/s,
Through the above-ground drone, when checking a bridge that has both an onshore structure and an underwater structure installed on the water of the facility, it is installed on the bridge top plate and the pier/alternity to support the top plate and measure the movement displacement of the bridge seating device to alleviate the impact Perform work and investigation, and investigate sediment and clearance of expansion joints that prevent cracks in the upper plate caused by temperature changes or elastic deformation of the bridge upper plate,
The aquatic drone includes a small boat-type unmanned watercraft having a propulsion part to enable water movement, and a side scan sonar that is connected to the unmanned watercraft and located underwater and searches for and photographs a damaged part of the water surface on the side of a bridge facility, and ,
The side scan sonar is connected to the unmanned watercraft and mounted on a sonar mounting jig disposed underwater, and the sonar mounting jig is a pipe body having a straight structure and is located at the lower side of the unmanned watercraft so as to be connected, mounted and elevated. In addition to being configured to adjust the position of the underwater arrangement for the sonar, it is configured to adjust the direction of the side scan sonar by rotation control by combining a server motor and a rotating means using a bevel gear.
Since the AI-based damage detection engine has a certain pattern of damage including cracks of bridge facilities, the bridge facilities acquired from the unmanned vehicle in the state of deep learning based on neural networks using AI (Artificial Intelligence) for damage photos on the side of existing bridge facilities. A bridge facility maintenance system using a 3D sensor-mounted DGNSS-based drone, characterized in that it outputs estimated data of the degree of damage including the width and length of the crack by comparing and analyzing the image information on the damaged part of the side.
삭제delete 삭제delete 삭제delete 삭제delete 제 1항에 있어서,
상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼에서는,
상기 무인이동체로부터 전송받은 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 교량 시설물 측 손상 정도 추정데이터를 기초로 3D Mapping 처리하여 화면 출력함과 더불어 현재 교량 시설물에 대한 상태평가 등급까지 자동 산출하여 화면 출력하는 것을 특징으로 하는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템.
The method of claim 1,
In the sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform,
In addition to the detection and image information of the damaged part of the bridge facility transmitted from the unmanned vehicle, 3D Mapping is processed based on the estimated data of the damage level of the bridge facility estimated through the AI-based damage detection engine, and the screen is displayed. A bridge facility maintenance system using a DGNSS-based drone equipped with a 3D sensor, characterized in that it automatically calculates and outputs a screen to the status evaluation grade.
제 1항에 있어서,
상기 sm-PED(Portable Electronic Device for safety & maintenance) 기반 상태평가 플랫폼에는 교량 시설물에 대한 기초정보가 기 저장되고, 3D Mapping 처리 및 외관조사망도 처리가 가능한 전자망도가 탑재되며;
상기 무인이동체로부터 교량 시설물 측 손상 부위 검출 및 영상정보와 더불어 AI기반 손상검출엔진을 통해 추정한 교량 시설물 측 손상 정도 추정데이터를 입력받은 경우,
기 저장된 교량 시설물 기초정보를 불러와서 전자망도를 통해 화면 출력하되, 교량 시설물 측 손상 부위 검출 및 영상정보와 손상 정도 추정데이터를 반영하여 3D Mapping으로 화면 출력하고,
교량 시설물 측 손상 정도를 양호, 주의, 불량 상태로 구분하여 외관조사망도를 작성하여 자동 출력하며,
외관조사망도 데이터를 기반으로 최저값 분석을 통해 시설물에 대한 종합상태점수를 산정함과 더불어 상태평가 등급을 자동 산출하여 화면 출력하도록 구성하는 것을 특징으로 하는 3D 센서 탑재형 DGNSS 기반 드론을 이용한 교량 시설물 유지관리 시스템.
The method of claim 1,
The sm-PED (Portable Electronic Device for safety & maintenance) based condition evaluation platform pre-stores basic information on bridge facilities, and is equipped with an electronic network diagram capable of 3D Mapping processing and exterior survey network processing;
When the damage estimation data of the bridge facility side estimated through the AI-based damage detection engine is received from the unmanned vehicle, along with the detection and image information of the damaged part of the bridge facility,
The pre-stored basic information of bridge facilities is retrieved and displayed on a screen through an electronic network diagram, but the screen is output by 3D mapping by reflecting the detection of damaged parts on the bridge facility side and image information and damage estimation data.
The degree of damage on the bridge facility side is classified into good, caution, and bad conditions, and an external survey network is created and automatically printed out.
A bridge facility using a 3D sensor-mounted DGNSS-based drone, characterized in that it is configured to automatically calculate the condition evaluation grade and display the screen by calculating the overall condition score for the facility through the lowest value analysis based on the exterior survey network data. Maintenance system.
삭제delete
KR1020200097437A 2020-08-04 2020-08-04 System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss KR102237407B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200097437A KR102237407B1 (en) 2020-08-04 2020-08-04 System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200097437A KR102237407B1 (en) 2020-08-04 2020-08-04 System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss

Publications (1)

Publication Number Publication Date
KR102237407B1 true KR102237407B1 (en) 2021-04-07

Family

ID=75469231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200097437A KR102237407B1 (en) 2020-08-04 2020-08-04 System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss

Country Status (1)

Country Link
KR (1) KR102237407B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115162216A (en) * 2022-07-26 2022-10-11 东南大学 Bridge external self-prestress reinforcing device and method based on unmanned aerial vehicle carrying
KR102471482B1 (en) * 2022-08-18 2022-11-28 (주) 다음기술단 System for smart manless diagnosis of road bridge facilities
KR102517267B1 (en) * 2021-12-22 2023-04-04 한국건설기술연구원 System and method for inspecting marine bridge
KR102518071B1 (en) * 2021-11-29 2023-04-05 주식회사 에프디 Structure management system
KR102556319B1 (en) * 2022-10-07 2023-07-18 주식회사 엘시스 System and method for unmanned aerial based non-destructive testing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765235B1 (en) 2016-11-28 2017-08-04 한국건설기술연구원 FACILITY MAINTENANCE SYSTEM USING INTERNET OF THINGS (IoT) BASED SENSOR AND UNMANNED AIR VEHICLE (UAV), AND METHOD FOR THE SAME
KR20190001324A (en) * 2017-06-27 2019-01-04 박소현 Midair transport system for drone flight, drone autonomic fly system under the system and method thereon
KR101984778B1 (en) * 2018-10-11 2019-05-31 (주)와이즈콘 Method for multiple image cooperation on diagnosis exterior wall of structure and apparatus for performing the method
KR102012288B1 (en) 2018-05-17 2019-10-21 (주)우리안전기술원 Safety measurement system of structure using a drone
KR102037893B1 (en) * 2019-07-05 2019-11-26 세종대학교산학협력단 System and method for establishing digital exterior survey map
KR102117488B1 (en) * 2019-12-10 2020-06-02 우리기술 주식회사 High resolution sonar mounting type unmanned investigation system for searching of victims and disaster action of underwater structure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765235B1 (en) 2016-11-28 2017-08-04 한국건설기술연구원 FACILITY MAINTENANCE SYSTEM USING INTERNET OF THINGS (IoT) BASED SENSOR AND UNMANNED AIR VEHICLE (UAV), AND METHOD FOR THE SAME
KR20190001324A (en) * 2017-06-27 2019-01-04 박소현 Midair transport system for drone flight, drone autonomic fly system under the system and method thereon
KR102012288B1 (en) 2018-05-17 2019-10-21 (주)우리안전기술원 Safety measurement system of structure using a drone
KR101984778B1 (en) * 2018-10-11 2019-05-31 (주)와이즈콘 Method for multiple image cooperation on diagnosis exterior wall of structure and apparatus for performing the method
KR102037893B1 (en) * 2019-07-05 2019-11-26 세종대학교산학협력단 System and method for establishing digital exterior survey map
KR102117488B1 (en) * 2019-12-10 2020-06-02 우리기술 주식회사 High resolution sonar mounting type unmanned investigation system for searching of victims and disaster action of underwater structure

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518071B1 (en) * 2021-11-29 2023-04-05 주식회사 에프디 Structure management system
KR102517267B1 (en) * 2021-12-22 2023-04-04 한국건설기술연구원 System and method for inspecting marine bridge
CN115162216A (en) * 2022-07-26 2022-10-11 东南大学 Bridge external self-prestress reinforcing device and method based on unmanned aerial vehicle carrying
KR102471482B1 (en) * 2022-08-18 2022-11-28 (주) 다음기술단 System for smart manless diagnosis of road bridge facilities
KR102556319B1 (en) * 2022-10-07 2023-07-18 주식회사 엘시스 System and method for unmanned aerial based non-destructive testing

Similar Documents

Publication Publication Date Title
KR102237407B1 (en) System for maintenance of bridge facilities using drone based 3d sensor mounting type dgnss
CN108614274B (en) Cross type crossing line distance measuring method and device based on multi-rotor unmanned aerial vehicle
Albiez et al. Flatfish-a compact subsea-resident inspection auv
JP4475632B2 (en) Transmission line inspection system using unmanned air vehicle
US20180149947A1 (en) Unmanned aerial vehicle system for taking close-up picture of facility and photography method using the same
US20170074664A1 (en) Underwater Inspection System Using An Autonomous Underwater Vehicle ("AUV") In Combination With A Laser Micro Bathymetry Unit (Triangulation Laser) and High Definition Camera
KR20170043035A (en) Water/underwater complex inspection system
CN109084745A (en) Submarine cable inspection submarine navigation device intelligent monitor system and Combinated navigation method
US10954648B1 (en) Multi-sensor manhole survey
EP2802092A1 (en) System and method for seafloor exploration
EP3548924B1 (en) Sar-based monitoring of non-visible or non-always-visible or partially visible targets and associated monitoring, critical situation detection and early warning systems and methods
RU2632342C1 (en) Autonomous mobile robotic complex
KR20200064343A (en) Integrated safety management system and method of marine transportation facilities
JP7133196B2 (en) Underwater equipment recovery method and underwater equipment recovery system
CN115019412A (en) Underwater AUV (autonomous underwater vehicle) submarine cable inspection system and method based on multiple sensors
CN107416204A (en) A kind of unmanned plane for monitoring ice condition key element
CN105738903A (en) Ship draught measured value calculating method
KR101406061B1 (en) System for River Management
JP2004044372A (en) Submerged caisson submergence guidance system, submergence guidance method, and underwater distance measurement method
Zarayskaya et al. Gebco-nf alumni team technology solution for shell ocean discovery xprize final round
Jansen et al. Southern Ocean Time Series (SOTS) Quality Assessment and Control Report Salinity Records Version 2.0
KR102479481B1 (en) Drone flight system considering the marine environment
CN116294957A (en) Marine wind power structure body shape monitoring system and method
Chensky et al. Water environment monitoring with an autonomous unmanned surface vessel
CN110146896B (en) Unmanned inspection equipment and method for pressureless water conveyance tunnel

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant